百度后台-百度平台爬取诊断总是显示爬取失败“DNS无法解析IP”

我们建好网，然后通过百度平台爬取诊断总是失败。 为什么？ 蜘蛛爬不上我们的网？ 其实这对蜘蛛抓取网确实有一定的影响。 让我们教你如何解决这个问题！

爬取总是失败的解决方法！

1、检查robots.txt是否禁止抓取

首先我们要查看robots.txt中是否有禁止声明百度后台，教大家一个简单的方法。 首先需要删除根目录下的robots.txt，然后进行爬虫诊断。 如果爬取成功，则证明是robots.txt的问题。 您需要更正此文件。 如果仍然爬取失败，请继续阅读。

2.更换DNS解析（一般有效时间为24小时）

因为一般爬取失败是DNS无法解析IP的问题，需要切换自己域名解析的DNS。 建议改用阿里云解析的DNS。 见效时间比较快。 切换后最好等待24小时，全国生效后，正常情况下抓取诊断即可解决此问题。

3、网是否打不开，服务器不稳定，防火墙被蜘蛛拦截

第三点是我们网本身的问题。 有时会出现卡顿，导致蜘蛛爬行不成功。 可以自己手动测网速度，等稳定性比较好，可以确认网可以打开的时候，再测试蜘蛛的爬行。 拿来来说，一般这种情况下，虚拟主机的问题比较多。

另外有些服务器有硬防御，会自动屏蔽某些IP的抓取，或者你安装的防护软件会自动屏蔽IP的抓取，因为防护系统会认为这些IP在攻击你的网。 可以发工单要求技术方不要关闭你的防火墙，也可以关闭自己的防御软件，测试后就OK了。

4.百度不正常，查看日志看是否有蜘蛛进来爬取

如果以上方法都试过了，还是爬取失败，不排除是百度本身的问题。 可以查看日志，看看是否每天都有蜘蛛过来。 如果有百度后台，而且很规律很正常，可以忽略百度后台蜘蛛爬了。

好了，今天就分享到这里给大家。 您应该明白，百度后台的蜘蛛爬行并不代表实际的蜘蛛爬行。 您可以自行分析网爬虫日志。 当你发现没有蜘蛛时，只是百度后台爬取失败的情况，这时候就是你的网或者服务器的问题了。 如果你已经尝试过我上面提到的所有问题，如果还是不行，你可以考虑让空间提供者给你更换。 一个IP，或者换个服务器试试。 通常这可以解决。

限 时 特 惠： 本每日持续更新海量各大内部创业教程，一年会员只需98元，全资源免费下载 
优惠码（不再需要）： xnbaoku