百度后台-百度平台爬取诊断总是显示爬取失败“DNS无法解析IP”

我们建好网,然后通过百度平台爬取诊断总是失败。 为什么? 蜘蛛爬不上我们的网? 其实这对蜘蛛抓取网确实有一定的影响。 让我们教你如何解决这个问题!

爬取总是失败的解决方法!

1、检查robots.txt是否禁止抓取

首先我们要查看robots.txt中是否有禁止声明百度后台,教大家一个简单的方法。 首先需要删除根目录下的robots.txt,然后进行爬虫诊断。 如果爬取成功,则证明是robots.txt的问题。 您需要更正此文件。 如果仍然爬取失败,请继续阅读。

2.更换DNS解析(一般有效时间为24小时)

因为一般爬取失败是DNS无法解析IP的问题,需要切换自己域名解析的DNS。 建议改用阿里云解析的DNS。 见效时间比较快。 切换后最好等待24小时,全国生效后,正常情况下抓取诊断即可解决此问题。

3、网是否打不开,服务器不稳定,防火墙被蜘蛛拦截

第三点是我们网本身的问题。 有时会出现卡顿,导致蜘蛛爬行不成功。 可以自己手动测网速度,等稳定性比较好,可以确认网可以打开的时候,再测试蜘蛛的爬行。 拿来来说,一般这种情况下,虚拟主机的问题比较多。

另外有些服务器有硬防御,会自动屏蔽某些IP的抓取,或者你安装的防护软件会自动屏蔽IP的抓取,因为防护系统会认为这些IP在攻击你的网。 可以发工单要求技术方不要关闭你的防火墙,也可以关闭自己的防御软件,测试后就OK了。

4.百度不正常,查看日志看是否有蜘蛛进来爬取

如果以上方法都试过了,还是爬取失败,不排除是百度本身的问题。 可以查看日志,看看是否每天都有蜘蛛过来。 如果有百度后台,而且很规律很正常,可以忽略百度后台蜘蛛爬了。

好了,今天就分享到这里给大家。 您应该明白,百度后台的蜘蛛爬行并不代表实际的蜘蛛爬行。 您可以自行分析网爬虫日志。 当你发现没有蜘蛛时,只是百度后台爬取失败的情况,这时候就是你的网或者服务器的问题了。 如果你已经尝试过我上面提到的所有问题,如果还是不行,你可以考虑让空间提供者给你更换。 一个IP,或者换个服务器试试。 通常这可以解决。

限 时 特 惠: 本每日持续更新海量各大内部创业教程,一年会员只需98元,全资源免费下载 
优惠码(不再需要): xnbaoku

声明:本站内容转载于网络,版权归原作者所有,仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任,若侵犯到你的版权利益,请联系我们,会尽快给予删除处理!

大鱼项目网 » 百度后台-百度平台爬取诊断总是显示爬取失败“DNS无法解析IP”