15212260052 周一~周六, 8:30 - 18:00
527352997@qq.com 随时欢迎您前来咨询!
留学生园D座1楼 芜湖市经济技术开发区科创中心

新闻资讯

15212260052
您的当前位置:首页 > 技术支持 > 详细内容

百度蜘蛛封禁怎么解除

来源:www.whudows.com 发表时间:2022-06-10

  百度蜘蛛封禁怎么解除

  近期很多seo人员发现自己的网站内容很优质,但无法查询到百度蜘蛛的抓取记录,这个可能是因为部分网站被蜘蛛封禁了,百度无法正常抓取,也就没办法正常展现了,对于网站优化排名影响非常的大,具体怎么解除蜘蛛封禁?我们来详细的了解一下。

  常见的封禁行为包括robots封禁.百度UA.百度IP等。

  网站和智能小程序是否存在禁止百度蜘蛛的情况,如何验证?快来自我检查一下~。

  一.robots.txt文件的自查。

  首先,开发人员首先检查robots.txt文件是否存在禁止记录。一般情况下,robots.txt文件放在网站根目录下面~。

  如有robots封禁的情况,请开发人员及时修改或删除robots.txt文件。

  二.百度UA自查是否封禁。

  若开发人员自查robots.txt文件无异常,则可进一步排查百度UA是否存在封禁。

  1自查执行代码。

  执行以下命令进行排查:

  curl--head--user-agent'Mozilla/5.0 (compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)'--request GET 'xxxxxxx'

  xxxxxxx为网站域名,如:http://www.whudows.com

  注意:如果站点正常,百度UA没有被封禁,则其返回码为200,如果其它返回码出现异常。

  2UA验证变更浏览器。

  判断网站是否存在禁止百度UA的情况,通过观察网站资源是否在其他浏览器中获得正常的抓取和收录。

  【推荐方案】查看网站反爬虫策略,做策略调整,解除百度UA封禁;或为百度UA增加策略白名单。

  三.IP封禁是否存在自查。

  网站管理员可以排查是否存在IP封禁,如果上述验证均无异常。

  普通IP封禁,源于网站防火墙系统配置,需要查看防火墙配置系统后台,查看是否有百度蜘蛛IP级封禁措施。

  查看网站反爬虫策略,进行策略调整,解除百度IP封禁。

  

相关新闻
相关产品

微分销

小程序如何快速注册?

小程序审核通过后,在微信小程序中无法搜索到?

小程序和公众号、app的区别?

小程序的入口在哪里需要下载吗?