浙江联晟网络科技有限公司 需要做网站,找联晟科技,找专业网站建设公司点我!
Hi,are you ready?

准备好开始了吗?
那就与我们取得联系吧

有一个品牌项目想和我们谈谈吗?您可以填写右边的表格,让我们了解您的项目需求,这是一个良好的开始,我们将会尽快与你取得联系。当然也欢迎您给我们写信或是打电话,让我们听到你的声音!

LS.TECHNOLOGY 联晟科技

地 址:杭州市余杭区文一西路1288号海创科技中心3幢7楼:

电 话:0571-86163165

传 真:18868735028

E-mail:407034860@qq.com

填写您的项目信息

关闭

开发者如何解除封禁百度蜘蛛

2020-07-30 15:01  |  主页 > 新闻 > 行业新闻 >

  近期收到一些开发者反馈,为什么网站或智能小程序资源的内容非常优质,但是没有查询到百度蜘蛛抓取记录,或在百度搜索中没有得到收录和展现?
 
  在技术分析后发现,有些网站或智能小程序存在封禁百度蜘蛛的情况,导致百度蜘蛛无法正常抓取,所以无法在百度搜索中正常收录和展现,或在搜索结果中的摘要展现为“存在robots封禁”字样。
 
  为了让广大开发者的网站或小程序,在百度搜索中得到正常的收录和展现,建议开发者及时根据以下内容自查,解除封禁问题,并通过链接提交工具主动提交给我们。
 
  常见的封禁行为包括robots封禁、封禁百度UA、封禁百度IP等。
 
  如何验证网站和智能小程序是否存在封禁百度蜘蛛的情况?
 
  一、首先, 查看robots.txt文件,是否存在封禁记录。(一般robots.txt文件放置在网站根目录下。)
 
  【建议方案】解除robots封禁:robots封禁情况,请检查robots.txt文件,及时修改。
 
  robots文件说明:https://ziyuan.baidu.com/college/articleinfo?id=1516
 
  二、robots文件无异常,进一步排查是否存在封禁百度UA情况;
 
  方案一:执行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'
 
  注:正常返回码是200,其他情况为异常。
 
  xxxxxxx为网站域名,如:http://abc.com.cn。
 
  正确识别和获取百度蜘蛛,https://ziyuan.baidu.com/college/articleinfo?id=2855
 
  方案二:变更浏览器UA验证;
 
  【建议方案】解除百度UA封禁:查看网站反爬虫策略,进行策略调整。或针对百度UA添加策略白名单。
 
  三、以上验证均无异常,最后进一步排查是否存在IP级别的封禁;
 
  常见的IP封禁,源自网站的防火墙系统配置,需要查看防火墙配置系统后台,检查是否存在百度蜘蛛的IP级别封禁措施。
 
  【建议方案】解除百度IP封禁:查看网站反爬虫策略,进行策略调整。(浙江联晟网络科技有限公司转载文章,文章来源:百度站长平台)


 

相关热词搜索:

上一篇
返回列表
下一篇

与我们合作

与联晟合作,您将会得到更成熟的品牌建设服务。我们以客户至上,同时也相互挑战,力求呈现最好的品牌建设成果。

品牌咨询热线:

0571-86163165

电话

短信

地址