ENABLE YOUR BRAND
TO BURST INTO EXCELLENCE
中高端网站定制开发服务商
400-0393-521 17703937798
enable your brand
to burst into excellence
中高端网站定制开发服务商
400-0393-521 17703937798
时间:2021-08-30
网站长时间使用robots禁止所有蜘蛛抓取,但还是被百度收录了,快照显示,网站标题下方,提示由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述 ,robots.txt已经更换为允许蜘蛛抓取,,现在已经在百度资源平台申诉,反馈,(百度资源平台robots检测并更新,无法使用)这种情况,网站抓取诊断,抓取成功,该怎么处理?
1、一般不建议网站上线整站Robots,因为后期这个快照更新是个漫长的过程;
2、你已调整好了,抓取也无异常,正常做好提交推送URL给百度站长,首页收录这块,后期百度会自己更新;
3、首页抓取诊断无异常,能抓取,这个快照提示这个不影响的,等待首页再次更新即可。
ps:整站robots封禁这个操作不建议采用,快照提升被封禁这个是漫长的存在周期,会处理的,但是周期漫长