ENABLE YOUR BRAND
TO BURST INTO EXCELLENCE
中高端网站定制开发服务商
400-0393-521 17703937798
enable your brand
to burst into excellence
中高端网站定制开发服务商
400-0393-521 17703937798
时间：2021-08-30
网站长时间使用robots禁止所有蜘蛛抓取，但还是被百度收录了，快照显示，网站标题下方，提示由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述 ，robots.txt已经更换为允许蜘蛛抓取，，现在已经在百度资源平台申诉，反馈，（百度资源平台robots检测并更新，无法使用）这种情况，网站抓取诊断，抓取成功，该怎么处理？
1、一般不建议网站上线整站Robots，因为后期这个快照更新是个漫长的过程；
2、你已调整好了，抓取也无异常，正常做好提交推送URL给百度站长，首页收录这块，后期百度会自己更新；
3、首页抓取诊断无异常，能抓取，这个快照提示这个不影响的，等待首页再次更新即可。
ps：整站robots封禁这个操作不建议采用，快照提升被封禁这个是漫长的存在周期，会处理的，但是周期漫长
400-0393-521
河南省濮阳市京开路与中原路帝豪国际7层
