ENABLE YOUR BRAND
TO BURST INTO EXCELLENCE
中高端网站定制开发服务商
400-0393-521 17703937798
enable your brand
to burst into excellence
中高端网站定制开发服务商
400-0393-521 17703937798
时间:2021-08-30
什么是百度蜘蛛:
网页只有被百度蜘蛛爬去到了,网站才有机会被收录,建立索引,放出排名,这是一个连续的过程。所以说百度蜘蛛,是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容,然后分门别类建立索引数据库,使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。
那么如果网页中的所有链接都带有nofollow标签,蜘蛛还会抓取吗?
答案是:不会禁止抓取,只是不传递任何权重。
如果特殊原因,不想让百度抓取你可以试试下面的办法:
种、robots.txt方法
搜索引擎默认的遵守robots.txt协议,创建robots.txt文本文件放至网站根目录下,编辑代码如下:
User-agent:*
Disallow:
第二种、网页代码
在网站首页代码<head>与</head>之间,加入<metaname="robots"content="noarchive">代码,此标记禁止搜索引擎抓取网站并显示网页快照。