Asay的电子商务全网整合营销的博客

禁止搜索引擎抓取网站内容

     以下是禁止搜索引擎抓取网站内容的方法,此文章与如何加快百度收录是完全对立的相篇文章,一个是想尽办法抓取,一个是想尽办法排斥,两个很有意思的极端。

       每个搜索引擎蜘蛛的名字都不一样,以下例举最常用的搜索引擎蜘蛛名称:

Google的蜘蛛: Googlebot
百度的蜘蛛:baiduspider
Yahoo的蜘蛛:Yahoo Slurp
MSN的蜘蛛:Msnbot
Altavista的蜘蛛:Scooter
Lycos的蜘蛛: Lycos_Spider_(T-Rex)
Alltheweb的蜘蛛: FAST-WebCrawler/
INKTOMI的蜘蛛: Slurp


1、新建一个TXT格式的记事本,文件名改为robots.txt,在文件里在写上,: 
        User-agent: Baiduspider 
        Disallow: / 
        就是不让百度爬取,
         User-agent: googlebot 
        Disallow: / 
        这样是不让GOOGLE抓紧。

2、在网站首页代码<head>与</head>之间,加入<meta name="Baiduspider"(自己在以上选择相对应的搜索引擎蜘蛛名称) content="noarchive">即可禁止搜索引擎抓取网站并显示网页快照。 

3、联系搜索引擎管理人员,用网站联系人信箱发电邮,如实说明删除网页快照的情况,经百度核实后,网页停止收录抓取。

   禁止搜索引擎抓取网站内容的方法还很多,成都SEO-ASAY使用过的只有这些,更方方法可以互相交流一下。

 

标签:百度GOOGLE
分类:SEO技巧| 发布:网站运营顾问| 查看: | 发表时间:2010-5-10
原创文章如转载,请注明转载自:Asay博客 http://www.seoasay.com/
本文链接:http://www.seoasay.com/39.html

相关文章

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。