3、  常见搜索引擎机器人Robots名字


名称搜索引擎

Baiduspiderhttp://www.baidu.com 

Scooter  http://www.altavista.com 

ia_archiver http://www.alexa.com 

Googlebot  http://www.google.com 

FAST-WebCrawler http://www.alltheweb.com 

Slurphttp://www.inktomi.com 

MSNBOThttp://search.msn.com 


4、 robots.txt举例

下面是一些著名站点的robots.txt：

http://www.cnn.com/robots.txt

http://www.google.com/robots.txt

http://www.ibm.com/robots.txt

http://www.sun.com/robots.txt 

http://www.eachnet.com/robots.txt