搜索引擎蜘蛛
搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider），也称为机器人（bot）。
蜘蛛访问网站时，会先访问网站的robots.txt文件。当robots.txt文件不允许搜索引擎的蜘蛛抓取某些文件或页面时，蜘蛛将不会抓取这些页面的内容及网址。
常见的蜘蛛有以下几种类型：
1、Baiduspider+（+http://www.baidu.com/search/spider.html）百度蜘蛛名称及咨询地址
网页搜索 Baiduspider
竞价蜘蛛Baiduspider-sfkr
图片搜索 Baiduspider-image
无线搜索 Baiduspider-mobile
移动搜索 baidu+Transcoder
新闻搜索 Baiduspider-news
百度联盟Baiduspider-cpro
视频搜索 Baiduspider-video
百度搜藏 Baiduspider-favo
2、Sogou+web+robot+(+http://www.sogou.com/docs/help/webmasters.htm#07)搜狗蜘蛛名称及咨询地址
3、Mozilla/5.0(compatible;YodaoBot/1.0;http://www.yodao.com/help/webmaster/spider;)有道蜘蛛名称及咨询地址
总结：
站长可以在网站日志文件中看到搜索引擎蜘蛛的爬行时间，对自己网站的综合分析会有帮助。
点击查看：搜索引擎工作原理
转载请注明出处：【重庆SEO】： » 搜索引擎蜘蛛是什么？【常见的搜索引擎蜘蛛介绍】
