搜索引擎蜘蛛是搜索引擎的一个全自动程序流程。它的功能是浏览互联网技术上的网页页面、照片、短视频等內容，创建数据库索引数据库查询，使客户能在搜索引擎中检索到您网址的网页页面、照片、短视频等內容。 一般使用方法为“spider+URL”，后边的URL(网站地址)是搜索引擎的印痕，假如要查询某搜索引擎是不是来抓取过你们的网址，可查询网络服务器的日志里是不是有该URL,与此同时还能查询来的時间、頻率等…
1、百度蜘蛛：可以依据网络服务器的负荷工作能力调整浏览相对密度，大幅度降低网络服务器的服务项目工作压力。依据过去的工作经验百度搜索蜘蛛通常会过多反复地爬取一样的网页页面，造成别的网页页面没法被爬取到而无法被百度收录。这样的事情可以采用robots协议书的办法来调整。
2、Google蜘蛛：Google蜘蛛归属于较为活泼的站点扫描工具，其间距28天差不多就派遣“蜘蛛”查找有升级或有调整的网页页面。与百度搜索蜘蛛较大的不同之处是Google蜘蛛的抓取深层要比百度搜索蜘蛛多一些。
3、yahoo中国蜘蛛：假如某些网址在谷歌网站下沒有有效的百度收录，在yahoo下也不会有不错的网站收录和爬取。yahoo蜘蛛的数目巨大，但均值的高效率并不是很高，相对应的百度搜索品质不高。
4、微软必应蜘蛛：必应与yahoo拥有深层的合作关系，因此基本上运行模式和雅虎蜘蛛类似。
5、搜狗蜘蛛：搜狗蜘蛛的抓取速率非常快，爬取的总数相比速率而言略微少点。较大的特性不是爬取robot.text文档。
6、搜搜蜘蛛：搜搜初期是应用Google的检索技术性，Google有百度收录，搜索毫无疑问也会百度收录。2011年搜索早已公布选用自身的单独检索技术性，但搜索蜘蛛的特点和Google蜘蛛的特性或是拥有类似的地区。
7、有道蜘蛛：和别的搜索引擎蜘蛛一样，但凡高权重网站的连接一般都能将其百度收录。爬取基本原理也是根据连接中间的爬取。
.png)
.png)
