搜索引擎用来爬行和访问页面的程序被称为蜘蛛(spider),也叫机器人(bot)。搜索引擎蜘蛛访问网站页面时类似于普通用户使用浏览器,蜘蛛程序发出页面访问请求后,服务器返回HTML代码,蜘蛛程序把收到的代码存入原始页面数据库,搜索引擎为了提高爬行和抓取的速度,都使用多个蜘蛛分布爬行。 每次我们使用搜索引擎时,蜘蛛程序便会用其索引中的信息来查找和排名结果。
1、BaiduSpider(百度蜘蛛)
常见的百度蜘蛛有:Baiduspider 和 Baiduspider-image(抓取图片)。国内网站大多数流量均来自百度
百度还有其它几个蜘蛛:
Baiduspider-video(抓取视频)
Baiduspider-news(抓取新闻)
Baiduspider-mobile(抓取wap)
百度蜘蛛介绍:http://www.baidu.com/search/spider.html
2、Googlebot(谷歌蜘蛛)
常见的谷歌蜘蛛有:Googlebot;还一个 Googlebot-Mobile ,不是很常见,看名字是应该是抓取 wap 页面的。世界第一大搜索引擎
谷歌蜘蛛链接:http://www.google.com/bot.html
3、360Spider(360蜘蛛)
一个十分“勤奋抓爬”的蜘蛛。
360蜘蛛IP:https://www.so.com/help/spider_ip.html
4、Sogou web spider(搜狗蜘蛛)
搜狗公司还有其它几个蜘蛛:Sogou News Spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider,常见的Sogou web spider。
参考百度的robots文件,搜狗蜘蛛名称可以用 Sogou 概括
搜狗蜘蛛爬虫:http://www.sogou.com/docs/help/webmasters.htm
5、Bingbot(必应蜘蛛)
必应是微软的搜索引擎,微软的IE浏览器和Edge浏览器会默认使用该搜索引擎,且占有率也还可以
必应蜘蛛爬虫:http://www.bing.com/bingbot.htm
6、Sosospider(SOSO蜘蛛)
腾讯已玩死,当前交给搜狗公司。
soso蜘蛛爬虫:http://help.soso.com/webspider.htm
7、Yahoo! Slurp China(雅虎中国)或 Yahoo! Slurp(雅虎英文)
雅虎蜘蛛爬虫:
雅虎中国:http://misc.yahoo.com.cn/help.html
雅虎英文:http://help.yahoo.com/help/us/ysearch/slurp
8、MSNBot,MSNot-media(MSN蜘蛛)
MSNBOT应该是 bing 搜索的蜘蛛,MSN和bin 一家的,可以只保留 Bingbot。
MSN蜘蛛爬虫:http://search.msn.com/msnbot.htm
9、YisouSpider(一搜蜘蛛/神马搜索)
神马搜索是UC和阿里2013年已经成立合资公司推出的移动搜索引擎。
该蜘蛛抓取频率还是很高的
10、YoudaoBot(有道蜘蛛):网易有道的蜘蛛
11、JikeSpider(即刻蜘蛛):“即刻搜索”是由人民搜索网络股份公司于2011年6月20日推出的通用搜索引擎平台
12、jike即刻蜘蛛:http://shoulu.jike.com/spider.html
13、EasouSpider(宜搜蜘蛛):宜搜是主要针对手机端的搜索引擎
14、YYSpider:据说是个人写的蜘蛛程序,指向的是 http://www.yunyun.com/spider.html,yunyun.com 目前不能访问,建议屏蔽之。
15、ToutiaoSpider(头条号):今日头条的头条号蜘蛛
来源:http //web toutiao com/media_cooperation
16、MJ12bot: 英国的一个搜索引擎,官方解释为:成千上万的企业使用13种语言和60多个国家来绘制互联网地图,独立于基于消费者的搜索引擎。
来源:http://mj12bot.com/
17、YandexBot:国外的一个网站分析平台
详细介绍:https://webmaster.yandex.com
来源:http://yandex.com/bots
18、Rogerbot:Moz 网站的机器人。与 Moz 的官方机器人 DotBot 不同,Rogerbot 似乎不再是一个合法的机器人。
19、DotBot:嗯,看到这你应该懂了。
来源:http://www.opensiteexplorer.org/dotbot
20、exabot:Exalead或Dassault Systemes网站的机器人。
21、ia_archiver(Alexa蜘蛛):Alexa 的网站和网站审计爬虫。
22、Teoma:是美国 Ask Jeeves 搜索引擎的蜘蛛,在美国占 5% 的搜索份额。
23、gigabot:搜索到的是一个 3D 打印公司
24、DOCOMO Sprider:日本 NTT DoCoMo 旗下的搜索引擎蜘蛛
25、AhrefsBot:国外的一个网站监控工具
来源:http://ahrefs.com/robot/
26、SemrushBot:网站分析工具。
来源:http://www.semrush.com/bot.html文章来源:https://www.toymoban.com/news/detail-860096.html
文章来源地址https://www.toymoban.com/news/detail-860096.html
到了这里,关于统计鸟网站统计搜索引擎蜘蛛名称及释义的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!