SEO/SEM/GEO優化_多語種建站_短視頻矩陣營銷_西安本地實戰營銷專家

1、百度蜘蛛:BaiduSpider
常見的Baiduspider和Baiduspider-image(抓取圖片)
百度公司還有其它幾個蜘蛛:Baiduspider-video(抓取視頻)、Baiduspider-news(抓取新聞)、Baiduspider-mobile(抓取wap),都不常見
百度蜘蛛爬蟲UA:
PC端:Mozilla/5.0(compatible;Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)
移動端:Mozilla/5.0(iPhone;CPUiPhoneOS9_1likeMacOSX)AppleWebKit/601.1.46(KHTML,likeGecko)Version/9.0Mobile/13B143Safari/601.1(compatible;Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)
圖片:“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”
2、谷歌蜘蛛:Googlebot
有人說谷歌蜘蛛是GoogleBot,官方谷歌蜘蛛最新名稱為Googlebot,還發現了Googlebot-Mobile,看名字是應該是抓取wap內容的
谷歌蜘蛛爬蟲UA:
“Mozilla/5.0(compatible;Googlebot/2.1;+http://www.google.com/bot.html)”
圖片:“Googlebot-Image/1.0”
3、360蜘蛛:360Spider
它是一個十分“勤奮抓爬”的蜘蛛
360蜘蛛爬蟲UA:
Mozilla/5.0(compatible;MSIE9.0;WindowsNT6.1;Trident/5.0);
4、搜狗蜘蛛:SogouNewsSpider
搜狗公司還有其它幾個蜘蛛:Sogouwebspider、Sogouinstspider、Sogouspider2、Sogoublog、SogouOrionspider,冬鏡在日志中只發現了常見的SogouNewsSpider。(參考大神百度的robots文件,搜狗蜘蛛名稱可以用Sogou概括,但有沒有用就不知道了.)
搜狗蜘蛛爬蟲UA:
“Sogouwebspider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”
5、必應蜘蛛:bingbot
必應蜘蛛爬蟲UA:
“Mozilla/5.0(compatible;bingbot/2.0;+http://www.bing.com/bingbot.htm)”
6、SOSO蜘蛛:Sosospider
騰訊已玩死,交給搜狗公司了
soso蜘蛛爬蟲UA:
“Sosospider+(+http://help.soso.com/webspider.htm)”
7、雅虎蜘蛛:Yahoo!SlurpChina(雅虎中國)或Yahoo!Slurp(雅虎英文)
雅虎蜘蛛爬蟲UA:
雅虎中國:“Mozilla/5.0(compatible;Yahoo!SlurpChina;http://misc.yahoo.com.cn/help.html)”
雅虎英文:“Mozilla/5.0(compatible;Yahoo!Slurp;http://help.yahoo.com/help/us/ysearch/slurp)”
8、MSN蜘蛛:msnbot,msnbot-media
重慶SEO好像只見到msnbot-media在狂爬……
MSN蜘蛛爬蟲UA:
*msnbot/1.0(+http://search.msn.com/msnbot.htm”)
其它還有一搜蜘蛛:YisouSpider、Alexa蜘蛛:ia_archiver、宜搜蜘蛛:EasouSpider、即刻蜘蛛:JikeSpider,以及還有YandexBot、AhrefsBot和ezooms.bot等這些蜘蛛,據說這幾個國外的蜘蛛都不咋好

來源:閆寶龍博客(微信/QQ號:18097696),轉載請保留出處和鏈接!
版權聲明1,本站轉載作品(包括論壇內容)出于傳遞更多信息之目的,不承擔任何法律責任,如有侵權請聯系管理員刪除。2,本站原創作品轉載須注明“稿件來源”否則禁止轉載!