訪ねてきたクローラーのメモ

2009/06/03 水曜日 13:34 投稿者 zon

たまにチェックして更新する予定。
※参考 : ロボ避けとアクセス制限のための覚え書き – livedoor Wiki(ウィキ)

Cuil
Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)
38.99.13.117
Details of “Twiceler-0.9 http://www.cuill.com/twiceler/robot.html” user-agent

Yahoo!検索
Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)
72.30.142.233

Mozilla/5.0 (compatible; Y!J SearchMonkey/1.0 (Y!J-AGENT; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html))
211.14.8.240

Live Search
msnbot/2.0b (+http://search.msn.com/msnbot.htm)
65.55.106.193
65.55.106.155
65.55.106.139

Live Search
msnbot/1.1 (+http://search.msn.com/msnbot.htm)
65.55.211.28
65.55.211.29
65.55.211.37
65.55.211.45

Baidu(バイドゥ)
Baiduspider+(+http://www.baidu.jp/spider/)
119.63.194.36

Google
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
66.249.71.129

Googlebot-Image/1.0
66.249.71.129

DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
72.14.199.17

グーグルボット – Wikipedia

네이버 :: 페이지를 찾을 수 없습니다.
Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)
61.247.222.44
61.247.222.45
61.247.222.54
61.247.222.55
61.247.222.56
NAVERヘルプセンター – ウェブロボットサポートセンター

MSR-ISRCCrawler
131.107.65.41

goo_search
210.173.171.39

gooRSSreader3.7 – build20071214
61.123.73.118
59.135.225.242

gooRSSreader3.7 – build20090410
60.239.177.74

ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)
67.202.54.191

MLBot (www.metadatalabs.com/mlbot)
64.17.2.164
ロボット(アメリカ) – ロボ避けとアクセス制限のための覚え書き – livedoor Wiki(ウィキ)

dotbot | DotNetDotCom.org
Mozilla/5.0 (compatible; DotBot/1.1; http://www.dotnetdotcom.org/, crawler@dotnetdotcom.org)
208.115.111.247

Majestic-12 : DSearch : MJ12bot
Mozilla/5.0 (compatible; MJ12bot/v1.2.4; http://www.majestic12.co.uk/bot.php?+)
88.159.74.199

The Sapphire Web Crawler
SapphireWebCrawler/1.0 (Sapphire Web Crawler using Nutch; http://boston.lti.cs.cmu.edu/crawler/; mhoy@cs.cmu.edu)
64.88.164.198

K’s HomePage
WebFetch

Larbin : Parcourir le web, telle est ma passion
larbin_2.6.3 larbin2.6.3@unspecified.mail
61.30.75.63

Nutch: about
nutch.us/Nutch-1.0 (www.nutch.us; crawler@nutch.us)
202.156.12.231

Robot Genius: Home
robotgenius (http://robotgenius.net)
208.96.10.201

トラックバック一覧

この記事にはトラックバックがついていません。

コメント一覧

この記事にはコメントがついていません。

RSS feed for comments on this post.

コメント投稿

Sorry, the comment form is closed at this time.