« 「広島・昭和20年8月6日」を見た | メイン | ヤフーから「貴サイト登録のお知らせ」というメールが来た »

2005年09月04日

robots.txtでCrawl-Delayを設定した

リモートホストがinktomisearch.comの
ヤフーのロボットのアクセスがすごくて
1日に2000アクセス、全体の転送量の20%とかになってたんだけど
robots.txtでDisallowしちゃうと、よくわからないが
検索順位も下がっちゃうみたいなので
巡回はして欲しいけど、もうちょっと抑えて欲しいと思ってたところ
そういう設定ができるらしい。

robots.txtの中でCrawl-Delay: 秒数とすると
その秒数以上の間隔を空けてくれると。
参考URL
さっそくやってみた。
User-Agent: Slurp
Crawl-Delay: 600

600秒に1回だと1日に144回?ほどのアクセスになるが
ヤフーのロボットは1つではなく、微妙にリモートホストが違うものが
いくつもあるせいか、実際には600程度のアクセスがあった。
転送量は全体の4%ほど。とりあえず目的は達成された。
もうちょっと様子見てみよう。

2005年09月04日 12:14

トラックバック

このエントリーのトラックバックURL:http://2ch-library.com/mt/mt-tb.cgi/651
こちらへのリンクがなければトラックバックできません

コメント