07/03/01 08:20:03
百度ってrobots.txt読むようになったのかな？
robots.txtに百度拒否を書きつつ、
だがどうせrobots.txt読んだ直後でも平気でクロールしていくからIPでも弾いていた。
でも、最近になって百度はIP変えてくることがあって、すり抜けてクロールしていくので
その都度IP追加して、の繰り返ししてた。
ある時、すり抜けてきて一番最初にrobots.txtを読んでた。
その後ぴったりと来なくなった。
お行儀良くなったのかな？
そんなわけないか。偶然かな。