08/06/26 01:30:02 HLvpa7Xy0
770 名前：名無しさん＠全板トナメ参戦中[] 投稿日：2008/06/26(木) 01:05:14 ID:GGa+C9Y90
ちょっとおもしろいもの発見したよ
Mainichi Daily Newsのサイトがクローラーをどういうふうに制御しているのかと思って
robots.txtを見てみたｗ
まず、このURLにアクセス
↓
URLﾘﾝｸ(mdn.mainichi.jp)
そうすると、こういう文字列が出る
↓
User-agent: ia_archiver
Disallow: /culture
ia_archiverというのはInternet Archiveのクローラー。Disallowは文字通り、「許可しない」という意味。
要するに、「犯行」が行われていた URLﾘﾝｸ(mdn.mainichi.jp)のディレクトリ以下の
アーカイブを参照不能にしたいんだねｗ