08/06/26 01:05:14 GGa+C9Y90
ちょっとおもしろいもの発見したよ
Mainichi Daily Newsのサイトがクローラーをどういうふうに制御しているのかと思って
robots.txtを見てみたｗ
まず、このURLにアクセス
↓
URLﾘﾝｸ(mdn.mainichi.jp)
そうすると、こういう文字列が出る
↓
User-agent: ia_archiver
Disallow: /culture
ia_archiverというのはInternet Archiveのクローラー。Disallowは文字通り、「許可しない」という意味。
要するに、「犯行」が行われていた URLﾘﾝｸ(mdn.mainichi.jp)のディレクトリ以下の
アーカイブを参照不能にしたいんだねｗ