08/06/28 06:42:06 +k27mcFI0
【コピペ推奨】
■■■■■■■■■■ 毎日新聞が、ついにロボット検索のクロールを完全に拒絶！ ■■■■■■■■■■
ＧｏｏｇｌｅやYahooで記事を検索してもらっては困るとは、いったい、どういう報道機関なのか？
まず、このURLにアクセス
↓
URLﾘﾝｸ(mdn.mainichi.jp)
すると、このような文字列が出る。
↓
User-agent: *
Disallow: /
これは、ルートディレクトリ以下の全てのページについてロボット検索のクロールを禁止するという意味。
当然、Mainichi Daily Newsの記事は一切検索できなくなる。
このような設定に変更したのは2008年6月27日14時58分32秒(GMT)と見られる。
従来の設定→ URLﾘﾝｸ(nagamochi.info)
現在の設定→ URLﾘﾝｸ(nagamochi.info)