08/07/09 14:54:53 RLTniHWJ0
232 名前：名無しさん＠全板トナメ参戦中[] 投稿日：2008/06/30(月) 01:46:05 ID:GChPf3990
【コピペ推奨】
■■■■■■■■■■ 毎日新聞（MDN）が、ついにロボット型検索エンジンのクロールを完全に拒絶！ ■■■■■■■■■■
GoogleやYahooで記事を検索してもらっては困るとは、いったい、どういう報道機関なのか？
毎日新聞（MDN）の紙面は、検索されると困る記事だらけと自ら白状したのも同然。そう受け止められて当然だろう。
まず、このURLにアクセス
↓
URLﾘﾝｸ(mdn.mainichi.jp)
すると、このような文字列が出る。
↓
User-agent: *
Disallow: /
これは、ルートディレクトリ以下の全てのページについてロボット型検索エンジンのクロールを禁止するという意味。
当然、Mainichi Daily Newsの記事は一切検索できなくなる。
このような設定に変更したのは2008年6月27日14時58分32秒(GMT)と見られる。
従来の設定→ URLﾘﾝｸ(nagamochi.info)
現在の設定→ URLﾘﾝｸ(nagamochi.info)