08/07/09 17:14:54 a8qv4WK30
874 ：名無しさん＠九周年：2008/07/09(水) 03:10:34 ID:WQE390jv0
【撤退】毎日デイリーニュースはインターネットから撤退しました【白旗】
～ 全ての検索エンジンを拒絶して真の引き籠もりに ～
Mainichi Daily News - Japan News URLﾘﾝｸ(mdn.mainichi.jp)
--------------
User-agent: *
Disallow: /
---------------
┌────────────────────┐
【解説】ロボット排除
URLﾘﾝｸ(www.asahi-net.or.jp)
ロボットがサイトを訪問すると、「robots.txt」というファイルを最初にチェックします。
このファイルが存在すれば、その記述に従った行動をします。
このファイルはHTTPサーバの最上階層のディレクトリ（ルート・ディレクトリ）に置く必
要があります。したがって、自分がWebサーバを管理していない場合には、サーバの管理者
にお願いして置いてもらう必要があります。
・全てのロボットがサイト全体を訪問しないようにしたい場合
User-agent: *
Disallow: /
└────────────────────┘