08/07/09 03:17:37 UKIFN5u90
゜゚・*:.。..。.:*・゜゚・*:.。. .。.:*・゜゚・**・゜゚・*:.。..。.:*・゜゚・*:.。. .。.:*・゜゚・* **゚。+。*。゚・゚。**゚
【撤退】毎日デイリーニュースはインターネットから撤退しました【白旗】
~ 全ての検索エンジンを拒絶して真の引き籠もりに ~
゜゚・*:.。..。.:*・゜゚・*:.。. .。.:*・゜゚・**・゜゚・*:.。..。.:*・゜゚・*:.。. .。.:*・゜゚・* **゚。+。*。゚・゚。**゚
Mainichi Daily News - Japan News URLリンク(mdn.mainichi.jp)
--------------
User-agent: *
Disallow: /
---------------
┌────────────────────┐
【解説】ロボット排除
URLリンク(www.asahi-net.or.jp)
ロボットがサイトを訪問すると、「robots.txt」というファイルを最初にチェックします。
このファイルが存在すれば、その記述に従った行動をします。
このファイルはHTTPサーバの最上階層のディレクトリ(ルート・ディレクトリ)に置く必
要があります。したがって、自分がWebサーバを管理していない場合には、サーバの管理者
にお願いして置いてもらう必要があります。
・全てのロボットがサイト全体を訪問しないようにしたい場合
User-agent: *
Disallow: /
└────────────────────┘