08/06/05 21:02:39
robots.txtで、ある時間帯はクロールさせない設定を出来ますか？
毎日、サーバのリブートを行っている為、その時間だけクロール
されたくないのです。
08/06/05 21:02:39
robots.txtで、ある時間帯はクロールさせない設定を出来ますか？
毎日、サーバのリブートを行っている為、その時間だけクロール
されたくないのです。
08/06/05 21:02:39
robots.txtで、ある時間帯はクロールさせない設定を出来ますか？
毎日、サーバのリブートを行っている為、その時間だけクロール
されたくないのです。