11/04/14 00:21:47.57 YtR+W0Su
PHPで作った掲示板サイト運営しているのですが、削除パスワードなど記録されている
datファイルとtxtファイルがgoogleに、クロールされては困っています。
robots.txtに↓を書いてサーバー直下にアップロードすれば検索エンジンのクロールを
ﾌﾞﾛｯｸできるでしょうか？
User-agent: *
Disallow: *.dat$
Disallow: *.txt$
11/04/14 00:21:47.57 YtR+W0Su
PHPで作った掲示板サイト運営しているのですが、削除パスワードなど記録されている
datファイルとtxtファイルがgoogleに、クロールされては困っています。
robots.txtに↓を書いてサーバー直下にアップロードすれば検索エンジンのクロールを
ﾌﾞﾛｯｸできるでしょうか？
User-agent: *
Disallow: *.dat$
Disallow: *.txt$