08/06/07 08:17:10 uSsLpgQk0
Firefoxって/robots.txtに頻繁にアクセスする不具合あります？
webサーバ公開しているんだけど
Firefoxユーザが1秒間に10回近く/robots.txtにアクセスしてる。
一人じゃなくて何人だからFirefoxの不具合じゃないかなと思ってます。
"GET /robots.txt HTTP/1.1" 404 185
Mozilla/5.0 (Windows; U; Windows NT 6.0; ja; rv:1.8.1.14) Gecko/20080404 Firefox/2.0.0.14