08/04/28 18:13:41
どうもこうも…
先週何度も全ページクロール来た
全部htaccessで弾いてるけど403ログの羅列うぜぇ
robot.txｔは読ませてるはずなんだが
一度何ページか拾われたせいで
いつまでたっても数ページは拾われたままだわ
キャッシュ消えないわ…いつになったら消えるんだろう
08/04/28 18:13:41
どうもこうも…
先週何度も全ページクロール来た
全部htaccessで弾いてるけど403ログの羅列うぜぇ
robot.txｔは読ませてるはずなんだが
一度何ページか拾われたせいで
いつまでたっても数ページは拾われたままだわ
キャッシュ消えないわ…いつになったら消えるんだろう