07/03/24 11:52:33
>>398
そう言うキチガイじみたクロールをするのは、中国の百度か韓国のnaver
どっちもrobot.txtを読まなかったり、読んでも無視したり、アホみたいな高頻度でアクセスしまくったりする糞クローラー
可能ならば、IPやUAで弾くのが吉
（ただし、naverはUA偽装をするので、よっぽどウザかったら韓国のIPを丸ごと弾くって所までやっちまっても良い）
07/03/24 11:52:33
>>398
そう言うキチガイじみたクロールをするのは、中国の百度か韓国のnaver
どっちもrobot.txtを読まなかったり、読んでも無視したり、アホみたいな高頻度でアクセスしまくったりする糞クローラー
可能ならば、IPやUAで弾くのが吉
（ただし、naverはUA偽装をするので、よっぽどウザかったら韓国のIPを丸ごと弾くって所までやっちまっても良い）