14/07/21 01:12:17.48
昔排除しようとしてたクローラはあくまでお行儀の悪いやつでしょう
インターバルも置かずにアクセスしてきて DoS になるようなもの
その上で黒山羊＝クローラ用の dat キャッシュも用意していた
つまりお行儀さえよければ別に排除するつもりはなかった
今は転載禁止というポリシーに反するものも排除しようと躍起になっている
14/07/21 01:12:17.48
昔排除しようとしてたクローラはあくまでお行儀の悪いやつでしょう
インターバルも置かずにアクセスしてきて DoS になるようなもの
その上で黒山羊＝クローラ用の dat キャッシュも用意していた
つまりお行儀さえよければ別に排除するつもりはなかった
今は転載禁止というポリシーに反するものも排除しようと躍起になっている