09/06/27 23:20:56
2chクローラを製作した俺の経験で、今は新規で10万DAT＝おおよそ5ヶ月位。
最近は2ch全体が過疎ってるから、数は右肩下がり。夏冬の休暇期間は微増する。
情報純度の高いDATを優先取得させるようにいろいろ知恵を使った。
・専門板で取得時、スレがたって2日以上経過しているか
（すぐ取得すると、中身のない単発クソスレの可能性が高い）
・動きの速い板で50レス以下はクソスレと識別し、取得除外
・負荷の観点からもDATは条件を満たした場合のみDLする
などなど、パラメータを分析＆追加＆変更してる最中は、けっこう面白かった。
安定後はパラメータを固定し、いまも黙々と動いている。
取得DATは、煮るなり焼くなりo2onに流すなり、ローカルで語句解析するなり。
最近のトレンドは、影響力の大きなサイトの応答が悪いときなどで
たとえば 「Googleが開けないんだけど？」 などの駄スレが、
あらゆるカテゴリの板で一斉に200件ほど建ち、ゲンナリする。