17/09/01 06:54:39.17 RTadbuNn.net
curl, wget コマンドで、ダウンロードできる。
特に、wgetでは再帰的なダウンロードができる
wget を、高機能にしたのは、Ruby の、Anemone。
どのページを巡回するかなど、フィルターが充実している。
より高機能なのは、Selenuim か、PhantomJS を使った、Poltergeist
だから、この部分までが、1つのクラス
次のクラスは、XML/HTML の解析部分。
ここでは、Ruby, Groovy, jQuery(JavaScript) など、
各言語を切り替えられるようにしておく
最後に、データの保存では、ファイル、SQLite3, Mongo, MySQL など、
ファイル/DB を切り替えられるように、別のクラスにしておく