19/05/09 00:18:25.32 zHXNWfjV.net
>>151
のサイトに、内容が良くまとまっている！
そのサイトが、API, RSS Feed を公開しているなら、それを使う
スクレイピングは、Ruby, Nokogiri で出来る
5ch のように、空のHTML を送ってきた後、
サーバーから、JavaScript(JS) で動的に内容を取得している場合は、
Selenium WebDriver を使って、JS を動かしてから、内容を取得する。
つまり、人間が操作するのと同じように、ブラウザを自動操作する
JSが動く前では、取得したい要素が、まだ存在していないから
ただし、頻繁にスクレイピングするのは、
営業妨害とかアクセス禁止にされて、逮捕されるかも！