ネットワークに関する疑問・質問 Part32at HACK
ネットワークに関する疑問・質問 Part32 - 暇つぶし2ch795:にゃん太郎
17/09/20 21:36:44.87 ZDEHa9v2.net
初心者で恐縮ですが、質問させてください。

さくらのクラウドで、一台のサーバに複数IPを割り当てたのですが、ここから複数IPでクローリングするにはどうしたら良いでしょうか?

#ちなみに、複数IPでクローリングしたいのは、TwitterのAPI制限(1分に1回とか)を少し緩和してデータを取得したいからです。5つくらいのIPなので、Twitterへの負荷は大きくないと思います。

今思いつく方法としては、更に仮想ホスト化して、1台のマシンを複数のマシンとして扱って、それぞれでクロールのプログラムを走らせることです。
ただ、やりたいのはTwitterのフォローネットワークを辿っていくことで、複数のマシンでプログラムを走らせると、取得するユーザがかなり被ってくると思われるので、別の方法があればそうしたいです(上手く分散処理してやればいいのでしょうが)。
例えば、走らせるのは一つのプログラムなんだけど、クローリングするときに、プールしてあるIPを毎回変えながらデータを取得するとかできないのでしょうか。

詳しい方、いらっしゃいましたら、お知恵を拝借願います。宜しくお願い致します。


次ページ
続きを表示
1を表示
最新レス表示
レスジャンプ
類似スレ一覧
スレッドの検索
話題のニュース
おまかせリスト
オプション
しおりを挟む
スレッドに書込
スレッドの一覧
暇つぶし2ch