【Berry】画像掲示板巡回ソフトその2【moeBBS他】at SOFTWARE
【Berry】画像掲示板巡回ソフトその2【moeBBS他】 - 暇つぶし2ch83:名無しさん@お腹いっぱい。
06/11/18 08:30:58 oLlH2tKG0
>>82
URLリンク(mmm.xtaro.com)
この手のページがあるので、方法が全くないという訳でもないと思うのだが、
どうやって、リンクを拾っているか不明。

84:名無しさん@お腹いっぱい。
06/11/18 08:47:49 a85zWfp00
>>82
俺が書いた過去ログがあると思う。
janedoe view と お使い でいける。

85:名無しさん@お腹いっぱい。
06/11/18 09:19:26 c9as2Uxm0
前スレにそんなのあったじゃん
次スレまでみつけてダウンロードする奴
なんかの使い勝手が悪くて微妙だった覚えがある
リファラだっけ?URLの変換だっけ?よく覚えてないけど
あれはちょっと頑張って欲しかった

86:名無しさん@お腹いっぱい。
06/11/18 13:53:58 YRZq+0OO0
>>83-85
ありが㌧

前スレを読んでみるよ.

87:名無しさん@お腹いっぱい。
06/11/22 00:45:00 0tDahdeW0
適当に >>82 を作ってみた.


おおざっぱな仕様

0) 「板名+アドレス」「スレッド抽出キーワード」を設定する.(ThreadMatch.txt)

1) 起動しておくと毎朝早朝に 2ch の指定板のスレッド一覧 (Subject.txt) を取得.

2) 抽出キーワードに一致するスレッド dat をダウンロード.

3) 追加されたレスから URL を抽出.
 a) 正規表現による抽出禁止 URL (IgnoreURLs.txt).

4) 抽出した URL をダウンロード
 a) ImageViewURLReplace.dat による URL 変換と referer の添加.
 b) CookieURL.txt による Cookie の取得と添加.
 e) DLcache フォルダに取得 URL の MD5 値でファイル名を生成し,キャッシュファイルとして保存.
 h) すでに正常取得済みのキャッシュファイルがある場合はダウンロードしない.
 i) キャッシュファイル名は URL の MD5 値.+ 情報ファイル(MD5string.Info.Txt).

5) DLcache フォルダにダウンロード後,画像を Board/板名/スレッド名/ のフォルダにコピー.
 a) コピーはハードリンクを使用 (NTFS の機能).(制限:よって FAT32 では動作しません)
 b) コピー後のファイル名はファイル内容の MD5 値.
 c) 禁止ファイル MD5 はコピーしない. (NGFiles.txt)



…残っている致命的なバグを取って,ちょいとテストしたあとでうpする予定….


88:名無しさん@お腹いっぱい。
06/11/22 01:42:38 rLTQAJ4o0
87氏キタ━━━(゚∀゚)━━━ !!!!!

89:名無しさん@お腹いっぱい。
06/11/22 14:11:05 cOUEfyFA0
スレッド名は「?」「/」などフォルダ・ファイル名で使えない文字を使っている物もあるけどそこは大丈夫?

90:87
06/11/23 00:06:44 nNVQGX210
大体できた.

まだ期限切れキャッシュの削除などは実装していないから,長期間使用するとキャッシュで HDD が埋まる.
まあ,これはそのうち実装するとして,とりあえずヘルプ書くのがめんどくさい….

>>89
書き出すときに 2 byte 文字に変換している. 「\/:*?<>"|」 >> 「¥/:*?<>”|」
今のところ上手く動いているので多分大丈夫だろう.

今の内に書いておくといろいろと制限がある.

まず,ユーザインターフェイスはほぼ無い.基本的に text ファイルで設定する.

接続時間は早朝のみ. 4 ~ 8 時まで.この時間帯の転送量が低い (ピークの 1/3 ほど) のでこれを利用する.
URLリンク(sabo2.kakiko.com)

次に時間を確認するために,起動時と取得時に NTP サーバーに繋ぐ.ntp.jst.mfeed.ad.jp

あとは,起動してから 3 時間ごとに板をチェックする.起動してから 3 時間経たないと初回の取得がないので注意.

使い方の想定としては,寝る前 AM 1 時頃に起動. 3 時間後の AM 4 時頃に取得.次は,AM 7 時頃に 2 回目の取得.
そのまま起動しておくと,次の日の AM 4 時に再度取得するといった感じだ.


簡単な使い方を ReadMe に書いたら うp する.


91:名無しさん@お腹いっぱい。
06/11/23 00:15:20 NCIM1Le40
俺としては妥当な制限だと思うけど、規制に文句言い出す厨も出てくるだろうと予測。
され、俺の予測通りに踊ってくれる子は何人居るかな?


92:87
06/11/23 02:04:56 /5tCq1v50

>>91
はじめだから制限を厳しくしてますが,問題なさそうなら緩めます.


ReadMe に書いてないことがまだあるけど,とりあえず うp した.

URLリンク(kasamatusan.sakura.ne.jp)

今 2 時頃だから,すぐに起動すると 5 時頃に取得するはず….

あと,起動時に SNTP に繋がらないと,エラーメッセージが出てすぐ終了します.
何も出なければ SNTP は問題ないです.SendPort: 123,

ThreadMatch.txt にはサンプルが書いてあるんで,起動後でもいいので適当に変更してください.
他の設定ファイルには俺の使っている default を入れておいたのでそんなに変更する必要は無いはず.


思い出した仕様は後で適当に書きます.とりあえず…

・タイトルバーダブルクリックで ウィンドウシェード.

93:87
06/11/23 07:01:52 gmIxyb1/0
ThreadMatch.txt のサンプル間違ってた….仕様の制限に引掛った.
正しいやつ↓

デジカメ[TAB]URLリンク(hobby7.2ch.net)
猫撮り専科

([TAB] は各自置換して下さい)


・思い出した仕様

$ThreadMatchKey は 4 byte 以上必要.
$ThreadMatchKey と抽出スレッド数は最大 30 個/板 まで.(もっと必要?)
dat から抽出する URL は投稿日 7 日前までのレスから.
画像の同時ダウンロード数は 5 スレッド.同じサーバーは 1 スレッドのみ.
タイトルバーに ".zZ" と表示されている場合は取得時間外.取得時間内では次回取得開始までの秒数が表示される.
同じ URL の Cookie は 1 時間以内なら再利用.



94:名無しさん@お腹いっぱい。
06/11/23 07:57:58 fpIvcDpk0
で、だれか動作試したの?
今知ったから試せないけど
ダウンロード出来なかったファイルについて仕様が書いてないから
ダウンロード出来なかったファイルの一覧を
テキストでログとっておいてくれると便利だなと思った

95:名無しさん@お腹いっぱい。
06/11/23 22:03:00 vkEqBtuz0
今から、

写真撮影(仮)URLリンク(hobby8.2ch.net)
撮影

で、動作試してみる。


96:名無しさん@お腹いっぱい。
06/11/23 22:34:28 6k86Z0Ef0
・思い出した仕様

 DownloadQue のタイトルバーにはダウンロードが開始されると,
 Now/Max Thread, ObjectSize, Finished/Started, Failed/Total が表示される.
(現在/最大スレッド数, 残りのアイテム数, 終了/開始スレッド数, 失敗終了/終了全体数)

 JaneView の vch キャッシュがあればそれを使用するので, ini ファイルにキャッシュフォルダの
パスを指定しておいて下さい.すぐに対応するけど, Nida, Style は RESCODE が無いので今のところダメ.
 あと,念のため書いておくと Win9x 系では動作しません.

>>94
さすがに試したやつはまだいないだろう….今夜から週末にかけてでも またーり とテストしてみてくれ.
それと,ダウンロードが失敗した場合は $LocalFolder\__FailedLog.txt に書き出される.一応 ReadMe に書いてあるぜよ.
$が先頭に付くのはメタ文字なので適当に脳内変換してくれ.

- __FailedLog.txt
Date: $DownloadTryDate
$URL[TAB]$BoardName[TAB]$ThreadName[TAB]$ResNum[TAB] HexString( FILETIME($SubmitDate) )
$GetURL << Dest
$Referer << Ref
$LocalFilePath
StatusCode: $StatusCode $StatusString
HTTPCode: $HTTPcode $HTTPString
[空改行]
...
..
.
[EOF]

1) $LocalFolder\ フォルダ内に Download が失敗した画像 URL の情報として自動的に作成されます.
2) ユーザーが管理する必要はありません.


97:95
06/11/24 00:30:33 5otqPzuj0
>>94
接続時間は04 ~08時みたい
1日二度、04:00と07:00だけみたい。
PCの時間弄くって試してみたけど、
時間を弄ぐったお陰で別口で駐在している物に不具合出でたので
今日試してみる。


98:名無しさん@お腹いっぱい。
06/11/24 02:45:38 wZ0heKm70
>>97
NTPサーバーに時刻確認するのでPCの時刻を弄っても無意味。

99:名無しさん@お腹いっぱい。
06/11/25 06:44:57 UGrxgZ/S0
あーまた試すの忘れた
朝になって2chチェックすると思い出すのなw

100:名無しさん@お腹いっぱい。
06/11/30 05:04:08 Dr/h/Shd0
ふたば関係の画像だけが全然落ちてこない。
他はすんなり落ちてくるのに。


101:名無しさん@お腹いっぱい。
06/11/30 06:16:14 bzZlykXB0
ふたばは板ごとに微妙に違うぞ
moeBBSなら
・画像へのリンクにリダイレクトを間にはさむスレがある
・「返信」を経由しないと全レスを取得できないスレがある
・カタログがある板ならそこから開始した方が早かったりする
を考慮してcfgを書くこと
Berryはシラネ

102:100
06/11/30 19:28:09 Dr/h/Shd0
あ、berryスレじゃなかったのか。
berry使いはじめて使い勝手はいいんだが、なぜかふたばでだけは失敗するんだよな。
最初のhtmlゲットからして0/0って意味不明な表示出てるし。
何も落としてないのにダウンロードできるファイルがゼロ個なんてありえねぇだろ。
Berryに登録してあるURLからブラウザ開けばすんなりたどり着くのにおかしい。
しかしBerryの人気サイトトップにあるってことは普通に使えてる人間がいるってことだよなぁ。

103:名無しさん@お腹いっぱい。
06/11/30 19:52:38 kVAS0lqL0
>あ、berryスレじゃなかったのか。
一行目が意味不明だが
スレタイ見ればBerry(&その他の)スレであることは明白なんだが

フタバのどこだ?と聞いてるのに追加情報出さないから、ホットこか

104:名無しさん@お腹いっぱい。
06/11/30 22:33:15 Dr/h/Shd0
すみません。
双葉の二次元と二次元裏(両方)、二次壁紙ッス。

105:名無しさん@お腹いっぱい。
06/12/01 00:42:08 hdEzbXIL0
そこら辺は前スレでも、Berryでやるにはかなり難しいということになってたんじゃ
仮にBerryでやるにしても単独ではなくproxomitronの力が必要だったはず
Berry+proxomitronでやるくらいならmoeBBSでやったほうが・・・・

と思って他のやつでやったら、ここ普通の画像掲示用DLソフト>>2のやつImageGeterで普通に落ちて来るな
URLリンク(www.uploda.org) pass:moe
スキルの無い者はBerryがダメなやつは諦めて、別ソフトを使うのが簡単
PCでソフトを起動させるときポチっとボタン一回押すだけの手間かどうかのために
ふたばの研究したりするのは興味ないのでこの件はパス

>>103の選択は
1)moeBBSに挑戦する
2)Berry+proxomitronに挑戦する
3)別ソフトで落とす
4)他の情報提供者が出てくるのを待つ



106:名無しさん@お腹いっぱい。
06/12/01 00:44:18 hdEzbXIL0
×>>103  ○>>104

107:名無しさん@お腹いっぱい。
06/12/02 03:20:43 pNqF0/7d0
>>104
ログを読むべし、全てはそれから。

108:名無しさん@お腹いっぱい。
06/12/02 07:17:44 9aX5AieK0
とりあえず87氏の、92とかの新作物の使用感はどうなの?
使ってる人いる?
グロとかいっぱいたまった?wwwww
暇なときにまた誰か感想書いてね  

109:87
06/12/02 22:49:47 445KtPur0
URLリンク(kasamatu.o0o0.jp)

DLpass: octopus
解凍pass: オクトパスギガンテウス

更新内容
 Jane Nida,Jane Style の vch キャッシュ再利用にも対応.
 スレッドタイトルの最後が半角スペースの場合,スレのダウンロードに失敗する不具合の修正.
 画像取得時に 404 を帰さないで HTML を送りつけてくる場合に対応(簡易).
 画像の同時ダウンロード数を 10 に UP.
 板あたりの最大抽出スレッド数/キーワード数を UP.
  30 日間アクセスの無いキャッシュファイルを削除 (Delete Old Cache).
 SNTP パケットの取得に失敗した場合は 2 回 retry.
  dat 取得時に若干のウェイトを挿入.
  5 スレッド以上マッチする $ThreadMatchKey の無効化.
 etc


#来週半ばくらいからしばらくネットにつなげない状態になります.上のアドレスが落ちたら適当に転載してもかまいません.

110:名無しさん@お腹いっぱい。
06/12/03 03:00:04 UrxOVj9W0
なんかキタ━━━(゚∀゚)━━━ !!!!!

111:名無しさん@お腹いっぱい。
06/12/03 23:15:44 RDdP8H5e0
>>6
友なのはいいがどこがどう友なのかきっちり説明しないとわけわからんだろ。
少しは頭使ってくれ。こういうやっつけ仕事なテンプレはいらんよ。

112:名無しさん@お腹いっぱい。
06/12/03 23:39:21 SB/MQUhF0
俺はスルーするぞ!

113:6
06/12/04 00:34:58 /laykmwN0
>>111
>7-8
参照の事

114:名無しさん@お腹いっぱい。
06/12/06 07:49:50 Yog4OP540
>>65
URLリンク(www.gprj.net)
連番作成にはこれがお手軽。
でも一度にあまりに多くの連番作成するとフリーズするけど。

115:名無しさん@お腹いっぱい。
06/12/07 14:53:38 N2W0xlEf0
>>65
同じところグルグル回って一向に落としてくれないんだけど。

116:65
06/12/07 18:58:08 utxJD9T00
亀レスが流行ってるのか?
URLリンク(kasamatu.o0o0.jp)
pass:sage
連番でDL出来るものは出来るとしか言いようがない
というか、こんな方法は裏技でもなんでもなくDLツールでは定番のやり方の一つ
あまりにも定番すぎて、過去に質問する人も説明する人もいなかっただけ。
画像までつけて長文で説明書きまでして、これ以上付け加えるものはもう無いので
どこでつまずいてるか知らないけど、後は自己研鑽で )ノシ


117:名無しさん@お腹いっぱい。
06/12/11 23:12:00 3sGRGyRS0
URLリンク(18ban.jp) あるオハコ掲示板に貼られた画像をダウンロードしたいんだけど、
URLを入れるだけじゃ出来ない。
どうやったらダウンロード出来るの?

118:名無しさん@お腹いっぱい。
06/12/11 23:18:25 VuNX8Wsz0
これはひどい

119:名無しさん@お腹いっぱい。
06/12/13 00:49:13 15z2Bf8N0
ImageGater使っても
ふたばの二次元裏の
画像が省略されてる部分が落とせません
返信のとこが404になります
だれか落とし方教えてください

120:名無しさん@お腹いっぱい。
06/12/13 07:02:28 LzTInfJh0
ふたばの二次裏、ふたばの二次裏と前スレのときから定期的に書き込んでるやつは同じやつなんだろうか?
人が入れ替わってるの?
JavaScriptを駆使してるわけでもないhtmlベースのたわいもない普通の画像掲示板を落とせない理由を逆に聞きたい

121:名無しさん@お腹いっぱい。
06/12/13 14:11:03 erSwQcSD0
ふたば、か三つ葉か知らないけど、そんなところ通常利用してないのね
利用者じゃないもんで、119が何書いてるか意味が判然としなかったが
要するにスレッドが省略表示されて、返信ボタンを押したら初めて全文が現れる、
そこに隠れてる画像の分の話だと認識したけど
デフォルトのままだとImageGeterは確かに隠れてる部分だけは404が返ってくる
で、色々やってみたら、落とす方法もわかった。全部落ちてきた。
そこの利用者でもない俺がちょっとチャレンジしただけでやれたんだから、まあ頑張りなさいよ。
負荷を与える、もしくは与えると看做される恐れがあるから、落とす方法は書かないことにする。
Googleしてるときなにやら過去に色々あったような文章に出くわした。
URLリンク(plutonium.hp.infoseek.co.jp)
29ちゃんの閉鎖決定のようなこともあるから、こういう話笑い事じゃないのね

moeBBS 勝手に説明書 Ver050526
URLリンク(www.geocities.jp)
とかこのスレの>>110とか見たら落とせそうな雰囲気なのでやってみたらどう?
moeBBSは使ってないから詳細は知らない

122:名無しさん@お腹いっぱい。
06/12/13 22:58:02 15z2Bf8N0
119です
ご丁寧にどうも頑張ってみます

123:名無しさん@お腹いっぱい。
06/12/14 19:26:27 /tXDcdhs0
>>117
Proxomitronを併用すれば・・・って思ったけど、
やってみると、落としたファイルが全部pc.jpgってファイル名になっちゃって、
結局1つしかファイルが落とせないな・・・

124:名無しさん@お腹いっぱい。
06/12/19 01:26:20 o99iSSk70
彼は気づいてしまった
画像を自動収集することが目的ではないことに
結局のところ片っ端から落とすという行為は無駄が多く
対象を絞らない限りは非生産的な自己満足に終わる
目標を定めなければならなかった

125:名無しさん@お腹いっぱい。
06/12/19 09:00:39 vJoSgimF0
>>124
俺のことかよwwwwwwwwwww

126:名無しさん@お腹いっぱい。
06/12/19 10:24:02 FcgQvslg0
珍しくあがってるから何かと思えば・・・

127:名無しさん@お腹いっぱい。
06/12/19 19:39:09 LZQ2+nkl0
すいません。
httpからhが抜かれたttp表記にも対応しているのでしょうか?

128:名無しさん@お腹いっぱい。
06/12/19 20:41:51 prYyIQBI0
そういう言い方すれば、「えーとコレのことですか?それともコレについての質問ですか?」と
親切に聞き返してくると思ってない?ねえ?


129:名無しさん@お腹いっぱい。
06/12/23 17:24:28 oZ2KARqt0
実況ろだDAT
URLリンク(dat.x0.com)

落とせません。
12月21日からろだの方の設定を変えたらしいけど・・・

130:名無しさん@お腹いっぱい。
06/12/23 21:19:11 qypqB1Er0
何度聞かれても、毎回答えは同じ
Berryで落ちないときはProxomitronを併用する
それでもダメ or そんな事メンドクサイと言う人は、他のツールを使うべし
画像を落とすのが目的で、ツールはそれを実現する手段に過ぎないからこだわる必要なし

ちなみにその実況ローダーはいつもお世話になってるところで毎日落としてマツ^_^*)

131:名無しさん@お腹いっぱい。
06/12/26 14:59:56 rsMWdl6Y0
megaview.jp
をmoeで落とそうとしてるんだが、落とせない・・・
特殊な設定が必要か?

132:名無しさん@お腹いっぱい。
06/12/28 19:16:04 UhQJFVn50
>>131
BBS megaview
URL URLリンク(megaview.jp)
SUB A,,[ペット猫専掲示板]
TOP A,topic.php?
TOP A,imageout.php?
IMG I,/img/
FOL megaview.jp
END



133:名無しさん@お腹いっぱい。
06/12/30 01:35:04 Wk/2lfG80
URLリンク(megurulove.com)
ここって普通に設定したんじゃ落ちないんだけど,
ソースみても大丈夫そうだし,リファラも問題じゃなさそうなんだけど
なんでおちないの?

134:名無しさん@お腹いっぱい。
07/01/03 11:01:13 5X6yxMpl0
>>133
試してみたら取得と解析処理に時間取られすぎて
「スレッドが稼動限界時間を越えました。」エラー出た。こんなケースもあるのか。
YOU速いPCに買い換えるかIrvine使っちゃいなYO!

135:名無しさん@お腹いっぱい。
07/01/03 20:31:15 YcFdgMuR0
URLリンク(sukebenako1919.blog81.fc2.com)

ここさ、各個にファイル名がつけてあるのに
落とすと、1.jpg

136:名無しさん@お腹いっぱい。
07/01/03 20:32:58 YcFdgMuR0
失礼。書き込んでる最中にミスった


2.jpg 3.jpg 4.jpg
みたいにファイル名がつけられて
保存されてしまう。
で10.jpgまで行くと
また1.jpgから保存しなおして
上書きされてしまう。
…なんで?

137:名無しさん@お腹いっぱい。
07/01/03 21:10:26 CbNwLmG60
なかなかエロいサイトですな
メモメモ

138:名無しさん@お腹いっぱい。
07/01/03 21:19:10 YcFdgMuR0
メモしてないで答えてくれよw

139:名無しさん@お腹いっぱい。
07/01/03 23:12:35 75em+Q8t0
>>135に書いてるような現象起きないけど?
何の問題もなくじゃばじゃば落ちてくるよ
現在700ファイルくらいが落ちてきたところ

140:名無しさん@お腹いっぱい。
07/01/03 23:17:22 myo8PXqY0
こういう所は同じ所をぐるぐる回されて結局画像にたどり着けない俺が居る。

141:名無しさん@お腹いっぱい。
07/01/03 23:41:57 YcFdgMuR0
>>139
そうか…。ありがと。
設定はデフォルトから
いじってる?

他のブログもBBSも正常なのに
ここだけ>>135の現象が起きるんだよねorz

142:名無しさん@お腹いっぱい。
07/01/04 01:04:52 cJtnJqH20
>同じ所をぐるぐる って、それサイトを越えて外部リンクを踏んでるだけだろ?
今の話はあくまでsukebenako1919.blog81.fc2.com内の画像を落とす話だろ?落ちるよ
Berryでやると確かになぜだか保存が変になるね
これの直し方は知らないや、ごめん
他のは問題ないみたいだから、とりあえず落ちるやつで落としたら
URLリンク(www.imgup.org)
sage



143:名無しさん@お腹いっぱい。
07/01/04 04:33:35 P8YZJYZP0
>>139はBerryを使ってないということでFA

144:名無しさん@お腹いっぱい。
07/01/04 13:44:41 R6XuTjPz0
スレタイ読め
ここはBerry単独の専用スレじゃないよ
質問するときはどのDLソフトについての話か書くのがマナーだろ?


145:名無しさん@お腹いっぱい。
07/01/04 20:54:42 lnZnv+230
BerryのURL登録で質問
例えば
URLリンク(aaa)
などの画像があったとして、連番登録したい場合に正規表現は
使えるのでしょうか?また、下記のような表記は間違いでしょうか?
URLリンク(aaa)([0-9]).jpg

146:名無しさん@お腹いっぱい。
07/01/05 14:08:33 8IyUw9GN0
URLリンク(miki.s4.x-beat.com)
ここの落とし方誰か教えてください

147:名無しさん@お腹いっぱい。
07/01/05 16:27:27 AenLiVPS0
別に何でやってもDL出来ると思うけど
スキルの無い人はImageGeterを使いましょう
URLリンク(uwa.potetihouse.com)
そのurl入れたら全部落ちました

しばらくBerry使ってないから、Berryは知りませんあしからず



148:名無しさん@お腹いっぱい。
07/01/08 23:39:39 SRXNv9wv0
ハリコの虎も載ってないBerryなんてクソ

149:名無しさん@お腹いっぱい。
07/01/14 09:57:02 o9s94BpD0
URLリンク(fstyle.infoseek.co.jp)
ここの読者モデルの画像が取れません。
右クリックからでもダウンロード出来ないし・・。
やり方解る方教えていただけますか?
よろしくお願いします。


最新レス表示
レスジャンプ
類似スレ一覧
スレッドの検索
話題のニュース
おまかせリスト
オプション
しおりを挟む
スレッドに書込
スレッドの一覧
暇つぶし2ch