連番のH画像/動画を一気にダウンロードする2at UNIX
連番のH画像/動画を一気にダウンロードする2 - 暇つぶし2ch2:名無しさん@お腹いっぱい。
05/12/26 03:35:40
最古スレ
スレリンク(unix板)

3:名無しさん@お腹いっぱい。
05/12/26 04:52:56
mplayer の問題なのか、
% mplayer *
とやっても全部の動画が再生される前に落ちてしまうので
わざわざ for i in *.wmv とかやってる。5年間のノウハウで何とかならんかね。

4:名無しさん@お腹いっぱい。
05/12/26 08:15:49
新スレおめ

カレント以下のjpgファイルとかをシーケンシャルな名前で
カレントディレクトリに持ってくる(リネームする) スクリプトを
書いたので採点お願いします.

使用例) $Rname wmv idol
でカレントディレクトリ以下にあった*.wmvファイルが
カレントディレクトリにidol001.wmvからidol00x.wmvという
名前でリネームされます.

# 続く

5:4
05/12/26 08:18:29
$cat ./script/Rname
#!/bin/bash

# parameter analyze
SUF=$1
if [ -z $1 ] ; then
echo 'no suffix specified. default: *.jpg will be used';
SUF='jpg';
fi

PRE=$2
if [ -z $2 ] ; then
echo 'no prefix specified. default X will be used';
PRE='X'
fi

# fatal situation?
if [ $(find . -name "$PRE*.$SUF"| head -1) ] ; then
echo ' Fatal situation. Please think again the prefix. Exit.'
exit;
fi

# 続く

6:4
05/12/26 08:20:18
# create operation list
num=1
find . -name "*.$SUF" |
while read fpath
do
echo mv $fpath $PRE$(printf %03d $num).$SUF
let num=$num+1
done

# Is this OK?
echo -n 'Right?[y/n]'
read ans

# exec operation
if [ $ans = 'y' ] ; then
num=1
find . -name "*.$SUF" |
while read fpath
do
eval mv $fpath $PRE$(printf %03d $num).$SUF
let num=$num+1
done
fi

# 終わり


7:名無しさん@お腹いっぱい。
05/12/26 14:45:11
yahooで一杯になってた。ウワァァ-----。゚(゚´Д`゚)゚。-----ン!!!!

8:名無しさん@お腹いっぱい。
06/01/07 23:56:59
URLリンク(blogfiles.naver.net)
の画像がブラウザで見れて、wgetでは落とすことができません。

wget --referer=URLリンク(blogfiles.naver.net) URLリンク(blogfiles.naver.net)

referer とかも設定しているつもりなんですけど、どうやればコマンドラインで落とすことができますか?
よろしくおねがいします。



9:名無しさん@お腹いっぱい。
06/01/08 00:06:40
>>8
wget --referer=~の行をコピペして実行したらウチではいけたよ

10:名無しさん@お腹いっぱい。
06/01/08 02:01:51
>>9
そうなんですか。うちでは
HTTP request sent, awaiting response... 404 Object Not Found
02:00:06 ERROR 404: Object Not Found.
とか言われてしまいます。なんでだろ


11:名無しさん@お腹いっぱい。
06/01/08 06:58:51
464.jpの115番台位(comic115.464.jp)以降のサーバーから連番DLできたかたいますか?
古めの108番にあるものはリファーとUAだけですんなり行くんですが
新しめのだと403エラーになります。(IEにコピペ直飛びだとOK

URL同リファ→一段づつ削る、無し
UA各種
-r -npでディレクトリDL
001.jpgで単品DL

と思いつく限り試したのですがダメでした。
できたかたいましたらヒントだけでも結構ですので参考に教えて頂けませんか。

〆参考urlです p://comic118.464.jp/data/yosidaakimi/bananafissyu1/020.jpg

12:名無しさん@お腹いっぱい。
06/01/08 14:41:27
>11
Forbidden
You don't have permission to access /data/yosidaakimi/bananafissyu1/020.jpg on this server.
Apache/2.0.54 (Fedora) Server at comic2.464.jp Port 80

13:名無しさん@お腹いっぱい。
06/01/08 19:09:12
貼る前にチェックしたのですが今見たらエラーになりますね。
確認したところ464に一旦ログインしないとアドレス直貼りでも見れないようでした。
なのでWGETのhttpuser,passを設定したもののエラーになり
ブラウザでも464にログインしただけでは駄目で一度該当巻のページに行くことで
やっとIEコピペ飛びいけました。
難しい設定されてるようで連番は無理っぽい気がしてきました。。

もし同様にトライされてるかたいましたら気長に情報お待ちしております、ありがとうございました。

14:名無しさん@お腹いっぱい。
06/01/08 21:02:56
>>13
勘だけど、そのページのクッキーを解析してみな。
偽装はそれからだ。

15:名無しさん@お腹いっぱい。
06/01/08 22:08:43
キャシュ消して再確認したのですがクッキーは作成されておらず
javascriptがあるだけでした。
スクリプトもxxx.jpgを表示、虫メガネ機能だけを書いたものでクッキー記述はなかったです。
またちょこちょこ調べてみます。ありがとうございました。

16:名無しさん@お腹いっぱい。
06/01/19 01:25:21
URLリンク(www.descargas.sectahentai.org)~180.jpg

の画像がWebMGetで落とせません。
また、DLHelperで上記のURLを表示させようとすると URLリンク(descargas.sectahentai.org) へ飛ばされます。
解決方法はありますか?
よろしくお願いします。

17:名無しさん@お腹いっぱい。
06/01/19 02:24:29
refferer?

18:名無しさん@お腹いっぱい。
06/01/19 04:39:48
リファラだけっぽいね。おいしくいただきました

19:名無しさん@お腹いっぱい。
06/01/28 08:56:57
>>16
$zsh
%wget --referer=URLリンク(www.descargas.sectahentai.org) URLリンク(www.descargas.sectahentai.org)

20:名無しさん@お腹いっぱい。
06/02/15 01:25:59
wgetを使ってURLリンク(wallstny.exblog.jp)のblogを丸ごと保存しようと思っています。
ブラウザで表示される文はきちんと取得できるのですが、
ページの一番下にある"次のページ"から先やカテゴリーといったリンクが取得できません。

エロ画像ではないと思いつつもダウンロードに関する適切なスレが分からないので
ここで質問してみました。教えて頂けると助かります

21:名無しさん@お腹いっぱい。
06/02/15 07:17:57
464タイーホage

22:名無しさん@お腹いっぱい。
06/02/15 07:37:36
URLリンク(f30.aaa.livedoor.jp)

23:名無しさん@お腹いっぱい。
06/03/19 18:10:30
>>20
$wget -r -np -l 20 URLリンク(hogehoge.jp)

24:名無しさん@お腹いっぱい。
06/04/06 23:48:33
チャイニーズなHPの画像ってなんか色々ほどこしてて一気に落とせない希ガス。
例えば URLリンク(zxz.jugem.jp) のリンク先とか。
誰か支援お願いします。

25:名無しさん@お腹いっぱい。
06/05/04 19:03:09
URLリンク(2.dtiblog.com)
数字は可変
根こそぎ落とすにはどうすればいいでしょうか。
今は仕方ないので、シェルスクリプトでアドレスを片っ端から書いた
リストを作ってそれをwgetで読み込ませていますが、もっとスマートな方法が
無いものか。

26:名無しさん@お腹いっぱい。
06/05/04 20:37:08
>25
そうやって悩んでいろいろやっているうちに、
立派なUnix使いに成長していきますよ。

27:名無しさん@お腹いっぱい。
06/05/04 23:24:50
>>25
神様はseqを与えられた。

28:名無しさん@お腹いっぱい。
06/05/05 16:37:43
>>25俺にもurabonのアドレスを片っ端から書いていた時代がありました。

29:名無しさん@お腹いっぱい。
06/05/05 17:21:54
>>25
Firefox+FlashGotが(・∀・)イイ!!

30:名無しさん@お腹いっぱい。
06/05/06 17:41:31
GW中にエログ巡回して画像保存してその日に新しくダウンロードした画像のスライドショーのHTMLを吐き出すスクリプト書こうと思ってたのに
もうGW終わっちゃうよう。いつでも書けるけどまとまった時間で書きたかったのに

31:名無しさん@お腹いっぱい。
06/05/06 21:10:56
もはや画像自体はどうでもよくなってきてるが…

意外と手強いパターン
URLリンク(x.warnet.ws)

なかを見ると
URLリンク(img17.imagevenue.com)
みたいな連番対策付きのファイル名になってて
実際のデータはさらにハッシュつきdirの中。
URLリンク(img17.imagevenue.com)

2段階再帰かければ届きそうだけど


32:名無しさん@お腹いっぱい。
06/05/06 23:23:27
>>31
そんなの俺ならあきらめて俺も再帰だな
wgetに-lオプションつけて

33:名無しさん@お腹いっぱい。
06/05/07 01:15:17
まじな話、grepのようなコマンドをほかのサーバにログインしないで
かける方法ってないもんか

34:名無しさん@お腹いっぱい。
06/05/08 19:00:10
まじな話
URLリンク(enum.ninpou.jp)
これ使えばいいじゃん(jpgのダウンで使用)


35:名無しさん@お腹いっぱい。
06/05/08 19:51:42
>>34
宣伝乙

36:名無しさん@お腹いっぱい。
06/05/09 02:38:02
>>34イラネ

37:名無しさん@お腹いっぱい。
06/05/13 03:44:48
ブラウザ(w3m含む)では見れる
URLリンク(theblind.liveadulthost.com)

wget 出来ない(--referer は試した)

ナジェ?

38:名無しさん@お腹いっぱい。
06/05/13 09:35:49
>>37
User-Agent

39:名無しさん@お腹いっぱい。
06/05/18 13:02:55
>>38
そうみたいだね。

>>37
%wget -U='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0; .NET CLR 1.0.3705)' URLリンク(theblind.liveadulthost.com)


40:39
06/05/18 13:24:58
画像120まであった。
100を120に訂正してね。

41:名無しさん@お腹いっぱい。
06/05/19 01:33:55
>>39
001.jpgじゃなくて1.jpgにされてしまってだめだったぞ。
俺はこれ
seq -f URLリンク(theblind.liveadulthost.com) 1 120|wget -U ' ' -i -

42:名無しさん@お腹いっぱい。
06/05/19 20:38:43
毎回UAのオプション付けるの面倒だから、
俺は~/.wgetrcに以下を追加してる
user_agent=Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)


43:名無しさん@お腹いっぱい。
06/05/27 09:17:13
URLリンク(hp34.0zero.jp)

44:名無しさん@お腹いっぱい。
06/05/27 21:32:36
ダウンロードじゃないけど linux 版(wine版)の picasa が出たってさ

45:名無しさん@お腹いっぱい。
06/06/12 13:04:46
トラジ復活age

46:名無しさん@お腹いっぱい。
06/06/15 12:23:05
ようつべオワタ\(^o^)/

47:名無しさん@お腹いっぱい。
06/06/30 10:03:32
この辺は結構強敵
URLリンク(www.imagefap.com)

htmlパースして thumb => full 置換すればいいんだけど
順序が失われるんでカウンタ用意してリネーム...

そろそろ 手軽に の領域じゃねーな

48:名無しさん@お腹いっぱい。
06/06/30 20:05:05
自作のしょぼいダウンローダうp
URLリンク(file300kb.run.buttobi.net)

例えば>>47なら
$ ./exwgetr -a -o -d "/thumb/.*.jpg$" "URLリンク(www.imagefap.com) " | sed "s/thumb/full/" | wget -i -

49:名無しさん@お腹いっぱい。
06/07/03 12:22:33
>>48
なかなか使えますね~
ありがたく使わさせて頂きますです。(謝謝!

50:名無しさん@Vim%Chalice
06/07/03 23:02:34
>>48
オイラも便利に使わしてもらってます。

今まで泥臭くやってたけど
一発でhtmlパースしてgrepまでこなしちゃうスクリプト素敵。
perl使いカコイイなぁ...素敵なスクリプトありが豚です。

51:名無しさん@お腹いっぱい。
06/07/04 00:22:47
ちょっと恥ずかしいバグ修正版です
URLリンク(file300kb.run.buttobi.net)
503とか通信エラーにめっぽう弱い(なんとリトライ機能がついてない!)のでご注意を……

52:名無しさん@お腹いっぱい。
06/07/04 03:26:51
wget を使っているのですが、ファイルスタンプが、そのファイルが出来た日付たとえば、
2004/05/12見たいな感じで取り込まれてしまいます。
そうではなく、取り込んだ日付ex 2006/07/04に変更するwgetのオプションってありますか?
wget -N かと思ったのですが、どうも違うみたいです。

53:名無しさん@お腹いっぱい。
06/07/04 08:04:31
touch しちゃうのはだめ?

54:52
06/07/05 10:48:01
>>53
touchで行けました。ありがとうございました。
touchでは、空のファイル(0バイト)に強制的になるのかと思ってました。
時刻だけ変更できるのですね。

55:名無しさん@お腹いっぱい。
06/07/15 11:40:15
さっきコミックをダウンロードして
早速DVDーRに落とそうとしたのですが容量が大きいんです。
それで圧縮したまま落としたんですが今度は
コミックの画像をめくろうとしてもめくれなくなりました。
(すべて展開したときはめくれました)
そこでDVD-Rにコミックを上手に落とすやり方を教えてください。


56:名無しさん@お腹いっぱい。
06/07/15 11:51:46
DVD-Rはポリカーボネート樹脂でできているから、
コミック程度の重さならどんな落しかたでも問題ないと思うよ。

57:名無しさん@お腹いっぱい。
06/07/15 17:22:21
>>55
マジレスすると、ウインドウズ系の圧縮フォルダ機能は全て展開しないとページめくりは出来ない

結論
コミックくらい買え

58:名無しさん@お腹いっぱい。
06/07/15 18:09:21
unix系にはミーヤみたいなソフト無いの?

59:名無しさん@お腹いっぱい。
06/07/15 20:03:05
>>58
探せばあると思うよ
スレリンク(linux板)l50

60:名無しさん@お腹いっぱい。
06/07/16 00:17:49
wineじゃだめか

61:名無しさん@お腹いっぱい。
06/07/17 14:11:33
>58
xv -vsmap が結局便利なんだよな

いいソフトあれば紹介よろしゅう

62:名無しさん@お腹いっぱい。
06/07/17 22:18:09
>>48
再うpお願い出来ますでしょうか?

63:名無しさん@お腹いっぱい。
06/07/17 22:56:05
refuse to dance

64:名無しさん@お腹いっぱい。
06/07/17 22:58:32
>>61
個人的にはgimv使ってる。以前はxzgvが軽かったので使ってたのだけど、
ZIPファイルに入った同人誌をそのまま読めるので乗り換えた。

65:名無しさん@お腹いっぱい。
06/07/17 23:22:04
俺もgimageview使ってる。
サムネイル表示出来て、画像表示も見やすくて、スケーリングが高品質な所が気に入ってる。


66:名無しさん@お腹いっぱい。
06/07/17 23:29:31
> スケーリングが高品質
ミーヤ(Intel)のイメージライブラリとどっちが上?

67:名無しさん@お腹いっぱい。
06/07/18 00:00:37
gimvではbilinear補間を使ってるけど、hyperbolicなんか使ったこともないし、
コミック類はnearestのほうがいいかなと思うけど、
いちいち切り替えるのがめんどうだからそのまんま。

で、どの方法と比較したいの?

68:名無しさん@お腹いっぱい。
06/07/24 06:17:28
ハイビジョン映画などのコンテンツ
PCで見れるサイト見つけた!
無料で見れるものを凄く集まってる。
ハードディスクの容量足りない。(>_<)
URLリンク(piggy2doggy.googlepages.com)

69:名無しさん@お腹いっぱい。
06/07/24 11:21:12
最近現れたのは拡張子が.shtmlでContent-type: text/plainな奴。
中身はHTMLで、画像へのリンクには乱数が入ってる。
つまりIEのContent-typeを無視するバグを利用しないと見れない。
とても嫌らしい。

70:名無しさん@お腹いっぱい。
06/07/26 04:48:40
>>69
HTMLのソースからリンク抜きだしてwgetなりに渡すんじゃダメ?

71:名無しさん@お腹いっぱい。
06/07/29 15:12:17
連番は URLリンク(service.ifdef.jp) のソースを保存して改良して
お気に入りでok

72:名無しさん@お腹いっぱい。
06/07/29 16:42:00
宣伝?

73:名無しさん@お腹いっぱい。
06/07/29 16:48:08
>>71
>>34

宣伝乙

74:71
06/08/01 15:19:52
>>34 にあったのね
すまん

宣伝じゃないよw

75:名無しさん@お腹いっぱい。
06/08/06 14:23:15
過疎スレだな

76:名無しさん@お腹いっぱい。
06/08/06 22:55:24
This is the thread in UNIX board.

77:名無しさん@お腹いっぱい。
06/09/10 13:07:12
hosyu

78:名無しさん@お腹いっぱい。
06/09/13 16:44:20
pthread_join( >>76, NULL );

79:名無しさん@お腹いっぱい。
06/09/22 12:27:18
連番のH画像/動画を一気にアップロードする
いい方法はない?
yahooとかlivedoor みたいなとこで。

80:名無しさん@お腹いっぱい。
06/09/22 12:35:56
>>79
URIの実例プリーズ

81:名無しさん@お腹いっぱい。
06/09/22 13:02:34
>>79
zip

82:名無しさん@お腹いっぱい。
06/09/22 18:59:58
>>80
例えばこんなところで↓
URLリンク(geocities.yahoo.co.jp)
URLリンク(photos.yahoo.co.jp)
URLリンク(briefcase.yahoo.co.jp)
>>81
それを昔していましたがzip以外でしたいです。

83:名無しさん@お腹いっぱい。
06/09/23 08:49:55
>>82
lha

84:名無しさん@お腹いっぱい。
06/11/15 13:15:50
JavaScript で window.navigator.appName 見てるとこって
どうすればいいの?


85:名無しさん@お腹いっぱい。
06/11/15 23:46:36
どうしたいの?

86:名無しさん@お腹いっぱい。
06/12/24 18:16:39
今までcurlのお世話になってきたけど、今日LWP::UserAgent使って書き直した。
ステータスが200でtext/html返してきた時にリトライするようにしたかった。

87:名無しさん@お腹いっぱい。
06/12/25 01:56:18
完璧だ。対artemisweb最終兵器かもしれない。

88:名無しさん@お腹いっぱい。
06/12/25 02:02:00
次はHTML::Parser使ってwget相当のも作るか。夢が広がりんぐw

89:名無しさん@お腹いっぱい。
06/12/25 02:21:00
ヒント:今日はクリスマス

90:名無しさん@お腹いっぱい。
06/12/25 02:38:41
plagger のプラグインをきぼん。


最新レス表示
レスジャンプ
類似スレ一覧
スレッドの検索
話題のニュース
おまかせリスト
オプション
しおりを挟む
スレッドに書込
スレッドの一覧
暇つぶし2ch