連番のH画像を一気にダウンロードするat UNIX
連番のH画像を一気にダウンロードする - 暇つぶし2ch152:名無しさん@お腹いっぱい。
01/08/24 03:07
キーボードで楽に使える viewer ないかな。
ノートPCなのでほとんどキーボードでやってるんだが、
画像表示だけは GQview で仕方なくトラックボールを
しこしこやってる。

153:名無しさん@お腹いっぱい。
01/08/24 03:17
>>151
こんなのはいかが?
URLリンク(enfle.fennel.org)

154:名無しさん@お腹いっぱい。
01/08/24 03:53
>>153

Susie Plug-in にも対応してるんですね
(・∀・)イイ!

155:名無しさん@お腹いっぱい。
01/08/24 23:39
>>152
いまだに xv を愛用しています。快適。

156:名無しさん@お腹いっぱい。
01/08/25 00:14
>>141
> 集めたあとの整理はどうしてるよ?
種類ごとにディレクトリほって、symlink してる。
めんどうだけど。

画像見ながら分類したいな。
なんかいいツールない?
Nautilus か?

157:152
01/08/25 01:51
>>155
おーサンキュ。xv ってキーボードで操作できるんだ。
non-free だから今まで敬遠してたけど、使ってみよう。

158:名無しさん@お腹いっぱい。
01/08/25 02:24
>>157
最初はキーボードの操作を覚えるのがちょっと大変かもしれん。
最近は良い時代になって、FLMask パッチを使う必要がほとんどなくなった。

159:名無しさん@お腹いっぱい。
01/08/25 04:44
>>158
FLMaskパッチに感動したのも懐かしいなあ。
今はもう動画ばっかりだ。

関係ないけど「璃樹無」分割って単なるsplitだったんだね。
気づく前はこれだけのためにWIN立ち上げてたYO。

160:名無しさん@お腹いっぱい。
01/08/25 10:11
どこだったか忘れたけど、サムネール画像上のマウスの位置を送らないと見られないサイトがあって、
HTTPでPOSTリクエストしてデータを取得するPerlスクリプトを書いたこともあったなぁ。

今では、うちに背景画像配信サーバーが立っていたりする…

161:あぼーん
あぼーん
あぼーん

162:tori
01/08/25 12:02
internet -router - solaris (proxy でfire Wall) - クラスCの事業所セグメント
現在事業所の計算機をグローバルアドレスにするには、Router
使っています。このNATをルーターでは無く、Solaris で行うには
どうすればいいでしょうか?

163:名無しさん@お腹いっぱい。
01/08/25 12:07
>>162
H画像を落とすためにか?

164:名無しさん@お腹いっぱい。
01/08/25 13:00
>>161
そのページに14個のサンプルがあるけど、そのこと?
それなら、何も考えなくても、どんな方法でも簡単に落とせるように見えるけど。

165:名無しさん@Emacs
01/08/25 13:06
>>161
htmlからリンク先を抽出したいということですか?

166:名無しさん@お腹いっぱい。
01/08/25 13:13
q , ,
q /( )`
q \ \___ / |
q /- _ `-/ '
q (/\/ \ \ /\
q / / | ` \
q O O ) / |
q `-^--'`< '
q (_.) _ ) /
q `.___/` /
q `-----' /
q <----. __ / __ \
q <----|====O)))==) \) /====
q <----' `--' `.__,' \
q | |
q \ / /\
q ______( (_ / \______/
q ,' ,-----' |
q `--{__________)
q

167:名無しさん@お腹いっぱい。
01/08/25 13:14
.................,........,
................/(........)`
................\.\___.../.|
.............../-._..`-/..'
..............(/\/.\.\.../\
.............././...|.`....\
..............O.O...)./....|
..............`-^--'`<.....'
.............(_.).._..).../
...............`.___/`..../
................`-----'./
...<----......__./.__...\
...<----|====O)))==).\)./====
...<----'....`--'.`.__,'.\
................|........|
.................\......./......./\
............______(.(_../.\______/
.........,'..,-----'...|
.........`--{__________)

168:名無しさん@お腹いっぱい。
01/08/25 13:15
...................................................,........................,
................................................/(........................)`
................................................\...\___........./...|
............................................./-..._......`-/......'
..........................................(/\/...\...\........./\
........................................../.../.........|...`............\
..........................................O...O.........).../............|
..........................................`-^--'`<...............'
.......................................(_...)......_......)........./
.............................................`...___/`............/
................................................`-----'.../
.........<----..................__.../...__.........\
.........<----|====O)))==)...\).../====
.........<----'............`--'...`...__,'...\
................................................|........................|
...................................................\...................../...................../\
....................................______(...(_....../...\______/
...........................,'......,-----'.........|
...........................`--{__________)

169:名無しさん@お腹いっぱい。
01/08/25 14:32
モナーフォント無しで見られる親切設計だ。
NetBSD デーモンかな?

170:名無しさん@お腹いっぱい。
01/08/26 00:58
00000000000000000000000

171:161
01/08/26 01:07
>165
その通りです。
インターネットNinja(Window)らしき事を
Unix系OS上(特にperl)で実現したいのです。
可能でしょうか。


>162
あなた、
Solaris教えてスレッド 其の弐 (826)
の方へ書き込んだつもりでしょう。

私もその失敗、経験済みです。

172:名無しさん@お腹いっぱい。
01/08/26 01:14
>>171
Perlとかを使えば、HTMLファイルからURLを抽出するのは単なる文字列の抽出なので、
慣れれば簡単にできますよ。この機会に正規表現とか覚えるのもいいかも。

173:名無しさん@お腹いっぱい。
01/08/26 01:23
grep して sed >> list して (これを何回かやって) wget -i list

174:173
01/08/26 01:24
ガガーソ。こんな書き込みでスレをageてしまうなんて初めての経験だ…

175:普段は エロ系
01/08/26 01:32
凄い! 2ちゃん の危機で UNIX初めて覗いたけど なんか凄い
で PGF 一応全タイトルと WAVファイル持ってます
1さん
でも 簡単に 入手するより きっと 過程が楽しいのでしょうね
皆様 凄いわ!

176:名無しさん@お腹いっぱい。
01/08/26 01:44
過程なんか楽しくねーよ。

177:名無しさん@お腹いっぱい。
01/08/26 01:51
過程 "も" 楽しい。

178:普段は エロ系
01/08/26 01:53
あ そうなの(^^;;

179:名無しさん@お腹いっぱい。
01/08/26 29:00
「インターネットニンジャじや、一発じゃ。」
と無粋な流れを無視したコメントを残しておく。

(そして反発を買う。)  ワクワク・・・・うふ。





                                           ラブ。

180:では反発
01/08/26 31:00
sed で複数 html からリスト作って wget で取得の方が遥かに早いです

181:180
01/08/26 32:00
ていうか、書き込み時刻がめちゃくちゃだな

182:名無しさん@お腹いっぱい。
01/08/26 34:00
こここれは??

183:名無しさん@お腹いっぱい。
01/08/26 34:00
32:00って_________?

184:test
01/08/26 43:00
test

185:名無しさん@お腹いっぱい。
01/08/26 44:00
やっぱおかしいな

186:名無しさん@お腹いっぱい。
2001/08/26 06:02
だめ?

187:名無しさん@Emacs
01/08/26 09:17
test

188:名無しさん@Emacs
01/08/26 09:18
自治age

189:名無しさん@お腹いっぱい。
01/08/26 11:59
27 名前:名無しさん(新規) 投稿日:2001/08/26(日) 11:56 ID:9kvbOGiQ
  ◎
  ┣--┓
  |AGE|
  ┣--┛
  |
  |
 Λ|Λ
(・∀・)イイ!
(    )
|  つ |
(__)_)

190:名無しさん@Emacs
01/08/26 13:17
perlのモジュール使ってhtmlからリンク先を抽出するのは
どうやればいいんですか?

191:名無しさん@お腹いっぱい。
01/08/26 13:23
>>190
wgetでできるだろうがスカポンタン

192:名無しさん@お腹いっぱい。
01/08/26 13:28
やり方はいろいろあると思うが HTML::Parser モジュールを使うと
XML でいう SAX のような感じの処理で <A HREF="XXXXX">...</A>
の XXXXX の部分を抜きだせるはず

193:名無しさん@Emacs
01/08/26 13:33
>>191
wgetで出来るとは知りませんでした。調べてみます。
再帰転送のことではないですよね?

194:名無しさん@お腹いっぱい。
01/08/26 15:10
httpgetというスクリプトがあって、
それで再帰的にリンク先のファイルを取得できるみたいよ。
まあwgetでいいわけだけど。
参考にしてみれば?

195:名無しさん@Emacs
01/08/26 16:38
>>194
httpget取って来て見てみました。
確かにリンクを抜き出す関数がありました。感謝です。

196:
01/09/05 22:02 ssMW8tkM


197:名無しさん@お腹いっぱい。
01/09/06 07:42 t/5EHQk.
rtsp://hoge.hoge/stream.rm のストリーミングビデオを
ファイルに落とすのはどうすればいい?

198:名無しさん@お腹いっぱい。
01/09/06 12:12 RQop.hqE
>>197
http で落とせたような気がする

199:名無しさん@お腹いっぱい。
01/09/16 11:54
age

200:名無しさん@お腹いっぱい。
01/09/17 23:34
正直言って、zsh と wget で大抵の事は出来るような気がする。
今までそれ以上の手間が必要な連番ダウンロードには出会った事がない。

201:犬板
01/09/18 11:14
>>200

じゃぁここはどーやって落すの?
httpだとどっかあさってに吹っ飛ばされるのだが…

URLリンク(japanese.asian-house.com)

202:名無しさん@お腹いっぱい。
01/09/18 12:10
>201
あきらめる。
んで、他のトコから落とす。

203:名無しさん@お腹いっぱい。
01/09/18 18:19
>201 zsh -c 'wget --referer=URLリンク(japanese.asian-house.com) japanese.asian-house.com/ura/1999-10/1030_m[01-52].jpg'

204:名無しさん@お腹いっぱい。
01/09/18 18:20
間違えた。{01..52}ね。

205:名無しさん@Emacs
01/09/18 23:48
refferer

206:名無しさん@お腹いっぱい。
01/09/27 05:19
for i in `jot -s ' ' 30 1`; do i=`printf %03d $i`; for j in 1 2 3 4 5; do wget -nd -nH URLリンク(210.155.134.217) done ; done
ハァハァ

207:名無しさん@お腹いっぱい。
01/09/27 22:36
bash$ for n in `seq -f %02g 8 12`
bash$ do
bash$ echo ero$n.jpg
bash$ done

ero08.jpg
ero09.jpg
ero10.jpg
ero11.jpg
ero12.jpg

こんなんどう?

208:名無しさん@Emacs
01/10/04 01:10
>>207

140で既出

209:1
01/10/04 01:41
このところ忙しくて裏本リンクサイト見てなかったら数冊の新刊本がでてた。
一冊一冊取ってくるのは面倒なので、寝る前に一括して取ってくるスクリプトを
考えてます。とりあえずそれぞれの連番のリストファイルはlistとして作っておいて、各裏本用のフォルダーをxxx.dirにおいておくとして以下のようなスクリプ
トをつかってます。とりあえずうまくいってますが、サイトが変わるとrefererの
問題などが考えられると思います。皆様のお知恵を拝借したいと思います。

#!/bin/sh
for i in *.dir
do
cd /home/username/urabon/$i
cat list | xargs wget
done

210:名無しさん@お腹いっぱい。
01/10/04 18:04
>>209
フォルダーと言ってしまったな...

211:1
01/10/05 00:59
>>210
ばればれ? by Kyon2

212:名無しさん@お腹いっぱい。
01/10/05 01:21
$ lftp URLリンク(www.iy-n.org)
lftp> get *.jpg

ってのがまだないな。

213:(゚o゚)
01/10/05 01:59
このサイトはみなさんのインターネット環境の
スピードを計ってくれます。また、遅いと思う
人は設定を少し変えることによって無料で
スピードを早くすることができます。
お金を出す前に一度試してみては
いかがでしょうか。上がりの計測も可能です。

URLリンク(cym10262.omosiro.com)

214:名無しさん@お腹いっぱい。
01/10/05 22:28
>>209
>サイトが変わるとrefererの問題などが考えられると思います。

1さんお帰りなさい。

referer等の情報を保持したリストを読み込めるwrapperを書くのがいいのでは。
reget, getright, iria 等のリストが読み込めると嬉しいっす。

215:名無しさん@お腹いっぱい。
01/10/05 22:41
>>212
でlftpの威力をはじめて知った。

216:名無しさん@お腹いっぱい。
01/10/13 09:46
定期age

217:名無しさん@Emacs
01/10/18 07:14
破損jpegの検索とかできない?

218:名無しさん@お腹いっぱい。
01/10/18 07:59
>217
i) ImageMagick
$ identiry broken.jpg
identify: Corrupt JPEG data: premature end of data segment (broken.jpg) [No such file or directory].
broken.jpg JPEG 510x750 DirectClass 8-bit 5120b 0.1u 0:01

ii) libjpeg
$ djpeg broken.jpg >/dev/null
Premature end of JPEG file

nonzero statusで死ぬ分djpegの方が便利かも。

219:名無しさん@Emacs
01/10/19 02:22
>218 サンキュ

for I ;do
for J in `find "$I" -iname \*.jpg` ;do
djpeg "$J" >& /dev/null || wget -xc -T30 -t0 "$J"
done
done

220:名無しさん@お腹いっぱい。
01/10/24 01:13
djpeg 使うのなら、jpegtran も便利。それなりに修復してくれる。

for i in *.jpg; do
jpegtran $i > h || mv -v h $i
done

221:名無しさん@お腹いっぱい。
01/10/29 21:15
メンテナンスあげ

222:名無しさん@お腹いっぱい。
01/11/16 02:31
メンス?

223:名無しさん@お腹いっぱい。
01/11/18 02:43
WinMXで落とした.zipに入っている.jpgを、展開せずに簡単に
見られる方法ない? 日本語ファイル名対応なやつ。

224:名無しさん@Emacs
01/11/18 03:34
XVかな

225:名無しさん@お腹いっぱい。
01/11/19 03:15
>>224
パチいるって書いてあげれ

226:名無しさん@Emacs
01/11/19 05:09
まあ gmc でもいいや

227:名無しさん@お腹いっぱい。
01/11/19 15:50
>223 enfle

228:名無しさん@お腹いっぱい。
01/12/03 07:39
二重カキコと言われたが

229:名無しさん@お腹いっぱい。
01/12/07 00:38
perl知らないおれもがんばってるぞ。 >1
#!/bin/sh
start=0
end=400
server_url=URLリンク(xxx.asian-x.com)

number=${start}
while [ TRUE ]
do
number=`printf %03d ${number}`
fetch -a ${server_url}${number}.jpg
if [ ${number} = ${end} ]; then
exit 0
fi
number="`expr ${number} + 1`"
done

230:名無しさん@XEmacs
01/12/07 00:43
>>100
iriaクローンの aria というのがあるのを知ってる?

が私は、じみに lftp と cURL をおすすめする。
cURL + gotmail.pl で
ホットメイルを落とせて、ちょっとうれしい今日この頃。

#しかしUNI板の話題ではないのでは・・・

231:名無しさん@お腹いっぱい。
01/12/09 21:16

落してもアレ外せないからなぁ。Win がないと。

232:名無しさん@お腹いっぱい。
01/12/09 23:24
アレって何?

233:デフォルトの名無しさん
01/12/09 23:41
>>209
激亀レスだが、

love URLリンク(www.h.sex) 20 URLリンク(www.h.sex)
hate URLリンク(www.h.sex) 20 URLリンク(www.h.sex)

#!/bin/sh
(
while read dir url n referer;
(
if [ ! -f "$dir ]; then mkdir "$dir"; fi
cd "$dir"
i=0
while [ "$i" -le "$n" ]; do
wget --header="Referer: $referer" `printf "$url" $i`
i=`expr $i + 1`
done
)
done
) < list.txt

234:デフォルトの名無しさん
01/12/09 23:42
>>233
> while read dir url n referer;
< while read dir url n referer; do

235:名無しさん@お腹いっぱい。
01/12/10 00:55
linuty は、対応している偽装が中途半端だ。

236:名無しさん@お腹いっぱい。
01/12/10 23:37
wine でドラッグアンドドロップできる winのツール教えれ。
Vector で探したがついに見つからなかった。
つうかファイルのメニューつけないファイルいらうアプリ逝ってよし

237:名無しさん@お腹いっぱい。
01/12/12 06:16
>>232
アレはあれ。

238:名無しさん@お腹いっぱい。
01/12/12 23:50
>217 ひどく古い話だけど、jpeginfo(1)なんてのがあった。
jpeginfo v1.5a Copyright (c) Timo Kokkonen, 1995-1998.
Usage: jpeginfo [options] <filenames>

-c, --check check files also for errors
-d, --delete delete files that have errors
-f<filename>, --file<filename>
read the filenames to process from given file
(for standard input use '-' as a filename)
-h, --help display this help and exit
-5, --md5 calculate MD5 checksum for each file
-i, --info display even more information about pictures
-l, --lsstyle use alternate listing format (ls -l style)
-v, --verbose enable verbose mode (positively chatty)
--version print program version and exit
-q, --quiet quiet mode, output just jpeg infos
-m<mode>, --mode=<mode>
defines which jpegs to remove (when using the -d option).
Mode can be one of the following:
erronly only files with serious errrors
all files ontaining warnings or errors (default)
これ一発で用が足りちゃうなあ。
URLリンク(www.cc.jyu.fi)

239:http gateway
01/12/13 02:46
begin 755 /tmp/down.cgi
M(R$O=7-R+V)I;B]P97)L"@HF<&%R86U?9V5T.PH*)'-E;F1M86EL(#T@(B]U
M<W(O<V)I;B]S96YD;6%I;"(["B1W9V5T(#T@(B]U<W(O;&]C86PO8FEN+W=G
M970B.PHD9&ER(#T@(B\D1D]237LG87)E82=]+R1&3U)->R=D:7(G?2(["B1C
M;G1S="`]("1&3U)->R=C;G1S="=].PHD8VYT960@/2`D1D]237LG8VYT960G
M?3L*)&-N='5S92`]("1&3U)->R=C;G1U<V4G?3L*)')E=')Y(#T@)$9/4DU[
M)W)E=')Y)WT["B1E;6%I;"`]("1&3U)->R=E;6%I;"=].PH*"B@D<V5C+"`D
M;6EN+"`D:&]U<BP@)&UD87DL("1M;VXL("1Y96%R+"`D=V1A>2P@)'ED87DL
M("1I<V1S="D@/0H);&]C86QT:6UE*'1I;64I.PHD;F]W9&%T92`]("(D>65A
M<B\D;6]N+R1M9&%Y("1H;W5R.B1M:6XB.PH*<')I;G0@/#Q%3TT["D-O;G1E
M;G0M5'EP93H@=&5X="]H=&UL"@H\:'1M;#X*(#QH96%D/@H@(#QT:71L93YD
M;W=N;&]A9"!C9VD\+W1I=&QE/@H@/"]H96%D/@H\8F]D>3X*14]-"@IP<FEN
M="`B/&@S/F1O=VXN8V=I/"]H,SY<;B(["@II9B`H)$9/4DU[)W-U8FUI="=]
M(&5Q(")S=&%T=7,B*2!["@DF=V=E=%]S=&%T=7,["GT@96QS:68@*"1&3U)-
M>R=A8W1I;VXG?2!E<2`B9V5T(BD@>PH))F1O=VYL;V%D.PI](&5L<V4@>PH)
M)G!R:6YT7V9O<FT["GT*"G!R:6YT("(\+VAT;6P^/"]B;V1Y/EQN(CL*"G-U
M8B!P87)A;5]G970@>PH):68@*"1%3E9[)U)%455%4U1?34542$]$)WT@97$@
M(E!/4U0B*2!["@D)<F5A9"A35$1)3BP@)'%U97)Y7W-T<FEN9RP@)$5.5GLG
M0T].5$5.5%],14Y'5$@G?2D["@E](&5L<V4@>PH)"21Q=65R>5]S=')I;F<@
M/2`D14Y6>R=1545265]35%))3D<G?3L*"7T*"0H)0&$@/2!S<&QI="@O)B\L
M("1Q=65R>5]S=')I;F<I.PH)"@EF;W)E86-H("1A("A`82D@>PH)"2@D;F%M
M92P@)'9A;'5E*2`]('-P;&ET*"\]+RP@)&$I.PH)"21V86QU92`]?B!T<B\K
M+R`O.PH)"21V86QU92`]?B!S+R4H6S`M.6$M9D$M1EU;,"TY82UF02U&72DO
M<&%C:R@B0R(L(&AE>"@D,2DI+V5G.PH)"21&3U)->R1N86UE?2`]("1V86QU
M93L*"7T*?0H*<W5B('!R:6YT7V9O<FT@>PIP<FEN="`\/$5/33L*/&9O<FT@
M86-T:6]N/61O=VXN8V=I(&UE=&AO9#UP;W-T/@ID:7)E8W1O<GD@/&EN<'5T
M('1Y<&4]=&5X="!N86UE/61I<CX*/'-E;&5C="!N86UE/6%R96$^"CQO<'1I
M;VX@=F%L=64]=7-R+VAO;64O<'5B/G!U8FQI8PH\;W!T:6]N('9A;'5E/75S
M<B]H;VUE+V9T<"]P=6(^9&%T83(*/&]P=&EO;B!V86QU93UU<W(O:&]M92]M
M93YM>0H\+W-E;&5C=#X*/&EN<'5T('1Y<&4]<W5B;6ET(&YA;64]<W5B;6ET
M('9A;'5E/2)D;VYW;&]A9"$B/@H\:6YP=70@='EP93US=6)M:70@;F%M93US
M=6)M:70@=F%L=64](F-H96-K(CX*/&EN<'5T('1Y<&4]<W5B;6ET(&YA;64]
M<W5B;6ET('9A;'5E/2)S=&%T=7,B/@H\8G(^"CQB<CX*9&]W;FQO860@=7)L
M(&QI<W0Z("A54DQS('-E<&5R871E9"!#4DQ&*3QB<CX*/'1E>'1A<F5A(&-O
M;',](C@P(B!R;W=S/2(Q,"(@;F%M93TB=7)I(CX*/"]T97AT87)E83X*/&)R
M/@H\:6YP=70@='EP93UC:&5C:V)O>"!N86UE/6-N='5S92!V86QU93TQ/F-O
M=6YT97(@*"5D*2`*/&EN<'5T('1Y<&4]=&5X="!N86UE/6-N='-T('-I>F4]
M-"!V86QU93TP/B"AP0H\:6YP=70@='EP93UT97AT(&YA;64]8VYT960@<VEZ
M93TT('9A;'5E/3$P,#X*?`IR97-U;'0@;6%I;"!T;R`\:6YP=70@='EP93UT
M97AT(&YA;64]96UA:6P^(`I\"G)E=')Y(#QI;G!U="!T>7!E/71E>'0@;F%M
M93UR971R>2!S:7IE/30@=F%L=64],3`P/@H\8G(^"CQI;G!U="!T>7!E/6AI

240:cont
01/12/13 05:47
M9&1E;B!N86UE/6%C=&EO;B!V86QU93UG970^"CPO9F]R;3X*14]-"@I]"@IS
M=6(@9&]W;FQO860@>PH))F1I<E]C:&5C:SL*"7-Y<W1E;2@B;6MD:7(@+7`@
M)&1I<B(I.PH)8VAD:7(H)&1I<BD["@DD;W!T<R`]("(M+71R:65S/21R971R
M>2(["@DD;6%I;&-M9"`]("(R/B8Q('P@)'-E;F1M86EL("UF(&1O=VXN8V=I
M("1E;6%I;"(@:68@*"1E;6%I;"!N92`B(BD["@H)0'5R;',@/2!S<&QI="@O
M7')<;B\L("1&3U)->R=U<FDG?2D["@H)<')I;G0@(FYO=R!D;W=N;&]A9&EN
M9RXN+CQ0/EQN(CL*"6EF("@D96UA:6P@;F4@(B(I('L*"0EP<FEN="`B<V5N
M9"!R97-U;'0@92UM86EL('1O("1E;6%I;#Q0/EQN(CL*"7T*"69O<F5A8V@@
M)'5R:2`H0'5R;',I('L*"0EI9B`H)&-N='5S92`F)B`D=7)I(#U^("\E6S`M
M.5TJ6V1X6%TO*2!["@D)"69O<B`H)&D@/2!C;G1S=#L@)&D@/#T@)&-N=&5D
M.R`D:2LK*2!["@D)"0DD9B`]('-P<FEN=&8H)'5R:2P@)&DI.PH)"0D)<')I
M;G0@(B1F/$)2/EQN(CL*"0D)?0H)"7T@96QS92!["@D)"7!R:6YT("(D=7)I
M/&)R/EQN(CL*"0E]"@E]"@D*"6EF("@D1D]237LG<W5B;6ET)WT@97$@(F-H
M96-K(BD@>PH)"29P<FEN=%]V87)S.PH)"7)E='5R;CL*"7T*"61O('L*"0EP
M<FEN="`B/'`^97)R;W(@:6X@97AE8R!W9V5T/'`^(CL*"0EE>&ET.PH)?2!U
M;FQE<W,@;W!E;BA0+"`B?"`D=V=E="`D;W!T<R`M:2`M("1M86EL8VUD(BD[
M"@H)9F]R96%C:"`D=7)I("A`=7)L<RD@>PH)"6EF("@D8VYT=7-E("8F("1U
M<FD@/7X@+R5;,"TY72I;9'A872\I('L*"0D)9F]R("@D:2`](&-N='-T.R`D
M:2`\/2`D8VYT960[("1I*RLI('L*"0D)"21F(#T@<W!R:6YT9B@D=7)I+"`D
M:2D["@D)"0EP<FEN="!0("(D9EQN(CL*"0D)?0H)"7T@96QS92!["@D)"7!R
M:6YT(%`@(B1U<FE<;B(["@D)?0H)?0H*"6-L;W-E*%`I.PH)"GT*"G-U8B!D
M:7)?8VAE8VL@>PH):68@*"1&3U)->R=S=6)M:70G?2!E<2`B8VAE8VLB("D@
M>PH)"7)E='5R;CL*"7T*"6EF("@D1D]237LG=7)I)WT@97$@(B(I('L*"0EP
M<FEN="`B/'`^;F5E9"!T;R!I;G!U="!T87)G970@55),<SQP/EQN(CL*"0EP
M<FEN="`B/"]B;V1Y/CPO:'1M;#XB.PH)"65X:70["@E]"@EI9B`H)$9/4DU[
M)V1I<B=](&5Q("(B*2!["@D)<')I;G0@(CQP/FYE960@=&\@:6YP=70@9&ER
M96-T;W)Y(&YA;64\<#Y<;B(["@D)<')I;G0@(CPO8F]D>3X\+VAT;6P^(CL*
M"0EE>&ET.PH)?0H):68@*"1D:7(@/7X@+UPN7"XO*2!["@D)<')I;G0@(F5R
M<F]R.B!C86YN;W0@:6YC;'5D92!U<'!E<B!D:7)E8W1O<GD@6RXN75QN(CL*
M"0EE>&ET.PH)?0I]"@IS=6(@<')I;G1?=F%R<R!["G!R:6YT(#P\14]-.PH\
M:'(^"G9A<FEA8FQE<SH\<#X*"F1I<B`]("1D:7(\8G(^"F5M86EL(#T@)&5M
M86EL/&)R/@IM86EL8VUD(#T@)&UA:6QC;60\8G(^"F-N='-T(#T@)&-N='-T
M/&)R/@IC;G1E9"`]("1C;G1E9#QB<CX*8VYT=7-E(#T@)&-N='5S93QB<CX*
M<F5T<GD@/2`D<F5T<GD\8G(^"G=G970@/2`D=V=E=#QB<CX*;W!T<R`]("1O
M<'1S/&)R/@I%3TT*"GT*"G-U8B!W9V5T7W-T871U<R!["@EP<FEN="`B=V=E
M="!S=&%T=7,Z/'`^7&XB.PH)<')I;G0@(CQP<F4^7&XB.PH);W!E;BA7+"(O
M8FEN+W!S(&%X('P@+W5S<B]B:6XO9W)E<"!W9V5T('P@9W)E<"`M=B!G<F5P
M('PB*3L*"7=H:6QE*#Q7/BD@>PH)"7!R:6YT("(D7R(["@E]"@EC;&]S92A7
9*3L*"7!R:6YT("(\+W!R93Y<;B(["GT*"FYT
`
end

241:名無しさん@お腹いっぱい。
01/12/15 16:40
URLリンク(www.ona-server.com)
POST でしか取れないんだけど、何かいい手ない?

242:名無しさん@お腹いっぱい。
01/12/15 16:55
>>241

#!/bin/bash

for i in `seq -w 013 253`; do wget -nc URLリンク(www.ona-server.com) done

243:241
01/12/15 16:58
うわ、GET で取れんじゃん。
すまそ。

244:Nowhereman
01/12/16 06:40
>230 も書いてたけど、cURL がいいと思われ。

"cURL and libcurl"
URLリンク(curl.haxx.se)

245:名無しさん@お腹いっぱい。
01/12/17 03:48
curl 何が旨いかイマイチ…
レクチャーしてくれよん

246:Nowhereman
01/12/17 20:05
>245
このスレ的には>10が書いてたような事が簡単に出来るからかな。

> curl -O protocol://foo.com/bar[001-100].jpg
とか。
対応してるプロトコルが多いのも嬉しいしね。

247:名無しさん@お腹いっぱい。
01/12/17 20:39
プロトルコ

248:名無しさん@お腹いっぱい。
01/12/17 23:52
トルコ風呂?

249:名無しさん@お腹いっぱい。
01/12/18 14:19
wget-1.8が出てるね。
--limit-rateがあるから、仕事中にバックグラウンド
でコソーリダウソするにはいいかも(藁

250:名無しさん@お腹いっぱい。
01/12/18 18:14
>249 1.8のrate limitationにがバグがあるからパッチ当てようne!

251:249
01/12/19 09:16
>>250 サンクス!
URLリンク(www.mail-archive.com)
のことだよね。

252:250
01/12/19 10:01
>251 んだす。
あと、-rと-mでReferer:が送られないという、ちょっとこのスレ的には致命的な
バグもあるので注意ね。
URLリンク(cvs.sunsite.dk)

253:名無しさん@お腹いっぱい。
01/12/23 17:50
ageage

254:名無しさん@お腹いっぱい。
01/12/29 09:55
集めた画像から、画像サイズが小さいやつをrmしたいんだけど、
うまいスクリプトはないですか?

find -type d -size -20k

とかってのはあるけど、けっこうファイルサイズは大きい画像なのに
小さな画像とかってのあるよね。

255:名無しさん@お腹いっぱい。
01/12/29 10:29
>254 jpegなら>238のjpeginfoでサイズがわかるよ。
jpeg以外はImageMagickのidentifyで。

256:名無しさん@お腹いっぱい。
01/12/30 17:16
zsh+wgetで簡単にできるらしいぞ

ソース:
URLリンク(diary.imou.to)

257:名無しさん@お腹いっぱい。
01/12/30 17:32
(´-`).。oO(釣れた)

258:名無しさん@お腹いっぱい。
01/12/30 17:36
>>256
散々既出だろ

259:名無しさん@お腹いっぱい。
02/01/02 02:30
apacheのディレクトリリスティング(て言うんだっけ?忘れた)で
表示されるようなページから落とすのはどうするの?

たとえば以下のページ
URLリンク(www.freewebspacehost.net)

単純に wget -A jpg,jpeg,gif -r とかだと、NameやLast modifiedとか
いった部分も落とそうとしてハマるんだよね・・・

260:名無しさん@お腹いっぱい。
02/01/02 02:57
-R '?[A-Z]=[A-Z]'

261:名無しさん@お腹いっぱい。
02/01/04 22:35
ええスレや
来年新人が男だけだったら、このねた
使わせてもらいます。

262:名無しさん@お腹いっぱい。
02/01/23 03:37
かなり前に1.8.1が出てるけどwebページには何も書いてないぞage。

wgetのコマンドラインオプションについて語るスレはこちらでしょうか?
ある意味とても実用的なスレで(・∀・)イイ!

しかしスレタイトルを見る限りシェルかcurlの話題だよね…。
お前ら、他にwgetに関して語るスレがあれば教えてください。


263:名無しさん@お腹いっぱい。
02/01/23 04:03
>262 イイんじゃないでしょうか。拙僧はwget専門です。
少し前のwget@はIPv6統合の気配が見えてもえもえでした。

264:名無しさん@お腹いっぱい。
02/01/23 10:48

% wget -l2 -A .tex -p URLリンク(www.biwako.shiga-u.ac.jp)
で、ここからリンクされてる .tex ファイルが取れてません。

.wgetrc の accept = tex,sty とかで指定してもダメだった。というか reject で指定した以外のは
全部取ってきて欲しいのですが。


265:名無しさん@お腹いっぱい。
02/01/23 12:01
エロ画像じゃないのでやる気減退

266:名無しさん@お腹いっぱい。
02/01/23 13:22
つーか、直接
wget URLリンク(www.biwako.shiga-u.ac.jp)
しやがれ。

大体たった1個のTeXファイル落すためになんでそんな余計なことをする?


267:名無しさん@お腹いっぱい。
02/01/23 14:33
エロ小説は対象外ですか?(w


268:名無しさん@お腹いっぱい。
02/01/23 14:43
1周年かよ (w

ハラヘッタ。



269:名無しさん@お腹いっぱい。
02/01/23 17:30
>>264
wget -Lr --no-parent URLリンク(www.biwako.shiga-u.ac.jp)

4ldots.gif 4ldots.html 4ldots.tex
がとれましたが?


270:名無しさん@お腹いっぱい。
02/01/24 06:04
>>265
モチベーション的にどうかと思ったが、wgetの達人がいるらしいので。

>>266
URLは1つの例。最終的にはサイト全体をゲットするのだ。

>>269
-r かぁ! なんで基本的なオプション忘れて。。サンクスコ

あと -L は使い道がないので無くなるらしい。


271:名無しさん@お腹いっぱい。
02/01/24 06:05
もひとつ、、

PGFブスばっかりやん。完全にアウト。


272:名無しさん@お腹いっぱい。
02/01/24 06:49
こっちのスレの1の改造じゃいかんの?
スレリンク(unix板)l50


273:名無しさん@お股いっぱい。
02/01/29 01:13
もう、なんか、まともにページ見る気がしない。

for I in tfc002.tripod.com/{index,g2,g3,g4,g5}.html tfc003.tripod.com/{index,g7,g8,g9}.html tfc004.tripod.com/{index,g11,g12,g13}.html tfc005.tripod.com/{index,g15}.html tfc001.tripod.com/{index,g17,g18}.html ;do wget -ml1 -T30 -A.jpg -Xspic $I ;done


274:名無しさん@お腹いっぱい。
02/02/24 17:59
メンスあげ

275:名無しさん@お腹いっぱい。
02/02/24 19:31
ariaじゃだめなの?

276:名無しさん@お腹いっぱい。
02/02/24 20:59
ariaはコマンドラインから使いにくいしなぁ。
-d オプションが効いてないようだし。



277:名無しさん@お腹いっぱい。
02/02/24 21:29
俺、ブラウザ(galeon)で見て気に入ったのだけ保存する派なのだが、気をつ
けないと同じディレクトリの%d*.jpgっつうファイルをどんどん上書きしちゃ
う。
「右クリック→画像を保存」で、同じ名前のファイルが保存先のディレクト
リにあったら%d*_連番.jpgとリネームして付け加えてくれると助かる。
wgetではそんな機能あるよね(ファイル名の後に連番だけど)。
いい方法無いかな。

278:名無しさん@お腹いっぱい。
02/02/24 21:39
>277 拙者もgaleonを用いてござるが、聊か偏執狂で画像のタイムスタンプなどに拘る
性癖があり、「画像の場所をコピー」してwgetに喰わせてござる。galeonはlocalの
squidを経由しておる故、wgetもcacheから持ってくるようにすれば無駄なトラヒックも
生じず(゚д゚)ウマーなり。

アップローダなどに上がった画像で、ファイルネームが情報性に乏しい場合などは、
登場した板、スレ、レス番号から[board][thread][res].jpg などと変名してござる。

手間分の価値があるかどうかは拙者、断言致し兼ねる。

279:名無しさん@お腹いっぱい。
02/02/25 14:28
URLの位置に保存してます。かぶること少ないし。
2chに出しやすいから神になりやすい ;-)


280:名無しさん@お腹いっぱい。
02/03/02 13:46
えっと、ニューズグループの画像を自動ダウンロードすることはできますか?

281:名無しさん@お腹いっぱい。
02/03/02 18:09
>280 URLリンク(nget.sourceforge.net)

282:名無しさん@お腹いっぱい。
02/03/02 18:35
import java.io.*;
import java.net.*;
public class EroGazoLoader{
  public static void main(String[] args) throws Exception{
    for(int i=0; i<100; i++){
      URL url = new URL("URLリンク(www.foo.com)" + i + ".jpg");
      InputStream in = url.openStream();
      FileOutputStream out = new FileOutputStream(i + ".jpg");
      byte[] buffer = new byte[1024];
      while(true){
        int length = in.read(buffer);
        if(length < 0)  break;
        out.write(buffer, 0, length);
      }
      in.close();
      out.close();
    }
    return;
  }
}


283:名無しさん@お腹いっぱい。
02/03/11 14:45
wgetいいんだけど、くそ重いサイトからダウソしていると、
-t 0(リトライ無限)オプションを付けていても、
connection refused. とか言われていつの間にか終了してしまう。
この場合自動でリトライさせる方法ないかな?

URLリンク(hp.vector.co.jp)

みたいなシェルスクリプトでwgetを回していると、切れてることに気付かなくて鬱になる。

284:名無しさん@お腹いっぱい。
02/03/19 00:39
age

285:名無しさん@お腹いっぱい。
02/04/01 18:16
定期あげ

286:名無しさん@お腹いっぱい。
02/04/01 23:22
ここに触発されて、新入社員の教育(3日連続)のシメに
某エロサイトのhtmlから直リンクを生成せよっていう課題を出した。

最初は誰もその真意を理解せずにノホホンとスクリプト組んでたが、
暇つぶしに利用法を語りだすとだんだん真剣にキーを叩くように。
時間が終わった後も、応用例や疑問点等、最初の2日間適当に流して
理解しなかった点についてもしっかりと押さえようと彼等は真剣に
質問してきた。
また、もし時間が余った場合に備えてもう2本ほどhtmlを用意してた
が、それらは彼等への自習用としてあげたら喜んで残業してスクリプト
を組んでいた。


来年もこれでやろ。


287:杞憂
02/04/01 23:27
>>286
セクハラになったりしない?

288:名無しさん@お腹いっぱい。
02/04/01 23:43
>>286
いい話だなァ……。

289:名無しさん@お腹いっぱい。
02/04/02 00:10
>>287
新人が喜んでるならいいんだけどね。
そうでないとまずいかもね。

290:名無しさん@お腹いっぱい。
02/04/02 00:11
たとえ新人が男でも。

291:名無しさん@お腹いっぱい。
02/04/02 00:36
ああ確かにこういうの、男でもイヤがるひといるね。
2ちゃんねらーなら、ヤなものは無視するだけだろうが(w

292:286
02/04/02 01:10
マジメな課題も用意してたんよ、糞つまらんけど半日かかる奴いくつか。
さすがに女性参加だとやらんかったけど、男ばっかで新入社員ってノリ
良いし。

んで、演習に使ったのはhtmlファイルだけで、職場自体がモロ画像を手に
入れることのできるネットワーク環境じゃないんで、「会社で作って寮か
ツレのところへ持ち込め!」ってやったら気合入れてやってたよ。
んで、さらに一人残業してた奴は
「いや、これ後30分で持っていくってインターネットやってるツレに電話
したからどうしてもやんないと!」

そいつ、今、俺の弟子やってます(笑)。

293:名無しさん@お腹いっぱい。
02/04/07 16:09
>>286
新入社員の秀作、名作、迷作キボー

294:名無しさん@お腹いっぱい。
02/04/07 16:32
社会人になったら>>286みたいな先輩がほしいなぁ。

295:名無しさん@お腹いっぱい。
02/04/07 17:13
おれも新人研修やるんだけど..
新入社員に女子がいるし、人事の女にもチェックされるんだヨウ...
女性用にホモ画像サイトも用意してやるか..


296:名無しさん@お腹いっぱい。
02/04/07 17:44
若い子には猫の写真とか。

297:名無しさん@お腹いっぱい。
02/04/07 20:54
>>295
ホモは奥が深くて難しい。安全にショタ系にすれ。

298:286
02/04/08 12:25
>>293
ちょっと前までサーバ上に名作、迷作の回答あったんだけど、弟子にUNIXの
バックアップ・リストアの実演やらかした時に消しちゃったい。
各自で保存しているらしいから、そのうちちょっと聞いてみるけど。

結構面白いのもあったんだけどね。

ただ、特に仕様らしい仕様も出さなくて、「とにかく直リンクがコマンド一発で
抜き出せればOK」だったので、そのhtmlファイル依存しまくりのスクリプト
だらけだったよ(当然か)。
でも、その某サイトは同じ格好のhtmlが数百本あるから、スクリプトを時間
かけて作成するだけの価値が彼らにはあったと信じる(笑)。

>>296
安全牌としてそのテも考えていたんだけど、スクリプトを使って大量
ダウンロードできるだけのボリュームがあるサイトを見つけられなかった。
今後の安全牌として、どこか紹介していただけるとありがたいです。


299:名無しさん@お腹いっぱい。
02/04/09 02:24
>298
難易度高いけどこことか。
URLリンク(www.ne.jp)

300:286
02/04/09 22:58
>299
お、まとまったサイト紹介、ありがとさんです。
細切れになってるからリンクマジメに辿るとかだと大変かも。

でも安牌にさせてもらいます。

301:名無しさん@お腹いっぱい。
02/04/14 12:36
#!/usr/bin/perl
#
# index.pl
# ネスケで一覧するのを提案します。
# ノーチラス使えない環境の人には良いかも。
# このスレひととおりみたけどこういうのはまだ出てないみたいだったので。
# 小さくすればグロ画像もこわくないですし。
# file:/home/ero/wget/index.html とかして使用すます。
#
# 画像のたまったディレクトリで ./index.pl > side.html
# index.html として下のを用意
# body.html は無くて良い
#
#index.html
#<HTML>
#<FRAMESET COLS='20%,*'>
#<FRAME SRC='side.html' NAME='side' SCROLLING='auto'>
#<FRAME SRC='body.html' NAME='body' SCROLLING='auto'>
#</FRAMESET>
#</HTML>
#

print '<html><body>';

@_=`ls -t`; # `ls -S ` などもよろしいかと
$dir=`pwd`; # chomp してももちろん可

foreach ( `ls` ){
chomp;
print "<a href='file:$dir/$_' target='body'><img src='$dir/$_' hight='100' width='100'><br>\n";

}

print "</body></html>\n";



302:名無しさん@お腹いっぱい。
02/04/14 12:39
`ls` は @_ のまちがいです。
今はじめて気がついたよ。。。

303:名無しさん@お腹いっぱい。
02/04/14 12:54
Perl使わなくても、プロンプトから
ls *.jpg|sed 's/\(.*\)/<a href="\1" alt="\1"><img src="$1" height=100 width=100></a>'>hoge.html
とする程度でいいんじゃない?

304:名無しさん@お腹いっぱい。
02/04/14 12:55
しまった。こうだな。
ls *.jpg | sed 's%\(.*\)%<a href="\1" alt="\1"><img src="$1" height=100 width=100></a>%' > hoge.html

305:301
02/04/14 13:27
画像の下にダウンロード元の URL 表示できるようにしたりとか、
機能拡張を予定しているので。。。
またそれがここに載せた理由です


306:1
02/04/14 19:15
がんばれ301さん。
あげ

307:名無しさん@そうだドライブへ行こう
02/04/14 20:27
>>304
typoかな?
ls *.jpg | sed 's%\(.*\)%<a href="\1" alt="\1"><img src="\1" height=100 width=100></a>%' > hoge.html
^^^

308:307
02/04/14 20:29
ずれてる。
鬱氏。
img src のとこね。

309:名無しさん@お腹いっぱい。
02/04/14 21:09
ぽこにゃん方式の詳細どこかにありませんか? 復元するソフト書こうと思ってるんだけど。

310:名無しさん@お腹いっぱい。
02/04/15 02:48
>309
ぽこにゃんの仕様は公開されていませんが、作者に請求すれば手に入ります。
作者が生きていれば。

3年ほど前、そうやって作られたUNIX用の実装がありましたが配布元は死んでいました。
BBSが動いていたのには驚きました。(^_^;)マァヴ


311: du -sh . が 427M
02/04/15 23:23
この遊びをはじめて今日で3日。
やはりグロ画像が怖い、怖すぎる。
小さくしてもやっぱ厭だ。
だが、どうやら種類はそれほど多くないらしい、毎回同じ奴が出る。
@exceptionurls とかして、予め登録するやり方が有効かもしれない、
とコメントだらけの 2ch.pl と index.pl を覗く夜。

...abortion.mpg いります?

312:名無しさん@お腹いっぱい。
02/04/16 21:57
>>1
ありがとさん。
バッチかけて大量の画像集めてみました。
FLASH集めにも使えそうですね。

しかし、ツールのせいじゃないんだけど2chて怖い画像多すぎだな。


313:名無しさん@お腹いっぱい。
02/04/23 17:40
age

314:名無しさん@お腹いっぱい。
02/04/30 00:41
age


315:名無しさん@お腹いっぱい。
02/04/30 01:37
俺はこの時だけのためにzshをいれている。
もち、
ふだんtcsh,シェルスクリプトsh

316:名無しさん@お腹いっぱい。
02/04/30 03:19
>315
奇遇だな、俺もだよ。

317:名無しさん@お股いっぱい。
02/05/02 02:19
wget でさ 302 に反応するの止められないかな


318:318
02/05/02 04:15
恥ずかしい動機でパッチ作る漏れ

319:Bourne Shell 馬鹿一代
02/05/09 20:45
しごく無理矢理に。
#!/bin/sh

prefix=`echo $1 | sed 's/\[.*//'`
suffix=`echo $1 | sed 's/.*[0-9]*\]//'`
area=`echo $1 | sed 's/[^\[]*\[//' | sed 's/\].*//'`
start=`echo $area | sed "s/-.*//"`
finish=`echo $area | sed "s/.*-//"`
figure=`echo $finish | wc -c`
figure=`expr $figure - 1`

get_filename() {
num=$1
num_fig=`expr $num | wc -c`
num_fig=`expr $num_fig - 1`
zero=""

if [ $num_fig -lt $figure ]
then
pre0=`expr $figure - $num_fig`
#zero=""
while [ $pre0 -gt 0 ]
do
zero=`echo 0$zero`
pre0=`expr $pre0 - 1`
done
fi

echo $prefix$zero$num$suffix
}

while [ $start -le $finish ]
do
wget `get_filename $start`
start=`expr $start + 1`
done


320:名無しさん@お腹いっぱい。
02/05/13 13:26
月イチくらいでこのスレチェキするの、実は楽しみ。
保守sage

321:名無しさん@お腹いっぱい。
02/05/19 12:52
age

322:名無しさん@お腹いっぱい。
02/05/19 14:25
>309
wine Pokonyan.exe で十分。

323:名無しさん@お腹いっぱい。
02/05/20 04:02
スプールディレクトリにファイルのリストを書いたファイルをぶちこむと
勝手に読みこんでwgetしてくれるデーモンがあれば便利なような気がした。

324:名無しさん@お腹いっぱい。
02/05/20 04:28
>>323
それくらいチョチョイと作れよという気がした。
スクリプトで定期的に回すだけでも十分な気もした。


325:323
02/05/21 03:11
#!/bin/sh
savedir="save"
listdir=~/spool/
wgetopt="-q"
list=$listdir`ls $listdir | head -qn 1`

while [ $listdir != $list ]
do
if [ -s $list ] ; then
file=`head -qn 1 $list`

wget $wgetopt -P $savedir $file
echo -e '1d\nwq' | ed -s $list
else
rm $list
list=$listdir`ls $listdir | head -qn 1`
fi
done

#回す内容だけ作ってみたが、定期的に回すやり方が分からんかった

326:名無しさん@お腹いっぱい。
02/05/21 11:49
最後に自分自身をatする

327:323
02/05/21 18:38
>>326 さんくす
こんなかんじでいいのかな?
echo $0 | at now + 1 minutes

328:名無しさん@お腹いっぱい。
02/05/22 13:12
at使う方法もあるってだけ。
cronのほうがいいでしょ。

329:名無しさん@Emacs
02/05/24 15:57
zshで数字の場合は{00..99}とかすればいいけど
{a..z}みたいにアルファベットの場合はどうすればいいの?

330:名無しさん@お腹いっぱい。
02/05/24 18:14
ruby -e '("a".."z").each{|i| puts i}' とか?
Ruby使うのは反則気味かな。


331:名無しさん@XEmacs
02/05/24 19:29
ていうか ruby でダウンローダ書くべし。。。


332:345
02/05/30 10:24
URLリンク(susume.free-city.net)
以下のファイルがwgetでどうしても落とせません。
htmlファイルもです。
refererの設定をしてもエラーのhtmlファイルを拾ってくるだけで
目当てのファイルが落とせないのです。
ariaでやるとrefererありでもなしでも落とせました。
どうやればwgetで落とせますか?

333:名無しさん@お腹いっぱい。
02/05/30 10:43
>>332
朝っぱらから同人誌かよ (w
さらに `-r -A jpg ' で何ごとも無く落とせるじゃ~ないか


334:その筋の人(w
02/05/30 10:58
free-cityはRefererがhtmlで終わっていないとエラーになる仕様。
ディレクトリやhtmでは駄目。

335:名無しさん@お腹いっぱい。
02/05/30 11:17
free-city、面倒だからたまに referer に落としたい画像そのもの(.jpg)を指定するけど、大丈夫だよ。

336:名無しさん@お腹いっぱい。
02/05/30 11:24
要は指定した拡張子しか置けなくて、置けるものがRefererになっていないと駄目ということかな。

337:332
02/05/30 12:30
こんなネタにわざわざ答えて、ありがとさん。
>>334
なるほど、free-cityはそういう仕様だったのですね。
かなり勉強になりました。
が、、
wget URLリンク(susume.free-city.net) --header=Referer:URLリンク(susume.free-city.net)
wget URLリンク(susume.free-city.net) --header=Referer:URLリンク(susume.free-city.net)
wget URLリンク(susume.free-city.net) --header=Referer:URLリンク(susume.free-city.net)
wget URLリンク(susume.free-city.net) --header=Referer:URLリンク(susume.free-city.net) -Ahtml,jpg
いろいろやってみましたがゲット出来ません。
ちなみにWgetのバージョンは1.4.5です。



338:名無しさん@お腹いっぱい。
02/05/30 12:50
1.4.5 古すぎ。最近のは 1.8.1 かな?
いろいろと便利になっているよ。
昔のだと、--header='Referer: URLリンク(hogehoge...)<) だな。


339:名無しさん@お腹いっぱい。
02/05/30 12:53
ついでに、
wget [オプション]... [URL]... だな。
wget [URL]... [オプション]... じゃなくて。
-m とか -r とか、その辺りもちゃんと調べるように。


340:名無しさん@お腹いっぱい。
02/05/30 12:56
こういうことやるには、HTTP とか CGI とか Javascript とか HTML にも精通していると
困ったときに色々と助けになる。
ダウンロードばっかりしてないで、せっかくの良い機会だから RFC とかも読んでみるといい。


341:332
02/05/30 13:10
>-m とか -r とか、その辺りもちゃんと調べるように。
wget URLリンク(susume.free-city.net) --header=Referer:URLリンク(susume.free-city.net) -r -l1
などとやるとエラー二つとトップのhtmlがダウンロードできるのですが、
直接トップのみをDLしたいんです。
助言にしたがって最新バージョンをいれて試してみます。
Refererが送られないバグがあるバージョンがあったそうだが、、、

342:名無しさん@お腹いっぱい。
02/05/30 13:24
>>341=332
339さんの記事、読んでるのか?

少し落ち着けよ。

343:名無しさん@お腹いっぱい。
02/05/30 14:11
  ∧∧
 (゚Д゚ )
  ⊂  ヽ   / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
   〉 ノノ~ <  それは1.8。
  ∪∪   \______________
>332
>Refererが送られないバグがあるバージョンがあったそうだが、、、


344:名無しさん@お腹いっぱい。
02/05/30 17:51
fURLリンク(tron.um.u-tokyo.ac.jp)

345:332
02/05/30 18:05
>339さんの記事、読んでるのか?

wget --header=Referer:URLリンク(susume.free-city.net) -r -l1 URLリンク(susume.free-city.net)
の順だってのはわかってたんだが、貼り付けるときに間違った方を貼り付けてしまったようで。
記事はもちろん、きっちり読んでるよ。
少し落ち着けってのはその通り。


346:名無しさん@お腹いっぱい。
02/05/30 18:06
ぐ、sageるべき記事だった。

347:132
02/05/30 18:11
一応事後報告。
Wget/1.4.5ではどうあがこうが、単体で落とせなかった。
が、
最新バージョンをためしたら、refererなしで難なく落とせました。
原因は今だ不明。
アドバイスくれた人に感謝。

348:名無しさん@お腹いっぱい。
02/06/07 05:28
332は逝ってよし

349:名無しさん@Emacs
02/06/11 23:31
zshで wget URLリンク(www.aaaa.com)
とやるとURLが展開されファイルを落ちてくるのですが、このURLをテキストに書いて
wget -i hoge.list
としてもURLが展開されないです。

こういう物なのでしょうか?
リストを展開する方法を教えてくれたら動画プレゼント。

350:名無しさん@お腹いっぱい。
02/06/11 23:36
>>349
{01..12}.mpgを展開しているのは、zshです。


351:名無しさん@Emacs
02/06/11 23:38
zsh -c "echo URLリンク(www.aaaa.com) | tr ' ' '\n'" > hoge.lst
wget -i hoge.lst


352:名無しさん@Emacs
02/06/11 23:42
ありがとう。

URLリンク(www.interracialgames.com)
URLリンク(www.interracialgames.com)
URLリンク(www.interracialgames.com)
URLリンク(www.interraciallounge.com)
URLリンク(www.interraciallounge.com)
URLリンク(www.interraciallounge.com)
URLリンク(www.interraciallounge.com)
URLリンク(www.interraciallounge.com)
URLリンク(www.interracial-couples.com)
URLリンク(www.interracial-couples.com)
URLリンク(www.interracial-couples.com)
URLリンク(www.interracial-couples.com)
URLリンク(www.interracial-couples.com)
URLリンク(www.interracial-couples.com)
URLリンク(www.interracial-couples.com)
URLリンク(www.hh.iij4u.or.jp)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)


353:名無しさん@Emacs
02/06/11 23:57
ちなみに複数のURLがあった場合一発でするには?

354:名無しさん@お腹いっぱい。
02/06/12 00:05
>>353

↓こういうファイルを作って実行すれば良いと思います。

#!/bin/zsh

wget URLリンク(www.interracialgames.com)
wget URLリンク(www.interracialgames.com)





355:名無しさん@Emacs
02/06/12 00:08
>>354

#!/bin/sh

for i in URLリンク(www.interracialgames.com) \
URLリンク(www.interracialgames.com) \
URLリンク(www.interracialgames.com) \
URLリンク(www.interraciallounge.com) \
URLリンク(www.interraciallounge.com) \
URLリンク(www.interraciallounge.com) \
URLリンク(www.interraciallounge.com) \
URLリンク(www.interraciallounge.com) \
URLリンク(www.interracial-couples.com) \
URLリンク(www.interracial-couples.com) \
URLリンク(www.interracial-couples.com) \
URLリンク(www.interracial-couples.com) \
URLリンク(www.interracial-couples.com) \
URLリンク(www.interracial-couples.com) \
URLリンク(www.interracial-couples.com)

do
zsh -c "echo $i | tr ' ' '\n'" >> hoge.lst
done


356:名無しさん@Emacs
02/06/12 00:09
>>354
なるほど。↑なスクリプト書くより簡単ですね。

357:名無しさん@Emacs
02/06/12 00:16
書いた本人が言うのもなんだけど、この動画あんまりよくないね。
今度はもっといいのを教えたる

358:名無しさん@お腹いっぱい。
02/06/12 00:20
さっそく見たが
URLリンク(www.hh.iij4u.or.jp)
はよかった。


359:354
02/06/12 00:22
>>358
漏れの中ではガイシュツでした。

360:名無しさん@Emacs
02/06/12 00:24
シェルスクリプト勉強するのにエロ動画は最適。

361:名無しさん@お腹いっぱい。
02/06/12 00:26
>>360
確かに。必死に覚えるからね。(藁

362:名無しさん@お腹いっぱい。
02/06/22 00:18
いやはや、勉強になりマスタ、、、thx

363:名無しさん@お腹いっぱい。
02/06/24 08:33
正月そうそう、しかも21世紀の門出に
PGFのコレクションを思い立った>>1に感謝

364:1
02/06/30 14:24
>>363
1です。お褒めいただきありがとうございます。

365:名無しさん@お腹いっぱい。
02/06/30 15:48
最近は yahoo で手古摺ってる。
どうにかならんもんかな?


366:名無しさん@お腹いっぱい。
02/06/30 18:13
画像ビューアで、
サイズを画面に合わせて表示してくれるときに
ディザ (っていうの?) かけてくれるのってない?
縮小表示のときにぶさいくな顔になって萎えるときがあるんだけど。

367:名無しさん@お腹いっぱい。
02/06/30 18:22
enfle

368:366
02/06/30 18:42
>>367
試してみたけど、縮小表示のときは
smoothing してくれないような。

369:本当だ
02/06/30 18:56
   ||
 Λ||Λ
( / ⌒ヽ
 | |   |
 ∪ 亅|
  | | |
  ∪∪
   :
   :

 ‐ニ三ニ‐

370:名無しさん@お腹いっぱい。
02/06/30 19:05
GQviewは?

371:名無しさん@お腹いっぱい。
02/06/30 19:12
同じように見えるなあ。

372:366
02/06/30 19:20
>>371
うん。
ImageMagick の display はリサイズすると smoothing してくれた。
でも「画面より大きい画像を縮小表示」機能が見つからない。
いちいち縮小率打ちこむのは緊急時には非現実的だ。

373:名無しさん@お腹いっぱい。
02/07/01 00:49
>>372
> 緊急時
ワラタ

ところで gqview は option で dithering の
具合を変えられるよ.

374:366
02/07/01 00:59
>>373
Image → Quality だね。
ヤター、ありがとう!
スライドショウのときは先読み (?) してくれるっぽいね。
画質優先にしてもあんまり遅くない。

よーし、今夜はがんばっちゃうぞー。

375:電波5号
02/07/01 15:32
細かいこと考えないで
wget URLリンク(hoge.jp)
とか
たまにするよ

それ以上はperl のワンライナーでだいたい事足りるような

376:名無しさん@Emacs
02/07/01 15:37
wget URLリンク(hoge.jp)

377:名無しさん@お腹いっぱい。
02/07/01 15:42
>>376
zsh なら、ね。

378:名無しさん@Emacs
02/07/01 19:59
昔、レイトレーシングのプログラム組んでて知ったけど
ディザリングとアンチエイリアスって考え方としては
別物なんだよね。

少ない色数で擬似的に多くの色を見せるのが
(黄色と赤色を交互に並べて橙色に見せたりするのが)
ディザで、

小さい物体を描く時にドット間に距離の差がでて
画像がガタガタに見える時に中間の色を混ぜて
なめらかにするのがアンチエイリアスなんだよな。

似てるといえば似ているかな

379:名無しさん@Emacs
02/07/01 20:29
神崎じゅりが今何やってるか知ってる人いない?
好きなんだけど…

380:名無しさん@お腹いっぱい。
02/07/02 04:22
ググルとか2ch検索とかの、UNIX板以外ルートでこのスレに来た奴が、
"hoge.jp"なる大御所エロサイトが本当にあると思ってブラウザに
URLリンク(hoge.jp)とか打ちこんでたりして。

とふと思ったが面白くも何とも無いな。

381:名無しさん@お腹いっぱい。
02/07/03 15:48
vmware→win→irvine

382:名無しさん@お腹いっぱい。
02/07/03 22:08
vmware→win→cygwin→wget

383:名無しさん@お腹いっぱい。
02/07/03 22:40
>311
>やはりグロ画像が怖い、怖すぎる。

1)いやな画像のcksum(1)やmd5(1)をリストに取っておいて、
2)落とした画像とコンペアして一致したらあぼーん

てなロジック追加すればいいんじゃないの?
cksumとか動作遅いけど、通信速度よりかは早いと思うからあんまし問題
にならんと思うけど。

384:名無しさん@お腹いっぱい。
02/07/04 12:29
グロはもう慣れた
エロ画像じゃなかったという落胆しかなくなった
でも最近初めて見るのだとちょっとうれしい

385:名無しさん@お腹いっぱい。
02/07/04 13:20
夢に出ないか?うなされないか?

386:名無しさん@お腹いっぱい。
02/07/04 18:21
>>378
ディザリングは高い解像度で擬似的に色数を増やす。
アンチエイリアスは多い色数で擬似的に解像度をあげる。


387:名無しさん@お腹いっぱい。
02/07/05 13:39
しかし、wgetの逆ってないもんかしらねぇ。wgetしたエロエロを一気にFreeHPに放り込むのに使いたい。

388:名無しさん@お腹いっぱい。
02/07/05 13:42
>>387
HTTP で送るの?

389:名無しさん@Emacs
02/07/05 14:49
PGFらしきの大量のリンクを発見したんだけど多すぎて挫折。

390:名無しさん@お腹いっぱい。
02/07/05 19:03
link のせてくれ!

391:名無しさん@Emacs
02/07/05 21:47
>389
linkのせてくれ!
まだコンプリートできないんだ…

あとPGFのオリジナルは画像が綺麗でサイズも大きいらしいね。
俺が持ってるのは再配布版ばかりで、画像がキチャナイ。

392:389
02/07/05 22:43
URLリンク(www.genie.x0.com)
URLリンク(www.genie.x0.com)
URLリンク(www.genie.x0.com)

なんか質が高くないようだけど。
海外Proxyが必要な所もあるけどページの上の説明の先に一覧がある。

393:名無しさん@お腹いっぱい。
02/07/05 23:31
>392
やったー

51番目、よっつめのリンクが質が良い。

394:名無しさん@お腹いっぱい。
02/07/06 18:39
逃げろーをハメた奴はすごく勇気あるな

395:名無しさん@お腹いっぱい。
02/07/09 00:11
403.phpがでけるのって何故?

396:395
02/07/09 03:05
おもいっきり既出のrefererですた
スレ汚しスマソ

397:383
02/07/12 00:02
とりあえず、俺もw3mをコアとしてcsh(苦笑)で直リンを2chの半角板から
吸い出す奴作ってみました。
(ソース?4行しかないしパイプつなぎまくりで恥ずいので非公開)

そいつでダウンロード始めたんだけど、グロ怖いし画面小さいしでNetBSD
上じゃあやってられないってんで、WinXPのエクスプローラの縮小表示で
見ながら、今作業中です。

グロ耐性無いんで、もっとも安全パイっぽかった半角2次元板でテスト(W
今のところ100ファイル程度だけど、グロはまだ無いなー。

398:383
02/07/13 23:53
さらに、過去落としたURLと入手したURLとを比較するCのコードも書き、
重複したダウンロードも避けるように環境もだんだんと整えつつあります。まだ4日目なんでいい加減ですが、だいたい半角2次元板で300~500枚程度
の新規画像の投稿があるみたいです。#想像以上の新規投稿枚数...よくネタが続くもんだ。

399:名無しさん@お腹いっぱい。
02/07/14 00:28
気分が悪いのでプレゼント

URLリンク(www.teeniegurls.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)


400:名無しさん@お腹いっぱい。
02/07/15 05:18
はー気分最悪。

URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)


401:名無しさん@お腹いっぱい。
02/07/19 06:36
FreeBSD厨房なヲレ

%jot -w "URLリンク({URL})" 99 | xargs -n1 fetch

ex.
URLリンク({URL})URLリンク({URL}) 取得

402:名無しさん@お腹いっぱい。
02/07/19 07:48
あまり関係ないかも知らんが、こう言うのを使ってキャッシュ内のファイルを・・・
って出来ればいいんだけどな。

URLリンク(kasumi.sakura.ne.jp)

403:名無しさん@お腹いっぱい。
02/07/29 22:29
dirs=`find . -type d` とかしたあとに、
$dirsの中のディレクトリをランダムに並びかえるにはどうしたら良いでしょうか?

qivでエロ画像を見るのに必要なんです。(;´Д`)ハァハァ


404:名無しさん@お腹いっぱい。
02/07/29 22:37
>>403
qiv じゃないの使う、とか。

405:名無しさん@お腹いっぱい。
02/07/29 22:38
素直にインターネットニンジャ使ってます
画像も縮小表示されるしDL失敗したら指定回数リトライしてくれるしラクチン

406:名無しさん@お腹いっぱい。
02/07/29 23:03
>>403
qiv の --random とか --shuffle オプションは
使っちゃだめなの?

407:403
02/07/29 23:40
>>404
fehが susieに似ているらしいと聞いたので使ってみましたが、
ダメダメでした。(なんでダメダメだったのかは忘れた。)

>>406
私の場合はディレクトリで被写体(?)を分けているので、
そのオプションはこの場合使えません。
'find . -name "*.jpg"'の結果を qivしてもいいんだけど、
被写体がごちゃごちゃになっちゃうでしょ?

↓この時、qivに渡すディレクトリをランダムにしたいのさ。(;´Д`)ハァハァ

dirs=`find . -type d`
for dir in $1; do
echo $dir/* | xargs qiv -f -s -d 5
done


408:403
02/07/29 23:41
>>407
ミスった。
for dir in `find . -type d`; do
echo $dir/* | xargs qiv -f -s -d 5
done


409:名無しさん@お腹いっぱい。
02/07/30 11:24
漏れはInternet Ninjaの連番取込でやってるよ。ちょうかんたん。
UNIXと関係ないのでsage

410:名無しさん@お腹いっぱい
02/08/01 03:41
最近はエロ動画をダウンロードするスクリプトでがんばっています。
スクリプトほしい?

411:名無しさん@お腹いっぱい。
02/08/01 03:48
スクリプトの出来次第だな。
とりあえずさらしてみそ。


412:名無しさん@お腹いっぱい。
02/08/01 04:30
長く、細く続くスレ

413:名無しさん@カラアゲうまうま
02/08/01 05:37
>>403
NetBSD由来のshuffle(1)というのもある。
URLリンク(cvsweb.netbsd.org)
URLリンク(www.jp.FreeBSD.org)

ちなみに漏れはこんな感じ
$ find . -type f -name '*.{jpg,gif}' | shuffle -f - | xargs xv -maxpect -smooth &

414:410
02/08/01 07:57
>>411
dogaloというHなサイトから最新動画を取り込むスクリプトです。
zshって知らないのですけど、これ使うともっと楽になるんでしょうね。
ご指導ください

----- get_dogalo.sh ----
#! /bin/sh -v
#
HPDIR=URLリンク(www.hentaiplay.com)
HP=newdogalo.html

LIST=dogalo.list
SAVE_DIR=dogalo.d
touch $SAVE_DIR

/bin/rm -f $HP
wget -o /dev/null $HPDIR/$HP

getext gif $HP > $LIST
getext png $HP >> $LIST
getext jpg $HP >> $LIST

cd $SAVE_DIR; /bin/ls | sed -e 's,\(.*.\),g/\1$/s/.*//,' > ../ed.cmd; cd ..
echo w >> ed.cmd
echo "g/^$/d" >> ed.cmd
echo w >> ed.cmd
echo q >> ed.cmd
ed $LIST < ed.cmd
cd $SAVE_DIR; wget -o dogalo.log -D members.aol.com -c -t 0 -i ../$LIST

----- getext -------------
#! /bin/sh -v
EXT=$1
tr '<' "\012" < $2 | tr '>' "\012" | grep href | \
tr = "\012" | grep http | grep $EXT | sed -e "s/.*\(http.*$EXT\).*/\1/"


415:名無しさん@お腹いっぱい。
02/08/01 14:51
wget -c -t 0 -S -nd -np -r -l 1 --accept=jpg URLリンク(urabon.site)

落ちてこなければ、--span-hosts をつける。

416:名無しさん@お腹いっぱい。
02/08/01 16:06
>414
perl とか zsh を使うとそういうのはとても簡単に処理できるけど、
とりあえず、シェルスクリプトで自分の知っているコマンドの組み合わせで
処理を書いてみるのも、きっかけは何であれ、いろいろと勉強にはなるな。
次の課題は、もう少しいろいろなサイト用にも応用ができるようにするのと、
処理をもう少し洗練させてみると良いのでは。
そのうち、JavaScript 使って変なことしているのや、Referer とか Useragent
見てアクセス制限しているサイトへの対応も簡単だからチャレンジしてみるといい。
さらにスキルがついたら、クリッカブルマップとCGI使って画像を直接見えない
ようにしているサイトとか、ヤフブリみたいに変なことしているサイトは
個別対応になるけど、それなりにやり応えはあるだろう。
まあ、先は長い。がんばれ。


417:名無しさん@お腹いっぱい。
02/08/01 23:49
URLリンク(j2ch.free-city.net)
「2ちゃんJPGマニアックス」

これ作ったのここらへんのひとだったりする? わけないか。

418:bash (linux厨だから)
02/08/02 12:04
wget -r -A .jpg,.gif -nd -nc --user-agent='Mozilla/4.06 [en] (Win95; I)' URLリンク(www.hogefuga.com)

419:名無しさん@お腹いっぱい。
02/08/03 00:16
>>413
'gcc shuffle.c'すると、以下のエラーが出ます。
getprogname()はいいとして、fgetln()ってどこにあるんでしょうか?
RedHat7.2、gcc-3.0.4 です。

shuffle.c: In function `get_lines':
shuffle.c:161: warning: assignment makes pointer from integer without a cast
/tmp/ccyouD03.o: In function `usage':
/tmp/ccyouD03.o(.text+0x145): undefined reference to `getprogname'
/tmp/ccyouD03.o: In function `get_lines':
/tmp/ccyouD03.o(.text+0x1f7): undefined reference to `fgetln'
collect2: ld returned 1 exit status


420:名無しさん@お腹いっぱい。
02/08/03 01:33
>>417

多分、このスレじゃなく、
スレリンク(unix板)
のほうのスレッド関係者じゃないかな

421:名無しさん@お腹いっぱい。
02/08/03 05:21
>>417
$ grep ^http girls_list.html | while read i; do wget $i; done

グロ画像多過ぎて鬱。


422:名無しさん@お腹いっぱい。
02/08/03 14:41
>>421
虹板のリストを使ってみた。
6415のURLがリストアップされていて、実際にゲトできたのが2368。
うち、画像ファイルが2339、グロ画像(自分基準)が15。
容量は249746KB、所要時間が72分、平均転送レートが57.8KB/sでほぼ帯域いっぱい。

% du -sk * | sort -rn | head
68814 www.angelfire.com
20252 www.floralia.org
11720 www.42ch.net
7478 members15.tsukaeru.net
5375 www.moemoe.gr.jp
4640 www.momo-bbs.com
4637 210.153.100.60

NAT箱のテーブルがあふれるかと思った(w

423:名無しさん@お腹いっぱい。
02/08/03 17:22
wget 1.8.2 のwindows版
URLリンク(all-your-base.kicks-ass.net)


424:名無しさん@Emacs
02/08/04 15:46

>>421

よさげだと思って半角板のリスト使ってみたが、ろくなもんないなあ。
ってかグロ多すぎ。
NNTPからごそっと落してきた方がいいや。

てか、そういう用途にはみなさん何使ってます?
FreeBSDのportsでいくつか探してるけど、
「これっ」ていうやつがない....



425:名無しさん@お腹いっぱい。
02/08/04 15:49
>424
努力を惜しむ奴には、いいところその程度だろう。

426:383
02/08/05 13:14
>424 「これっ」
世間一般に出回ってるのって、大抵リンクを追いかける奴だからねぇ。
漏れは手作りでcsh使ってやってたけど、質が揃わないため最近やる気が
失せた。
やっぱり>425の言うと降り、努力した方がいい物揃うというのは確かで、 
URL生成するだけでは絶対たどり着けない鉱脈があちこちにあるから、
それ考えるとまぁスクリプトでの遊びだな、って思いますね。

427:421
02/08/05 16:24
>424
(A): URL だけ抜き出すスクリプト
(B): 行をランダムで並べ返るスクリプト
(C): fork & exec で 10 個くらい並列で D するスクリプト
(D): wget or /usr/bin/fetch(FreeBSD)

A-C を Perl で前に自作したんだけど、B がどっかいっちゃった。

>421 やる時に B 作り直そうと思ったら無限再帰 fork して...
面倒なのでさじなげますた。


428:名無しさん@お腹いっぱい。
02/08/05 16:50
で、端子さわって壊れる

429:421
02/08/06 07:48
>427 の (C) つくった。
OS によっては waitpid(PID, WNOHANG) ができないかも、
と perlfunc(1) に書いてありますた。

どなたか採点してもらえると幸せです。


#!/usr/bin/perl

use strict;

# FreeBSD -CURRENT の場合。他は知らん。
use POSIX ":sys_wait_h";

my $fetch_cmd = "wget -x";
my $max = 10;


main();

sub main
{
my($pid, @slot);

while(!eof()){
for(0..($max-1)){
if($slot[$_] != 0 and waitpid($slot[$_], &WNOHANG)!=0){
$slot[$_] = 0;
}
}

for(0..($max-1)){
if($slot[$_] == 0){
my $url = <>;
last unless defined $url;
chomp($url);
$pid = fork();
if($pid==0){
exec("$fetch_cmd $url");
}
else {
printf("Proc %d(%10d) fetching %s\n", $_, $pid, $url);
$slot[$_] = $pid;
}
}
}

sleep(1);
}

for(0..($max-1)){
waitpid($slot[$_], 0);
}
}


430:名無しさん@お腹いっぱい。
02/08/06 08:37
>429

常に10並列にはならずに、
10個まとめて起動しては、それらが全部終わるのを待ってから
次の10個を起動するというのは効率が悪いので、
空いたところからどんどん次のプロセスを起動するようにしてはいかがか。

私は、逆に、フリーのサーバにアップされた画像だと、
サーバーに負担をかけるとすぐに消されてしまうので、
wget -w 5 -i url-list
みたいなのを、異なるサーバーの分を並列に走らせるのを好む。


431:430
02/08/06 10:56
すまん、前半は私の誤解だった。 WNOHANG とはそういうものなのね。

432:399
02/08/06 21:32
はぁ、今日も最悪。なのでプレゼント。

URLリンク(www.rr.iij4u.or.jp)
URLリンク(www.nn.iij4u.or.jp)
URLリンク(www.pp.iij4u.or.jp)
URLリンク(www.rr.iij4u.or.jp)
URLリンク(www.pp.iij4u.or.jp)
URLリンク(www.dd.iij4u.or.jp)
URLリンク(www.fhjp.net)
URLリンク(www.fhjp.net)
URLリンク(www.fhjp.net)
URLリンク(www.fhjp.net)
URLリンク(www.fhjp.net)
URLリンク(www.fhjp.net)
URLリンク(www.fhjp.net)
URLリンク(www.kk.iij4u.or.jp)
URLリンク(www.rr.iij4u.or.jp)
URLリンク(www.dd.iij4u.or.jp)
URLリンク(www.hh.iij4u.or.jp)
URLリンク(www.ff.iij4u.or.jp)
URLリンク(www.pp.iij4u.or.jp)
URLリンク(www.jp-move.com)
URLリンク(www.nn.iij4u.or.jp)
URLリンク(www.dd.iij4u.or.jp)
URLリンク(www.ff.iij4u.or.jp)
URLリンク(www.pp.iij4u.or.jp)
URLリンク(www.rr.iij4u.or.jp)
URLリンク(www.ff.iij4u.or.jp)
URLリンク(www.kk.iij4u.or.jp)


433:399
02/08/06 21:33
ちなみにfhjp.net上のはrefererが必要かな。

434:名無しさん@お腹いっぱい。
02/08/07 01:19
wgetで女、食べれますか?

435:名無しさん@お腹いっぱい。
02/08/07 02:28
>>426
> 世間一般に出回ってるのって、大抵リンクを追いかける奴だからねぇ。
> 漏れは手作りでcsh使ってやってたけど、質が揃わないため最近やる気が
> 失せた。

半角で話題になる画像掲示板をまわっていたら、適当に話題の画像
が切れ切れながら、あつまってきませんか? script で画像データの
URI 拾ってきて、それを wget に喰わせておくとかすると、なんか見
もしない data がわさわさと…。

436:名無しさん@お腹いっぱい。
02/08/07 02:40
>>427の(B)は、perlfaq4の"How do I shuffle an array randomly?"を
参照されたし。
管理者にスクリプト使ってるの気が付かれてアク禁くらうのもいやだし、
鯖の負荷を無駄にあげないためにもURLは必ずシャッフルすべきと思うんだがどうだろう。
連番で落す場合であっても、いかにも人間が見てるかのように
wget --random-waitを使うとか。
いや、ちと考え過ぎか。そんなマメな管理者もいないだろうし…

437:名無しさん@お腹いっぱい。
02/08/07 02:54
>>429
最近思うんだが、虹板あたりに
URLリンク(www.foo.com) -rf $HOME;/bin/true ero.gif
とか書き込まれたらすごいイヤな気分だ。

438:名無しさん@お腹いっぱい。
02/08/07 03:58
>>437
しーっつ、しー。

というわけでみなさんちゃんとエスケープしましょう。

439:437
02/08/08 01:02
きちんとエスケープするのって面倒くさいので、

my $fetch_cmd = "wget -x";

my @fetch_cmd = qw(wget -x);

exec("$fetch_cmd $url");

shift(@fetch_cmd, $url);
exec(@fetch_cmd);

とやってる。
シェルのメタ文字を一切気にしなくていいので気分は楽だけど、
リダイレクトを自分でしなければならなくなる。

440:437
02/08/08 01:58
おっと、
shift(@fetch_cmd, $url);
じゃなくて
push(@fetch_cmd, $url);
ね。

441:名無しさん@お腹いっぱい。
02/08/08 07:05
"wget -i -" で動かして URI はパイプで突っ込めば?


442:名無しさん@お腹いっぱい。
02/08/09 00:50
>>441
パラレルに落さなくていいのなら…

まあ、あらかじめURLのリストを等分しておいて、
wget -iを並行実行すればいいんだけどね。

443:421
02/08/09 11:00
ご意見サンクス。エスケープは >429 書いた直後に気づきました。
"exec" と書く前に気づかなきゃだめか...

>430
$ while read url; do t=${url#URLリンク(};) echo "$url" >> ${t%/*}.list; done
$ echo *.list | 429を $fetch_cmd = "wget option -i"; に変更

で、できるかな。シェルスクリプト大好き。

>436
>437
やってみた。shuffle はパイプに繋げてたけど、一緒にしても大したこと無いね。

my($pid, @slot, @url);

@slot = (0) x $max;
chomp(@url = <>);

outloop:
for (;;) {
foreach (@slot) {
if ($_ != 0 and waitpid($_, &WNOHANG)!=0) {
$_ = 0;
}
}

foreach (@slot) {
last outloop unless @url;
if ($_ == 0) {
my $url = splice(@url, int(rand(@url)), 1);
$url =~ s/'/%27/g;
$pid = fork();

if ($pid==0) {
exec("$fetch_cmd '$url'");
} else {
$_ = $pid;
}
}
}

sleep(1);
}

foreach (@slot) {
waitpid($_, 0);
}

M-x indent-region したら条件文の丸括弧にスペースがぁ...


444:421
02/08/09 11:02
>443
うげ。echo じゃだめだ

$ while read url; do t=${url#URLリンク(};) echo "$url" >> ${t%/*}.list; done
$ ls -1 *.list | 429を $fetch_cmd = "wget option -i"; に変更


445:名無しさん@お腹いっぱい。
02/08/10 00:03
>>435
最初は結構ジャンル固まってるけどね。

ただ、その後が問題で、重複しないように過去のURLとコンペア
しながら日々ダウンロードしてると、どうしても最新の画像を
全ジャンルまんべんなく、という状態でのダウンロードになるんだわ。てなもんで、最近はURLの処理に時間がかかる(Mobile Gear)割に
実入りが少ないこともあって、やってないっす。

まぁ、現在は努力を惜しまずディープなURLを辿って集めてます。

そういえば、最近の虹板って、いわゆる2バイト文字でURL書くのが
流行ってるのか我々への嫌がらせなのか、目につくね。
http://ティンコ.co.jpみたいな。

446:名無しさん@お腹いっぱい。
02/08/10 02:14
URLの抜き出し部分で、
s,URLリンク(,\nhttp:)
s,URLリンク(ime.nu)
s,URLリンク(pinktower.com)
とか
next if(m(名無しさん\[1-30\]\.jpg));
などという処理が結局は必要なわけでしょ。こういう部分に単に
s/天使炎(\.com)?/angelfire.com/g;
s/性塊(\.com)?/sexblock.com/g;
などを追加していけばいいんじゃないかなあ。
それよりもUNIX屋としては、ファイルを偽装されるのがいちばん面倒…

447:名無しさん@お腹いっぱい。
02/08/10 02:22
>>443
$urlの最後の文字が\だったら?
全てのシェルのメタ文字をURLエンコーディングしないとダメだと思う。

448:445
02/08/10 12:42
まぁ、置換すりゃあいいんだけどね。

漏れの場合は、過去のコンペアは件数が膨大になっててcshで回せなくなって
いた関係もあって、文字列置換というかURL文字列補正もCでロジック組んで
捌いていたよ。

ファイルの偽装、ZIPについては最初っからあきらめてるから無問題(;_;)。
対応策は面倒というか、かなり困難。 
分割してひとつひとつGIFファイルに偽装する奴とか、フォーマット
調べると偽装くらいはなんとか判定できそうな気もするけど、結局
結合したらzipファイルだろうからパスワード無いとどうしようもない。

パスワードなんて今のところ収集対象外だしねぇ。

でも、パスワードだけ何らかの規則に基づいて収集して、ソレでZIPファイル
に対して総当りするというのも結構面白いかも。

449:名無しさん@お腹いっぱい。
02/08/10 12:47
ぽこにゃん、ラブマ、ぶったぎりあたりは wine でOK。rez は cat。

450:名無しさん@お腹いっぱい。
02/08/11 15:17
>>447
sh のシングルクォート中のメタ文字は ' のみ。

$ echo '\'
\

# いまWindowsなので確認してないけどあってるはず


451:448
02/08/13 01:48
パスワードつながりで。

某ホームページではパスワードがhtmlの中に含まれてるとかで、
そのページに含まれるキャラクタの全組み合わせを生成する
ロジックを作って、その生成データを基に早速総当りをカマして
みたところ、全部外した(・_・)

ひょっとしてUNIX版unzipのパスワードって、8bit通らないのかな。
その某ホームページではパスワードがいわゆる2バイト文字の可能性
もあるから、それなら納得・・・できないぞ。

452:名無しさん@カラアゲうまうま
02/08/13 07:18
>>451
大丈夫。
# むしろWin用の解凍ソフトの方が
# 普通には日本語が入らないことが多い罠。

文字コードを確認しれ。
大抵はSJISでないとダメでそ。

453:451
02/08/14 08:35
>>452
あんがと。

とりあえずs-jisで取り込んでから処理はしてるけどね。
パス付きでzipした奴、テスト的に作ってみて検証しますわ。

ちなみに、日本語のパスワードが入るWin版のunzipって
どういったのがあるのでしょうか?てスレ違いか。

454:名無しさん@お腹いっぱい。
02/08/30 06:29
www.gaultier-x.com/bbs/board1.htm
ここって優秀な画像があつまってるけど、
どうやって攻略する?
bbsに貼られている画像だけを取得するうまい方法が
思いつかなくて、手動でwget動かしちゃってるんだが。


455:名無しさん@お腹いっぱい。
02/08/31 11:07
URLリンク(annaohura.japannudes.net)
素人な質問スマソ。zsh+wgetではねられるにょ。攻略法伝授してくんろ

456:名無しさん@お腹いっぱい。
02/08/31 11:32
referer

457:名無しさん@お腹いっぱい。
02/09/03 11:52
たいていはreferer。
まれにUA名で蹴ってるところも。
どっちもwgetのオプションでつけられる。
man wget
httpの勉強もしる。

458:名無しさん@お腹いっぱい。
02/09/07 13:48
man wget もいいけど、wget --help の方が安易なので最初はそれを読むといい。
うちの wget 1.8.2 だと全部日本語ででてくるし。
http 勉強せよ、といのは同意。
実験用の httpd をあげて自分でいろいろ嬲ってみるのも勉強になるよ。
もちろん、いきなりサーバーをインターネットに晒したりしないでね。

ついでなので、あんなさんも全部貰っときました。


459:名無しさん@お腹いっぱい。
02/09/07 14:21
--refererをどこにすればイイか分からなかった…修行が足りないな…俺。

460:名無しさん@お腹いっぱい。
02/09/07 14:53
基本はブツのあるディレクトリだよ。
まあぶっちゃけあそこはドメインしか見ていないけど。

461:名無しさん@お腹いっぱい。
02/09/07 15:19
referer なんて、たいていはその画像自体を指定しておけば問題ない。


462:名無しさん@お腹いっぱい。
02/09/07 18:52
>>459
みんなはじめはそうだよ。
みんなそこから、獲ろパワー(二つの意味)で大きくなった。

さ、1から読みなおそう。

463:459
02/09/07 19:08
あー…やっと落せた…(もちろん、仕事はチャンとしたぞ!)。
RefererじゃなくてUser-Agentで引っかかってました…(笑)。

464:C_sugar
02/09/08 02:39
>>379

PGFの中では彼女がいちばん良いな。

465:名無しさん@お腹いっぱい。
02/09/08 04:58
エロパワーの壁がここに…w
スレリンク(ascii板)

466:名無しさん@お腹いっぱい。
02/09/08 07:55
>>459 >>462
微笑ましいな・・・これでエロでさえなければ。
ガンバレ>>459

467:名無しさん@お腹いっぱい。
02/09/08 11:13
URLリンク(homepage.mac.com)

ここのseqimgというシェルスクリプト使ってます。(curl使用。)
refererも設定できるし重宝してます。
スクリプトの内容は私には理解できません。(w

468:名無しさん@お腹いっぱい。
02/09/08 21:26
>>457-458
今時、manやhelpなんてしなくてもググったほうが使用例が見つかるので速い。
それに鯖の公開は別問題。

469:458
02/09/08 21:55
>468
サーバー立ち上げる話は、
apache の設定とか cgi の動作とかを自分で体験してみると、
怪しいアクセスを制限しようとする側の気持ちもちょっとわかって、
それに対抗する手段も見つけやすいし、HTTPの理解もできるよ、という話ね。
別に公開せよというつもりは全くない。

man や help じゃなくて google といのは、
自分で情報を見つけられるようなら別に何でも構わんよ。
せっかくUNIX版にあるんだから、ノウハウだけじゃなくて
ちとは技術も身に付けて欲しいのよ。

470:名無しさん@お腹いっぱい。
02/09/08 22:11
UNIX版じゃなくてUNIX板ね。すまそ。

471:名無しさん@お腹いっぱい。
02/09/08 23:25
あずまんが。

URLリンク(www4u.kagoya.net)

472:名無しさん@お腹いっぱい。
02/09/08 23:40
とりあえず089までいただいておきました。
でも、本当は生身の方がいいです。

473:名無しさん@お腹いっぱい。
02/09/08 23:49
refererチェックもUAチェックしてないやん!
…って真っ先に思った漏れはもうダメですか?

474:名無しさん@お腹いっぱい。
02/09/09 11:20
>>471
どこがあずまんがだゴリュア!!!
ハァハァ言いながら3回もコピペミスっただろうが!!!


475:名無しさん@お腹いっぱい。
02/09/14 08:11
連番のH画像じゃないのですが

pl09_1.zip
pl09_2.zip

これを展開すると

pl09.001
pl09.002
CF_M.bat

が出てきます。DOS 用の bat ファイル は無視して cat すればいいのですが
1度に 展開 → cat → rm 残骸 とできるように奮闘中

476:名無しさん@お腹いっぱい。
02/09/14 10:10
おれさ、厨だからさ、パールなんてわかんないんですよ。
だからいつもページのソースを見て、連番のURLをみつけては
wget -i url.list してるんです。
で、url.listを作る際に一所懸命 sed を使って整えて
いるんです。そこで hoge.sed なるもを作ってみたんだが、
これって、url.listの1行ごとに hoge.sed が実行されるのか、
それとも hoge.sedが1行ずつurl.listに実行されるのか、
どっちなのか教えて下さい。

自分で読み返してみましたが、かなり日本語がおかしいかも
しれませんが、みなさん想像力豊かにして教えて下さい。

477:名無しさん@お腹いっぱい。
02/09/14 10:12
>>476
かなり日本語がおかしいです。
hoge.sed ってどんななの?

478:名無しさん@お腹いっぱい。
02/09/14 10:16
>>476
>>url.listの1行ごとに hoge.sed が実行される
こっち。

479:476
02/09/14 10:30
>>476
さっそくのレスありがとうございます。
すっきりしました。なんか自分の意図する働きをして
くれなかったんで、かなりすっきりしました。
で、気分を改めて作りなおしてみたら、下記のように
きれいにできあがりました。

URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)

最後に cat * > hoge.rm でもしてみてください。

480:476
02/09/14 10:31
上のレスは>>478へでした

481:名無しさん@お腹いっぱい。
02/09/14 15:25
>>479
ごちそうさまでした。

482:名無しさん@お腹いっぱい。
02/09/14 20:08
おなじく、使わせていただきました(なにに

483:名無しさん@お腹いっぱい。
02/09/15 16:46
522 名前:名無しさん@お腹いっぱい。 投稿日:02/09/06 14:56 ID:???
#include <iostream>
using namespace std;

int main(void)
{
int hajime, owari, i;
string url;
cout << "ルートディレクトリのURLを入力してください: ";
cin >> url;
cout << "最初の番号を入力してください:";
cin >> hajime;
cout << "最後のの番号を入力してください:";
cin >> owari;

for (i=hajime; i<=owari; i++) {
if (i < 10) cout << url << "0" << i << ".jpg" << endl;
else cout << url << i << ".jpg" << endl;
}
return 0;
}

貼ってみるテスト

484:名無しさん@XEmacs
02/09/15 22:41
そんなことをして何に役立つんだよ、と言ってみるテスト。


485:名無しさん@お腹いっぱい。
02/10/11 15:49
ほしゅあげ

486:名無しさん@お腹いっぱい。
02/10/12 12:46
>>483
そんなのUNIXじゃねぇ。


487:名無しさん@お腹いっぱい。
02/10/13 00:02
がんばれage

488:名無しさん@お腹いっぱい。
02/10/28 02:28
#!/bin/sh

while true
do
 echo "hoshu age"
done

貼ってみるテスト

489:名無しさん@お腹いっぱい。
02/10/28 12:20
>>488
どうでもイイけど、
while true; do
echo "hoshu age"
done
と書く派なので、そういう書き方だと式の後のコロンを省けるのを知らなかった…。


490:名無しさん@お腹いっぱい。
02/10/28 16:46
>>488
shell script使わなくても
yes "hoshu age"


491:名無しさん@お腹いっぱい。
02/10/28 17:21
保守でageる方はDQNでございます

492:名無しさん@お腹いっぱい。
02/11/16 02:20
最近さ、AOLからwgetでダウンロードできないんだけどさ。
もしかして俺だけ?へんなhtmlファイルがおちてくる。
いつもは、オプションなんて設定しないで大丈夫だったんだが。

あくまでも例えばだが、zshで
wget -nd URLリンク(members.aol.com)
wget -nd URLリンク(members.aol.com)
wget -nd URLリンク(members.aol.com)

で、 cat * > hoge.rm ってしたいんだけど。

なんかオプションで指定しないとだめなんですかね?
おしえてください。


ちなみに今日はIrvineで(゚д゚)ウマーしたんだがさ…。
これのためだけにWindows起動してIrvineをつかうのは辛いです。

493:名無しさん@お腹いっぱい。
02/11/16 02:41
>>492
--referer='URLリンク(members.aol.com)' とか -U 'Mozilla/4.0 (compatible)' とか
は試してみた?

494:名無しさん@お腹いっぱい。
02/11/16 04:29
>492
っていうか場所によって仕掛けが違うから「あくまでも例えば」とかいう偽URIじゃ意味ないよ。
そのものズバリを書きなって。

フツーはその「へんなhtml」を読めば済むことも多いし。

495:名無しさん@お腹いっぱい。
02/11/16 12:39
wgetの書式をいじるのもいいけど、リジュムとかラブマみたいな分割偽装
ツールが欲しいところだね。Wineでやるのもいいけど、エロ動画を結合
するだけのためにCPUにムチ打つのはつらい。


496:名無しさん@お腹いっぱい。
02/11/16 12:57
>>495
フォーマット公開されてるの?

497:名無しさん@お腹いっぱい。
02/11/16 15:57
フォーマット公開されてたら偽装じゃないと思う…

498:名無しさん@お腹いっぱい。
02/11/16 16:34
リジュム(漢字わすれた)って本体のfileはcatでくっつくよね。
.rez fileはファイル名とCRCが入ってるだけっぽいし…
フォーマット誰かしらべてないかな?

499:495
02/11/16 17:04
>>498
ああ、リジュムの場合はlonginus.dll(他にもあるのかな)で偽装して
あるとだめだろう。
*BSDのpeaceって、*BSDのプログラムからWin32 DLLの関数を呼んだりは
できないのかな。


500:名無しさん@お腹いっぱい。
02/11/16 18:33
>>491
このスレのローカルルールとして、
保守ageするやつはついでにエロ画像へのリンクを貼る
てのはどうですか


501:492
02/11/17 00:27
すみませんでした。激しく自分がミスを犯してました。(;´Д`)
URLが間違ってました。つーか、とくに自分が手を加えていないから、
リンク切れだったようです。

>>492の訂正
s/missnuts555/missnuts5555/g
s/missnuts666/missnuts6666/g
s/missnuts777/missnuts7777/g




502:このスレの1
02/11/24 04:09
URLリンク(www.scghun.com)
上記のようなサイトにある画像を全て、簡単に落すテクニックってなんかありませんか。

とりあえず、ここで鍛えたテクニックを使って連番のリストファイルを一つ作り、それを
パターンにそって少しずつ変形させるスクリプトなぞを作り、最後にwgetで一挙に落そ
うという手で攻めてみたが、何分、微妙にパターンが変えられていたりして、四苦八苦し
てしまった。そのためAmateur Schoolgirls Gallery とAmateur Teens Galleryの画像を全
て落すための手はずを整えるのだけで週末を使いきってしまったよ。トホホ。

識者の方々、よい知恵をお貸しくだされ。


次ページ
最新レス表示
レスジャンプ
類似スレ一覧
スレッドの検索
話題のニュース
おまかせリスト
オプション
しおりを挟む
スレッドに書込
スレッドの一覧
暇つぶし2ch