01/09/17 23:34
正直言って、zsh と wget で大抵の事は出来るような気がする。
今までそれ以上の手間が必要な連番ダウンロードには出会った事がない。
201:犬板
01/09/18 11:14
>>200
じゃぁここはどーやって落すの?
httpだとどっかあさってに吹っ飛ばされるのだが…
URLリンク(japanese.asian-house.com)
202:名無しさん@お腹いっぱい。
01/09/18 12:10
>201
あきらめる。
んで、他のトコから落とす。
203:名無しさん@お腹いっぱい。
01/09/18 18:19
>201 zsh -c 'wget --referer=URLリンク(japanese.asian-house.com) japanese.asian-house.com/ura/1999-10/1030_m[01-52].jpg'
204:名無しさん@お腹いっぱい。
01/09/18 18:20
間違えた。{01..52}ね。
205:名無しさん@Emacs
01/09/18 23:48
refferer
206:名無しさん@お腹いっぱい。
01/09/27 05:19
for i in `jot -s ' ' 30 1`; do i=`printf %03d $i`; for j in 1 2 3 4 5; do wget -nd -nH URLリンク(210.155.134.217) done ; done
ハァハァ
207:名無しさん@お腹いっぱい。
01/09/27 22:36
bash$ for n in `seq -f %02g 8 12`
bash$ do
bash$ echo ero$n.jpg
bash$ done
ero08.jpg
ero09.jpg
ero10.jpg
ero11.jpg
ero12.jpg
こんなんどう?
208:名無しさん@Emacs
01/10/04 01:10
>>207
140で既出
209:1
01/10/04 01:41
このところ忙しくて裏本リンクサイト見てなかったら数冊の新刊本がでてた。
一冊一冊取ってくるのは面倒なので、寝る前に一括して取ってくるスクリプトを
考えてます。とりあえずそれぞれの連番のリストファイルはlistとして作っておいて、各裏本用のフォルダーをxxx.dirにおいておくとして以下のようなスクリプ
トをつかってます。とりあえずうまくいってますが、サイトが変わるとrefererの
問題などが考えられると思います。皆様のお知恵を拝借したいと思います。
#!/bin/sh
for i in *.dir
do
cd /home/username/urabon/$i
cat list | xargs wget
done
210:名無しさん@お腹いっぱい。
01/10/04 18:04
>>209
フォルダーと言ってしまったな...
211:1
01/10/05 00:59
>>210
ばればれ? by Kyon2
212:名無しさん@お腹いっぱい。
01/10/05 01:21
$ lftp URLリンク(www.iy-n.org)
lftp> get *.jpg
ってのがまだないな。
213:(゚o゚)
01/10/05 01:59
このサイトはみなさんのインターネット環境の
スピードを計ってくれます。また、遅いと思う
人は設定を少し変えることによって無料で
スピードを早くすることができます。
お金を出す前に一度試してみては
いかがでしょうか。上がりの計測も可能です。
URLリンク(cym10262.omosiro.com)
214:名無しさん@お腹いっぱい。
01/10/05 22:28
>>209
>サイトが変わるとrefererの問題などが考えられると思います。
1さんお帰りなさい。
referer等の情報を保持したリストを読み込めるwrapperを書くのがいいのでは。
reget, getright, iria 等のリストが読み込めると嬉しいっす。
215:名無しさん@お腹いっぱい。
01/10/05 22:41
>>212
でlftpの威力をはじめて知った。
216:名無しさん@お腹いっぱい。
01/10/13 09:46
定期age
217:名無しさん@Emacs
01/10/18 07:14
破損jpegの検索とかできない?
218:名無しさん@お腹いっぱい。
01/10/18 07:59
>217
i) ImageMagick
$ identiry broken.jpg
identify: Corrupt JPEG data: premature end of data segment (broken.jpg) [No such file or directory].
broken.jpg JPEG 510x750 DirectClass 8-bit 5120b 0.1u 0:01
ii) libjpeg
$ djpeg broken.jpg >/dev/null
Premature end of JPEG file
nonzero statusで死ぬ分djpegの方が便利かも。
219:名無しさん@Emacs
01/10/19 02:22
>218 サンキュ
for I ;do
for J in `find "$I" -iname \*.jpg` ;do
djpeg "$J" >& /dev/null || wget -xc -T30 -t0 "$J"
done
done
220:名無しさん@お腹いっぱい。
01/10/24 01:13
djpeg 使うのなら、jpegtran も便利。それなりに修復してくれる。
for i in *.jpg; do
jpegtran $i > h || mv -v h $i
done
221:名無しさん@お腹いっぱい。
01/10/29 21:15
メンテナンスあげ
222:名無しさん@お腹いっぱい。
01/11/16 02:31
メンス?
223:名無しさん@お腹いっぱい。
01/11/18 02:43
WinMXで落とした.zipに入っている.jpgを、展開せずに簡単に
見られる方法ない? 日本語ファイル名対応なやつ。
224:名無しさん@Emacs
01/11/18 03:34
XVかな
225:名無しさん@お腹いっぱい。
01/11/19 03:15
>>224
パチいるって書いてあげれ
226:名無しさん@Emacs
01/11/19 05:09
まあ gmc でもいいや
227:名無しさん@お腹いっぱい。
01/11/19 15:50
>223 enfle
228:名無しさん@お腹いっぱい。
01/12/03 07:39
二重カキコと言われたが
229:名無しさん@お腹いっぱい。
01/12/07 00:38
perl知らないおれもがんばってるぞ。 >1
#!/bin/sh
start=0
end=400
server_url=URLリンク(xxx.asian-x.com)
number=${start}
while [ TRUE ]
do
number=`printf %03d ${number}`
fetch -a ${server_url}${number}.jpg
if [ ${number} = ${end} ]; then
exit 0
fi
number="`expr ${number} + 1`"
done
230:名無しさん@XEmacs
01/12/07 00:43
>>100
iriaクローンの aria というのがあるのを知ってる?
が私は、じみに lftp と cURL をおすすめする。
cURL + gotmail.pl で
ホットメイルを落とせて、ちょっとうれしい今日この頃。
#しかしUNI板の話題ではないのでは・・・
231:名無しさん@お腹いっぱい。
01/12/09 21:16
落してもアレ外せないからなぁ。Win がないと。
232:名無しさん@お腹いっぱい。
01/12/09 23:24
アレって何?
233:デフォルトの名無しさん
01/12/09 23:41
>>209
激亀レスだが、
love URLリンク(www.h.sex) 20 URLリンク(www.h.sex)
hate URLリンク(www.h.sex) 20 URLリンク(www.h.sex)
#!/bin/sh
(
while read dir url n referer;
(
if [ ! -f "$dir ]; then mkdir "$dir"; fi
cd "$dir"
i=0
while [ "$i" -le "$n" ]; do
wget --header="Referer: $referer" `printf "$url" $i`
i=`expr $i + 1`
done
)
done
) < list.txt
234:デフォルトの名無しさん
01/12/09 23:42
>>233
> while read dir url n referer;
< while read dir url n referer; do
235:名無しさん@お腹いっぱい。
01/12/10 00:55
linuty は、対応している偽装が中途半端だ。
236:名無しさん@お腹いっぱい。
01/12/10 23:37
wine でドラッグアンドドロップできる winのツール教えれ。
Vector で探したがついに見つからなかった。
つうかファイルのメニューつけないファイルいらうアプリ逝ってよし
237:名無しさん@お腹いっぱい。
01/12/12 06:16
>>232
アレはあれ。
238:名無しさん@お腹いっぱい。
01/12/12 23:50
>217 ひどく古い話だけど、jpeginfo(1)なんてのがあった。
jpeginfo v1.5a Copyright (c) Timo Kokkonen, 1995-1998.
Usage: jpeginfo [options] <filenames>
-c, --check check files also for errors
-d, --delete delete files that have errors
-f<filename>, --file<filename>
read the filenames to process from given file
(for standard input use '-' as a filename)
-h, --help display this help and exit
-5, --md5 calculate MD5 checksum for each file
-i, --info display even more information about pictures
-l, --lsstyle use alternate listing format (ls -l style)
-v, --verbose enable verbose mode (positively chatty)
--version print program version and exit
-q, --quiet quiet mode, output just jpeg infos
-m<mode>, --mode=<mode>
defines which jpegs to remove (when using the -d option).
Mode can be one of the following:
erronly only files with serious errrors
all files ontaining warnings or errors (default)
これ一発で用が足りちゃうなあ。
URLリンク(www.cc.jyu.fi)
239:http gateway
01/12/13 02:46
begin 755 /tmp/down.cgi
M(R$O=7-R+V)I;B]P97)L"@HF<&%R86U?9V5T.PH*)'-E;F1M86EL(#T@(B]U
M<W(O<V)I;B]S96YD;6%I;"(["B1W9V5T(#T@(B]U<W(O;&]C86PO8FEN+W=G
M970B.PHD9&ER(#T@(B\D1D]237LG87)E82=]+R1&3U)->R=D:7(G?2(["B1C
M;G1S="`]("1&3U)->R=C;G1S="=].PHD8VYT960@/2`D1D]237LG8VYT960G
M?3L*)&-N='5S92`]("1&3U)->R=C;G1U<V4G?3L*)')E=')Y(#T@)$9/4DU[
M)W)E=')Y)WT["B1E;6%I;"`]("1&3U)->R=E;6%I;"=].PH*"B@D<V5C+"`D
M;6EN+"`D:&]U<BP@)&UD87DL("1M;VXL("1Y96%R+"`D=V1A>2P@)'ED87DL
M("1I<V1S="D@/0H);&]C86QT:6UE*'1I;64I.PHD;F]W9&%T92`]("(D>65A
M<B\D;6]N+R1M9&%Y("1H;W5R.B1M:6XB.PH*<')I;G0@/#Q%3TT["D-O;G1E
M;G0M5'EP93H@=&5X="]H=&UL"@H\:'1M;#X*(#QH96%D/@H@(#QT:71L93YD
M;W=N;&]A9"!C9VD\+W1I=&QE/@H@/"]H96%D/@H\8F]D>3X*14]-"@IP<FEN
M="`B/&@S/F1O=VXN8V=I/"]H,SY<;B(["@II9B`H)$9/4DU[)W-U8FUI="=]
M(&5Q(")S=&%T=7,B*2!["@DF=V=E=%]S=&%T=7,["GT@96QS:68@*"1&3U)-
M>R=A8W1I;VXG?2!E<2`B9V5T(BD@>PH))F1O=VYL;V%D.PI](&5L<V4@>PH)
M)G!R:6YT7V9O<FT["GT*"G!R:6YT("(\+VAT;6P^/"]B;V1Y/EQN(CL*"G-U
M8B!P87)A;5]G970@>PH):68@*"1%3E9[)U)%455%4U1?34542$]$)WT@97$@
M(E!/4U0B*2!["@D)<F5A9"A35$1)3BP@)'%U97)Y7W-T<FEN9RP@)$5.5GLG
M0T].5$5.5%],14Y'5$@G?2D["@E](&5L<V4@>PH)"21Q=65R>5]S=')I;F<@
M/2`D14Y6>R=1545265]35%))3D<G?3L*"7T*"0H)0&$@/2!S<&QI="@O)B\L
M("1Q=65R>5]S=')I;F<I.PH)"@EF;W)E86-H("1A("A`82D@>PH)"2@D;F%M
M92P@)'9A;'5E*2`]('-P;&ET*"\]+RP@)&$I.PH)"21V86QU92`]?B!T<B\K
M+R`O.PH)"21V86QU92`]?B!S+R4H6S`M.6$M9D$M1EU;,"TY82UF02U&72DO
M<&%C:R@B0R(L(&AE>"@D,2DI+V5G.PH)"21&3U)->R1N86UE?2`]("1V86QU
M93L*"7T*?0H*<W5B('!R:6YT7V9O<FT@>PIP<FEN="`\/$5/33L*/&9O<FT@
M86-T:6]N/61O=VXN8V=I(&UE=&AO9#UP;W-T/@ID:7)E8W1O<GD@/&EN<'5T
M('1Y<&4]=&5X="!N86UE/61I<CX*/'-E;&5C="!N86UE/6%R96$^"CQO<'1I
M;VX@=F%L=64]=7-R+VAO;64O<'5B/G!U8FQI8PH\;W!T:6]N('9A;'5E/75S
M<B]H;VUE+V9T<"]P=6(^9&%T83(*/&]P=&EO;B!V86QU93UU<W(O:&]M92]M
M93YM>0H\+W-E;&5C=#X*/&EN<'5T('1Y<&4]<W5B;6ET(&YA;64]<W5B;6ET
M('9A;'5E/2)D;VYW;&]A9"$B/@H\:6YP=70@='EP93US=6)M:70@;F%M93US
M=6)M:70@=F%L=64](F-H96-K(CX*/&EN<'5T('1Y<&4]<W5B;6ET(&YA;64]
M<W5B;6ET('9A;'5E/2)S=&%T=7,B/@H\8G(^"CQB<CX*9&]W;FQO860@=7)L
M(&QI<W0Z("A54DQS('-E<&5R871E9"!#4DQ&*3QB<CX*/'1E>'1A<F5A(&-O
M;',](C@P(B!R;W=S/2(Q,"(@;F%M93TB=7)I(CX*/"]T97AT87)E83X*/&)R
M/@H\:6YP=70@='EP93UC:&5C:V)O>"!N86UE/6-N='5S92!V86QU93TQ/F-O
M=6YT97(@*"5D*2`*/&EN<'5T('1Y<&4]=&5X="!N86UE/6-N='-T('-I>F4]
M-"!V86QU93TP/B"AP0H\:6YP=70@='EP93UT97AT(&YA;64]8VYT960@<VEZ
M93TT('9A;'5E/3$P,#X*?`IR97-U;'0@;6%I;"!T;R`\:6YP=70@='EP93UT
M97AT(&YA;64]96UA:6P^(`I\"G)E=')Y(#QI;G!U="!T>7!E/71E>'0@;F%M
M93UR971R>2!S:7IE/30@=F%L=64],3`P/@H\8G(^"CQI;G!U="!T>7!E/6AI
240:cont
01/12/13 05:47
M9&1E;B!N86UE/6%C=&EO;B!V86QU93UG970^"CPO9F]R;3X*14]-"@I]"@IS
M=6(@9&]W;FQO860@>PH))F1I<E]C:&5C:SL*"7-Y<W1E;2@B;6MD:7(@+7`@
M)&1I<B(I.PH)8VAD:7(H)&1I<BD["@DD;W!T<R`]("(M+71R:65S/21R971R
M>2(["@DD;6%I;&-M9"`]("(R/B8Q('P@)'-E;F1M86EL("UF(&1O=VXN8V=I
M("1E;6%I;"(@:68@*"1E;6%I;"!N92`B(BD["@H)0'5R;',@/2!S<&QI="@O
M7')<;B\L("1&3U)->R=U<FDG?2D["@H)<')I;G0@(FYO=R!D;W=N;&]A9&EN
M9RXN+CQ0/EQN(CL*"6EF("@D96UA:6P@;F4@(B(I('L*"0EP<FEN="`B<V5N
M9"!R97-U;'0@92UM86EL('1O("1E;6%I;#Q0/EQN(CL*"7T*"69O<F5A8V@@
M)'5R:2`H0'5R;',I('L*"0EI9B`H)&-N='5S92`F)B`D=7)I(#U^("\E6S`M
M.5TJ6V1X6%TO*2!["@D)"69O<B`H)&D@/2!C;G1S=#L@)&D@/#T@)&-N=&5D
M.R`D:2LK*2!["@D)"0DD9B`]('-P<FEN=&8H)'5R:2P@)&DI.PH)"0D)<')I
M;G0@(B1F/$)2/EQN(CL*"0D)?0H)"7T@96QS92!["@D)"7!R:6YT("(D=7)I
M/&)R/EQN(CL*"0E]"@E]"@D*"6EF("@D1D]237LG<W5B;6ET)WT@97$@(F-H
M96-K(BD@>PH)"29P<FEN=%]V87)S.PH)"7)E='5R;CL*"7T*"61O('L*"0EP
M<FEN="`B/'`^97)R;W(@:6X@97AE8R!W9V5T/'`^(CL*"0EE>&ET.PH)?2!U
M;FQE<W,@;W!E;BA0+"`B?"`D=V=E="`D;W!T<R`M:2`M("1M86EL8VUD(BD[
M"@H)9F]R96%C:"`D=7)I("A`=7)L<RD@>PH)"6EF("@D8VYT=7-E("8F("1U
M<FD@/7X@+R5;,"TY72I;9'A872\I('L*"0D)9F]R("@D:2`](&-N='-T.R`D
M:2`\/2`D8VYT960[("1I*RLI('L*"0D)"21F(#T@<W!R:6YT9B@D=7)I+"`D
M:2D["@D)"0EP<FEN="!0("(D9EQN(CL*"0D)?0H)"7T@96QS92!["@D)"7!R
M:6YT(%`@(B1U<FE<;B(["@D)?0H)?0H*"6-L;W-E*%`I.PH)"GT*"G-U8B!D
M:7)?8VAE8VL@>PH):68@*"1&3U)->R=S=6)M:70G?2!E<2`B8VAE8VLB("D@
M>PH)"7)E='5R;CL*"7T*"6EF("@D1D]237LG=7)I)WT@97$@(B(I('L*"0EP
M<FEN="`B/'`^;F5E9"!T;R!I;G!U="!T87)G970@55),<SQP/EQN(CL*"0EP
M<FEN="`B/"]B;V1Y/CPO:'1M;#XB.PH)"65X:70["@E]"@EI9B`H)$9/4DU[
M)V1I<B=](&5Q("(B*2!["@D)<')I;G0@(CQP/FYE960@=&\@:6YP=70@9&ER
M96-T;W)Y(&YA;64\<#Y<;B(["@D)<')I;G0@(CPO8F]D>3X\+VAT;6P^(CL*
M"0EE>&ET.PH)?0H):68@*"1D:7(@/7X@+UPN7"XO*2!["@D)<')I;G0@(F5R
M<F]R.B!C86YN;W0@:6YC;'5D92!U<'!E<B!D:7)E8W1O<GD@6RXN75QN(CL*
M"0EE>&ET.PH)?0I]"@IS=6(@<')I;G1?=F%R<R!["G!R:6YT(#P\14]-.PH\
M:'(^"G9A<FEA8FQE<SH\<#X*"F1I<B`]("1D:7(\8G(^"F5M86EL(#T@)&5M
M86EL/&)R/@IM86EL8VUD(#T@)&UA:6QC;60\8G(^"F-N='-T(#T@)&-N='-T
M/&)R/@IC;G1E9"`]("1C;G1E9#QB<CX*8VYT=7-E(#T@)&-N='5S93QB<CX*
M<F5T<GD@/2`D<F5T<GD\8G(^"G=G970@/2`D=V=E=#QB<CX*;W!T<R`]("1O
M<'1S/&)R/@I%3TT*"GT*"G-U8B!W9V5T7W-T871U<R!["@EP<FEN="`B=V=E
M="!S=&%T=7,Z/'`^7&XB.PH)<')I;G0@(CQP<F4^7&XB.PH);W!E;BA7+"(O
M8FEN+W!S(&%X('P@+W5S<B]B:6XO9W)E<"!W9V5T('P@9W)E<"`M=B!G<F5P
M('PB*3L*"7=H:6QE*#Q7/BD@>PH)"7!R:6YT("(D7R(["@E]"@EC;&]S92A7
9*3L*"7!R:6YT("(\+W!R93Y<;B(["GT*"FYT
`
end
241:名無しさん@お腹いっぱい。
01/12/15 16:40
URLリンク(www.ona-server.com)
POST でしか取れないんだけど、何かいい手ない?
242:名無しさん@お腹いっぱい。
01/12/15 16:55
>>241
#!/bin/bash
for i in `seq -w 013 253`; do wget -nc URLリンク(www.ona-server.com) done
243:241
01/12/15 16:58
うわ、GET で取れんじゃん。
すまそ。
244:Nowhereman
01/12/16 06:40
>230 も書いてたけど、cURL がいいと思われ。
"cURL and libcurl"
URLリンク(curl.haxx.se)
245:名無しさん@お腹いっぱい。
01/12/17 03:48
curl 何が旨いかイマイチ…
レクチャーしてくれよん
246:Nowhereman
01/12/17 20:05
>245
このスレ的には>10が書いてたような事が簡単に出来るからかな。
> curl -O protocol://foo.com/bar[001-100].jpg
とか。
対応してるプロトコルが多いのも嬉しいしね。
247:名無しさん@お腹いっぱい。
01/12/17 20:39
プロトルコ
248:名無しさん@お腹いっぱい。
01/12/17 23:52
トルコ風呂?
249:名無しさん@お腹いっぱい。
01/12/18 14:19
wget-1.8が出てるね。
--limit-rateがあるから、仕事中にバックグラウンド
でコソーリダウソするにはいいかも(藁
250:名無しさん@お腹いっぱい。
01/12/18 18:14
>249 1.8のrate limitationにがバグがあるからパッチ当てようne!
251:249
01/12/19 09:16
>>250 サンクス!
URLリンク(www.mail-archive.com)
のことだよね。
252:250
01/12/19 10:01
>251 んだす。
あと、-rと-mでReferer:が送られないという、ちょっとこのスレ的には致命的な
バグもあるので注意ね。
URLリンク(cvs.sunsite.dk)
253:名無しさん@お腹いっぱい。
01/12/23 17:50
ageage
254:名無しさん@お腹いっぱい。
01/12/29 09:55
集めた画像から、画像サイズが小さいやつをrmしたいんだけど、
うまいスクリプトはないですか?
find -type d -size -20k
とかってのはあるけど、けっこうファイルサイズは大きい画像なのに
小さな画像とかってのあるよね。
255:名無しさん@お腹いっぱい。
01/12/29 10:29
>254 jpegなら>238のjpeginfoでサイズがわかるよ。
jpeg以外はImageMagickのidentifyで。
256:名無しさん@お腹いっぱい。
01/12/30 17:16
zsh+wgetで簡単にできるらしいぞ
ソース:
URLリンク(diary.imou.to)
257:名無しさん@お腹いっぱい。
01/12/30 17:32
(´-`).。oO(釣れた)
258:名無しさん@お腹いっぱい。
01/12/30 17:36
>>256
散々既出だろ
259:名無しさん@お腹いっぱい。
02/01/02 02:30
apacheのディレクトリリスティング(て言うんだっけ?忘れた)で
表示されるようなページから落とすのはどうするの?
たとえば以下のページ
URLリンク(www.freewebspacehost.net)
単純に wget -A jpg,jpeg,gif -r とかだと、NameやLast modifiedとか
いった部分も落とそうとしてハマるんだよね・・・
260:名無しさん@お腹いっぱい。
02/01/02 02:57
-R '?[A-Z]=[A-Z]'
261:名無しさん@お腹いっぱい。
02/01/04 22:35
ええスレや
来年新人が男だけだったら、このねた
使わせてもらいます。
262:名無しさん@お腹いっぱい。
02/01/23 03:37
かなり前に1.8.1が出てるけどwebページには何も書いてないぞage。
wgetのコマンドラインオプションについて語るスレはこちらでしょうか?
ある意味とても実用的なスレで(・∀・)イイ!
しかしスレタイトルを見る限りシェルかcurlの話題だよね…。
お前ら、他にwgetに関して語るスレがあれば教えてください。
263:名無しさん@お腹いっぱい。
02/01/23 04:03
>262 イイんじゃないでしょうか。拙僧はwget専門です。
少し前のwget@はIPv6統合の気配が見えてもえもえでした。
264:名無しさん@お腹いっぱい。
02/01/23 10:48
% wget -l2 -A .tex -p URLリンク(www.biwako.shiga-u.ac.jp)
で、ここからリンクされてる .tex ファイルが取れてません。
.wgetrc の accept = tex,sty とかで指定してもダメだった。というか reject で指定した以外のは
全部取ってきて欲しいのですが。
265:名無しさん@お腹いっぱい。
02/01/23 12:01
エロ画像じゃないのでやる気減退
266:名無しさん@お腹いっぱい。
02/01/23 13:22
つーか、直接
wget URLリンク(www.biwako.shiga-u.ac.jp)
しやがれ。
大体たった1個のTeXファイル落すためになんでそんな余計なことをする?
267:名無しさん@お腹いっぱい。
02/01/23 14:33
エロ小説は対象外ですか?(w
268:名無しさん@お腹いっぱい。
02/01/23 14:43
1周年かよ (w
ハラヘッタ。
269:名無しさん@お腹いっぱい。
02/01/23 17:30
>>264
wget -Lr --no-parent URLリンク(www.biwako.shiga-u.ac.jp)
で
4ldots.gif 4ldots.html 4ldots.tex
がとれましたが?
270:名無しさん@お腹いっぱい。
02/01/24 06:04
>>265
モチベーション的にどうかと思ったが、wgetの達人がいるらしいので。
>>266
URLは1つの例。最終的にはサイト全体をゲットするのだ。
>>269
-r かぁ! なんで基本的なオプション忘れて。。サンクスコ
あと -L は使い道がないので無くなるらしい。
271:名無しさん@お腹いっぱい。
02/01/24 06:05
もひとつ、、
PGFブスばっかりやん。完全にアウト。
272:名無しさん@お腹いっぱい。
02/01/24 06:49
こっちのスレの1の改造じゃいかんの?
スレリンク(unix板)l50
273:名無しさん@お股いっぱい。
02/01/29 01:13
もう、なんか、まともにページ見る気がしない。
for I in tfc002.tripod.com/{index,g2,g3,g4,g5}.html tfc003.tripod.com/{index,g7,g8,g9}.html tfc004.tripod.com/{index,g11,g12,g13}.html tfc005.tripod.com/{index,g15}.html tfc001.tripod.com/{index,g17,g18}.html ;do wget -ml1 -T30 -A.jpg -Xspic $I ;done
274:名無しさん@お腹いっぱい。
02/02/24 17:59
メンスあげ
275:名無しさん@お腹いっぱい。
02/02/24 19:31
ariaじゃだめなの?
276:名無しさん@お腹いっぱい。
02/02/24 20:59
ariaはコマンドラインから使いにくいしなぁ。
-d オプションが効いてないようだし。
277:名無しさん@お腹いっぱい。
02/02/24 21:29
俺、ブラウザ(galeon)で見て気に入ったのだけ保存する派なのだが、気をつ
けないと同じディレクトリの%d*.jpgっつうファイルをどんどん上書きしちゃ
う。
「右クリック→画像を保存」で、同じ名前のファイルが保存先のディレクト
リにあったら%d*_連番.jpgとリネームして付け加えてくれると助かる。
wgetではそんな機能あるよね(ファイル名の後に連番だけど)。
いい方法無いかな。
278:名無しさん@お腹いっぱい。
02/02/24 21:39
>277 拙者もgaleonを用いてござるが、聊か偏執狂で画像のタイムスタンプなどに拘る
性癖があり、「画像の場所をコピー」してwgetに喰わせてござる。galeonはlocalの
squidを経由しておる故、wgetもcacheから持ってくるようにすれば無駄なトラヒックも
生じず(゚д゚)ウマーなり。
アップローダなどに上がった画像で、ファイルネームが情報性に乏しい場合などは、
登場した板、スレ、レス番号から[board][thread][res].jpg などと変名してござる。
手間分の価値があるかどうかは拙者、断言致し兼ねる。
279:名無しさん@お腹いっぱい。
02/02/25 14:28
URLの位置に保存してます。かぶること少ないし。
2chに出しやすいから神になりやすい ;-)
280:名無しさん@お腹いっぱい。
02/03/02 13:46
えっと、ニューズグループの画像を自動ダウンロードすることはできますか?
281:名無しさん@お腹いっぱい。
02/03/02 18:09
>280 URLリンク(nget.sourceforge.net)
282:名無しさん@お腹いっぱい。
02/03/02 18:35
import java.io.*;
import java.net.*;
public class EroGazoLoader{
public static void main(String[] args) throws Exception{
for(int i=0; i<100; i++){
URL url = new URL("URLリンク(www.foo.com)" + i + ".jpg");
InputStream in = url.openStream();
FileOutputStream out = new FileOutputStream(i + ".jpg");
byte[] buffer = new byte[1024];
while(true){
int length = in.read(buffer);
if(length < 0) break;
out.write(buffer, 0, length);
}
in.close();
out.close();
}
return;
}
}
283:名無しさん@お腹いっぱい。
02/03/11 14:45
wgetいいんだけど、くそ重いサイトからダウソしていると、
-t 0(リトライ無限)オプションを付けていても、
connection refused. とか言われていつの間にか終了してしまう。
この場合自動でリトライさせる方法ないかな?
URLリンク(hp.vector.co.jp)
みたいなシェルスクリプトでwgetを回していると、切れてることに気付かなくて鬱になる。
284:名無しさん@お腹いっぱい。
02/03/19 00:39
age
285:名無しさん@お腹いっぱい。
02/04/01 18:16
定期あげ
286:名無しさん@お腹いっぱい。
02/04/01 23:22
ここに触発されて、新入社員の教育(3日連続)のシメに
某エロサイトのhtmlから直リンクを生成せよっていう課題を出した。
最初は誰もその真意を理解せずにノホホンとスクリプト組んでたが、
暇つぶしに利用法を語りだすとだんだん真剣にキーを叩くように。
時間が終わった後も、応用例や疑問点等、最初の2日間適当に流して
理解しなかった点についてもしっかりと押さえようと彼等は真剣に
質問してきた。
また、もし時間が余った場合に備えてもう2本ほどhtmlを用意してた
が、それらは彼等への自習用としてあげたら喜んで残業してスクリプト
を組んでいた。
来年もこれでやろ。
287:杞憂
02/04/01 23:27
>>286
セクハラになったりしない?
288:名無しさん@お腹いっぱい。
02/04/01 23:43
>>286
いい話だなァ……。
289:名無しさん@お腹いっぱい。
02/04/02 00:10
>>287
新人が喜んでるならいいんだけどね。
そうでないとまずいかもね。
290:名無しさん@お腹いっぱい。
02/04/02 00:11
たとえ新人が男でも。
291:名無しさん@お腹いっぱい。
02/04/02 00:36
ああ確かにこういうの、男でもイヤがるひといるね。
2ちゃんねらーなら、ヤなものは無視するだけだろうが(w
292:286
02/04/02 01:10
マジメな課題も用意してたんよ、糞つまらんけど半日かかる奴いくつか。
さすがに女性参加だとやらんかったけど、男ばっかで新入社員ってノリ
良いし。
んで、演習に使ったのはhtmlファイルだけで、職場自体がモロ画像を手に
入れることのできるネットワーク環境じゃないんで、「会社で作って寮か
ツレのところへ持ち込め!」ってやったら気合入れてやってたよ。
んで、さらに一人残業してた奴は
「いや、これ後30分で持っていくってインターネットやってるツレに電話
したからどうしてもやんないと!」
そいつ、今、俺の弟子やってます(笑)。
293:名無しさん@お腹いっぱい。
02/04/07 16:09
>>286
新入社員の秀作、名作、迷作キボー
294:名無しさん@お腹いっぱい。
02/04/07 16:32
社会人になったら>>286みたいな先輩がほしいなぁ。
295:名無しさん@お腹いっぱい。
02/04/07 17:13
おれも新人研修やるんだけど..
新入社員に女子がいるし、人事の女にもチェックされるんだヨウ...
女性用にホモ画像サイトも用意してやるか..
296:名無しさん@お腹いっぱい。
02/04/07 17:44
若い子には猫の写真とか。
297:名無しさん@お腹いっぱい。
02/04/07 20:54
>>295
ホモは奥が深くて難しい。安全にショタ系にすれ。
298:286
02/04/08 12:25
>>293
ちょっと前までサーバ上に名作、迷作の回答あったんだけど、弟子にUNIXの
バックアップ・リストアの実演やらかした時に消しちゃったい。
各自で保存しているらしいから、そのうちちょっと聞いてみるけど。
結構面白いのもあったんだけどね。
ただ、特に仕様らしい仕様も出さなくて、「とにかく直リンクがコマンド一発で
抜き出せればOK」だったので、そのhtmlファイル依存しまくりのスクリプト
だらけだったよ(当然か)。
でも、その某サイトは同じ格好のhtmlが数百本あるから、スクリプトを時間
かけて作成するだけの価値が彼らにはあったと信じる(笑)。
>>296
安全牌としてそのテも考えていたんだけど、スクリプトを使って大量
ダウンロードできるだけのボリュームがあるサイトを見つけられなかった。
今後の安全牌として、どこか紹介していただけるとありがたいです。
299:名無しさん@お腹いっぱい。
02/04/09 02:24
>298
難易度高いけどこことか。
URLリンク(www.ne.jp)
300:286
02/04/09 22:58
>299
お、まとまったサイト紹介、ありがとさんです。
細切れになってるからリンクマジメに辿るとかだと大変かも。
でも安牌にさせてもらいます。
301:名無しさん@お腹いっぱい。
02/04/14 12:36
#!/usr/bin/perl
#
# index.pl
# ネスケで一覧するのを提案します。
# ノーチラス使えない環境の人には良いかも。
# このスレひととおりみたけどこういうのはまだ出てないみたいだったので。
# 小さくすればグロ画像もこわくないですし。
# file:/home/ero/wget/index.html とかして使用すます。
#
# 画像のたまったディレクトリで ./index.pl > side.html
# index.html として下のを用意
# body.html は無くて良い
#
#index.html
#<HTML>
#<FRAMESET COLS='20%,*'>
#<FRAME SRC='side.html' NAME='side' SCROLLING='auto'>
#<FRAME SRC='body.html' NAME='body' SCROLLING='auto'>
#</FRAMESET>
#</HTML>
#
print '<html><body>';
@_=`ls -t`; # `ls -S ` などもよろしいかと
$dir=`pwd`; # chomp してももちろん可
foreach ( `ls` ){
chomp;
print "<a href='file:$dir/$_' target='body'><img src='$dir/$_' hight='100' width='100'><br>\n";
}
print "</body></html>\n";
302:名無しさん@お腹いっぱい。
02/04/14 12:39
`ls` は @_ のまちがいです。
今はじめて気がついたよ。。。
303:名無しさん@お腹いっぱい。
02/04/14 12:54
Perl使わなくても、プロンプトから
ls *.jpg|sed 's/\(.*\)/<a href="\1" alt="\1"><img src="$1" height=100 width=100></a>'>hoge.html
とする程度でいいんじゃない?
304:名無しさん@お腹いっぱい。
02/04/14 12:55
しまった。こうだな。
ls *.jpg | sed 's%\(.*\)%<a href="\1" alt="\1"><img src="$1" height=100 width=100></a>%' > hoge.html
305:301
02/04/14 13:27
画像の下にダウンロード元の URL 表示できるようにしたりとか、
機能拡張を予定しているので。。。
またそれがここに載せた理由です
306:1
02/04/14 19:15
がんばれ301さん。
あげ
307:名無しさん@そうだドライブへ行こう
02/04/14 20:27
>>304
typoかな?
ls *.jpg | sed 's%\(.*\)%<a href="\1" alt="\1"><img src="\1" height=100 width=100></a>%' > hoge.html
^^^
308:307
02/04/14 20:29
ずれてる。
鬱氏。
img src のとこね。
309:名無しさん@お腹いっぱい。
02/04/14 21:09
ぽこにゃん方式の詳細どこかにありませんか? 復元するソフト書こうと思ってるんだけど。
310:名無しさん@お腹いっぱい。
02/04/15 02:48
>309
ぽこにゃんの仕様は公開されていませんが、作者に請求すれば手に入ります。
作者が生きていれば。
3年ほど前、そうやって作られたUNIX用の実装がありましたが配布元は死んでいました。
BBSが動いていたのには驚きました。(^_^;)マァヴ
311: du -sh . が 427M
02/04/15 23:23
この遊びをはじめて今日で3日。
やはりグロ画像が怖い、怖すぎる。
小さくしてもやっぱ厭だ。
だが、どうやら種類はそれほど多くないらしい、毎回同じ奴が出る。
@exceptionurls とかして、予め登録するやり方が有効かもしれない、
とコメントだらけの 2ch.pl と index.pl を覗く夜。
...abortion.mpg いります?
312:名無しさん@お腹いっぱい。
02/04/16 21:57
>>1
ありがとさん。
バッチかけて大量の画像集めてみました。
FLASH集めにも使えそうですね。
しかし、ツールのせいじゃないんだけど2chて怖い画像多すぎだな。
313:名無しさん@お腹いっぱい。
02/04/23 17:40
age
314:名無しさん@お腹いっぱい。
02/04/30 00:41
age
315:名無しさん@お腹いっぱい。
02/04/30 01:37
俺はこの時だけのためにzshをいれている。
もち、
ふだんtcsh,シェルスクリプトsh
316:名無しさん@お腹いっぱい。
02/04/30 03:19
>315
奇遇だな、俺もだよ。
317:名無しさん@お股いっぱい。
02/05/02 02:19
wget でさ 302 に反応するの止められないかな
318:318
02/05/02 04:15
恥ずかしい動機でパッチ作る漏れ
319:Bourne Shell 馬鹿一代
02/05/09 20:45
しごく無理矢理に。
#!/bin/sh
prefix=`echo $1 | sed 's/\[.*//'`
suffix=`echo $1 | sed 's/.*[0-9]*\]//'`
area=`echo $1 | sed 's/[^\[]*\[//' | sed 's/\].*//'`
start=`echo $area | sed "s/-.*//"`
finish=`echo $area | sed "s/.*-//"`
figure=`echo $finish | wc -c`
figure=`expr $figure - 1`
get_filename() {
num=$1
num_fig=`expr $num | wc -c`
num_fig=`expr $num_fig - 1`
zero=""
if [ $num_fig -lt $figure ]
then
pre0=`expr $figure - $num_fig`
#zero=""
while [ $pre0 -gt 0 ]
do
zero=`echo 0$zero`
pre0=`expr $pre0 - 1`
done
fi
echo $prefix$zero$num$suffix
}
while [ $start -le $finish ]
do
wget `get_filename $start`
start=`expr $start + 1`
done
320:名無しさん@お腹いっぱい。
02/05/13 13:26
月イチくらいでこのスレチェキするの、実は楽しみ。
保守sage
321:名無しさん@お腹いっぱい。
02/05/19 12:52
age
322:名無しさん@お腹いっぱい。
02/05/19 14:25
>309
wine Pokonyan.exe で十分。
323:名無しさん@お腹いっぱい。
02/05/20 04:02
スプールディレクトリにファイルのリストを書いたファイルをぶちこむと
勝手に読みこんでwgetしてくれるデーモンがあれば便利なような気がした。
324:名無しさん@お腹いっぱい。
02/05/20 04:28
>>323
それくらいチョチョイと作れよという気がした。
スクリプトで定期的に回すだけでも十分な気もした。
325:323
02/05/21 03:11
#!/bin/sh
savedir="save"
listdir=~/spool/
wgetopt="-q"
list=$listdir`ls $listdir | head -qn 1`
while [ $listdir != $list ]
do
if [ -s $list ] ; then
file=`head -qn 1 $list`
wget $wgetopt -P $savedir $file
echo -e '1d\nwq' | ed -s $list
else
rm $list
list=$listdir`ls $listdir | head -qn 1`
fi
done
#回す内容だけ作ってみたが、定期的に回すやり方が分からんかった
326:名無しさん@お腹いっぱい。
02/05/21 11:49
最後に自分自身をatする
327:323
02/05/21 18:38
>>326 さんくす
こんなかんじでいいのかな?
echo $0 | at now + 1 minutes
328:名無しさん@お腹いっぱい。
02/05/22 13:12
at使う方法もあるってだけ。
cronのほうがいいでしょ。
329:名無しさん@Emacs
02/05/24 15:57
zshで数字の場合は{00..99}とかすればいいけど
{a..z}みたいにアルファベットの場合はどうすればいいの?
330:名無しさん@お腹いっぱい。
02/05/24 18:14
ruby -e '("a".."z").each{|i| puts i}' とか?
Ruby使うのは反則気味かな。
331:名無しさん@XEmacs
02/05/24 19:29
ていうか ruby でダウンローダ書くべし。。。
332:345
02/05/30 10:24
URLリンク(susume.free-city.net)
以下のファイルがwgetでどうしても落とせません。
htmlファイルもです。
refererの設定をしてもエラーのhtmlファイルを拾ってくるだけで
目当てのファイルが落とせないのです。
ariaでやるとrefererありでもなしでも落とせました。
どうやればwgetで落とせますか?
333:名無しさん@お腹いっぱい。
02/05/30 10:43
>>332
朝っぱらから同人誌かよ (w
さらに `-r -A jpg ' で何ごとも無く落とせるじゃ~ないか
334:その筋の人(w
02/05/30 10:58
free-cityはRefererがhtmlで終わっていないとエラーになる仕様。
ディレクトリやhtmでは駄目。
335:名無しさん@お腹いっぱい。
02/05/30 11:17
free-city、面倒だからたまに referer に落としたい画像そのもの(.jpg)を指定するけど、大丈夫だよ。
336:名無しさん@お腹いっぱい。
02/05/30 11:24
要は指定した拡張子しか置けなくて、置けるものがRefererになっていないと駄目ということかな。
337:332
02/05/30 12:30
こんなネタにわざわざ答えて、ありがとさん。
>>334
なるほど、free-cityはそういう仕様だったのですね。
かなり勉強になりました。
が、、
wget URLリンク(susume.free-city.net) --header=Referer:URLリンク(susume.free-city.net)
wget URLリンク(susume.free-city.net) --header=Referer:URLリンク(susume.free-city.net)
wget URLリンク(susume.free-city.net) --header=Referer:URLリンク(susume.free-city.net)
wget URLリンク(susume.free-city.net) --header=Referer:URLリンク(susume.free-city.net) -Ahtml,jpg
いろいろやってみましたがゲット出来ません。
ちなみにWgetのバージョンは1.4.5です。
338:名無しさん@お腹いっぱい。
02/05/30 12:50
1.4.5 古すぎ。最近のは 1.8.1 かな?
いろいろと便利になっているよ。
昔のだと、--header='Referer: URLリンク(hogehoge...)<) だな。
339:名無しさん@お腹いっぱい。
02/05/30 12:53
ついでに、
wget [オプション]... [URL]... だな。
wget [URL]... [オプション]... じゃなくて。
-m とか -r とか、その辺りもちゃんと調べるように。
340:名無しさん@お腹いっぱい。
02/05/30 12:56
こういうことやるには、HTTP とか CGI とか Javascript とか HTML にも精通していると
困ったときに色々と助けになる。
ダウンロードばっかりしてないで、せっかくの良い機会だから RFC とかも読んでみるといい。
341:332
02/05/30 13:10
>-m とか -r とか、その辺りもちゃんと調べるように。
wget URLリンク(susume.free-city.net) --header=Referer:URLリンク(susume.free-city.net) -r -l1
などとやるとエラー二つとトップのhtmlがダウンロードできるのですが、
直接トップのみをDLしたいんです。
助言にしたがって最新バージョンをいれて試してみます。
Refererが送られないバグがあるバージョンがあったそうだが、、、
342:名無しさん@お腹いっぱい。
02/05/30 13:24
>>341=332
339さんの記事、読んでるのか?
少し落ち着けよ。
343:名無しさん@お腹いっぱい。
02/05/30 14:11
∧∧
(゚Д゚ )
⊂ ヽ / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
〉 ノノ~ < それは1.8。
∪∪ \______________
>332
>Refererが送られないバグがあるバージョンがあったそうだが、、、
344:名無しさん@お腹いっぱい。
02/05/30 17:51
fURLリンク(tron.um.u-tokyo.ac.jp)
345:332
02/05/30 18:05
>339さんの記事、読んでるのか?
wget --header=Referer:URLリンク(susume.free-city.net) -r -l1 URLリンク(susume.free-city.net)
の順だってのはわかってたんだが、貼り付けるときに間違った方を貼り付けてしまったようで。
記事はもちろん、きっちり読んでるよ。
少し落ち着けってのはその通り。
346:名無しさん@お腹いっぱい。
02/05/30 18:06
ぐ、sageるべき記事だった。
347:132
02/05/30 18:11
一応事後報告。
Wget/1.4.5ではどうあがこうが、単体で落とせなかった。
が、
最新バージョンをためしたら、refererなしで難なく落とせました。
原因は今だ不明。
アドバイスくれた人に感謝。
348:名無しさん@お腹いっぱい。
02/06/07 05:28
332は逝ってよし
349:名無しさん@Emacs
02/06/11 23:31
zshで wget URLリンク(www.aaaa.com)
とやるとURLが展開されファイルを落ちてくるのですが、このURLをテキストに書いて
wget -i hoge.list
としてもURLが展開されないです。
こういう物なのでしょうか?
リストを展開する方法を教えてくれたら動画プレゼント。
350:名無しさん@お腹いっぱい。
02/06/11 23:36
>>349
{01..12}.mpgを展開しているのは、zshです。
351:名無しさん@Emacs
02/06/11 23:38
zsh -c "echo URLリンク(www.aaaa.com) | tr ' ' '\n'" > hoge.lst
wget -i hoge.lst
352:名無しさん@Emacs
02/06/11 23:42
ありがとう。
URLリンク(www.interracialgames.com)
URLリンク(www.interracialgames.com)
URLリンク(www.interracialgames.com)
URLリンク(www.interraciallounge.com)
URLリンク(www.interraciallounge.com)
URLリンク(www.interraciallounge.com)
URLリンク(www.interraciallounge.com)
URLリンク(www.interraciallounge.com)
URLリンク(www.interracial-couples.com)
URLリンク(www.interracial-couples.com)
URLリンク(www.interracial-couples.com)
URLリンク(www.interracial-couples.com)
URLリンク(www.interracial-couples.com)
URLリンク(www.interracial-couples.com)
URLリンク(www.interracial-couples.com)
URLリンク(www.hh.iij4u.or.jp)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
353:名無しさん@Emacs
02/06/11 23:57
ちなみに複数のURLがあった場合一発でするには?
354:名無しさん@お腹いっぱい。
02/06/12 00:05
>>353
↓こういうファイルを作って実行すれば良いと思います。
#!/bin/zsh
wget URLリンク(www.interracialgames.com)
wget URLリンク(www.interracialgames.com)
・
・
・
355:名無しさん@Emacs
02/06/12 00:08
>>354
#!/bin/sh
for i in URLリンク(www.interracialgames.com) \
URLリンク(www.interracialgames.com) \
URLリンク(www.interracialgames.com) \
URLリンク(www.interraciallounge.com) \
URLリンク(www.interraciallounge.com) \
URLリンク(www.interraciallounge.com) \
URLリンク(www.interraciallounge.com) \
URLリンク(www.interraciallounge.com) \
URLリンク(www.interracial-couples.com) \
URLリンク(www.interracial-couples.com) \
URLリンク(www.interracial-couples.com) \
URLリンク(www.interracial-couples.com) \
URLリンク(www.interracial-couples.com) \
URLリンク(www.interracial-couples.com) \
URLリンク(www.interracial-couples.com)
do
zsh -c "echo $i | tr ' ' '\n'" >> hoge.lst
done
356:名無しさん@Emacs
02/06/12 00:09
>>354
なるほど。↑なスクリプト書くより簡単ですね。
357:名無しさん@Emacs
02/06/12 00:16
書いた本人が言うのもなんだけど、この動画あんまりよくないね。
今度はもっといいのを教えたる
358:名無しさん@お腹いっぱい。
02/06/12 00:20
さっそく見たが
URLリンク(www.hh.iij4u.or.jp)
はよかった。
359:354
02/06/12 00:22
>>358
漏れの中ではガイシュツでした。
360:名無しさん@Emacs
02/06/12 00:24
シェルスクリプト勉強するのにエロ動画は最適。
361:名無しさん@お腹いっぱい。
02/06/12 00:26
>>360
確かに。必死に覚えるからね。(藁
362:名無しさん@お腹いっぱい。
02/06/22 00:18
いやはや、勉強になりマスタ、、、thx
363:名無しさん@お腹いっぱい。
02/06/24 08:33
正月そうそう、しかも21世紀の門出に
PGFのコレクションを思い立った>>1に感謝
364:1
02/06/30 14:24
>>363
1です。お褒めいただきありがとうございます。
365:名無しさん@お腹いっぱい。
02/06/30 15:48
最近は yahoo で手古摺ってる。
どうにかならんもんかな?
366:名無しさん@お腹いっぱい。
02/06/30 18:13
画像ビューアで、
サイズを画面に合わせて表示してくれるときに
ディザ (っていうの?) かけてくれるのってない?
縮小表示のときにぶさいくな顔になって萎えるときがあるんだけど。
367:名無しさん@お腹いっぱい。
02/06/30 18:22
enfle
368:366
02/06/30 18:42
>>367
試してみたけど、縮小表示のときは
smoothing してくれないような。
369:本当だ
02/06/30 18:56
||
Λ||Λ
( / ⌒ヽ
| | |
∪ 亅|
| | |
∪∪
:
:
‐ニ三ニ‐
370:名無しさん@お腹いっぱい。
02/06/30 19:05
GQviewは?
371:名無しさん@お腹いっぱい。
02/06/30 19:12
同じように見えるなあ。
372:366
02/06/30 19:20
>>371
うん。
ImageMagick の display はリサイズすると smoothing してくれた。
でも「画面より大きい画像を縮小表示」機能が見つからない。
いちいち縮小率打ちこむのは緊急時には非現実的だ。
373:名無しさん@お腹いっぱい。
02/07/01 00:49
>>372
> 緊急時
ワラタ
ところで gqview は option で dithering の
具合を変えられるよ.
374:366
02/07/01 00:59
>>373
Image → Quality だね。
ヤター、ありがとう!
スライドショウのときは先読み (?) してくれるっぽいね。
画質優先にしてもあんまり遅くない。
よーし、今夜はがんばっちゃうぞー。
375:電波5号
02/07/01 15:32
細かいこと考えないで
wget URLリンク(hoge.jp)
とか
たまにするよ
それ以上はperl のワンライナーでだいたい事足りるような
376:名無しさん@Emacs
02/07/01 15:37
wget URLリンク(hoge.jp)
377:名無しさん@お腹いっぱい。
02/07/01 15:42
>>376
zsh なら、ね。
378:名無しさん@Emacs
02/07/01 19:59
昔、レイトレーシングのプログラム組んでて知ったけど
ディザリングとアンチエイリアスって考え方としては
別物なんだよね。
少ない色数で擬似的に多くの色を見せるのが
(黄色と赤色を交互に並べて橙色に見せたりするのが)
ディザで、
小さい物体を描く時にドット間に距離の差がでて
画像がガタガタに見える時に中間の色を混ぜて
なめらかにするのがアンチエイリアスなんだよな。
似てるといえば似ているかな
379:名無しさん@Emacs
02/07/01 20:29
神崎じゅりが今何やってるか知ってる人いない?
好きなんだけど…
380:名無しさん@お腹いっぱい。
02/07/02 04:22
ググルとか2ch検索とかの、UNIX板以外ルートでこのスレに来た奴が、
"hoge.jp"なる大御所エロサイトが本当にあると思ってブラウザに
URLリンク(hoge.jp)とか打ちこんでたりして。
とふと思ったが面白くも何とも無いな。
381:名無しさん@お腹いっぱい。
02/07/03 15:48
vmware→win→irvine
382:名無しさん@お腹いっぱい。
02/07/03 22:08
vmware→win→cygwin→wget
383:名無しさん@お腹いっぱい。
02/07/03 22:40
>311
>やはりグロ画像が怖い、怖すぎる。
1)いやな画像のcksum(1)やmd5(1)をリストに取っておいて、
2)落とした画像とコンペアして一致したらあぼーん
てなロジック追加すればいいんじゃないの?
cksumとか動作遅いけど、通信速度よりかは早いと思うからあんまし問題
にならんと思うけど。
384:名無しさん@お腹いっぱい。
02/07/04 12:29
グロはもう慣れた
エロ画像じゃなかったという落胆しかなくなった
でも最近初めて見るのだとちょっとうれしい
385:名無しさん@お腹いっぱい。
02/07/04 13:20
夢に出ないか?うなされないか?
386:名無しさん@お腹いっぱい。
02/07/04 18:21
>>378
ディザリングは高い解像度で擬似的に色数を増やす。
アンチエイリアスは多い色数で擬似的に解像度をあげる。
387:名無しさん@お腹いっぱい。
02/07/05 13:39
しかし、wgetの逆ってないもんかしらねぇ。wgetしたエロエロを一気にFreeHPに放り込むのに使いたい。
388:名無しさん@お腹いっぱい。
02/07/05 13:42
>>387
HTTP で送るの?
389:名無しさん@Emacs
02/07/05 14:49
PGFらしきの大量のリンクを発見したんだけど多すぎて挫折。
390:名無しさん@お腹いっぱい。
02/07/05 19:03
link のせてくれ!
391:名無しさん@Emacs
02/07/05 21:47
>389
linkのせてくれ!
まだコンプリートできないんだ…
あとPGFのオリジナルは画像が綺麗でサイズも大きいらしいね。
俺が持ってるのは再配布版ばかりで、画像がキチャナイ。
392:389
02/07/05 22:43
URLリンク(www.genie.x0.com)
URLリンク(www.genie.x0.com)
URLリンク(www.genie.x0.com)
なんか質が高くないようだけど。
海外Proxyが必要な所もあるけどページの上の説明の先に一覧がある。
393:名無しさん@お腹いっぱい。
02/07/05 23:31
>392
やったー
51番目、よっつめのリンクが質が良い。
394:名無しさん@お腹いっぱい。
02/07/06 18:39
逃げろーをハメた奴はすごく勇気あるな
395:名無しさん@お腹いっぱい。
02/07/09 00:11
403.phpがでけるのって何故?
396:395
02/07/09 03:05
おもいっきり既出のrefererですた
スレ汚しスマソ
397:383
02/07/12 00:02
とりあえず、俺もw3mをコアとしてcsh(苦笑)で直リンを2chの半角板から
吸い出す奴作ってみました。
(ソース?4行しかないしパイプつなぎまくりで恥ずいので非公開)
そいつでダウンロード始めたんだけど、グロ怖いし画面小さいしでNetBSD
上じゃあやってられないってんで、WinXPのエクスプローラの縮小表示で
見ながら、今作業中です。
グロ耐性無いんで、もっとも安全パイっぽかった半角2次元板でテスト(W
今のところ100ファイル程度だけど、グロはまだ無いなー。
398:383
02/07/13 23:53
さらに、過去落としたURLと入手したURLとを比較するCのコードも書き、
重複したダウンロードも避けるように環境もだんだんと整えつつあります。まだ4日目なんでいい加減ですが、だいたい半角2次元板で300~500枚程度
の新規画像の投稿があるみたいです。#想像以上の新規投稿枚数...よくネタが続くもんだ。
399:名無しさん@お腹いっぱい。
02/07/14 00:28
気分が悪いのでプレゼント
URLリンク(www.teeniegurls.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
400:名無しさん@お腹いっぱい。
02/07/15 05:18
はー気分最悪。
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
401:名無しさん@お腹いっぱい。
02/07/19 06:36
FreeBSD厨房なヲレ
%jot -w "URLリンク({URL})" 99 | xargs -n1 fetch
ex.
URLリンク({URL})~URLリンク({URL}) 取得
402:名無しさん@お腹いっぱい。
02/07/19 07:48
あまり関係ないかも知らんが、こう言うのを使ってキャッシュ内のファイルを・・・
って出来ればいいんだけどな。
URLリンク(kasumi.sakura.ne.jp)
403:名無しさん@お腹いっぱい。
02/07/29 22:29
dirs=`find . -type d` とかしたあとに、
$dirsの中のディレクトリをランダムに並びかえるにはどうしたら良いでしょうか?
qivでエロ画像を見るのに必要なんです。(;´Д`)ハァハァ
404:名無しさん@お腹いっぱい。
02/07/29 22:37
>>403
qiv じゃないの使う、とか。
405:名無しさん@お腹いっぱい。
02/07/29 22:38
素直にインターネットニンジャ使ってます
画像も縮小表示されるしDL失敗したら指定回数リトライしてくれるしラクチン
406:名無しさん@お腹いっぱい。
02/07/29 23:03
>>403
qiv の --random とか --shuffle オプションは
使っちゃだめなの?
407:403
02/07/29 23:40
>>404
fehが susieに似ているらしいと聞いたので使ってみましたが、
ダメダメでした。(なんでダメダメだったのかは忘れた。)
>>406
私の場合はディレクトリで被写体(?)を分けているので、
そのオプションはこの場合使えません。
'find . -name "*.jpg"'の結果を qivしてもいいんだけど、
被写体がごちゃごちゃになっちゃうでしょ?
↓この時、qivに渡すディレクトリをランダムにしたいのさ。(;´Д`)ハァハァ
dirs=`find . -type d`
for dir in $1; do
echo $dir/* | xargs qiv -f -s -d 5
done
408:403
02/07/29 23:41
>>407
ミスった。
for dir in `find . -type d`; do
echo $dir/* | xargs qiv -f -s -d 5
done
409:名無しさん@お腹いっぱい。
02/07/30 11:24
漏れはInternet Ninjaの連番取込でやってるよ。ちょうかんたん。
UNIXと関係ないのでsage
410:名無しさん@お腹いっぱい
02/08/01 03:41
最近はエロ動画をダウンロードするスクリプトでがんばっています。
スクリプトほしい?
411:名無しさん@お腹いっぱい。
02/08/01 03:48
スクリプトの出来次第だな。
とりあえずさらしてみそ。
412:名無しさん@お腹いっぱい。
02/08/01 04:30
長く、細く続くスレ
413:名無しさん@カラアゲうまうま
02/08/01 05:37
>>403
NetBSD由来のshuffle(1)というのもある。
URLリンク(cvsweb.netbsd.org)
URLリンク(www.jp.FreeBSD.org)
ちなみに漏れはこんな感じ
$ find . -type f -name '*.{jpg,gif}' | shuffle -f - | xargs xv -maxpect -smooth &
414:410
02/08/01 07:57
>>411
dogaloというHなサイトから最新動画を取り込むスクリプトです。
zshって知らないのですけど、これ使うともっと楽になるんでしょうね。
ご指導ください
----- get_dogalo.sh ----
#! /bin/sh -v
#
HPDIR=URLリンク(www.hentaiplay.com)
HP=newdogalo.html
LIST=dogalo.list
SAVE_DIR=dogalo.d
touch $SAVE_DIR
/bin/rm -f $HP
wget -o /dev/null $HPDIR/$HP
getext gif $HP > $LIST
getext png $HP >> $LIST
getext jpg $HP >> $LIST
cd $SAVE_DIR; /bin/ls | sed -e 's,\(.*.\),g/\1$/s/.*//,' > ../ed.cmd; cd ..
echo w >> ed.cmd
echo "g/^$/d" >> ed.cmd
echo w >> ed.cmd
echo q >> ed.cmd
ed $LIST < ed.cmd
cd $SAVE_DIR; wget -o dogalo.log -D members.aol.com -c -t 0 -i ../$LIST
----- getext -------------
#! /bin/sh -v
EXT=$1
tr '<' "\012" < $2 | tr '>' "\012" | grep href | \
tr = "\012" | grep http | grep $EXT | sed -e "s/.*\(http.*$EXT\).*/\1/"
415:名無しさん@お腹いっぱい。
02/08/01 14:51
wget -c -t 0 -S -nd -np -r -l 1 --accept=jpg URLリンク(urabon.site)
落ちてこなければ、--span-hosts をつける。
416:名無しさん@お腹いっぱい。
02/08/01 16:06
>414
perl とか zsh を使うとそういうのはとても簡単に処理できるけど、
とりあえず、シェルスクリプトで自分の知っているコマンドの組み合わせで
処理を書いてみるのも、きっかけは何であれ、いろいろと勉強にはなるな。
次の課題は、もう少しいろいろなサイト用にも応用ができるようにするのと、
処理をもう少し洗練させてみると良いのでは。
そのうち、JavaScript 使って変なことしているのや、Referer とか Useragent
見てアクセス制限しているサイトへの対応も簡単だからチャレンジしてみるといい。
さらにスキルがついたら、クリッカブルマップとCGI使って画像を直接見えない
ようにしているサイトとか、ヤフブリみたいに変なことしているサイトは
個別対応になるけど、それなりにやり応えはあるだろう。
まあ、先は長い。がんばれ。
417:名無しさん@お腹いっぱい。
02/08/01 23:49
URLリンク(j2ch.free-city.net)
「2ちゃんJPGマニアックス」
これ作ったのここらへんのひとだったりする? わけないか。
418:bash (linux厨だから)
02/08/02 12:04
wget -r -A .jpg,.gif -nd -nc --user-agent='Mozilla/4.06 [en] (Win95; I)' URLリンク(www.hogefuga.com)
419:名無しさん@お腹いっぱい。
02/08/03 00:16
>>413
'gcc shuffle.c'すると、以下のエラーが出ます。
getprogname()はいいとして、fgetln()ってどこにあるんでしょうか?
RedHat7.2、gcc-3.0.4 です。
shuffle.c: In function `get_lines':
shuffle.c:161: warning: assignment makes pointer from integer without a cast
/tmp/ccyouD03.o: In function `usage':
/tmp/ccyouD03.o(.text+0x145): undefined reference to `getprogname'
/tmp/ccyouD03.o: In function `get_lines':
/tmp/ccyouD03.o(.text+0x1f7): undefined reference to `fgetln'
collect2: ld returned 1 exit status
420:名無しさん@お腹いっぱい。
02/08/03 01:33
>>417
多分、このスレじゃなく、
スレリンク(unix板)
のほうのスレッド関係者じゃないかな
421:名無しさん@お腹いっぱい。
02/08/03 05:21
>>417
$ grep ^http girls_list.html | while read i; do wget $i; done
グロ画像多過ぎて鬱。
422:名無しさん@お腹いっぱい。
02/08/03 14:41
>>421
虹板のリストを使ってみた。
6415のURLがリストアップされていて、実際にゲトできたのが2368。
うち、画像ファイルが2339、グロ画像(自分基準)が15。
容量は249746KB、所要時間が72分、平均転送レートが57.8KB/sでほぼ帯域いっぱい。
% du -sk * | sort -rn | head
68814 www.angelfire.com
20252 www.floralia.org
11720 www.42ch.net
7478 members15.tsukaeru.net
5375 www.moemoe.gr.jp
4640 www.momo-bbs.com
4637 210.153.100.60
NAT箱のテーブルがあふれるかと思った(w
423:名無しさん@お腹いっぱい。
02/08/03 17:22
wget 1.8.2 のwindows版
URLリンク(all-your-base.kicks-ass.net)
424:名無しさん@Emacs
02/08/04 15:46
>>421
よさげだと思って半角板のリスト使ってみたが、ろくなもんないなあ。
ってかグロ多すぎ。
NNTPからごそっと落してきた方がいいや。
てか、そういう用途にはみなさん何使ってます?
FreeBSDのportsでいくつか探してるけど、
「これっ」ていうやつがない....
425:名無しさん@お腹いっぱい。
02/08/04 15:49
>424
努力を惜しむ奴には、いいところその程度だろう。
426:383
02/08/05 13:14
>424 「これっ」
世間一般に出回ってるのって、大抵リンクを追いかける奴だからねぇ。
漏れは手作りでcsh使ってやってたけど、質が揃わないため最近やる気が
失せた。
やっぱり>425の言うと降り、努力した方がいい物揃うというのは確かで、
URL生成するだけでは絶対たどり着けない鉱脈があちこちにあるから、
それ考えるとまぁスクリプトでの遊びだな、って思いますね。
427:421
02/08/05 16:24
>424
(A): URL だけ抜き出すスクリプト
(B): 行をランダムで並べ返るスクリプト
(C): fork & exec で 10 個くらい並列で D するスクリプト
(D): wget or /usr/bin/fetch(FreeBSD)
A-C を Perl で前に自作したんだけど、B がどっかいっちゃった。
>421 やる時に B 作り直そうと思ったら無限再帰 fork して...
面倒なのでさじなげますた。
428:名無しさん@お腹いっぱい。
02/08/05 16:50
で、端子さわって壊れる
429:421
02/08/06 07:48
>427 の (C) つくった。
OS によっては waitpid(PID, WNOHANG) ができないかも、
と perlfunc(1) に書いてありますた。
どなたか採点してもらえると幸せです。
#!/usr/bin/perl
use strict;
# FreeBSD -CURRENT の場合。他は知らん。
use POSIX ":sys_wait_h";
my $fetch_cmd = "wget -x";
my $max = 10;
main();
sub main
{
my($pid, @slot);
while(!eof()){
for(0..($max-1)){
if($slot[$_] != 0 and waitpid($slot[$_], &WNOHANG)!=0){
$slot[$_] = 0;
}
}
for(0..($max-1)){
if($slot[$_] == 0){
my $url = <>;
last unless defined $url;
chomp($url);
$pid = fork();
if($pid==0){
exec("$fetch_cmd $url");
}
else {
printf("Proc %d(%10d) fetching %s\n", $_, $pid, $url);
$slot[$_] = $pid;
}
}
}
sleep(1);
}
for(0..($max-1)){
waitpid($slot[$_], 0);
}
}
430:名無しさん@お腹いっぱい。
02/08/06 08:37
>429
常に10並列にはならずに、
10個まとめて起動しては、それらが全部終わるのを待ってから
次の10個を起動するというのは効率が悪いので、
空いたところからどんどん次のプロセスを起動するようにしてはいかがか。
私は、逆に、フリーのサーバにアップされた画像だと、
サーバーに負担をかけるとすぐに消されてしまうので、
wget -w 5 -i url-list
みたいなのを、異なるサーバーの分を並列に走らせるのを好む。
431:430
02/08/06 10:56
すまん、前半は私の誤解だった。 WNOHANG とはそういうものなのね。
432:399
02/08/06 21:32
はぁ、今日も最悪。なのでプレゼント。
URLリンク(www.rr.iij4u.or.jp)
URLリンク(www.nn.iij4u.or.jp)
URLリンク(www.pp.iij4u.or.jp)
URLリンク(www.rr.iij4u.or.jp)
URLリンク(www.pp.iij4u.or.jp)
URLリンク(www.dd.iij4u.or.jp)
URLリンク(www.fhjp.net)
URLリンク(www.fhjp.net)
URLリンク(www.fhjp.net)
URLリンク(www.fhjp.net)
URLリンク(www.fhjp.net)
URLリンク(www.fhjp.net)
URLリンク(www.fhjp.net)
URLリンク(www.kk.iij4u.or.jp)
URLリンク(www.rr.iij4u.or.jp)
URLリンク(www.dd.iij4u.or.jp)
URLリンク(www.hh.iij4u.or.jp)
URLリンク(www.ff.iij4u.or.jp)
URLリンク(www.pp.iij4u.or.jp)
URLリンク(www.jp-move.com)
URLリンク(www.nn.iij4u.or.jp)
URLリンク(www.dd.iij4u.or.jp)
URLリンク(www.ff.iij4u.or.jp)
URLリンク(www.pp.iij4u.or.jp)
URLリンク(www.rr.iij4u.or.jp)
URLリンク(www.ff.iij4u.or.jp)
URLリンク(www.kk.iij4u.or.jp)
433:399
02/08/06 21:33
ちなみにfhjp.net上のはrefererが必要かな。
434:名無しさん@お腹いっぱい。
02/08/07 01:19
wgetで女、食べれますか?
435:名無しさん@お腹いっぱい。
02/08/07 02:28
>>426
> 世間一般に出回ってるのって、大抵リンクを追いかける奴だからねぇ。
> 漏れは手作りでcsh使ってやってたけど、質が揃わないため最近やる気が
> 失せた。
半角で話題になる画像掲示板をまわっていたら、適当に話題の画像
が切れ切れながら、あつまってきませんか? script で画像データの
URI 拾ってきて、それを wget に喰わせておくとかすると、なんか見
もしない data がわさわさと…。
436:名無しさん@お腹いっぱい。
02/08/07 02:40
>>427の(B)は、perlfaq4の"How do I shuffle an array randomly?"を
参照されたし。
管理者にスクリプト使ってるの気が付かれてアク禁くらうのもいやだし、
鯖の負荷を無駄にあげないためにもURLは必ずシャッフルすべきと思うんだがどうだろう。
連番で落す場合であっても、いかにも人間が見てるかのように
wget --random-waitを使うとか。
いや、ちと考え過ぎか。そんなマメな管理者もいないだろうし…
437:名無しさん@お腹いっぱい。
02/08/07 02:54
>>429
最近思うんだが、虹板あたりに
URLリンク(www.foo.com) -rf $HOME;/bin/true ero.gif
とか書き込まれたらすごいイヤな気分だ。
438:名無しさん@お腹いっぱい。
02/08/07 03:58
>>437
しーっつ、しー。
というわけでみなさんちゃんとエスケープしましょう。
439:437
02/08/08 01:02
きちんとエスケープするのって面倒くさいので、
my $fetch_cmd = "wget -x";
を
my @fetch_cmd = qw(wget -x);
exec("$fetch_cmd $url");
を
shift(@fetch_cmd, $url);
exec(@fetch_cmd);
とやってる。
シェルのメタ文字を一切気にしなくていいので気分は楽だけど、
リダイレクトを自分でしなければならなくなる。
440:437
02/08/08 01:58
おっと、
shift(@fetch_cmd, $url);
じゃなくて
push(@fetch_cmd, $url);
ね。
441:名無しさん@お腹いっぱい。
02/08/08 07:05
"wget -i -" で動かして URI はパイプで突っ込めば?
442:名無しさん@お腹いっぱい。
02/08/09 00:50
>>441
パラレルに落さなくていいのなら…
まあ、あらかじめURLのリストを等分しておいて、
wget -iを並行実行すればいいんだけどね。
443:421
02/08/09 11:00
ご意見サンクス。エスケープは >429 書いた直後に気づきました。
"exec" と書く前に気づかなきゃだめか...
>430
$ while read url; do t=${url#URLリンク(};) echo "$url" >> ${t%/*}.list; done
$ echo *.list | 429を $fetch_cmd = "wget option -i"; に変更
で、できるかな。シェルスクリプト大好き。
>436
>437
やってみた。shuffle はパイプに繋げてたけど、一緒にしても大したこと無いね。
my($pid, @slot, @url);
@slot = (0) x $max;
chomp(@url = <>);
outloop:
for (;;) {
foreach (@slot) {
if ($_ != 0 and waitpid($_, &WNOHANG)!=0) {
$_ = 0;
}
}
foreach (@slot) {
last outloop unless @url;
if ($_ == 0) {
my $url = splice(@url, int(rand(@url)), 1);
$url =~ s/'/%27/g;
$pid = fork();
if ($pid==0) {
exec("$fetch_cmd '$url'");
} else {
$_ = $pid;
}
}
}
sleep(1);
}
foreach (@slot) {
waitpid($_, 0);
}
M-x indent-region したら条件文の丸括弧にスペースがぁ...
444:421
02/08/09 11:02
>443
うげ。echo じゃだめだ
$ while read url; do t=${url#URLリンク(};) echo "$url" >> ${t%/*}.list; done
$ ls -1 *.list | 429を $fetch_cmd = "wget option -i"; に変更
445:名無しさん@お腹いっぱい。
02/08/10 00:03
>>435
最初は結構ジャンル固まってるけどね。
ただ、その後が問題で、重複しないように過去のURLとコンペア
しながら日々ダウンロードしてると、どうしても最新の画像を
全ジャンルまんべんなく、という状態でのダウンロードになるんだわ。てなもんで、最近はURLの処理に時間がかかる(Mobile Gear)割に
実入りが少ないこともあって、やってないっす。
まぁ、現在は努力を惜しまずディープなURLを辿って集めてます。
そういえば、最近の虹板って、いわゆる2バイト文字でURL書くのが
流行ってるのか我々への嫌がらせなのか、目につくね。
http://ティンコ.co.jpみたいな。
446:名無しさん@お腹いっぱい。
02/08/10 02:14
URLの抜き出し部分で、
s,URLリンク(,\nhttp:)
s,URLリンク(ime.nu)
s,URLリンク(pinktower.com)
とか
next if(m(名無しさん\[1-30\]\.jpg));
などという処理が結局は必要なわけでしょ。こういう部分に単に
s/天使炎(\.com)?/angelfire.com/g;
s/性塊(\.com)?/sexblock.com/g;
などを追加していけばいいんじゃないかなあ。
それよりもUNIX屋としては、ファイルを偽装されるのがいちばん面倒…
447:名無しさん@お腹いっぱい。
02/08/10 02:22
>>443
$urlの最後の文字が\だったら?
全てのシェルのメタ文字をURLエンコーディングしないとダメだと思う。
448:445
02/08/10 12:42
まぁ、置換すりゃあいいんだけどね。
漏れの場合は、過去のコンペアは件数が膨大になっててcshで回せなくなって
いた関係もあって、文字列置換というかURL文字列補正もCでロジック組んで
捌いていたよ。
ファイルの偽装、ZIPについては最初っからあきらめてるから無問題(;_;)。
対応策は面倒というか、かなり困難。
分割してひとつひとつGIFファイルに偽装する奴とか、フォーマット
調べると偽装くらいはなんとか判定できそうな気もするけど、結局
結合したらzipファイルだろうからパスワード無いとどうしようもない。
パスワードなんて今のところ収集対象外だしねぇ。
でも、パスワードだけ何らかの規則に基づいて収集して、ソレでZIPファイル
に対して総当りするというのも結構面白いかも。
449:名無しさん@お腹いっぱい。
02/08/10 12:47
ぽこにゃん、ラブマ、ぶったぎりあたりは wine でOK。rez は cat。
450:名無しさん@お腹いっぱい。
02/08/11 15:17
>>447
sh のシングルクォート中のメタ文字は ' のみ。
$ echo '\'
\
# いまWindowsなので確認してないけどあってるはず
451:448
02/08/13 01:48
パスワードつながりで。
某ホームページではパスワードがhtmlの中に含まれてるとかで、
そのページに含まれるキャラクタの全組み合わせを生成する
ロジックを作って、その生成データを基に早速総当りをカマして
みたところ、全部外した(・_・)
ひょっとしてUNIX版unzipのパスワードって、8bit通らないのかな。
その某ホームページではパスワードがいわゆる2バイト文字の可能性
もあるから、それなら納得・・・できないぞ。
452:名無しさん@カラアゲうまうま
02/08/13 07:18
>>451
大丈夫。
# むしろWin用の解凍ソフトの方が
# 普通には日本語が入らないことが多い罠。
文字コードを確認しれ。
大抵はSJISでないとダメでそ。
453:451
02/08/14 08:35
>>452
あんがと。
とりあえずs-jisで取り込んでから処理はしてるけどね。
パス付きでzipした奴、テスト的に作ってみて検証しますわ。
ちなみに、日本語のパスワードが入るWin版のunzipって
どういったのがあるのでしょうか?てスレ違いか。
454:名無しさん@お腹いっぱい。
02/08/30 06:29
www.gaultier-x.com/bbs/board1.htm
ここって優秀な画像があつまってるけど、
どうやって攻略する?
bbsに貼られている画像だけを取得するうまい方法が
思いつかなくて、手動でwget動かしちゃってるんだが。
455:名無しさん@お腹いっぱい。
02/08/31 11:07
URLリンク(annaohura.japannudes.net)
素人な質問スマソ。zsh+wgetではねられるにょ。攻略法伝授してくんろ
456:名無しさん@お腹いっぱい。
02/08/31 11:32
referer
457:名無しさん@お腹いっぱい。
02/09/03 11:52
たいていはreferer。
まれにUA名で蹴ってるところも。
どっちもwgetのオプションでつけられる。
man wget
httpの勉強もしる。
458:名無しさん@お腹いっぱい。
02/09/07 13:48
man wget もいいけど、wget --help の方が安易なので最初はそれを読むといい。
うちの wget 1.8.2 だと全部日本語ででてくるし。
http 勉強せよ、といのは同意。
実験用の httpd をあげて自分でいろいろ嬲ってみるのも勉強になるよ。
もちろん、いきなりサーバーをインターネットに晒したりしないでね。
ついでなので、あんなさんも全部貰っときました。
459:名無しさん@お腹いっぱい。
02/09/07 14:21
--refererをどこにすればイイか分からなかった…修行が足りないな…俺。
460:名無しさん@お腹いっぱい。
02/09/07 14:53
基本はブツのあるディレクトリだよ。
まあぶっちゃけあそこはドメインしか見ていないけど。
461:名無しさん@お腹いっぱい。
02/09/07 15:19
referer なんて、たいていはその画像自体を指定しておけば問題ない。
462:名無しさん@お腹いっぱい。
02/09/07 18:52
>>459
みんなはじめはそうだよ。
みんなそこから、獲ろパワー(二つの意味)で大きくなった。
さ、1から読みなおそう。
463:459
02/09/07 19:08
あー…やっと落せた…(もちろん、仕事はチャンとしたぞ!)。
RefererじゃなくてUser-Agentで引っかかってました…(笑)。
464:C_sugar
02/09/08 02:39
>>379
PGFの中では彼女がいちばん良いな。
465:名無しさん@お腹いっぱい。
02/09/08 04:58
エロパワーの壁がここに…w
スレリンク(ascii板)
466:名無しさん@お腹いっぱい。
02/09/08 07:55
>>459 >>462
微笑ましいな・・・これでエロでさえなければ。
ガンバレ>>459
467:名無しさん@お腹いっぱい。
02/09/08 11:13
URLリンク(homepage.mac.com)
ここのseqimgというシェルスクリプト使ってます。(curl使用。)
refererも設定できるし重宝してます。
スクリプトの内容は私には理解できません。(w
468:名無しさん@お腹いっぱい。
02/09/08 21:26
>>457-458
今時、manやhelpなんてしなくてもググったほうが使用例が見つかるので速い。
それに鯖の公開は別問題。
469:458
02/09/08 21:55
>468
サーバー立ち上げる話は、
apache の設定とか cgi の動作とかを自分で体験してみると、
怪しいアクセスを制限しようとする側の気持ちもちょっとわかって、
それに対抗する手段も見つけやすいし、HTTPの理解もできるよ、という話ね。
別に公開せよというつもりは全くない。
man や help じゃなくて google といのは、
自分で情報を見つけられるようなら別に何でも構わんよ。
せっかくUNIX版にあるんだから、ノウハウだけじゃなくて
ちとは技術も身に付けて欲しいのよ。
470:名無しさん@お腹いっぱい。
02/09/08 22:11
UNIX版じゃなくてUNIX板ね。すまそ。
471:名無しさん@お腹いっぱい。
02/09/08 23:25
あずまんが。
URLリンク(www4u.kagoya.net)
472:名無しさん@お腹いっぱい。
02/09/08 23:40
とりあえず089までいただいておきました。
でも、本当は生身の方がいいです。
473:名無しさん@お腹いっぱい。
02/09/08 23:49
refererチェックもUAチェックしてないやん!
…って真っ先に思った漏れはもうダメですか?
474:名無しさん@お腹いっぱい。
02/09/09 11:20
>>471
どこがあずまんがだゴリュア!!!
ハァハァ言いながら3回もコピペミスっただろうが!!!
475:名無しさん@お腹いっぱい。
02/09/14 08:11
連番のH画像じゃないのですが
pl09_1.zip
pl09_2.zip
これを展開すると
pl09.001
pl09.002
CF_M.bat
が出てきます。DOS 用の bat ファイル は無視して cat すればいいのですが
1度に 展開 → cat → rm 残骸 とできるように奮闘中
476:名無しさん@お腹いっぱい。
02/09/14 10:10
おれさ、厨だからさ、パールなんてわかんないんですよ。
だからいつもページのソースを見て、連番のURLをみつけては
wget -i url.list してるんです。
で、url.listを作る際に一所懸命 sed を使って整えて
いるんです。そこで hoge.sed なるもを作ってみたんだが、
これって、url.listの1行ごとに hoge.sed が実行されるのか、
それとも hoge.sedが1行ずつurl.listに実行されるのか、
どっちなのか教えて下さい。
自分で読み返してみましたが、かなり日本語がおかしいかも
しれませんが、みなさん想像力豊かにして教えて下さい。
477:名無しさん@お腹いっぱい。
02/09/14 10:12
>>476
かなり日本語がおかしいです。
hoge.sed ってどんななの?
478:名無しさん@お腹いっぱい。
02/09/14 10:16
>>476
>>url.listの1行ごとに hoge.sed が実行される
こっち。
479:476
02/09/14 10:30
>>476
さっそくのレスありがとうございます。
すっきりしました。なんか自分の意図する働きをして
くれなかったんで、かなりすっきりしました。
で、気分を改めて作りなおしてみたら、下記のように
きれいにできあがりました。
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
URLリンク(members.aol.com)
最後に cat * > hoge.rm でもしてみてください。
480:476
02/09/14 10:31
上のレスは>>478へでした
481:名無しさん@お腹いっぱい。
02/09/14 15:25
>>479
ごちそうさまでした。
482:名無しさん@お腹いっぱい。
02/09/14 20:08
おなじく、使わせていただきました(なにに
483:名無しさん@お腹いっぱい。
02/09/15 16:46
522 名前:名無しさん@お腹いっぱい。 投稿日:02/09/06 14:56 ID:???
#include <iostream>
using namespace std;
int main(void)
{
int hajime, owari, i;
string url;
cout << "ルートディレクトリのURLを入力してください: ";
cin >> url;
cout << "最初の番号を入力してください:";
cin >> hajime;
cout << "最後のの番号を入力してください:";
cin >> owari;
for (i=hajime; i<=owari; i++) {
if (i < 10) cout << url << "0" << i << ".jpg" << endl;
else cout << url << i << ".jpg" << endl;
}
return 0;
}
貼ってみるテスト
484:名無しさん@XEmacs
02/09/15 22:41
そんなことをして何に役立つんだよ、と言ってみるテスト。
485:名無しさん@お腹いっぱい。
02/10/11 15:49
ほしゅあげ
486:名無しさん@お腹いっぱい。
02/10/12 12:46
>>483
そんなのUNIXじゃねぇ。
487:名無しさん@お腹いっぱい。
02/10/13 00:02
がんばれage
488:名無しさん@お腹いっぱい。
02/10/28 02:28
#!/bin/sh
while true
do
echo "hoshu age"
done
貼ってみるテスト
489:名無しさん@お腹いっぱい。
02/10/28 12:20
>>488
どうでもイイけど、
while true; do
echo "hoshu age"
done
と書く派なので、そういう書き方だと式の後のコロンを省けるのを知らなかった…。
490:名無しさん@お腹いっぱい。
02/10/28 16:46
>>488
shell script使わなくても
yes "hoshu age"
491:名無しさん@お腹いっぱい。
02/10/28 17:21
保守でageる方はDQNでございます
492:名無しさん@お腹いっぱい。
02/11/16 02:20
最近さ、AOLからwgetでダウンロードできないんだけどさ。
もしかして俺だけ?へんなhtmlファイルがおちてくる。
いつもは、オプションなんて設定しないで大丈夫だったんだが。
あくまでも例えばだが、zshで
wget -nd URLリンク(members.aol.com)
wget -nd URLリンク(members.aol.com)
wget -nd URLリンク(members.aol.com)
で、 cat * > hoge.rm ってしたいんだけど。
なんかオプションで指定しないとだめなんですかね?
おしえてください。
ちなみに今日はIrvineで(゚д゚)ウマーしたんだがさ…。
これのためだけにWindows起動してIrvineをつかうのは辛いです。
493:名無しさん@お腹いっぱい。
02/11/16 02:41
>>492
--referer='URLリンク(members.aol.com)' とか -U 'Mozilla/4.0 (compatible)' とか
は試してみた?
494:名無しさん@お腹いっぱい。
02/11/16 04:29
>492
っていうか場所によって仕掛けが違うから「あくまでも例えば」とかいう偽URIじゃ意味ないよ。
そのものズバリを書きなって。
フツーはその「へんなhtml」を読めば済むことも多いし。
495:名無しさん@お腹いっぱい。
02/11/16 12:39
wgetの書式をいじるのもいいけど、リジュムとかラブマみたいな分割偽装
ツールが欲しいところだね。Wineでやるのもいいけど、エロ動画を結合
するだけのためにCPUにムチ打つのはつらい。
496:名無しさん@お腹いっぱい。
02/11/16 12:57
>>495
フォーマット公開されてるの?
497:名無しさん@お腹いっぱい。
02/11/16 15:57
フォーマット公開されてたら偽装じゃないと思う…
498:名無しさん@お腹いっぱい。
02/11/16 16:34
リジュム(漢字わすれた)って本体のfileはcatでくっつくよね。
.rez fileはファイル名とCRCが入ってるだけっぽいし…
フォーマット誰かしらべてないかな?
499:495
02/11/16 17:04
>>498
ああ、リジュムの場合はlonginus.dll(他にもあるのかな)で偽装して
あるとだめだろう。
*BSDのpeaceって、*BSDのプログラムからWin32 DLLの関数を呼んだりは
できないのかな。
500:名無しさん@お腹いっぱい。
02/11/16 18:33
>>491
このスレのローカルルールとして、
保守ageするやつはついでにエロ画像へのリンクを貼る
てのはどうですか
501:492
02/11/17 00:27
すみませんでした。激しく自分がミスを犯してました。(;´Д`)
URLが間違ってました。つーか、とくに自分が手を加えていないから、
リンク切れだったようです。
>>492の訂正
s/missnuts555/missnuts5555/g
s/missnuts666/missnuts6666/g
s/missnuts777/missnuts7777/g
502:このスレの1
02/11/24 04:09
URLリンク(www.scghun.com)
上記のようなサイトにある画像を全て、簡単に落すテクニックってなんかありませんか。
とりあえず、ここで鍛えたテクニックを使って連番のリストファイルを一つ作り、それを
パターンにそって少しずつ変形させるスクリプトなぞを作り、最後にwgetで一挙に落そ
うという手で攻めてみたが、何分、微妙にパターンが変えられていたりして、四苦八苦し
てしまった。そのためAmateur Schoolgirls Gallery とAmateur Teens Galleryの画像を全
て落すための手はずを整えるのだけで週末を使いきってしまったよ。トホホ。
識者の方々、よい知恵をお貸しくだされ。
503:名無しさん@お腹いっぱい。
02/11/24 04:44
いやーどう見ても、というかちょっとしか見ていないが、
SchoolgirlsでもなければTeensでもないような気が…。
そういうもんなのか?
504:名無しさん@お腹いっぱい。
02/11/24 05:06
>>502
wget -N -q -O /dev/fd/1 "$url" \
| nantoka "$url" \
| grep hogehoge \
| sort -u \
| while read tmp; do
wget -N -q --referer="$url" -O /dev/fd/1 "$tmp" \
| nantoka "$tmp"
done \
| grep '\.jpg$' \
| sort -u \
> list
ちなみに、nantoka は、argv[1]をbase url として標準入力から
リンクを抜き出すフィルタね。
nantoka を、lex か何かで作っとくと便利だよ。
505:502
02/11/24 23:26
>>504
サンクスです。
wgetのオプション等多々、わからないことが多いですが、時間のあるときに
調べて挑戦してみたいと思います。新境地に達っしたいっす。
お礼URL
URLリンク(asiangirls.bphosting.com)
506:名無しさん@Emacs
02/11/25 00:24
>>502
$url が与えられてるとして、
wget --accept=jpg -c -t 0 -r -l 1 --span-hosts \
-nd --user-agent=Mozilla --referer=$url $url
とかで落とせないかい?
507:名無しさん@お腹いっぱい。
02/12/03 22:49
Yahoo! Groupsからファイル落とせるようにできないかなあ。
ユーザー認証ディレクトリの中にあるからダメかなあ。
508:名無しさん@お腹いっぱい。
02/12/24 02:54
クリスマス・プレゼントあげ
URLリンク(www8.kinghost.com)
509:名無しさん@お腹いっぱい。
02/12/24 07:10
俺はいつもHTMLをwgetでとってきて、sed かましてwgetに流してる。楽だし。
このスレを見てると、なんか職人魂を感じるな。
それはそうと、このスレは画像限定?rezファイルも連番になってるけど…アリかね?
// 誰か、Unixでラブマを結合する方法教えてくれ。
510:名無しさん@お腹いっぱい。
02/12/29 03:22
wine Lovema.exe
511:名無しさん@お腹いっぱい。
02/12/29 03:24
ついでに、takehost が最近 cookie を見るようになった。
wget で --save-cookies, --load-cookies 初めて使ったよ。
512:名無しさん@お腹いっぱい。
03/01/01 03:21
ここで一句
元旦にエンジン全開エロパワー
513:名無しさん@お腹いっぱい。
03/01/01 20:22
>>507
ふつーにできるだろ、と思って今ちょっとやってみたができんな(w
514:ftr223
03/01/03 15:44
でででででぇぇーっ!
515:名無しさん@お腹いっぱい。
03/01/04 01:00
半角文字列/アップローダーはここだ!6 【半角板】
スレリンク(ascii板:163番)
From: [163] 名無しさん@Emacs <>
Date: 02/12/30 00:06 ID:U6t76zEY
2chのためのアップローダだったら、2ch自身をアップローダとして使えばいいのでは?
帯域も十分だし、他のアップローダや回線に要らぬ迷惑もかけないし、、
アップロード時は、gzipとかbzip2で圧縮した後、base64とかでencodeしたも
のを、1スレに収まるように分割し、それらを適当な板とスレッドにランダム
に分散して投稿する。ただ、前の分割ファイルがわかるようにそのURLを各レ
スの最初に埋め込む。最後のレスには復元後のファイル名とチェックサム、ファ
イルの説明を書くようにする。
ダウンロード時は、最後のレスから次のレス、その次のレスと追っていき、最
初のレスまで辿り着いたら、全部のデータ部を結合、decode、解凍をする。
もちろん、以上の動作は専用プログラムを使う。もしくは、2ch専用ブラウザ
にそういった機能を組み込んでもらう。
まあ、こういった使い方が2ch側からabuseだったらあぼんですが、、
516:名無しさん@お腹いっぱい。
03/01/07 03:55
最近、AOLのサーバーってデリが早くないか?
あとラブマ偽装も増えたなぁ・・・
517:名無しさん@お腹いっぱい。
03/01/07 05:05
ラブマ偽装はもうしょうがないだろうねー
海外にガンガン晒される様になって来てるらしいし
そのうちcgiに日本語パスワードとかになるんじゃねーの?
518:名無しさん@お腹いっぱい。
03/01/07 08:27
>>515
URLリンク(dempa.2ch.net)
> 帯域も十分だし、
おいおい。
519:名無しさん@お腹いっぱい。
03/01/07 11:28
パラパラマンガみたいに、微妙に動いている写真を、
アニメーション表示させるプログラムを書いてみた。
使う?
520:名無しさん@お腹いっぱい。
03/01/07 22:00
>>519
とりあえずうぷしる!
521:名無しさん@お腹いっぱい。
03/01/07 22:24
URLリンク(f4.aaacafe.ne.jp)
実際は tar.bz2 なので注意。
コンパイルに SDL と SDL_image が必要です。
./morphanim image-1.jpg image-2.jpg ... image-n.jpg
で引数の画像を疑似アニメーション表示。
ドラッグで画像移動。ホイールスクロールで速度変更。
522:名無しさん@お腹いっぱい。
03/01/08 00:03
wineで動く猫缶偽装解除ソフトあったら教えて!!
Melt it!は駄目みたい.
523:名無しさん@お腹いっぱい。
03/01/10 15:36
age
524:あぼーん
あぼーん
あぼーん
525:山崎渉
03/01/15 12:56
(^^)
526:名無しさん@お腹いっぱい。
03/01/16 17:28
wgetでpostってできないですか?
527:名無しさん@お腹いっぱい。
03/01/16 21:10
wpost: Command not found.
528:名無しさん@お腹いっぱい。
03/01/19 18:58
クッキーもSSLもつかってる会員制サイトの画像を落とすにはどうすればいいんだろう・・・
スクリプトじゃもうだめな域か?
529:名無しさん@お腹いっぱい。
03/01/19 21:50
なんていいスレなんだ!!!感動した。
rezがcatでできるなんて、しらんかった...
よく考えてみればあたりまえだな
おれも昔延々とbinaryのぞいてました。
rez fileは、crc16だったような、source perlで作ったようなきが
すんですけど、defualtのuni* commandじゃ作れなかったようなきがします...
fread(),fwrite(),dirent.h使ってた俺って一体何?
>>498
フォーマット調べずとも、wine APIでdll直接叩くってのはどでしょうか?
530:名無しさん@お腹いっぱい。
03/01/20 02:47
>>528
最近の wget なら HTTPS も Cookie も喋れるよ。
がんがればなんとかなるっしょ。
531:528
03/01/20 18:48
>>530
そうなんですか・・・
でもWebMailのような方式(Web上でIDとパスワードを打ち込む方式)だと太刀打ちできなさそうで???
532:うひひ
03/01/20 18:55
>>531
telnetで打ち込むとかLynxで自動に打ち込むのはどーよ
533:名無しさん@お腹いっぱい。
03/01/20 18:55
>>531
curl なら POST 使えるんでない?
534:名無しさん@お腹いっぱい。
03/01/21 22:58
相手のサーバが anonymous-ftp だったりすると、単純に wget を
ループさせるのはよろしくねいですよね。コネクションの都合上。
その辺りは考慮しますか? 漏れの場合には、
lftp fURLリンク(server)
mget ero[0-9]*.jpg
です。って外出ですね。
535:名無しさん@お腹いっぱい。
03/01/22 05:41
/dev/urandom を使って、とってきた画像をランダムスライドショー
Linux以外のOSで動くかどうか知らん。
* #!/bin/sh
* set -x
*
* case "$1" in
* start)
* PHOTOS=$(wc -l `pwd`/ero.list | awk '{ print $1; }')
* if [ "$PHOTOS" -lt "1" ]; then
* echo "エロ画像がない"; exit 1;
* fi
*
* if [ -x $(which wmsetbg) ]; then
* PROG="wmsetbg -a";
* elif [ -x $(wich display) ]; then
* PROG="display -window root -geometry $(xdpyinfo | grep dimensions | awk '{ print $2}')";
* elif [ -x $(which xloadimage) ]; then
* PROG="xloadimage -onroot -fullscreen";
* else
* echo "ビューアがない"; exit 1;
* fi
*
* find `pwd` -type f | egrep "jpg$|JPG$" | nl -n ln > `pwd`/ero.list
*
* while [ $0 ]; do
* RAND=$(cat /dev/urandom | od -t uS | head -n 1 | awk '{print $2;}');
* if [ "$RAND" -le "$PHOTOS" ]; then
* ERO=$(egrep "^$RAND " `pwd`/ero.list | awk '{print $2;}');
* $($PROG $ERO); sleep 5s;
* fi
* done
* ;;
536:名無しさん@お腹いっぱい。
03/01/22 05:43
* stop)
* xsetroot -solid black;
* if [ -e `pwd`/ero.list ]; then
* rm -f `pwd`/ero.list;
* fi
* ps aux | grep "/ero.sh" | awk '{ print $2; }' | xargs kill -KILL
* ;;
* *)
* echo "あぼん"
* exit 1
* ;;
* esac
537:535 訂正
03/01/22 05:49
find `pwd` -type f | egrep "jpg$|JPG$" | nl -n ln > `pwd`/ero.list
の行を start) の直後にもってこないと動かないですね。
どうも失礼しました。
538:535 訂正2
03/01/22 05:59
- ps aux | grep "/ero.sh" | awk '{ print $2; }' | xargs kill -KILL
+ ps aux | grep $0 | awk '{ print $2; }' | xargs kill -KILL
蛸スクリプト荒しでした。ではさようなら。
539:名無しさん@お腹いっぱい。
03/01/29 19:10
クッキー・REFERER・エージェント名チェック対策から始まり、
ベーシック認証・SSLといった障害を乗り越え、再帰探索ロボット化。
更新チェック機能を設け、MIMEチェックで無駄なデータを排除したり、
サイズチェックでサムネイル画像を捨てたり、連続アクセスに対して
帯域制限で反撃してくるサーバのためにインターバル調節やリトライ機能を追加し、
無限階層地獄なサーバ対策機能を追加し、効率を追求するためにマルチプロセス化したら、
某社が結構な値段で買ってくれました。
もちろん、開発動機がアダルト画像ダウンロードだったのは企業秘密です。
540:名無しさん@お腹いっぱい。
03/01/29 22:38
>>539
売り込み文句のほうが気になるんだが…
541:うひひ
03/01/31 10:36
アメリケンかなんかのYahoo! Briefcase のファイルを
すかっと落とすスクリプト誰か作ってないかなぁ?
うぃん用のNetDupeExなんてのは見つけたんだけど
loginとpass入れないとファイルのURL抜けないんだけど
抜けちゃえばwgetでとれる
スクリプトあんま良くわかんないんだよなぁ