04/07/04 17:18
ん？ えーと、コレは単に
……。しまった。CSS云々ってコレか。繋ぎ変えよう
798:795
04/07/04 17:23
>>797
面倒なことさせてしまってすみません
FirefoxなどでCSSを無効にすると
一番下に同じサムネイルが2枚表示されていて
その下の画像のリンクにアクセスするとアクセス禁止になってしまいます
799:名無しさん＠お腹いっぱい。
04/07/04 17:30
う、うまく書けない。まあいいや。
えーとね、Lynxかなにかで全リンクを抽出して、grepで/images/を含む行を取り出す。
これは「1行目は本物画像リンク、2行目はCSSで隠された罠リンク」の順番になってるので
偶数行目だけ削除するフィルタを何かで書いて（初心者が急いでるので挫折）、
そのURLリストをUserAgentがIEでrefererが当該ページなwgetで回せばいい。はず。たぶん。
800:名無しさん＠お腹いっぱい。
04/07/04 18:10
URLﾘﾝｸ(bbs.coolnavi.com)
↑のようにcookie強制する画像サイトは難しい。
801:名無しさん＠お腹いっぱい。
04/07/04 18:36
wget --load-cookies --save-cookies .... でOKでは。
802:799
04/07/04 19:13
適当に書いてみた。LynxだとIEのフリができずアクセス解析でバレそうなのでHTMLソースをwgetして解析。
>>799の「リンクを抽出した1行目は本物画像リンク、2行目はCSSで隠された罠リンク」の仕様が崩れるとアウト。
#/bin/sh
wget $1 -q -nv --user-agent=="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -O - |\
sed -n 's/<a href="\(..*\)" target="_blank">.*/http:\/\/www.sweetnote.com\1/p' |\
awk 'NR%2 == 1' | wget --user-agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" \
--referer=$1 -nv -P ${2:-gazou} -i -
上記の5行をget.shとかで保存して適当に実行可能にして
$ ./get.sh URLﾘﾝｸ(www.sweetnote.com)
とするとカレントディレクトリにgazouディレクトリを勝手に掘って画像を保存。
（5行目の -P ${2:-gazou} を消すとデフォルトでカレントに保存するようになる）
$ ./get.sh URLﾘﾝｸ(www.sweetnote.com) test
とするとカレントディレクトリの下にtestという指定ディレクトリを勝手に掘って画像を保存。
IEだと思わせてるので画像の更新はあえて見てない（毎回6ファイルを強制ダウンロード）。
鯖負荷のかけすぎで気取られないように注意。
803:795
04/07/04 21:35
>>802
ありがとうございます
ダミーのリンクは最初と最後の画像だけみたいなので
偶数行を削除という発想をヒントに2行目と最後の行を削除したらいけました
sed -e '2 d' | tac | tail +2
> 仕様が崩れるとアウト。
以前は各画像のあとにコメントアウトされた
ダミーの画像がふたつずつありました
> （毎回6ファイルを強制ダウンロード）。
いつもはwgetに-xオプションをつけてダウンロードしています
あとは "`echo url | cut -d/ -f3-`" というファイルが
存在するかどうかでダウンロード済みかどうかを判断しています
URLエンコードが必要な場合は適当に処理してます
804:名無しさん＠お腹いっぱい。
04/07/04 22:27
IEでもHEAD投げてサイズを見てダウンロードするかどうかを決めるってのはやってるんじゃないかな。
別にそれでバレることはないと思うぞ(w
805:名無しさん＠お腹いっぱい。
04/07/04 23:52
>>801
いやね、>>800は半角板に張ってあったりすると、URI中のセッションIDとcookieのセッションIDが一致しないとダメなのよ。
そのサイトから直で落とすなら問題ないんだけどね。
806:名無しさん＠お腹いっぱい。
04/08/14 11:43
保守
807:名無しさん＠お腹いっぱい。
04/08/22 21:52
wget使ってdlするｽｸﾘﾌﾟﾄを書いてるんだけど、どうもcookieの処理が上手く出来
ないんだけど、だれか解決方法知らない？
index取得時にUIDとSIDをsetされるので、imageをgetする際にその両方を送れば
いいだけなんだけど、なぜかwgetだとUIDしか送ってくれない。
808:名無しさん＠お腹いっぱい。
04/08/27 11:56
URLﾘﾝｸ(office-lady.net)
ここの画像ってどうすればgetできますか？
wgetプロの方、おながいします。
809:名無しさん＠お腹いっぱい。
04/08/27 12:28
wget で適当な --referer を指定して、zsh で
URLﾘﾝｸ(office-lady.net)
あとは自分でいろいろ調べてみてください。
810:名無しさん＠お腹いっぱい。
04/08/27 13:47
>>807
指定するときにセミコロンでパラメータをセパレートするんじゃないの？
ひょっとしたらwgetの場合cookieなんかだと、複数のパラメータセットが
あった場合、全部追加されるのかもしれないけど。
#まあキャプチャすれば直ぐ判ることだが。
811:名無しさん＠お腹いっぱい。
04/09/09 01:30
保守
812:名無しさん＠お腹いっぱい。
04/09/10 11:16
>>808
こんな感じ。
wget --header=REFERER:URLﾘﾝｸ(office-lady.net) URLﾘﾝｸ(office-lady.net)
813:名無しさん＠お腹いっぱい。
04/09/10 17:38:03
>>812
--header=REFERER:と等価な--refererが最近のヤツだと使えるようになってる。
{}の展開、以前上手く動かなくて使ってないのだが、俺の勘違いだったのかな。
今度試してみよう。
814:名無しさん＠お腹いっぱい。
04/09/10 20:32:43
>>813
cshが勝手にはぎ取っているという落ちでないの？
echo {01..18}
の結果は？
815:名無しさん＠お腹いっぱい。
04/09/10 22:49:45
>>814
ああ、やっぱりシェルの展開機能なのね。
普通にsh(bash)でした。
816:名無しさん＠お腹いっぱい。
04/09/10 23:05:16
このスレのあちこちで、しつこく zsh って書いてあるのに…
817:名無しさん＠お腹いっぱい。
04/09/10 23:36:51
curlにはそういうiriaライクな構文があるよね。
818:名無しさん＠お腹いっぱい。
04/09/10 23:48:35
>>816
いや、zshに展開機能があるのは知ってるんだけど
wget自身にパラメータの展開機能が盛り込まれたのかと思ったんだよ。
シェルにあるような機能を取り込む必要もないのかもしれんが、
ある意味zshって特殊(スタンダードではない)だから。
まあログインシェルぐらい時々で変えれば、つう考えもあるな。
819:名無しさん＠お腹いっぱい。
04/09/10 23:59:20
>818
展開は shell が面倒見てその結果をアプリケーションに渡すのが Unix 的思想。
820:名無しさん＠お腹いっぱい。
04/09/11 01:05:09
>>819
んじゃ、もう一方のUnix的な思想で
展開機能のないシェルで展開させるために使うフィルタで
お勧めなのは何かある？今はawkでやってるんだけど。
(zshのスクリプトでというのは取りあえず無しで)
821:名無しさん＠お腹いっぱい。
04/09/11 02:16:47
>>820
おまえ ｱﾎ だろ.
822:820
04/09/11 03:06:57
>>821
多分指摘のとおりアホなんだと思うけど、
アホ故に、どの辺りをもってしてアホなのかが判らん。
ズバっと明確に切ってくれ。
823:名無しさん＠お腹いっぱい。
04/09/11 03:09:28
zshのスクリプトでいいじゃん。
車輪の再発明はｲﾗﾈ
824:名無しさん＠お腹いっぱい。
04/09/11 05:25:12
url を切り出すスクリプトと
wget を 50 個くらい平行して走らせるスクリプトだけで
オナニーするには困ってない.
825:名無しさん＠お腹いっぱい。
04/09/11 06:07:50
>>820
まったくスレ読まないで書くから外してるかもしれないけど。
curlは自前で展開してくれる。そっち使えば？
826:名無しさん＠お腹いっぱい。
04/09/13 15:03:30
えっと、aria は４系でも動かないの？
827:名無しさん＠お腹いっぱい。
04/09/18 13:54:18
もう疲れました。自分なりにwgetのオプションを色々と試してみたんですが。
URLﾘﾝｸ(bbs.coolnavi.com)の中の画像をwgetで落とすことが
できません。
どうか、先生方のお知恵をお貸しください。お願いします。
828:名無しさん＠お腹いっぱい。
04/09/29 02:14:03
被写体が♂だったらやったんだけどな・・・
829:名無しさん＠お腹いっぱい。
04/09/29 02:21:56
工ｴｴｪｪ(´д｀)ｪｪｴｴ工
830:名無しさん＠お腹いっぱい。
04/09/29 02:26:40
苺きんたまの画像をゲットした時は
#!/bin/sh
cat input |grep "URLﾘﾝｸ(v.isp.2ch.net)" >output
sed 's/http/ttp/' output > tmp
sed 's/ttp/http/' tmp > tmp2
sed 's/JPG/jpg/' tmp2 > tmp3
awk '
{print "wget " $1}' tmp3 >temp
chmod 700 temp
./temp
mv *.jpg images
こんな感じ。お好みでwhileして?p=1・・・p25までゲットとか。
無限roopで問題なかった。1つのcgi落とすのに10分以上かかったから。
sedが冗長な感じだが足りない頭じゃこんなものしか書けなかった。
誰かもっと簡潔な「よい見本」きぼんぬ。
831:名無しさん＠お腹いっぱい。
04/09/29 02:30:11
あーごめん。これじゃなかった。
#!/bin/csh
@ i = 1
while ($i <= 2)
date >>history
wget "URLﾘﾝｸ(up.isp.2ch.net)"
cat "index.cgi" |grep jpg >list
awk -F\" '{print "wget -U hiroyuki URLﾘﾝｸ(v.isp.2ch.net)" $2}' list >test
cat test |grep jpg >test2
chmod 770 test2
./test2
awk '{print $4}' test2 >>listtmp
sort -i listtmp |uniq >getlist
mv *.jpg jpg3
rm "index.cgi"
@ i = 1
end
こんなん。これも良い見本きぼんぬ。
832:名無しさん＠お腹いっぱい。
04/10/22 13:36:38
age
833:名無しさん＠お腹いっぱい。
04/11/05 19:21:13
保守!
834:名無しさん＠お腹いっぱい。
04/11/05 19:23:59
なんて息の長い祖レッドなんだ。
835:833
04/11/05 19:45:55
見つけてしまいました、こんなスレ。今からzsh入れます!
836:名無しさん＠お腹いっぱい。
04/11/05 20:09:10
すげー。ありがとみなさん!ノシ
837:名無しさん＠お腹いっぱい。
04/11/09 13:04:12
このスレ２１世紀の始まりから生きてるのか
838:名無しさん＠お腹いっぱい。
04/11/11 21:10:37
エロは性器を超える
839:名無しさん＠お腹いっぱい。
04/11/11 21:37:36
URLﾘﾝｸ(page11.auctions.yahoo.co.jp)
このダウンロードソフトって使った人います？？
840:名無しさん＠お腹いっぱい。
04/11/25 23:08:39
wgetに画像だけ-ncの動作をするオプションを追加して使ってる。
時間の入った連番画像が主の時には、-N使うよりは動作は速いし鯖負荷も多少は減るんじゃ無いかな。
wget --no-clobber-imageで。
begin-base64 644 -
H4sIAN3lpUEAA7VXaW/bRhD9LP2KqYDakiXRJHXLMGoHkQsjTh04aYECAViK
XInbkLsEd+kDaf57Zw8dtCTXCVDBMMXZ92aPeTM7iuliAd2iBMc5fVgS2fWc
ieOdiiI6TaTMnQj2Wuvdbvcgpea7bq/ruV1vAO542vOn3sBxVx9ouxPXrbfb
7f2uFbvf9byuPwDfnw5GU7fvjPqD0WCLfXEBXW/Y9zpDaOunN4GLizqYT0Fk
WTC4m326u313Zqzf6lBvA9AFNHkuHcajlM/npKBZuCRwdARJKAL9EohysaCP
QQ7Nk0TIUDopj8I0WNCUtBRSfQnIIxVS7Ae11EwAX80D4PQErhdQmRaoALVI
EgNnELJYe4UwLUgYP4Hx3oGYA+Oy3q6pPRWU3BOQCTHYk9OV/5Qv84IyiXu7
uf01+GN29+b246wDQbPxud6+1jv862dxvHaPPgrSgQeapsr/2rnzmTVaHdjd
0Vl1K+s1qF1YXwREmedcoFEei7XLGG7fObC12JNYwj/nNjhX6Hg1cHU3mwXv
L/98M4NmXGbZ02bWZwFtm4C2VWRLQQIp4BxcHehVfCXNCG4iyylbtowCvtbj
w2KnjMpdsRvrAbGbwY3YPStXz3uN2DdsI3YPvOHUH0y9oTMcDP0dsY98rXV8
jKzSv0Ijo0XBi0anVvvt95sbfNSiLA5ETqLADMG3joUyjEekkEdah+qtY+Bz
841:名無しさん＠お腹いっぱい。
04/11/25 23:09:17
zlMSsi3oSqQIP6qodpfRrjJ0Au3QtLVzaLI8LAiTm6XxwFgOLy8v+ONThaAM
Fn9PIlnZeJkpJYoNXhYrLI7h8gLKFohHacckL0gUShKjXl9QSxZStqsWYz2g
FjP4o2rZsLfVMpz2Rs544hq5bKnFH0+UWtRjtK6LeBZ0yXhBuilhS5k0Opj7
QVgsy0ydNmgJgdcb27OrKGwf9Dg73oYy3l3rZq/nvmcV8wzetarZSxp7z+aI
aaEjrEO6f57RM0rChXwNb7yPl3L+pcwPUAauoqgjH/aG6siHvVHHXEW1KMRa
6I3dKX4HEESi+O7DFJqNiDOGa1E1ipeofHU1oGusdwo5xxr9BYvcyoE3VfW/
4uB5vkGDY+E+0zhLt/MfXx7vzh9GEckPzfuC7BFOORNO8lye64ED4l+P/6j+
Kw62u4Ph1HWd/mS3OxgMVDjw/9gmAN6PEMZxoIKKWjir1TDh33J1caEZlJmF
GYGVTp5+UZeWJa4P3NKoCOcpEbAKA1sCX5hbG7/jceIHqXEoQ8fefRU3Om6v
89W2vjTFsWuKkrDAm5QWWPoINivG1Se8ljHKir7eBciCkAorVTe32qoh3fAl
rCwVHGV5KYMq+FrZKvAX5FJKmordMmnNB6RiR9dC8Xvge1NV7V4llC16VSa9
seP6owpdyWTi9ZVO1MNfKcV2G6qh0F0jRq7e3tceYh4LaU9roQ4EGz/d9BkT
Am17o7qSJr5im2LY0DT4Fpyf61piW8bN1Jb1k8CLGhM5ynA+5GKq/50vG60q
3nsZT/5nQs6+D7+ki+/Cz7N8P37ruHQ7iAq9wwYXQkgpwxa14BlcfdDttYWq
zjXnGFFswSVHBBFJ+oSNsWp28d7X5V9g4uhk0xll30DkYaQ7Xj6XeB1jZyuT
gpfLBDJNb7b0RCLhZWr8zNUSCAIfqEz0V8Q8JIRhi6wcMY6tO1viUhiiSOz8
dzbtlF5rfjGbfrjsbtG3+g78c7FLNT1qJZvGOpnwv0mlui56KnMSmaWbxPlw
eXf5/iOmxHYCtdQ1pJNt30+xgxSMunlRv2yChwSbxUAHf824ur6ZWfcorTIy
9SvISKbKo+HpHzOHl3XPqVKQBQYqkhv0PqeK9S+tiE0GWw8AAA==
====
842:名無しさん＠お腹いっぱい。
04/12/08 14:39:01
hoshu
843:名無しさん＠お腹いっぱい。
04/12/10 13:48:48
ちょっと保守しますよ。
844:名無しさん＠お腹いっぱい。
04/12/19 02:35:17
ほっしゅっしゅ
845:名無しさん＠お腹いっぱい。
04/12/26 03:27:28
初心者です。
URLﾘﾝｸ(aurelie.no-ip.info)
を196まで一括で落としたいんですが。
なるべくわかりやすい方法を教えて下さい。
すみません。
846:名無しさん＠お腹いっぱい。
04/12/26 03:34:13
$ zsh
% wget -c -w 5 URLﾘﾝｸ(aurelie.no-ip.info)
847:名無しさん＠お腹いっぱい。
04/12/26 03:49:49
zsh、wgetはどこでインストールできますか？
あの・・・zsh、wgetって何ですか？
ほんとにすみません。
848:名無しさん＠お腹いっぱい。
04/12/26 04:10:46
URLﾘﾝｸ(www.zsh.org)<)
あとは自分で調べてください。
849:名無しさん＠お腹いっぱい。
04/12/26 04:16:58
>>847
URLﾘﾝｸ(aurelie.no-ip.info)
URLﾘﾝｸ(aurelie.no-ip.info)
URLﾘﾝｸ(aurelie.no-ip.info)
URLﾘﾝｸ(aurelie.no-ip.info)
URLﾘﾝｸ(aurelie.no-ip.info)
URLﾘﾝｸ(aurelie.no-ip.info)
URLﾘﾝｸ(aurelie.no-ip.info)
URLﾘﾝｸ(aurelie.no-ip.info)
URLﾘﾝｸ(aurelie.no-ip.info)
URLﾘﾝｸ(aurelie.no-ip.info)
196まで全て手作業で作ってみたが２分４０秒で出来た
メモ帳でやった
01-02-03-04-05-06-07-08-09-00
これをひとかたまりに９セットコピペ
んで数字 - ←↓（同時押し）
001-002-003
011-012-013
021-022-023
わからんのなら手作業しかあるまい、がんがれ
850:名無しさん＠お腹いっぱい。
04/12/26 04:30:24
>>848
ありがとうございます。
>>849
ありがとうございます。地道にやってみます。
ちなみに同時押しって何ですか？
851:名無しさん＠お腹いっぱい。
04/12/26 12:46:52
curl -O URLﾘﾝｸ(aurelie.no-ip.info)
852:名無しさん＠お腹いっぱい。
04/12/26 12:55:45
>851
それだとシェルが展開しようとして変なことが起きるから、適当にクォートすべきだな。
853:名無しさん＠お腹いっぱい。
05/01/03 08:02:28
おまいら御用達のwgetの
URLﾘﾝｸ(www.st.ryukoku.ac.jp)
って、まだ直ってないんでしょうか。
854:名無しさん＠お腹いっぱい。
05/01/05 01:31:19
>>853
はい。
855:名無しさん＠お腹いっぱい。
05/01/10 20:09:44
４周年記念日
でもsage
>>380
URLﾘﾝｸ(search.mse.co.jp)
エロサイトじゃないけど、何なのかもよく分からん。
856:名無しさん＠お腹いっぱい。
05/01/29 14:47:08
URLﾘﾝｸ(hp.vector.co.jp)
857:名無しさん＠お腹いっぱい。
05/01/29 16:18:15
>>856
ﾃﾞﾑﾊﾟ ｷﾀ━━━(ﾟ∀ﾟ)━━━ !!!!!
858:名無しさん＠お腹いっぱい。
05/01/30 03:32:28
phpとか使われるとわけわからん。落とせん
859:名無しさん＠お腹いっぱい。
05/02/02 12:00:08
perlスクリプト使え
860:名無しさん＠お腹いっぱい。
05/02/02 16:27:08
（ ﾟдﾟ）ﾎﾟｶｰﾝ
861:名無しさん＠お腹いっぱい。
05/02/03 05:11:11
URLﾘﾝｸ(www.melon-peach.com)
ここの画像、どうにかしてぶっこ抜けませんか？
862:名無しさん＠お腹いっぱい。
05/02/03 16:27:47
ﾈﾄﾗﾝ厨(･∀･)ｶｴﾚ!!
863:861
05/02/06 13:01:24
ﾈﾄﾗﾝ厨じゃないのに・・・
(つД`)･ﾟ･
864:名無しさん＠お腹いっぱい。
05/02/06 19:39:21
>>863
>>41,578 とか参考にならない?
865:名無しさん＠お腹いっぱい。
05/02/07 00:09:17
>>861
重杉
866:名無しさん＠お腹いっぱい。
05/02/13 22:56:14
wgetかcurlで
URLﾘﾝｸ(nylon.hostfuck.com)
の画像を落とすスクリプトを書いてください
867:名無しさん＠お腹いっぱい。
05/02/13 23:25:32
>866
ちょっとは自分で勉強することも覚えてはいかがですか。
868:名無しさん＠お腹いっぱい。
05/02/15 01:00:48
>>866
#!/bin/sh
wget -r -l1 "URLﾘﾝｸ(nylon.hostfuck.com)"
mkdir gazou
mv *.jpg *.bmp *.tif* *.x*m *.gif *.rgb *.psd *.eps *.wmf gazou
rm ./
無保証。
869:名無しさん＠お腹いっぱい。
05/02/15 02:57:21
403喰らう悪寒。-Uでしっかりと騙るのがベターかも。。。
二次元には興味なし。でも
870:名無しさん＠お腹いっぱい。
05/02/15 03:59:53
2次元か
871:名無しさん＠お腹いっぱい。
05/02/15 17:58:19
while(<>){
m/num=([0-9]+)&type=([a-zA-Z]+)[^0-9]*([0-9]+)/ and system "wget".
" --output-document='$3.$1.$2'".
" --header='Cookie:num=$1;type=$2'".
" URLﾘﾝｸ(nylon.hostfuck.com)".
"\n";
}
872:名無しさん＠お腹いっぱい。
05/02/15 18:02:22
×&
○&
873:名無しさん＠お腹いっぱい。
05/02/15 20:12:36
Perl?
874:名無しさん＠お腹いっぱい。
05/02/15 20:39:49
漏れはこんなスクリプトでやってみた
for n in {28672..32767}; do
[ -f $n.jpg ] && continue
wget --header="Cookie: num=$n; type=jpg" --output-document=$n.jpg \
URLﾘﾝｸ(nylon.hostfuck.com)
done
ほんとは連番じゃないので
ちゃんとやりたかったら番号はこんなかんじで抜き出せばいいかも
w3m -dump_source \
URLﾘﾝｸ(nylon.hostfuck.com) |\
ruby -e 'while gets; $_.sub(/image.php\?num=(\d+)/) do puts $1; end end' |\
sort | uniq
875:名無しさん＠お腹いっぱい。
05/02/15 23:04:47
無駄が多いな、このサイト。
876:名無しさん＠お腹いっぱい。
05/02/16 03:26:14
l l
J l
J
さわったら負けかなと思ってる。
877:名無しさん＠お腹いっぱい。
05/02/16 19:57:30
成功した？
878:名無しさん＠お腹いっぱい。
05/03/01 08:03:13
セルフプレジャー保守
879:名無しさん＠お腹いっぱい。
05/04/04 23:44:21
初心者スレから誘導されてきました。
連番のzipファイルを一気に解凍する方法はありますか？
001.zip 002.zip 003.zip
今はひとつひとつunzipしてます。既出だったらすみません。
教えてくれたら、こころを入れ替えてスクリプト勉強します。
880:名無しさん＠お腹いっぱい。
05/04/04 23:45:58
unzip {001..100}.zip
881:名無しさん＠お腹いっぱい。
05/04/04 23:53:44
for i in *.zip; do unzip $i; done
でもいいんでないかい?
882:名無しさん＠お腹いっぱい。
05/04/05 00:14:01
echo *.zip | xargs -n1 unzip
883:名無しさん＠お腹いっぱい。
05/04/05 00:42:16
unzip は自前でワイルドカードを処理するのでほかに zip ファイルがなければ
unzip \*.zip
でどうでしょう。
884:名無しさん＠お腹いっぱい。
05/05/30 16:25:28
うほ
885:名無しさん＠お腹いっぱい。
05/06/14 20:55:22
altemisweb.jpから落とせる方法をご存知の方、いますか？
そもそも普通にw3mとかでも開けないのですが。
たとえばURLﾘﾝｸ(s1.artemisweb.jp)
からいけるページなど。
886:名無しさん＠お腹いっぱい。
05/06/14 21:12:18
wget -m --cookies=on --user-agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)"
とかじゃだめなの？
887:名無しさん＠お腹いっぱい。
05/06/14 21:15:53
>>886
UAとrefererは指定してもだめです
cookieはためしてないけど、w3mでさえページを開けないってことはcookieじゃなくて
JavaScriptが効いてないとだめなのかもしれない希ガス
888:名無しさん＠お腹いっぱい。
05/06/14 21:45:27
>>887
リファラ送ったら普通に落ちてきたぞ？
wget --referer="URLﾘﾝｸ(s1.artemisweb.jp)" \
URLﾘﾝｸ(s1.artemisweb.jp)
889:名無しさん＠お腹いっぱい。
05/06/14 21:52:29
>>888
そうすか？
私のところでは、w3mでもwgetでも、特定のバイト数を読み込んだところで
ブロック状態になります。で、しょうがないからctrl-Cで終了させると、
IEで取得可能な全てのファイルは落とせていない。
そっからもぐってたどれる画像に関してはまったく無理です。
890:名無しさん＠お腹いっぱい。
05/06/14 21:53:16
> IEで取得可能な全てのファイルは落とせていない。
わかりにくい言い方でした。
当然ですが割り込みで入力を停止させてるので、partialなファイルに
なっちゃってるってことです。
891:名無しさん＠お腹いっぱい。
05/06/14 21:54:53
Referer以外チェックしてないみたいだけど
% wget --referer=URLﾘﾝｸ(s1.artemisweb.jp) \
URLﾘﾝｸ(s1.artemisweb.jp)
HTTP による接続要求を送信しました、応答を待っています... 200 OK
% wget URLﾘﾝｸ(s1.artemisweb.jp)
HTTP による接続要求を送信しました、応答を待っています... 403 Forbidden
Refererを送るにはm(r?)オプションをつければいいので
これで全部ダウンロードできると思う
wget -m -np -L URLﾘﾝｸ(s1.artemisweb.jp)
892:名無しさん＠お腹いっぱい。
05/06/14 22:01:51
>>891
え？？
それで、ちゃんと最後までおちますか？
私のところではブロックしてしまうのですが。
何が悪いんだろう。
893:853
05/06/15 01:38:59
>>853
URLﾘﾝｸ(www.cve.mitre.org)
URLﾘﾝｸ(www.cve.mitre.org)
これ?
894:名無しさん＠お腹いっぱい。
05/06/15 09:16:17
wgetばーじょんうｐあげ
895:名無しさん＠お腹いっぱい。
05/06/15 22:25:56
>>885
uname -v および wget --version を晒してみ
896:名無しさん＠お腹いっぱい。
05/06/16 01:47:37
>>895
FreeBSD 4.7-RELEASE
GNU Wget 1.8.2
897:895
05/06/16 22:21:11
>>896
すまぬ，予想外れた．
Darwin Kernel Version 7.9.0 だと OS X 添付のwget (version失念) で --referer
オプションが働かなかった．
>>891 末尾の方法では html は落ちたが jpeg は 403．
出来心で GNU Wget 1.10 のソース落としてインスコしたところ
wget --referer=URLﾘﾝｸ(s1.artemisweb.jp)<)
で落とせた．たぶん参考にならないが一事例としてカキコ．
898:名無しさん＠お腹いっぱい。
05/06/16 22:27:31
thx. とりあえずニューwgetで試してみることにしますわ。
899:名無しさん＠お腹いっぱい。
05/06/22 10:07:33
% ls .thumbnails/normal | wc
3643 3643 134791
% du .thumbnails/normal
84000 .thumbnails/normal
('A`)
900:900
05/06/26 09:34:26
900
901:名無しさん＠お腹いっぱい。
05/06/29 02:00:46
すみませんこのサイトの画像取れません…URLﾘﾝｸ(loface.com)
(サムネイルを拡大にするには、topページでクッキーを取得する。→URLﾘﾝｸ(loface.com))
自分は色々やりました。例えば
wget -r -A .jpg -nd URLﾘﾝｸ(loface.com)
こんな感じでやってみましたが、どうもダメ…
どうかご教授下さい。
902:名無しさん＠お腹いっぱい。
05/06/29 02:21:00
お前は基本がわかってないから無理
903:名無しさん＠お腹いっぱい。
05/06/29 02:59:38
>>901
ヒント： wget --header="Cookie: kokoni hairu mojiretu wo nanntoka shutoku shiro"
904:名無しさん＠お腹いっぱい。
05/06/29 21:09:33
>>901
日本語も学びなおしたほうがよかろ
学問でも技芸でもなく、単なる方法を知りたいのなら
×教授ください
○教示ください
>>903
それはヒントどころか答えでは・・・ｗ
905:名無しさん＠お腹いっぱい。
05/06/29 23:51:29
空気を読んだ方がよかろ
単なる抜く画像を知りたいなら
×助教授ください
○女教授ください
906:名無しさん＠お腹いっぱい。
05/06/30 07:07:50
10秒に1アクセスの制限もあるな。
907:名無しさん＠お腹いっぱい。
05/06/30 09:58:10
>>901
初心者だけど過去ログを見ながら挑戦してみますた
curl -H "ここにくっきー文字列" -o kakyusei#1.jpg "URLﾘﾝｸ(loface.com)"
又は…
for num in `seq -f %03g 1 879`; do
wget --header="ここにくっきー文字列" --output-document=kakyusei${num}.jpg \
"URLﾘﾝｸ(loface.com)"
done
これで全部ぶっこぬけると思うヽ(´ー`)ﾉ
908:名無しさん＠お腹いっぱい。
05/07/02 19:04:53
なんか最近は DCGA ってのばっかりでスルーばっかりだよ。
909:901
05/07/03 00:05:10
>>902
そんなorz
>>903
クッキー文字列のことですか?
>>904
っう…スミマセン
>>905
○女生徒ください
>>906
それどういう意味ですか?
>>907
うーん上手くいきません?何ででしょう
910:名無しさん＠お腹いっぱい。
05/07/03 02:49:12
>>909
つ Firefox + Live HTTP headers
911:906
05/07/03 09:29:12
>>909
そのままの意味。連続アクセスするとjpegの代わりに「10秒まてこの早漏」と返してくる。
hint: wget --load-cookies=foo --save-cookies=foo --keep-session-cookies
912:901
05/07/03 15:47:34
お騒がせしてすみません、解決できました。
wget -r --header="cookie: Cookie: PHP_DAYCOUNT2=＜省略＞; lf=＜省略＞" URLﾘﾝｸ(loface.com)
で出来ました。今まで出来なかったのは『PHP_DAYCOUNT2』が抜けてただけみたいですorz
>>910さんが指摘した『Live HTTP headers』で気がつきました。
どうも有難うございました。
>>911
レスしてくれて有難うございます。
913:名無しさん＠お腹いっぱい。
05/07/17 01:12:56
age
914:名無しさん＠お腹いっぱい。
05/07/17 01:21:26
まだあったのな、このスレ。
915:名無しさん＠お腹いっぱい。
05/07/17 01:39:56
UNIX板での良スレ
916:名無しさん＠お腹いっぱい。
05/07/31 12:29:53
エロいおまいら 画像ビューワ のお勧め教えれ。
xv? gimageview? gqview? 他?
ディレクトリ一覧の時に、そのディレクトリの中の画像が
アイコン一覧みたいに見えるやつキボンヌ。
917:名無しさん＠お腹いっぱい。
05/07/31 13:32:21
またこいつか。
918:名無しさん＠お腹いっぱい。
05/07/31 14:37:59
>>916
explorer
919:名無しさん＠お腹いっぱい。
05/07/31 15:06:24
>918
ports には見当たらないね。
ぐぐってもどれがどれやらワカラン。
>917
?
920:名無しさん＠お腹いっぱい。
05/08/01 02:33:50
ネタにマジレスか
こりゃヒドイ
921:名無しさん＠お腹いっぱい。
05/08/04 06:20:35
kuickshow つかってまつ
922:名無しさん＠お腹いっぱい。
05/08/04 14:52:57
paint
923:名無しさん＠お腹いっぱい。
05/08/13 11:44:34
>>919
C:\Windows\system32\explorer.exe
924:名無しさん＠お腹いっぱい。
05/08/25 21:53:35
gthumbかな?
925:名無しさん＠お腹いっぱい。
05/08/26 09:57:59
URLﾘﾝｸ(linux.bytesex.org)
926:名無しさん＠お腹いっぱい。
05/09/02 22:15:47
例えば、リストの内容が
URLﾘﾝｸ(www.unko.jp)
URLﾘﾝｸ(www.manco.jp)
みたいなファイルがあったとしてこれを展開してwgetなりに渡すにはどんなスクリプト書きます？
自分が深く考えないで書いてみたのは
cat < list | sed 's/\(.*[^0-9]\)\[\([0-9].*\)-\([0-9].*\)\].*\.\([^.]*\)$/\1 \2 \3 \4/g' | awk '{printf("echo %s\{%s..%s\}.%s\n", $1, $2, $3, $4)}' | zsh -s | tr ' ' '\n'
で、最初のsedでアドレス、開始の番号、終わりの番号、拡張子を分けて、awkでzshのスクリプト書いて最期にtrで改行入れてるんだけど、どうかな？
添削よろしくです。
927:名無しさん＠お腹いっぱい。
05/09/02 22:23:05
やりたいことがよくわからんが、
スカトロでホモって事はわかった。
928:名無しさん＠お腹いっぱい。
05/09/02 22:40:51
＞添削
読めない
929:名無しさん＠お腹いっぱい。
05/09/03 00:47:22
zsh知らんけど、添削するなら
sed 's/¥[¥([0-9]*¥)-¥([0-9]*¥)¥]/{¥1..¥2}/g; s/^/echo /'
とか？
ただ自分なら、zsh使うくらいなら perlとかで、置き換えながらぐるぐる再帰使って回すかなぁ。
930:名無しさん＠お腹いっぱい。
05/09/03 01:19:04
>>928
「てんさく」って読むんだYO!
931:名無しさん＠お腹いっぱい。
05/09/03 01:24:12
>>929
アーナルほどsedで開始と終わりの番号を別のフィールドにわけないでzshの{..}の形にすればいいのか。。。
坂本文のたのしいUNIXで勉強したてなんでsedとawkくらいしか知らないのでできればperlで
書いていただけませんか？
932:名無しさん＠お腹いっぱい。
05/09/03 02:07:02
URLﾘﾝｸ(www.zentastic.com)
URLﾘﾝｸ(www.zentastic.com)
933:名無しさん＠お腹いっぱい。
05/09/03 04:01:09
wgetなりってことなので curl 使ってもいいんですよね
934:名無しさん＠お腹いっぱい。
05/09/06 18:40:22
>931
雑だけど。
#!/usr/bin/perl -n
sub ren {
$_ = shift;
if (/¥[(¥d+)-(¥d+)¥]/) {
my ($a,$b,$fst) = ($`,$',$1);
foreach $i ($fst..$2) {
ren($a . sprintf("%0*d",length($fst),$i) . $b);
}
} else {
print;
}
}
ren($_);
935:名無しさん＠お腹いっぱい。
05/09/06 19:31:13
Perlの場合、マジックインクリメントに頼れば
#!/usr/bin/perl -n
if (/^(.*)\[(\d+)-(\d+)\](.*)$/) {
for ($2..$3) { print "$1$_$4\n"; }
} else {
print;
}
でいい気がするけど
936:934
05/09/06 19:48:05
ついでにbash
shopt -s extglob
function ren {
case $1 in
*¥[+([0-9])-+([0-9])¥]*)
set -- $( echo "$1" | sed 's/¥[¥([0-9]*¥)-¥([0-9]*¥)¥]/ ¥1 ¥2 /' )
for i in $( jot -w"%0$(echo -n $2|wc -c|tr -d ' ')d" - $2 $3 1 )
do
ren $1$i$4
done
;;
*)
echo $1
;;
esac
}
while read s
do
ren $s
done
>935
Perlまかせにすると、[00-10]とかができなかった。
937:名無しさん＠お腹いっぱい。
05/09/06 19:58:54
>>936
ちょっと試した感じだと、00みたいに偽値と判断されるやつがダメみたいね。
01-10とかだとオッケーなんだけど。
938:名無しさん＠お腹いっぱい。
05/09/14 19:01:44
連番のH画像を諦める勇気ってのも僕には必要なんだ。
エロ画像
いくら取っても
無くならず
取るだけ取って
それでおしまい
お世話になりました。
939:名無しさん＠お腹いっぱい。
05/09/14 20:28:42
今度は、ため込んだ画像を削除する勇気だな。
940:名無しさん＠お腹いっぱい。
05/09/14 22:08:56
画像から動画へステップアップする勇気も必要だ。
941:名無しさん＠お腹いっぱい。
05/09/15 09:12:22
取り敢えず200MくらいのHDDを6個くらい買ってくる勇気
942:名無しさん＠お腹いっぱい。
05/09/15 16:43:35
200Gの間違いじゃないのか
943:名無しさん＠お腹いっぱい。
05/09/15 19:47:59
200Gを6個買うのよりも200Mを6個買う方が勇気いると思う。
944:名無しさん＠お腹いっぱい。
05/09/19 17:01:24
ﾜﾛﾀ
945:名無しさん＠お腹いっぱい。
05/09/22 10:04:37
動画話に進出したついでに。
小さいスクリーンショットを一枚にまとめるのに
良いツールって何かありませんか?
散々既出の連番ゲットしたあとにちまちま
convert +append
convert -append
ってやってまつ。
こういうのってどうやってるんだろ:
URLﾘﾝｸ(www.aventertainments.com)
946:名無しさん＠お腹いっぱい。
05/09/22 19:15:37
使ったこと無いけど、montageはどうかな？ImageMagic系。
URLﾘﾝｸ(www.cit.gu.edu.au)
947:名無しさん＠お腹いっぱい。
05/10/15 14:53:52
アルテミスでGNU使ったら、串刺してたのに生IPごと弾かれたorz
948:名無しさん＠お腹いっぱい。
05/10/15 15:10:03
↑今年最初に見た馬鹿
949:名無しさん＠お腹いっぱい。
05/10/15 16:36:25
URLﾘﾝｸ(www.arutemisu.com)
950:名無しさん＠お腹いっぱい。
05/11/04 18:45:08
このスレのまとめサイト作っていいですか？
951:名無しさん＠お腹いっぱい。
05/11/04 19:25:36
よろしく
952:950
05/11/05 18:30:02
>>950
テキトーにつくってみました。
URLﾘﾝｸ(seizen.dyndns.org:8080)
ちなみにおいらはperl+sh派です。
953:名無しさん＠お腹いっぱい。
05/11/06 00:52:21
だよもん..
954:名無しさん＠お腹いっぱい。
05/11/06 02:08:37
このスレで
URLﾘﾝｸ(www.464.jp)
の連番ダウンロードできた人いる？
955:名無しさん＠お腹いっぱい。
05/11/06 08:03:56
>954
さっき試してみたけどできたよ
しかしこれ画質悪いな
956:名無しさん＠お腹いっぱい。
05/11/13 15:05:31
今このスレのノウハウを生かしてVOAのスクリプトとmp3をダウンロード中…。
957:名無しさん＠お腹いっぱい。
05/11/14 19:37:17
voaって何かね
958:名無しさん＠お腹いっぱい。
05/11/14 21:21:25
Vagina or Anus
959:名無しさん＠お腹いっぱい。
05/11/16 22:48:44
>>957
Voice of America です。英語のニュース・サイトの過去ログがターゲットです。
mp3とスクリプトが揃っているので、これをローカル教材として加工しようと思いました。
で、一応落とせたんですが……
URLﾘﾝｸ(www.voanews.com)
こんな吐き気がするHTMLをどう加工しろと……orz
960:名無しさん＠お腹いっぱい。
05/11/18 19:49:09
edなり perlなりで、ばっと<span class="articleheadline"～</P></span>あたり抜き出して、html2txtみたいな処理かけて、余計なの削るとか。
そういうことではない？
961:名無しさん＠お腹いっぱい。
05/11/18 22:10:42
>>960
perl で $html =~ s!!!sig; を何度も繰り返すスクリプト書いて、なんとか読めるHTMLに加工しました。
今は mp3 を wget してます。
このサイト、mp3 は mp3 で命名規則皆無という腐りっぷりです。うへぇ。
ところで質問です。
ちょっと確認してみたところ GNU Wget 1.10.1 のデフォルトのリクエストは
GET /index.htm HTTP/1.0
User-Agent: Wget/1.10.1
Accept: */*
Host: localhost
Connection: Keep-Alive
という内容でした。で、プロトコルを HTTP/1.1 に切り替えるか、
または強制的に HTTP/1.1 と申請してリクエストすることはできますか？
962:名無しさん＠お腹いっぱい。
05/11/18 23:45:53
curl使ってみるとか
963:名無しさん＠お腹いっぱい。
05/11/19 05:30:52
>>961
どーせPerl使うんならHTML::TokeParserとかその辺のライブラリ使えばいいのに。
高速ではないけどそれなりに便利だよ。
964:名無しさん＠お腹いっぱい。
05/11/28 22:50:25
次スレどうしますか？
965:名無しさん＠お腹いっぱい。
05/11/29 09:40:42
次
ス
レ
頼
ま
な
い
966:名無しさん＠お腹いっぱい。
05/11/29 16:31:03
頼みcom
967:名無しさん＠お腹いっぱい。
05/11/29 18:27:16
>>977までは粘れると思われ。
968:名無しさん＠お腹いっぱい。
05/11/29 22:52:17
>>980が立ててくれるってさ
969:名無しさん＠お腹いっぱい。
05/11/30 15:53:56
>>980
今度のスレタイは↓こうしてくれ
「連番のＨ画像/動画を一気にダウンロードする」
970:名無しさん＠お腹いっぱい。
05/11/30 17:39:06
これは言わない約束なのかもしれんが
「H」は外さないうわなにするやめろqあwせdrftgyふじこlp:[
971:名無しさん＠お腹いっぱい。
05/11/30 18:26:42
じゃあ
連番のURIから一気にダウンロードする /2
でよろしかったでしょうか？
972:名無しさん＠お腹いっぱい。
05/12/01 21:44:37
てか連番ている？
973:名無しさん＠お腹いっぱい。
05/12/01 21:50:49
ネタ出つくしたみたいだし、
次スレなしでもいいかと。
974:名無しさん＠お腹いっぱい。
05/12/03 16:03:25
最近動画落とすのにパスワードが必要だったりするので
自動化は無理そうだと思ったり思わなかったり
975:名無しさん＠お腹いっぱい。
05/12/07 08:43:36
>>955詳 し く
976:名無しさん＠お腹いっぱい。
05/12/13 14:55:32
次スレ
ｽﾚﾘﾝｸ(unix板)
977:FM
05/12/18 21:28:53
>>975
opera使えば右クリックが効くからURLがわかりますよ。
それで、
464.jpってURLﾘﾝｸ(comic110.464.jp)
以降がwgetですんなりDLできないのですがなんでかわかりますか？
URLﾘﾝｸ(comic104....)などは普通にできるけど、ドラゴンボールが取れない。
operaで直接url書けばみれるのですが,なんででしょうか?
あれ、この板ってもう別にうつってる？
978:名無しさん＠お腹いっぱい。
05/12/19 01:02:57
>>952
ここまでスレが進んでるのにまとめにcurlが載ってないのは信じられない
979:名無しさん＠お腹いっぱい。
05/12/21 03:21:09
>>977
レスありがとうございます
私はlunascapeというタブブラウザを使っていてそれで画像のurlを抜き取り
連続ダウンローダで連番のを落としてみたのですが見てみると画像情報がなくすべて見れないファイルでしたorz
jpegファイルなのに見れないんですよね。。
ちなみに私が試したのはドラ●もんでURLﾘﾝｸ(comic104)でしたができませんでした。。
噂によるとダウンロードできないようにしてるサーバーとかあるようです.....(´･ω･｀)
980:名無しさん＠お腹いっぱい。
05/12/21 09:33:01
どざ氏ね
981:名無しさん＠お腹いっぱい。
05/12/21 15:31:35
>>979
やってみたけど、問題なくダインロード&表示できるよ。
>>979のスキルの問題
982:名無しさん＠お腹いっぱい。
05/12/21 15:52:11
ダインロードってなんかかっこええな
983:名無しさん＠お腹いっぱい。
05/12/22 01:54:40
スキルでなく、クンフーの問題
984:名無しさん＠お腹いっぱい。
05/12/22 03:59:39
>>981
ホントですか･･･(ﾟДﾟ)一体何が原因なんでしょうか････
私もダウンロード自体はできてるのですがフォルダにダウンロードされた
画像ファイルを見てみると表示されませんorz ソフトやURLなどいろいろ確認しましたが。。orz
今は結局freemacroでダウソしてるんですが時間かかりまくりんぐ･･･orz
985:名無しさん＠お腹いっぱい。
05/12/24 10:06:45
>>984
ヒント：連番ダウンローダはrefereを使ってくれない。
986:nyanko
05/12/24 12:10:46
>>985
wget でも普通に指定できるYO!
987:名無しさん＠お腹いっぱい。
05/12/24 15:55:24
>>986
TU○ にもしかしている方？
>>984
なんか、ほんとにクンフーたりないねきみ。。。
988:名無しさん＠お腹いっぱい。
05/12/24 16:45:08
ここがunix板だと気づいていないんじゃないのか。
989:名無しさん＠お腹いっぱい。
05/12/24 17:20:08
来年の１月１０日で５周年だな
990:名無しさん＠お腹いっぱい。
05/12/24 19:12:34
今まで誰も出していないが，emacs 上でウェブブラウザ(w3m とか)を走らせて，
画像をダウソロードする手順をキーボードマクロで登録しておけば，
特に何も考えなくてもほとんどのサイトでダウソロードできます．
991:名無しさん＠お腹いっぱい。
05/12/25 03:14:29
>>990
具体的に書かないのは宗教上の問題かなんか？
992:名無しさん＠お腹いっぱい。
05/12/25 07:30:18
キーボードマクロの手順を具体的に書くの?w
993:名無しさん＠お腹いっぱい。
05/12/25 13:32:48
インタラクティブってアホじゃありません？
994:名無しさん＠お腹いっぱい。
05/12/26 03:13:07
おい、次スレが立ってるぞ
ｽﾚﾘﾝｸ(unix板)
995:名無しさん＠お腹いっぱい。
05/12/26 10:26:56
(ﾟдﾟ)ｳﾒｰ
996:名無しさん＠お腹いっぱい。
05/12/26 10:28:39
(ﾟдﾟ)ｳﾒｰ
997:名無しさん＠お腹いっぱい。
05/12/26 10:30:27
(ﾟдﾟ)ｳﾒｰ
998:名無しさん＠お腹いっぱい。
05/12/26 11:00:26
まんこ
999:名無しさん＠お腹いっぱい。
05/12/26 11:01:29
(ﾟдﾟ)ｳﾒｰ
1000:名無しさん＠お腹いっぱい。
05/12/26 11:02:34
(ﾟдﾟ)ｳﾒｰ
1001:１００１
Over 1000 Thread
このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。