01/12/18 18:14
>249 1.8のrate limitationにがバグがあるからパッチ当てようne!
251:249
01/12/19 09:16
>>250 サンクス！
URLﾘﾝｸ(www.mail-archive.com)
のことだよね。
252:250
01/12/19 10:01
>251 んだす。
あと、-rと-mでReferer:が送られないという、ちょっとこのスレ的には致命的な
バグもあるので注意ね。
URLﾘﾝｸ(cvs.sunsite.dk)
253:名無しさん＠お腹いっぱい。
01/12/23 17:50
ageage
254:名無しさん＠お腹いっぱい。
01/12/29 09:55
集めた画像から、画像サイズが小さいやつをrmしたいんだけど、
うまいスクリプトはないですか?
find -type d -size -20k
とかってのはあるけど、けっこうファイルサイズは大きい画像なのに
小さな画像とかってのあるよね。
255:名無しさん＠お腹いっぱい。
01/12/29 10:29
>254 jpegなら>238のjpeginfoでサイズがわかるよ。
jpeg以外はImageMagickのidentifyで。
256:名無しさん＠お腹いっぱい。
01/12/30 17:16
zsh+wgetで簡単にできるらしいぞ
ソース：
URLﾘﾝｸ(diary.imou.to)
257:名無しさん＠お腹いっぱい。
01/12/30 17:32
（´-`）.｡oO（釣れた）
258:名無しさん＠お腹いっぱい。
01/12/30 17:36
>>256
散々既出だろ
259:名無しさん＠お腹いっぱい。
02/01/02 02:30
apacheのディレクトリリスティング（て言うんだっけ？忘れた）で
表示されるようなページから落とすのはどうするの？
たとえば以下のページ
URLﾘﾝｸ(www.freewebspacehost.net)
単純に wget -A jpg,jpeg,gif -r とかだと、NameやLast modifiedとか
いった部分も落とそうとしてハマるんだよね・・・
260:名無しさん＠お腹いっぱい。
02/01/02 02:57
-R '?[A-Z]=[A-Z]'
261:名無しさん＠お腹いっぱい。
02/01/04 22:35
ええスレや
来年新人が男だけだったら、このねた
使わせてもらいます。
262:名無しさん＠お腹いっぱい。
02/01/23 03:37
かなり前に1.8.1が出てるけどwebページには何も書いてないぞage。
wgetのコマンドラインオプションについて語るスレはこちらでしょうか？
ある意味とても実用的なスレで（・∀・）ｲｲ!
しかしスレタイトルを見る限りシェルかcurlの話題だよね…。
お前ら、他にwgetに関して語るスレがあれば教えてください。
263:名無しさん＠お腹いっぱい。
02/01/23 04:03
>262 イイんじゃないでしょうか。拙僧はwget専門です。
少し前のwget@はIPv6統合の気配が見えてもえもえでした。
264:名無しさん＠お腹いっぱい。
02/01/23 10:48
% wget -l2 -A .tex -p URLﾘﾝｸ(www.biwako.shiga-u.ac.jp)
で、ここからリンクされてる .tex ファイルが取れてません。
.wgetrc の accept = tex,sty とかで指定してもダメだった。というか reject で指定した以外のは
全部取ってきて欲しいのですが。
265:名無しさん＠お腹いっぱい。
02/01/23 12:01
エロ画像じゃないのでやる気減退
266:名無しさん＠お腹いっぱい。
02/01/23 13:22
つーか、直接
wget URLﾘﾝｸ(www.biwako.shiga-u.ac.jp)
しやがれ。
大体たった1個のTeXファイル落すためになんでそんな余計なことをする？
267:名無しさん＠お腹いっぱい。
02/01/23 14:33
エロ小説は対象外ですか？（ｗ
268:名無しさん＠お腹いっぱい。
02/01/23 14:43
1周年かよ (w
ハラヘッタ。
269:名無しさん＠お腹いっぱい。
02/01/23 17:30
>>264
wget -Lr --no-parent URLﾘﾝｸ(www.biwako.shiga-u.ac.jp)
で
4ldots.gif 4ldots.html 4ldots.tex
がとれましたが？
270:名無しさん＠お腹いっぱい。
02/01/24 06:04
>>265
モチベーション的にどうかと思ったが、wgetの達人がいるらしいので。
>>266
URLは１つの例。最終的にはサイト全体をゲットするのだ。
>>269
-r かぁ！ なんで基本的なオプション忘れて。。ｻﾝｸｽｺ
あと -L は使い道がないので無くなるらしい。
271:名無しさん＠お腹いっぱい。
02/01/24 06:05
もひとつ、、
PGFブスばっかりやん。完全にアウト。
272:名無しさん＠お腹いっぱい。
02/01/24 06:49
こっちのスレの1の改造じゃいかんの?
ｽﾚﾘﾝｸ(unix板)l50
273:名無しさん＠お股いっぱい。
02/01/29 01:13
もう、なんか、まともにページ見る気がしない。
for I in tfc002.tripod.com/{index,g2,g3,g4,g5}.html tfc003.tripod.com/{index,g7,g8,g9}.html tfc004.tripod.com/{index,g11,g12,g13}.html tfc005.tripod.com/{index,g15}.html tfc001.tripod.com/{index,g17,g18}.html ;do wget -ml1 -T30 -A.jpg -Xspic $I ;done
274:名無しさん＠お腹いっぱい。
02/02/24 17:59
メンスあげ
275:名無しさん＠お腹いっぱい。
02/02/24 19:31
ariaじゃだめなの？
276:名無しさん＠お腹いっぱい。
02/02/24 20:59
ariaはコマンドラインから使いにくいしなぁ。
-d オプションが効いてないようだし。
277:名無しさん＠お腹いっぱい。
02/02/24 21:29
俺、ブラウザ(galeon)で見て気に入ったのだけ保存する派なのだが、気をつ
けないと同じディレクトリの%d*.jpgっつうファイルをどんどん上書きしちゃ
う。
「右クリック→画像を保存」で、同じ名前のファイルが保存先のディレクト
リにあったら%d*_連番.jpgとリネームして付け加えてくれると助かる。
wgetではそんな機能あるよね(ファイル名の後に連番だけど)。
いい方法無いかな。
278:名無しさん＠お腹いっぱい。
02/02/24 21:39
>277 拙者もgaleonを用いてござるが、聊か偏執狂で画像のタイムスタンプなどに拘る
性癖があり、「画像の場所をコピー」してwgetに喰わせてござる。galeonはlocalの
squidを経由しておる故、wgetもcacheから持ってくるようにすれば無駄なトラヒックも
生じず(ﾟдﾟ)ｳﾏｰなり。
アップローダなどに上がった画像で、ファイルネームが情報性に乏しい場合などは、
登場した板、スレ、レス番号から[board][thread][res].jpg などと変名してござる。
手間分の価値があるかどうかは拙者、断言致し兼ねる。
279:名無しさん＠お腹いっぱい。
02/02/25 14:28
URLの位置に保存してます。かぶること少ないし。
2chに出しやすいから神になりやすい ;-)
280:名無しさん＠お腹いっぱい。
02/03/02 13:46
えっと、ニューズグループの画像を自動ダウンロードすることはできますか？
281:名無しさん＠お腹いっぱい。
02/03/02 18:09
>280 URLﾘﾝｸ(nget.sourceforge.net)
282:名無しさん＠お腹いっぱい。
02/03/02 18:35
import java.io.*;
import java.net.*;
public class EroGazoLoader{
public static void main(String[] args) throws Exception{
for(int i=0; i<100; i++){
URL url = new URL("URLﾘﾝｸ(www.foo.com)" + i + ".jpg");
InputStream in = url.openStream();
FileOutputStream out = new FileOutputStream(i + ".jpg");
byte[] buffer = new byte[1024];
while(true){
int length = in.read(buffer);
if(length < 0) break;
out.write(buffer, 0, length);
}
in.close();
out.close();
}
return;
}
}
283:名無しさん＠お腹いっぱい。
02/03/11 14:45
wgetいいんだけど、くそ重いサイトからダウソしていると、
-t 0（リトライ無限）オプションを付けていても、
connection refused. とか言われていつの間にか終了してしまう。
この場合自動でリトライさせる方法ないかな？
URLﾘﾝｸ(hp.vector.co.jp)
みたいなシェルスクリプトでwgetを回していると、切れてることに気付かなくて鬱になる。
284:名無しさん＠お腹いっぱい。
02/03/19 00:39
age
285:名無しさん＠お腹いっぱい。
02/04/01 18:16
定期あげ
286:名無しさん＠お腹いっぱい。
02/04/01 23:22
ここに触発されて、新入社員の教育(3日連続)のシメに
某エロサイトのhtmlから直リンクを生成せよっていう課題を出した。
最初は誰もその真意を理解せずにノホホンとスクリプト組んでたが、
暇つぶしに利用法を語りだすとだんだん真剣にキーを叩くように。
時間が終わった後も、応用例や疑問点等、最初の2日間適当に流して
理解しなかった点についてもしっかりと押さえようと彼等は真剣に
質問してきた。
また、もし時間が余った場合に備えてもう２本ほどhtmlを用意してた
が、それらは彼等への自習用としてあげたら喜んで残業してスクリプト
を組んでいた。
来年もこれでやろ。
287:杞憂
02/04/01 23:27
>>286
セクハラになったりしない？
288:名無しさん＠お腹いっぱい。
02/04/01 23:43
>>286
いい話だなァ……。
289:名無しさん＠お腹いっぱい。
02/04/02 00:10
>>287
新人が喜んでるならいいんだけどね。
そうでないとまずいかもね。
290:名無しさん＠お腹いっぱい。
02/04/02 00:11
たとえ新人が男でも。
291:名無しさん＠お腹いっぱい。
02/04/02 00:36
ああ確かにこういうの、男でもイヤがるひといるね。
2ちゃんねらーなら、ヤなものは無視するだけだろうが(w
292:286
02/04/02 01:10
マジメな課題も用意してたんよ、糞つまらんけど半日かかる奴いくつか。
さすがに女性参加だとやらんかったけど、男ばっかで新入社員ってノリ
良いし。
んで、演習に使ったのはhtmlファイルだけで、職場自体がモロ画像を手に
入れることのできるネットワーク環境じゃないんで、「会社で作って寮か
ツレのところへ持ち込め！」ってやったら気合入れてやってたよ。
んで、さらに一人残業してた奴は
「いや、これ後30分で持っていくってインターネットやってるツレに電話
したからどうしてもやんないと！」
そいつ、今、俺の弟子やってます（笑）。
293:名無しさん＠お腹いっぱい。
02/04/07 16:09
>>286
新入社員の秀作、名作、迷作キボー
294:名無しさん＠お腹いっぱい。
02/04/07 16:32
社会人になったら>>286みたいな先輩がほしいなぁ。
295:名無しさん＠お腹いっぱい。
02/04/07 17:13
おれも新人研修やるんだけど..
新入社員に女子がいるし、人事の女にもチェックされるんだヨウ...
女性用にホモ画像サイトも用意してやるか..
296:名無しさん＠お腹いっぱい。
02/04/07 17:44
若い子には猫の写真とか。
297:名無しさん＠お腹いっぱい。
02/04/07 20:54
>>295
ホモは奥が深くて難しい。安全にショタ系にすれ。
298:286
02/04/08 12:25
>>293
ちょっと前までサーバ上に名作、迷作の回答あったんだけど、弟子にUNIXの
バックアップ・リストアの実演やらかした時に消しちゃったい。
各自で保存しているらしいから、そのうちちょっと聞いてみるけど。
結構面白いのもあったんだけどね。
ただ、特に仕様らしい仕様も出さなくて、「とにかく直リンクがコマンド一発で
抜き出せればＯＫ」だったので、そのhtmlファイル依存しまくりのスクリプト
だらけだったよ（当然か）。
でも、その某サイトは同じ格好のhtmlが数百本あるから、スクリプトを時間
かけて作成するだけの価値が彼らにはあったと信じる（笑）。
>>296
安全牌としてそのテも考えていたんだけど、スクリプトを使って大量
ダウンロードできるだけのボリュームがあるサイトを見つけられなかった。
今後の安全牌として、どこか紹介していただけるとありがたいです。
299:名無しさん＠お腹いっぱい。
02/04/09 02:24
>298
難易度高いけどこことか。
URLﾘﾝｸ(www.ne.jp)
300:286
02/04/09 22:58
>299
お、まとまったサイト紹介、ありがとさんです。
細切れになってるからリンクマジメに辿るとかだと大変かも。
でも安牌にさせてもらいます。
301:名無しさん＠お腹いっぱい。
02/04/14 12:36
#!/usr/bin/perl
#
# index.pl
# ネスケで一覧するのを提案します。
# ノーチラス使えない環境の人には良いかも。
# このスレひととおりみたけどこういうのはまだ出てないみたいだったので。
# 小さくすればグロ画像もこわくないですし。
# file:/home/ero/wget/index.html とかして使用すます。
#
# 画像のたまったディレクトリで ./index.pl > side.html
# index.html として下のを用意
# body.html は無くて良い
#
#index.html
#<HTML>
#<FRAMESET COLS='20%,*'>
#<FRAME SRC='side.html' NAME='side' SCROLLING='auto'>
#<FRAME SRC='body.html' NAME='body' SCROLLING='auto'>
#</FRAMESET>
#</HTML>
#
print '<html><body>';
@_=`ls -t`; # `ls -S ` などもよろしいかと
$dir=`pwd`; # chomp してももちろん可
foreach ( `ls` ){
chomp;
print "<a href='file:$dir/$_' target='body'><img src='$dir/$_' hight='100' width='100'><br>\n";
}
print "</body></html>\n";
302:名無しさん＠お腹いっぱい。
02/04/14 12:39
`ls` は @_ のまちがいです。
今はじめて気がついたよ。。。
303:名無しさん＠お腹いっぱい。
02/04/14 12:54
Perl使わなくても、プロンプトから
ls *.jpg|sed 's/\(.*\)/<a href="\1" alt="\1"><img src="$1" height=100 width=100></a>'>hoge.html
とする程度でいいんじゃない？
304:名無しさん＠お腹いっぱい。
02/04/14 12:55
しまった。こうだな。
ls *.jpg | sed 's%\(.*\)%<a href="\1" alt="\1"><img src="$1" height=100 width=100></a>%' > hoge.html
305:301
02/04/14 13:27
画像の下にダウンロード元の URL 表示できるようにしたりとか、
機能拡張を予定しているので。。。
またそれがここに載せた理由です
306:1
02/04/14 19:15
がんばれ301さん。
あげ
307:名無しさん＠そうだドライブへ行こう
02/04/14 20:27
>>304
typoかな？
ls *.jpg | sed 's%\(.*\)%<a href="\1" alt="\1"><img src="\1" height=100 width=100></a>%' > hoge.html
^^^
308:307
02/04/14 20:29
ずれてる。
鬱氏。
img src のとこね。
309:名無しさん＠お腹いっぱい。
02/04/14 21:09
ぽこにゃん方式の詳細どこかにありませんか? 復元するソフト書こうと思ってるんだけど。
310:名無しさん＠お腹いっぱい。
02/04/15 02:48
>309
ぽこにゃんの仕様は公開されていませんが、作者に請求すれば手に入ります。
作者が生きていれば。
3年ほど前、そうやって作られたUNIX用の実装がありましたが配布元は死んでいました。
BBSが動いていたのには驚きました。(^_^;)ﾏｧｳﾞ
311: du -sh . が 427M
02/04/15 23:23
この遊びをはじめて今日で３日。
やはりグロ画像が怖い、怖すぎる。
小さくしてもやっぱ厭だ。
だが、どうやら種類はそれほど多くないらしい、毎回同じ奴が出る。
@exceptionurls とかして、予め登録するやり方が有効かもしれない、
とコメントだらけの 2ch.pl と index.pl を覗く夜。
...abortion.mpg いります?
312:名無しさん＠お腹いっぱい。
02/04/16 21:57
>>1
ありがとさん。
バッチかけて大量の画像集めてみました。
FLASH集めにも使えそうですね。
しかし、ツールのせいじゃないんだけど2chて怖い画像多すぎだな。
313:名無しさん＠お腹いっぱい。
02/04/23 17:40
age
314:名無しさん＠お腹いっぱい。
02/04/30 00:41
age
315:名無しさん＠お腹いっぱい。
02/04/30 01:37
俺はこの時だけのためにzshをいれている。
もち、
ふだんtcsh,シェルスクリプトsh
316:名無しさん＠お腹いっぱい。
02/04/30 03:19
>315
奇遇だな、俺もだよ。
317:名無しさん＠お股いっぱい。
02/05/02 02:19
wget でさ 302 に反応するの止められないかな
318:318
02/05/02 04:15
恥ずかしい動機でパッチ作る漏れ
319:Bourne Shell 馬鹿一代
02/05/09 20:45
しごく無理矢理に。
#!/bin/sh
prefix=`echo $1 | sed 's/\[.*//'`
suffix=`echo $1 | sed 's/.*[0-9]*\]//'`
area=`echo $1 | sed 's/[^\[]*\[//' | sed 's/\].*//'`
start=`echo $area | sed "s/-.*//"`
finish=`echo $area | sed "s/.*-//"`
figure=`echo $finish | wc -c`
figure=`expr $figure - 1`
get_filename() {
num=$1
num_fig=`expr $num | wc -c`
num_fig=`expr $num_fig - 1`
zero=""
if [ $num_fig -lt $figure ]
then
pre0=`expr $figure - $num_fig`
#zero=""
while [ $pre0 -gt 0 ]
do
zero=`echo 0$zero`
pre0=`expr $pre0 - 1`
done
fi
echo $prefix$zero$num$suffix
}
while [ $start -le $finish ]
do
wget `get_filename $start`
start=`expr $start + 1`
done
320:名無しさん＠お腹いっぱい。
02/05/13 13:26
月イチくらいでこのスレチェキするの、実は楽しみ。
保守sage
321:名無しさん＠お腹いっぱい。
02/05/19 12:52
age
322:名無しさん＠お腹いっぱい。
02/05/19 14:25
>309
wine Pokonyan.exe で十分。
323:名無しさん＠お腹いっぱい。
02/05/20 04:02
スプールディレクトリにファイルのリストを書いたファイルをぶちこむと
勝手に読みこんでwgetしてくれるデーモンがあれば便利なような気がした。
324:名無しさん＠お腹いっぱい。
02/05/20 04:28
>>323
それくらいチョチョイと作れよという気がした。
スクリプトで定期的に回すだけでも十分な気もした。
325:323
02/05/21 03:11
#!/bin/sh
savedir="save"
listdir=~/spool/
wgetopt="-q"
list=$listdir`ls $listdir | head -qn 1`
while [ $listdir != $list ]
do
if [ -s $list ] ; then
file=`head -qn 1 $list`
wget $wgetopt -P $savedir $file
echo -e '1d\nwq' | ed -s $list
else
rm $list
list=$listdir`ls $listdir | head -qn 1`
fi
done
#回す内容だけ作ってみたが、定期的に回すやり方が分からんかった
326:名無しさん＠お腹いっぱい。
02/05/21 11:49
最後に自分自身をatする
327:323
02/05/21 18:38
>>326 さんくす
こんなかんじでいいのかな?
echo $0 | at now + 1 minutes
328:名無しさん＠お腹いっぱい。
02/05/22 13:12
at使う方法もあるってだけ。
cronのほうがいいでしょ。
329:名無しさん＠Ｅｍａｃｓ
02/05/24 15:57
zshで数字の場合は{00..99}とかすればいいけど
{a..z}みたいにアルファベットの場合はどうすればいいの？
330:名無しさん＠お腹いっぱい。
02/05/24 18:14
ruby -e '("a".."z").each{|i| puts i}' とか？
Ruby使うのは反則気味かな。
331:名無しさん@XEｍａｃｓ
02/05/24 19:29
ていうか ruby でﾀﾞｳﾝﾛｰﾀﾞ書くべし。。。
332:345
02/05/30 10:24
URLﾘﾝｸ(susume.free-city.net)
以下のファイルがwgetでどうしても落とせません。
htmlファイルもです。
refererの設定をしてもエラーのhtmlファイルを拾ってくるだけで
目当てのファイルが落とせないのです。
ariaでやるとrefererありでもなしでも落とせました。
どうやればwgetで落とせますか?
333:名無しさん＠お腹いっぱい。
02/05/30 10:43
>>332
朝っぱらから同人誌かよ (w
さらに `-r -A jpg ' で何ごとも無く落とせるじゃ～ないか
334:その筋の人(w
02/05/30 10:58
free-cityはRefererがhtmlで終わっていないとエラーになる仕様。
ディレクトリやhtmでは駄目。
335:名無しさん＠お腹いっぱい。
02/05/30 11:17
free-city、面倒だからたまに referer に落としたい画像そのもの(.jpg)を指定するけど、大丈夫だよ。
336:名無しさん＠お腹いっぱい。
02/05/30 11:24
要は指定した拡張子しか置けなくて、置けるものがRefererになっていないと駄目ということかな。
337:332
02/05/30 12:30
こんなネタにわざわざ答えて、ありがとさん。
>>334
なるほど、free-cityはそういう仕様だったのですね。
かなり勉強になりました。
が、、
wget URLﾘﾝｸ(susume.free-city.net) --header=Referer:URLﾘﾝｸ(susume.free-city.net)
wget URLﾘﾝｸ(susume.free-city.net) --header=Referer:URLﾘﾝｸ(susume.free-city.net)
wget URLﾘﾝｸ(susume.free-city.net) --header=Referer:URLﾘﾝｸ(susume.free-city.net)
wget URLﾘﾝｸ(susume.free-city.net) --header=Referer:URLﾘﾝｸ(susume.free-city.net) -Ahtml,jpg
いろいろやってみましたがゲット出来ません。
ちなみにWgetのバージョンは1.4.5です。
338:名無しさん＠お腹いっぱい。
02/05/30 12:50
1.4.5 古すぎ。最近のは 1.8.1 かな?
いろいろと便利になっているよ。
昔のだと、--header='Referer: URLﾘﾝｸ(hogehoge...)<) だな。
339:名無しさん＠お腹いっぱい。
02/05/30 12:53
ついでに、
wget [オプション]... [URL]... だな。
wget [URL]... [オプション]... じゃなくて。
-m とか -r とか、その辺りもちゃんと調べるように。
340:名無しさん＠お腹いっぱい。
02/05/30 12:56
こういうことやるには、HTTP とか CGI とか Javascript とか HTML にも精通していると
困ったときに色々と助けになる。
ダウンロードばっかりしてないで、せっかくの良い機会だから RFC とかも読んでみるといい。
341:332
02/05/30 13:10
>-m とか -r とか、その辺りもちゃんと調べるように。
wget URLﾘﾝｸ(susume.free-city.net) --header=Referer:URLﾘﾝｸ(susume.free-city.net) -r -l1
などとやるとエラー二つとトップのhtmlがダウンロードできるのですが、
直接トップのみをＤＬしたいんです。
助言にしたがって最新バージョンをいれて試してみます。
Refererが送られないバグがあるバージョンがあったそうだが、、、
342:名無しさん＠お腹いっぱい。
02/05/30 13:24
>>341=332
339さんの記事、読んでるのか？
少し落ち着けよ。
343:名無しさん＠お腹いっぱい。
02/05/30 14:11
∧∧
(ﾟДﾟ )
⊂ ヽ ／￣￣￣￣￣￣￣￣￣￣￣￣￣￣
〉 ﾉﾉ~ ＜ それは1.8。
∪∪ ＼＿＿＿＿＿＿＿＿＿＿＿＿＿＿
>332
>Refererが送られないバグがあるバージョンがあったそうだが、、、
344:名無しさん＠お腹いっぱい。
02/05/30 17:51
fURLﾘﾝｸ(tron.um.u-tokyo.ac.jp)
345:332
02/05/30 18:05
>339さんの記事、読んでるのか？
wget --header=Referer:URLﾘﾝｸ(susume.free-city.net) -r -l1 URLﾘﾝｸ(susume.free-city.net)
の順だってのはわかってたんだが、貼り付けるときに間違った方を貼り付けてしまったようで。
記事はもちろん、きっちり読んでるよ。
少し落ち着けってのはその通り。
346:名無しさん＠お腹いっぱい。
02/05/30 18:06
ぐ、sageるべき記事だった。
347:132
02/05/30 18:11
一応事後報告。
Wget/1.4.5ではどうあがこうが、単体で落とせなかった。
が、
最新バージョンをためしたら、refererなしで難なく落とせました。
原因は今だ不明。
アドバイスくれた人に感謝。
348:名無しさん＠お腹いっぱい。
02/06/07 05:28
332は逝ってよし
349:名無しさん＠Ｅｍａｃｓ
02/06/11 23:31
zshで wget URLﾘﾝｸ(www.aaaa.com)
とやるとURLが展開されファイルを落ちてくるのですが、このURLをテキストに書いて
wget -i hoge.list
としてもURLが展開されないです。
こういう物なのでしょうか？
リストを展開する方法を教えてくれたら動画プレゼント。
350:名無しさん＠お腹いっぱい。
02/06/11 23:36
>>349
{01..12}.mpgを展開しているのは、zshです。
351:名無しさん＠Ｅｍａｃｓ
02/06/11 23:38
zsh -c "echo URLﾘﾝｸ(www.aaaa.com) | tr ' ' '\n'" > hoge.lst
wget -i hoge.lst
352:名無しさん＠Ｅｍａｃｓ
02/06/11 23:42
ありがとう。
URLﾘﾝｸ(www.interracialgames.com)
URLﾘﾝｸ(www.interracialgames.com)
URLﾘﾝｸ(www.interracialgames.com)
URLﾘﾝｸ(www.interraciallounge.com)
URLﾘﾝｸ(www.interraciallounge.com)
URLﾘﾝｸ(www.interraciallounge.com)
URLﾘﾝｸ(www.interraciallounge.com)
URLﾘﾝｸ(www.interraciallounge.com)
URLﾘﾝｸ(www.interracial-couples.com)
URLﾘﾝｸ(www.interracial-couples.com)
URLﾘﾝｸ(www.interracial-couples.com)
URLﾘﾝｸ(www.interracial-couples.com)
URLﾘﾝｸ(www.interracial-couples.com)
URLﾘﾝｸ(www.interracial-couples.com)
URLﾘﾝｸ(www.interracial-couples.com)
URLﾘﾝｸ(www.hh.iij4u.or.jp)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
353:名無しさん＠Ｅｍａｃｓ
02/06/11 23:57
ちなみに複数のURLがあった場合一発でするには？
354:名無しさん＠お腹いっぱい。
02/06/12 00:05
>>353
↓こういうファイルを作って実行すれば良いと思います。
#!/bin/zsh
wget URLﾘﾝｸ(www.interracialgames.com)
wget URLﾘﾝｸ(www.interracialgames.com)
・
・
・
355:名無しさん＠Ｅｍａｃｓ
02/06/12 00:08
>>354
#!/bin/sh
for i in URLﾘﾝｸ(www.interracialgames.com) \
URLﾘﾝｸ(www.interracialgames.com) \
URLﾘﾝｸ(www.interracialgames.com) \
URLﾘﾝｸ(www.interraciallounge.com) \
URLﾘﾝｸ(www.interraciallounge.com) \
URLﾘﾝｸ(www.interraciallounge.com) \
URLﾘﾝｸ(www.interraciallounge.com) \
URLﾘﾝｸ(www.interraciallounge.com) \
URLﾘﾝｸ(www.interracial-couples.com) \
URLﾘﾝｸ(www.interracial-couples.com) \
URLﾘﾝｸ(www.interracial-couples.com) \
URLﾘﾝｸ(www.interracial-couples.com) \
URLﾘﾝｸ(www.interracial-couples.com) \
URLﾘﾝｸ(www.interracial-couples.com) \
URLﾘﾝｸ(www.interracial-couples.com)
do
zsh -c "echo $i | tr ' ' '\n'" >> hoge.lst
done
356:名無しさん＠Ｅｍａｃｓ
02/06/12 00:09
>>354
なるほど。↑なスクリプト書くより簡単ですね。
357:名無しさん＠Ｅｍａｃｓ
02/06/12 00:16
書いた本人が言うのもなんだけど、この動画あんまりよくないね。
今度はもっといいのを教えたる
358:名無しさん＠お腹いっぱい。
02/06/12 00:20
さっそく見たが
URLﾘﾝｸ(www.hh.iij4u.or.jp)
はよかった。
359:354
02/06/12 00:22
>>358
漏れの中ではガイシュツでした。
360:名無しさん＠Ｅｍａｃｓ
02/06/12 00:24
シェルスクリプト勉強するのにエロ動画は最適。
361:名無しさん＠お腹いっぱい。
02/06/12 00:26
>>360
確かに。必死に覚えるからね。(藁
362:名無しさん＠お腹いっぱい。
02/06/22 00:18
いやはや、勉強になりマスタ、、、thx
363:名無しさん＠お腹いっぱい。
02/06/24 08:33
正月そうそう、しかも21世紀の門出に
PGFのコレクションを思い立った>>1に感謝
364:1
02/06/30 14:24
>>363
1です。お褒めいただきありがとうございます。
365:名無しさん＠お腹いっぱい。
02/06/30 15:48
最近は yahoo で手古摺ってる。
どうにかならんもんかな?
366:名無しさん＠お腹いっぱい。
02/06/30 18:13
画像ビューアで、
サイズを画面に合わせて表示してくれるときに
ディザ (っていうの?) かけてくれるのってない?
縮小表示のときにぶさいくな顔になって萎えるときがあるんだけど。
367:名無しさん＠お腹いっぱい。
02/06/30 18:22
enfle
368:366
02/06/30 18:42
>>367
試してみたけど、縮小表示のときは
smoothing してくれないような。
369:本当だ
02/06/30 18:56
||
Λ||Λ
（ / ⌒ヽ
| | |
∪ 亅|
| | |
∪∪
：
：
‐ニ三ニ‐
370:名無しさん＠お腹いっぱい。
02/06/30 19:05
GQviewは？
371:名無しさん＠お腹いっぱい。
02/06/30 19:12
同じように見えるなあ。
372:366
02/06/30 19:20
>>371
うん。
ImageMagick の display はリサイズすると smoothing してくれた。
でも「画面より大きい画像を縮小表示」機能が見つからない。
いちいち縮小率打ちこむのは緊急時には非現実的だ。
373:名無しさん＠お腹いっぱい。
02/07/01 00:49
>>372
> 緊急時
ﾜﾗﾀ
ところで gqview は option で dithering の
具合を変えられるよ.
374:366
02/07/01 00:59
>>373
Image → Quality だね。
ﾔﾀｰ、ありがとう!
スライドショウのときは先読み (?) してくれるっぽいね。
画質優先にしてもあんまり遅くない。
よーし、今夜はがんばっちゃうぞー。
375:電波５号
02/07/01 15:32
細かいこと考えないで
wget URLﾘﾝｸ(hoge.jp)
とか
たまにするよ
それ以上はperl のワンライナーでだいたい事足りるような
376:名無しさん＠Ｅｍａｃｓ
02/07/01 15:37
wget URLﾘﾝｸ(hoge.jp)
377:名無しさん＠お腹いっぱい。
02/07/01 15:42
>>376
zsh なら、ね。
378:名無しさん＠Ｅｍａｃｓ
02/07/01 19:59
昔、レイトレーシングのプログラム組んでて知ったけど
ディザリングとアンチエイリアスって考え方としては
別物なんだよね。
少ない色数で擬似的に多くの色を見せるのが
(黄色と赤色を交互に並べて橙色に見せたりするのが)
ディザで、
小さい物体を描く時にドット間に距離の差がでて
画像がガタガタに見える時に中間の色を混ぜて
なめらかにするのがアンチエイリアスなんだよな。
似てるといえば似ているかな
379:名無しさん＠Ｅｍａｃｓ
02/07/01 20:29
神崎じゅりが今何やってるか知ってる人いない？
好きなんだけど…
380:名無しさん＠お腹いっぱい。
02/07/02 04:22
ググルとか2ch検索とかの、UNIX板以外ルートでこのスレに来た奴が、
"hoge.jp"なる大御所エロサイトが本当にあると思ってブラウザに
URLﾘﾝｸ(hoge.jp)とか打ちこんでたりして。
とふと思ったが面白くも何とも無いな。
381:名無しさん＠お腹いっぱい。
02/07/03 15:48
vmware→win→irvine
382:名無しさん＠お腹いっぱい。
02/07/03 22:08
vmware→win→cygwin→wget
383:名無しさん＠お腹いっぱい。
02/07/03 22:40
>311
>やはりグロ画像が怖い、怖すぎる。
1)いやな画像のcksum(1)やmd5(1)をリストに取っておいて、
2)落とした画像とコンペアして一致したらあぼーん
てなロジック追加すればいいんじゃないの？
cksumとか動作遅いけど、通信速度よりかは早いと思うからあんまし問題
にならんと思うけど。
384:名無しさん＠お腹いっぱい。
02/07/04 12:29
グロはもう慣れた
エロ画像じゃなかったという落胆しかなくなった
でも最近初めて見るのだとちょっとうれしい
385:名無しさん＠お腹いっぱい。
02/07/04 13:20
夢に出ないか？うなされないか？
386:名無しさん＠お腹いっぱい。
02/07/04 18:21
>>378
ディザリングは高い解像度で擬似的に色数を増やす。
アンチエイリアスは多い色数で擬似的に解像度をあげる。
387:名無しさん＠お腹いっぱい。
02/07/05 13:39
しかし、wgetの逆ってないもんかしらねぇ。wgetしたエロエロを一気にFreeHPに放り込むのに使いたい。
388:名無しさん＠お腹いっぱい。
02/07/05 13:42
>>387
HTTP で送るの?
389:名無しさん＠Ｅｍａｃｓ
02/07/05 14:49
PGFらしきの大量のリンクを発見したんだけど多すぎて挫折。
390:名無しさん＠お腹いっぱい。
02/07/05 19:03
link のせてくれ!
391:名無しさん＠Ｅｍａｃｓ
02/07/05 21:47
>389
linkのせてくれ！
まだコンプリートできないんだ…
あとPGFのオリジナルは画像が綺麗でサイズも大きいらしいね。
俺が持ってるのは再配布版ばかりで、画像がキチャナイ。
392:389
02/07/05 22:43
URLﾘﾝｸ(www.genie.x0.com)
URLﾘﾝｸ(www.genie.x0.com)
URLﾘﾝｸ(www.genie.x0.com)
なんか質が高くないようだけど。
海外Proxyが必要な所もあるけどページの上の説明の先に一覧がある。
393:名無しさん＠お腹いっぱい。
02/07/05 23:31
>392
やったー
51番目、よっつめのリンクが質が良い。
394:名無しさん＠お腹いっぱい。
02/07/06 18:39
逃げろーをハメた奴はすごく勇気あるな
395:名無しさん＠お腹いっぱい。
02/07/09 00:11
403.phpがでけるのって何故？
396:395
02/07/09 03:05
おもいっきり既出のrefererですた
スレ汚しスマソ
397:383
02/07/12 00:02
とりあえず、俺もw3mをコアとしてcsh(苦笑)で直リンを2chの半角板から
吸い出す奴作ってみました。
（ソース？4行しかないしパイプつなぎまくりで恥ずいので非公開）
そいつでダウンロード始めたんだけど、グロ怖いし画面小さいしでNetBSD
上じゃあやってられないってんで、WinXPのエクスプローラの縮小表示で
見ながら、今作業中です。
グロ耐性無いんで、もっとも安全パイっぽかった半角２次元板でテスト(W
今のところ100ファイル程度だけど、グロはまだ無いなー。
398:383
02/07/13 23:53
さらに、過去落としたURLと入手したURLとを比較するCのコードも書き、
重複したダウンロードも避けるように環境もだんだんと整えつつあります。まだ4日目なんでいい加減ですが、だいたい半角２次元板で300～500枚程度
の新規画像の投稿があるみたいです。＃想像以上の新規投稿枚数...よくネタが続くもんだ。
399:名無しさん＠お腹いっぱい。
02/07/14 00:28
気分が悪いのでプレゼント
URLﾘﾝｸ(www.teeniegurls.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
400:名無しさん＠お腹いっぱい。
02/07/15 05:18
はー気分最悪。
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
401:名無しさん＠お腹いっぱい。
02/07/19 06:36
FreeBSD厨房なヲレ
%jot -w "URLﾘﾝｸ({URL})" 99 | xargs -n1 fetch
ex.
URLﾘﾝｸ({URL})～URLﾘﾝｸ({URL}) 取得
402:名無しさん＠お腹いっぱい。
02/07/19 07:48
あまり関係ないかも知らんが、こう言うのを使ってキャッシュ内のファイルを・・・
って出来ればいいんだけどな。
URLﾘﾝｸ(kasumi.sakura.ne.jp)
403:名無しさん＠お腹いっぱい。
02/07/29 22:29
dirs=`find . -type d` とかしたあとに、
$dirsの中のディレクトリをランダムに並びかえるにはどうしたら良いでしょうか？
qivでエロ画像を見るのに必要なんです。(;´Д｀)ﾊｧﾊｧ
404:名無しさん＠お腹いっぱい。
02/07/29 22:37
>>403
qiv じゃないの使う、とか。
405:名無しさん＠お腹いっぱい。
02/07/29 22:38
素直にインターネットニンジャ使ってます
画像も縮小表示されるしＤＬ失敗したら指定回数リトライしてくれるしラクチン
406:名無しさん＠お腹いっぱい。
02/07/29 23:03
>>403
qiv の --random とか --shuffle オプションは
使っちゃだめなの？
407:403
02/07/29 23:40
>>404
fehが susieに似ているらしいと聞いたので使ってみましたが、
ダメダメでした。(なんでダメダメだったのかは忘れた。)
>>406
私の場合はディレクトリで被写体(?)を分けているので、
そのオプションはこの場合使えません。
'find . -name "*.jpg"'の結果を qivしてもいいんだけど、
被写体がごちゃごちゃになっちゃうでしょ？
↓この時、qivに渡すディレクトリをランダムにしたいのさ。(;´Д｀)ﾊｧﾊｧ
dirs=`find . -type d`
for dir in $1; do
echo $dir/* | xargs qiv -f -s -d 5
done
408:403
02/07/29 23:41
>>407
ミスった。
for dir in `find . -type d`; do
echo $dir/* | xargs qiv -f -s -d 5
done
409:名無しさん＠お腹いっぱい。
02/07/30 11:24
漏れはInternet Ninjaの連番取込でやってるよ。ちょうかんたん。
UNIXと関係ないのでsage
410:名無しさん＠お腹いっぱい
02/08/01 03:41
最近はエロ動画をダウンロードするスクリプトでがんばっています。
スクリプトほしい？
411:名無しさん＠お腹いっぱい。
02/08/01 03:48
スクリプトの出来次第だな。
とりあえずさらしてみそ。
412:名無しさん＠お腹いっぱい。
02/08/01 04:30
長く、細く続くスレ
413:名無しさん＠カラアゲうまうま
02/08/01 05:37
>>403
NetBSD由来のshuffle(1)というのもある。
URLﾘﾝｸ(cvsweb.netbsd.org)
URLﾘﾝｸ(www.jp.FreeBSD.org)
ちなみに漏れはこんな感じ
$ find . -type f -name '*.{jpg,gif}' | shuffle -f - | xargs xv -maxpect -smooth &
414:410
02/08/01 07:57
>>411
dogaloというＨなサイトから最新動画を取り込むスクリプトです。
zshって知らないのですけど、これ使うともっと楽になるんでしょうね。
ご指導ください
----- get_dogalo.sh ----
#! /bin/sh -v
#
HPDIR=URLﾘﾝｸ(www.hentaiplay.com)
HP=newdogalo.html
LIST=dogalo.list
SAVE_DIR=dogalo.d
touch $SAVE_DIR
/bin/rm -f $HP
wget -o /dev/null $HPDIR/$HP
getext gif $HP > $LIST
getext png $HP >> $LIST
getext jpg $HP >> $LIST
cd $SAVE_DIR; /bin/ls | sed -e 's,\(.*.\),g/\1$/s/.*//,' > ../ed.cmd; cd ..
echo w >> ed.cmd
echo "g/^$/d" >> ed.cmd
echo w >> ed.cmd
echo q >> ed.cmd
ed $LIST < ed.cmd
cd $SAVE_DIR; wget -o dogalo.log -D members.aol.com -c -t 0 -i ../$LIST
----- getext -------------
#! /bin/sh -v
EXT=$1
tr '<' "\012" < $2 | tr '>' "\012" | grep href | \
tr = "\012" | grep http | grep $EXT | sed -e "s/.*\(http.*$EXT\).*/\1/"
415:名無しさん＠お腹いっぱい。
02/08/01 14:51
wget -c -t 0 -S -nd -np -r -l 1 --accept=jpg URLﾘﾝｸ(urabon.site)
落ちてこなければ、--span-hosts をつける。
416:名無しさん＠お腹いっぱい。
02/08/01 16:06
>414
perl とか zsh を使うとそういうのはとても簡単に処理できるけど、
とりあえず、シェルスクリプトで自分の知っているコマンドの組み合わせで
処理を書いてみるのも、きっかけは何であれ、いろいろと勉強にはなるな。
次の課題は、もう少しいろいろなサイト用にも応用ができるようにするのと、
処理をもう少し洗練させてみると良いのでは。
そのうち、JavaScript 使って変なことしているのや、Referer とか Useragent
見てアクセス制限しているサイトへの対応も簡単だからチャレンジしてみるといい。
さらにスキルがついたら、クリッカブルマップとCGI使って画像を直接見えない
ようにしているサイトとか、ヤフブリみたいに変なことしているサイトは
個別対応になるけど、それなりにやり応えはあるだろう。
まあ、先は長い。がんばれ。
417:名無しさん＠お腹いっぱい。
02/08/01 23:49
URLﾘﾝｸ(j2ch.free-city.net)
「２ちゃんＪＰＧマニアックス」
これ作ったのここらへんのひとだったりする? わけないか。
418:bash (linux厨だから)
02/08/02 12:04
wget -r -A .jpg,.gif -nd -nc --user-agent='Mozilla/4.06 [en] (Win95; I)' URLﾘﾝｸ(www.hogefuga.com)
419:名無しさん＠お腹いっぱい。
02/08/03 00:16
>>413
'gcc shuffle.c'すると、以下のエラーが出ます。
getprogname()はいいとして、fgetln()ってどこにあるんでしょうか？
RedHat7.2、gcc-3.0.4 です。
shuffle.c: In function `get_lines':
shuffle.c:161: warning: assignment makes pointer from integer without a cast
/tmp/ccyouD03.o: In function `usage':
/tmp/ccyouD03.o(.text+0x145): undefined reference to `getprogname'
/tmp/ccyouD03.o: In function `get_lines':
/tmp/ccyouD03.o(.text+0x1f7): undefined reference to `fgetln'
collect2: ld returned 1 exit status
420:名無しさん＠お腹いっぱい。
02/08/03 01:33
>>417
多分、このスレじゃなく、
ｽﾚﾘﾝｸ(unix板)
のほうのスレッド関係者じゃないかな
421:名無しさん＠お腹いっぱい。
02/08/03 05:21
>>417
$ grep ^http girls_list.html | while read i; do wget $i; done
グロ画像多過ぎて鬱。
422:名無しさん＠お腹いっぱい。
02/08/03 14:41
>>421
虹板のリストを使ってみた。
6415のURLがリストアップされていて、実際にゲトできたのが2368。
うち、画像ファイルが2339、グロ画像(自分基準)が15。
容量は249746KB、所要時間が72分、平均転送レートが57.8KB/sでほぼ帯域いっぱい。
% du -sk * | sort -rn | head
68814 www.angelfire.com
20252 www.floralia.org
11720 www.42ch.net
7478 members15.tsukaeru.net
5375 www.moemoe.gr.jp
4640 www.momo-bbs.com
4637 210.153.100.60
NAT箱のテーブルがあふれるかと思った（ｗ
423:名無しさん＠お腹いっぱい。
02/08/03 17:22
wget 1.8.2 のwindows版
URLﾘﾝｸ(all-your-base.kicks-ass.net)
424:名無しさん＠Ｅｍａｃｓ
02/08/04 15:46
>>421
よさげだと思って半角板のリスト使ってみたが、ろくなもんないなあ。
ってかグロ多すぎ。
NNTPからごそっと落してきた方がいいや。
てか、そういう用途にはみなさん何使ってます?
FreeBSDのportsでいくつか探してるけど、
「これっ」ていうやつがない....
425:名無しさん＠お腹いっぱい。
02/08/04 15:49
>424
努力を惜しむ奴には、いいところその程度だろう。
426:383
02/08/05 13:14
>424 「これっ」
世間一般に出回ってるのって、大抵リンクを追いかける奴だからねぇ。
漏れは手作りでcsh使ってやってたけど、質が揃わないため最近やる気が
失せた。
やっぱり>425の言うと降り、努力した方がいい物揃うというのは確かで、
URL生成するだけでは絶対たどり着けない鉱脈があちこちにあるから、
それ考えるとまぁスクリプトでの遊びだな、って思いますね。
427:421
02/08/05 16:24
>424
(A): URL だけ抜き出すスクリプト
(B): 行をランダムで並べ返るスクリプト
(C): fork & exec で 10 個くらい並列で D するスクリプト
(D): wget or /usr/bin/fetch(FreeBSD)
A-C を Perl で前に自作したんだけど、B がどっかいっちゃった。
>421 やる時に B 作り直そうと思ったら無限再帰 fork して...
面倒なのでさじなげますた。
428:名無しさん＠お腹いっぱい。
02/08/05 16:50
で、端子さわって壊れる
429:421
02/08/06 07:48
>427 の (C) つくった。
OS によっては waitpid(PID, WNOHANG) ができないかも、
と perlfunc(1) に書いてありますた。
どなたか採点してもらえると幸せです。
#!/usr/bin/perl
use strict;
# FreeBSD -CURRENT の場合。他は知らん。
use POSIX ":sys_wait_h";
my $fetch_cmd = "wget -x";
my $max = 10;
main();
sub main
{
my($pid, @slot);
while(!eof()){
for(0..($max-1)){
if($slot[$_] != 0 and waitpid($slot[$_], &WNOHANG)!=0){
$slot[$_] = 0;
}
}
for(0..($max-1)){
if($slot[$_] == 0){
my $url = <>;
last unless defined $url;
chomp($url);
$pid = fork();
if($pid==0){
exec("$fetch_cmd $url");
}
else {
printf("Proc %d(%10d) fetching %s\n", $_, $pid, $url);
$slot[$_] = $pid;
}
}
}
sleep(1);
}
for(0..($max-1)){
waitpid($slot[$_], 0);
}
}
430:名無しさん＠お腹いっぱい。
02/08/06 08:37
>429
常に10並列にはならずに、
10個まとめて起動しては、それらが全部終わるのを待ってから
次の10個を起動するというのは効率が悪いので、
空いたところからどんどん次のプロセスを起動するようにしてはいかがか。
私は、逆に、フリーのサーバにアップされた画像だと、
サーバーに負担をかけるとすぐに消されてしまうので、
wget -w 5 -i url-list
みたいなのを、異なるサーバーの分を並列に走らせるのを好む。
431:430
02/08/06 10:56
すまん、前半は私の誤解だった。 WNOHANG とはそういうものなのね。
432:399
02/08/06 21:32
はぁ、今日も最悪。なのでプレゼント。
URLﾘﾝｸ(www.rr.iij4u.or.jp)
URLﾘﾝｸ(www.nn.iij4u.or.jp)
URLﾘﾝｸ(www.pp.iij4u.or.jp)
URLﾘﾝｸ(www.rr.iij4u.or.jp)
URLﾘﾝｸ(www.pp.iij4u.or.jp)
URLﾘﾝｸ(www.dd.iij4u.or.jp)
URLﾘﾝｸ(www.fhjp.net)
URLﾘﾝｸ(www.fhjp.net)
URLﾘﾝｸ(www.fhjp.net)
URLﾘﾝｸ(www.fhjp.net)
URLﾘﾝｸ(www.fhjp.net)
URLﾘﾝｸ(www.fhjp.net)
URLﾘﾝｸ(www.fhjp.net)
URLﾘﾝｸ(www.kk.iij4u.or.jp)
URLﾘﾝｸ(www.rr.iij4u.or.jp)
URLﾘﾝｸ(www.dd.iij4u.or.jp)
URLﾘﾝｸ(www.hh.iij4u.or.jp)
URLﾘﾝｸ(www.ff.iij4u.or.jp)
URLﾘﾝｸ(www.pp.iij4u.or.jp)
URLﾘﾝｸ(www.jp-move.com)
URLﾘﾝｸ(www.nn.iij4u.or.jp)
URLﾘﾝｸ(www.dd.iij4u.or.jp)
URLﾘﾝｸ(www.ff.iij4u.or.jp)
URLﾘﾝｸ(www.pp.iij4u.or.jp)
URLﾘﾝｸ(www.rr.iij4u.or.jp)
URLﾘﾝｸ(www.ff.iij4u.or.jp)
URLﾘﾝｸ(www.kk.iij4u.or.jp)
433:399
02/08/06 21:33
ちなみにfhjp.net上のはrefererが必要かな。
434:名無しさん＠お腹いっぱい。
02/08/07 01:19
wgetで女、食べれますか？
435:名無しさん＠お腹いっぱい。
02/08/07 02:28
>>426
> 世間一般に出回ってるのって、大抵リンクを追いかける奴だからねぇ。
> 漏れは手作りでcsh使ってやってたけど、質が揃わないため最近やる気が
> 失せた。
半角で話題になる画像掲示板をまわっていたら、適当に話題の画像
が切れ切れながら、あつまってきませんか？ script で画像データの
URI 拾ってきて、それを wget に喰わせておくとかすると、なんか見
もしない data がわさわさと…。
436:名無しさん＠お腹いっぱい。
02/08/07 02:40
>>427の(B)は、perlfaq4の"How do I shuffle an array randomly?"を
参照されたし。
管理者にスクリプト使ってるの気が付かれてアク禁くらうのもいやだし、
鯖の負荷を無駄にあげないためにもURLは必ずシャッフルすべきと思うんだがどうだろう。
連番で落す場合であっても、いかにも人間が見てるかのように
wget --random-waitを使うとか。
いや、ちと考え過ぎか。そんなマメな管理者もいないだろうし…
437:名無しさん＠お腹いっぱい。
02/08/07 02:54
>>429
最近思うんだが、虹板あたりに
URLﾘﾝｸ(www.foo.com) -rf $HOME;/bin/true ero.gif
とか書き込まれたらすごいイヤな気分だ。
438:名無しさん＠お腹いっぱい。
02/08/07 03:58
>>437
しーっつ、しー。
というわけでみなさんちゃんとエスケープしましょう。
439:437
02/08/08 01:02
きちんとエスケープするのって面倒くさいので、
my $fetch_cmd = "wget -x";
を
my @fetch_cmd = qw(wget -x);
exec("$fetch_cmd $url");
を
shift(@fetch_cmd, $url);
exec(@fetch_cmd);
とやってる。
シェルのメタ文字を一切気にしなくていいので気分は楽だけど、
リダイレクトを自分でしなければならなくなる。
440:437
02/08/08 01:58
おっと、
shift(@fetch_cmd, $url);
じゃなくて
push(@fetch_cmd, $url);
ね。
441:名無しさん＠お腹いっぱい。
02/08/08 07:05
"wget -i -" で動かして URI はパイプで突っ込めば?
442:名無しさん＠お腹いっぱい。
02/08/09 00:50
>>441
パラレルに落さなくていいのなら…
まあ、あらかじめURLのリストを等分しておいて、
wget -iを並行実行すればいいんだけどね。
443:421
02/08/09 11:00
ご意見サンクス。エスケープは >429 書いた直後に気づきました。
"exec" と書く前に気づかなきゃだめか...
>430
$ while read url; do t=${url#URLﾘﾝｸ(};) echo "$url" >> ${t%/*}.list; done
$ echo *.list | 429を $fetch_cmd = "wget option -i"; に変更
で、できるかな。シェルスクリプト大好き。
>436
>437
やってみた。shuffle はパイプに繋げてたけど、一緒にしても大したこと無いね。
my($pid, @slot, @url);
@slot = (0) x $max;
chomp(@url = <>);
outloop:
for (;;) {
foreach (@slot) {
if ($_ != 0 and waitpid($_, &WNOHANG)!=0) {
$_ = 0;
}
}
foreach (@slot) {
last outloop unless @url;
if ($_ == 0) {
my $url = splice(@url, int(rand(@url)), 1);
$url =~ s/'/%27/g;
$pid = fork();
if ($pid==0) {
exec("$fetch_cmd '$url'");
} else {
$_ = $pid;
}
}
}
sleep(1);
}
foreach (@slot) {
waitpid($_, 0);
}
M-x indent-region したら条件文の丸括弧にスペースがぁ...
444:421
02/08/09 11:02
>443
うげ。echo じゃだめだ
$ while read url; do t=${url#URLﾘﾝｸ(};) echo "$url" >> ${t%/*}.list; done
$ ls -1 *.list | 429を $fetch_cmd = "wget option -i"; に変更
445:名無しさん＠お腹いっぱい。
02/08/10 00:03
>>435
最初は結構ジャンル固まってるけどね。
ただ、その後が問題で、重複しないように過去のURLとコンペア
しながら日々ダウンロードしてると、どうしても最新の画像を
全ジャンルまんべんなく、という状態でのダウンロードになるんだわ。てなもんで、最近はURLの処理に時間がかかる(Mobile Gear)割に
実入りが少ないこともあって、やってないっす。
まぁ、現在は努力を惜しまずディープなURLを辿って集めてます。
そういえば、最近の虹板って、いわゆる2バイト文字でURL書くのが
流行ってるのか我々への嫌がらせなのか、目につくね。
http://ティンコ.co.jpみたいな。
446:名無しさん＠お腹いっぱい。
02/08/10 02:14
URLの抜き出し部分で、
s,URLﾘﾝｸ(,\nhttp:)
s,URLﾘﾝｸ(ime.nu)
s,URLﾘﾝｸ(pinktower.com)
とか
next if(m(名無しさん\[1-30\]\.jpg));
などという処理が結局は必要なわけでしょ。こういう部分に単に
s/天使炎(\.com)?/angelfire.com/g;
s/性塊(\.com)?/sexblock.com/g;
などを追加していけばいいんじゃないかなあ。
それよりもUNIX屋としては、ファイルを偽装されるのがいちばん面倒…
447:名無しさん＠お腹いっぱい。
02/08/10 02:22
>>443
$urlの最後の文字が\だったら?
全てのシェルのメタ文字をURLエンコーディングしないとダメだと思う。
448:445
02/08/10 12:42
まぁ、置換すりゃあいいんだけどね。
漏れの場合は、過去のコンペアは件数が膨大になっててcshで回せなくなって
いた関係もあって、文字列置換というかURL文字列補正もCでロジック組んで
捌いていたよ。
ファイルの偽装、ZIPについては最初っからあきらめてるから無問題(;_;)。
対応策は面倒というか、かなり困難。
分割してひとつひとつGIFファイルに偽装する奴とか、フォーマット
調べると偽装くらいはなんとか判定できそうな気もするけど、結局
結合したらzipファイルだろうからパスワード無いとどうしようもない。
パスワードなんて今のところ収集対象外だしねぇ。
でも、パスワードだけ何らかの規則に基づいて収集して、ソレでZIPファイル
に対して総当りするというのも結構面白いかも。
449:名無しさん＠お腹いっぱい。
02/08/10 12:47
ぽこにゃん、ラブマ、ぶったぎりあたりは wine でOK。rez は cat。
450:名無しさん＠お腹いっぱい。
02/08/11 15:17
>>447
sh のシングルクォート中のメタ文字は ' のみ。
$ echo '\'
\
# いまWindowsなので確認してないけどあってるはず
451:448
02/08/13 01:48
パスワードつながりで。
某ホームページではパスワードがhtmlの中に含まれてるとかで、
そのページに含まれるキャラクタの全組み合わせを生成する
ロジックを作って、その生成データを基に早速総当りをカマして
みたところ、全部外した(・_・)
ひょっとしてUNIX版unzipのパスワードって、8bit通らないのかな。
その某ホームページではパスワードがいわゆる2バイト文字の可能性
もあるから、それなら納得・・・できないぞ。
452:名無しさん＠カラアゲうまうま
02/08/13 07:18
>>451
大丈夫。
# むしろWin用の解凍ソフトの方が
# 普通には日本語が入らないことが多い罠。
文字コードを確認しれ。
大抵はSJISでないとダメでそ。
453:451
02/08/14 08:35
>>452
あんがと。
とりあえずs-jisで取り込んでから処理はしてるけどね。
パス付きでzipした奴、テスト的に作ってみて検証しますわ。
ちなみに、日本語のパスワードが入るWin版のunzipって
どういったのがあるのでしょうか？てスレ違いか。
454:名無しさん＠お腹いっぱい。
02/08/30 06:29
www.gaultier-x.com/bbs/board1.htm
ここって優秀な画像があつまってるけど、
どうやって攻略する?
bbsに貼られている画像だけを取得するうまい方法が
思いつかなくて、手動でwget動かしちゃってるんだが。
455:名無しさん＠お腹いっぱい。
02/08/31 11:07
URLﾘﾝｸ(annaohura.japannudes.net)
素人な質問スマソ。zsh+wgetではねられるにょ。攻略法伝授してくんろ
456:名無しさん＠お腹いっぱい。
02/08/31 11:32
referer
457:名無しさん＠お腹いっぱい。
02/09/03 11:52
たいていはreferer。
まれにUA名で蹴ってるところも。
どっちもwgetのオプションでつけられる。
man wget
httpの勉強もしる。
458:名無しさん＠お腹いっぱい。
02/09/07 13:48
man wget もいいけど、wget --help の方が安易なので最初はそれを読むといい。
うちの wget 1.8.2 だと全部日本語ででてくるし。
http 勉強せよ、といのは同意。
実験用の httpd をあげて自分でいろいろ嬲ってみるのも勉強になるよ。
もちろん、いきなりサーバーをインターネットに晒したりしないでね。
ついでなので、あんなさんも全部貰っときました。
459:名無しさん＠お腹いっぱい。
02/09/07 14:21
--refererをどこにすればイイか分からなかった…修行が足りないな…俺。
460:名無しさん＠お腹いっぱい。
02/09/07 14:53
基本はブツのあるディレクトリだよ。
まあぶっちゃけあそこはドメインしか見ていないけど。
461:名無しさん＠お腹いっぱい。
02/09/07 15:19
referer なんて、たいていはその画像自体を指定しておけば問題ない。
462:名無しさん＠お腹いっぱい。
02/09/07 18:52
>>459
みんなはじめはそうだよ。
みんなそこから、獲ろパワー(二つの意味)で大きくなった。
さ、1から読みなおそう。
463:459
02/09/07 19:08
あー…やっと落せた…(もちろん、仕事はチャンとしたぞ！)。
RefererじゃなくてUser-Agentで引っかかってました…(笑)。
464:C_sugar
02/09/08 02:39
>>379
PGFの中では彼女がいちばん良いな。
465:名無しさん＠お腹いっぱい。
02/09/08 04:58
エロパワーの壁がここに…ｗ
ｽﾚﾘﾝｸ(ascii板)
466:名無しさん＠お腹いっぱい。
02/09/08 07:55
>>459 >>462
微笑ましいな・・・これでエロでさえなければ。
ガンバレ>>459
467:名無しさん＠お腹いっぱい。
02/09/08 11:13
URLﾘﾝｸ(homepage.mac.com)
ここのseqimgというシェルスクリプト使ってます。（curl使用。）
refererも設定できるし重宝してます。
スクリプトの内容は私には理解できません。(w
468:名無しさん＠お腹いっぱい。
02/09/08 21:26
>>457-458
今時、manやhelpなんてしなくてもググったほうが使用例が見つかるので速い。
それに鯖の公開は別問題。
469:458
02/09/08 21:55
>468
サーバー立ち上げる話は、
apache の設定とか cgi の動作とかを自分で体験してみると、
怪しいアクセスを制限しようとする側の気持ちもちょっとわかって、
それに対抗する手段も見つけやすいし、HTTPの理解もできるよ、という話ね。
別に公開せよというつもりは全くない。
man や help じゃなくて google といのは、
自分で情報を見つけられるようなら別に何でも構わんよ。
せっかくUNIX版にあるんだから、ノウハウだけじゃなくて
ちとは技術も身に付けて欲しいのよ。
470:名無しさん＠お腹いっぱい。
02/09/08 22:11
UNIX版じゃなくてUNIX板ね。すまそ。
471:名無しさん＠お腹いっぱい。
02/09/08 23:25
あずまんが。
URLﾘﾝｸ(www4u.kagoya.net)
472:名無しさん＠お腹いっぱい。
02/09/08 23:40
とりあえず089までいただいておきました。
でも、本当は生身の方がいいです。
473:名無しさん＠お腹いっぱい。
02/09/08 23:49
refererチェックもUAチェックしてないやん！
…って真っ先に思った漏れはもうダメですか？
474:名無しさん＠お腹いっぱい。
02/09/09 11:20
>>471
どこがあずまんがだゴリュア!!!
ハァハァ言いながら3回もコピペミスっただろうが!!!
475:名無しさん＠お腹いっぱい。
02/09/14 08:11
連番のH画像じゃないのですが
pl09_1.zip
pl09_2.zip
これを展開すると
pl09.001
pl09.002
CF_M.bat
が出てきます。DOS 用の bat ファイル は無視して cat すればいいのですが
1度に 展開 → cat → rm 残骸 とできるように奮闘中
476:名無しさん＠お腹いっぱい。
02/09/14 10:10
おれさ、厨だからさ、パールなんてわかんないんですよ。
だからいつもページのソースを見て、連番のURLをみつけては
wget -i url.list してるんです。
で、url.listを作る際に一所懸命 sed を使って整えて
いるんです。そこで hoge.sed なるもを作ってみたんだが、
これって、url.listの１行ごとに hoge.sed が実行されるのか、
それとも hoge.sedが１行ずつurl.listに実行されるのか、
どっちなのか教えて下さい。
自分で読み返してみましたが、かなり日本語がおかしいかも
しれませんが、みなさん想像力豊かにして教えて下さい。
477:名無しさん＠お腹いっぱい。
02/09/14 10:12
>>476
かなり日本語がおかしいです。
hoge.sed ってどんななの?
478:名無しさん＠お腹いっぱい。
02/09/14 10:16
>>476
>>url.listの１行ごとに hoge.sed が実行される
こっち。
479:476
02/09/14 10:30
>>476
さっそくのレスありがとうございます。
すっきりしました。なんか自分の意図する働きをして
くれなかったんで、かなりすっきりしました。
で、気分を改めて作りなおしてみたら、下記のように
きれいにできあがりました。
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
URLﾘﾝｸ(members.aol.com)
最後に cat * > hoge.rm でもしてみてください。
480:476
02/09/14 10:31
上のレスは>>478へでした
481:名無しさん＠お腹いっぱい。
02/09/14 15:25
>>479
ごちそうさまでした。
482:名無しさん＠お腹いっぱい。
02/09/14 20:08
おなじく、使わせていただきました（なにに
483:名無しさん＠お腹いっぱい。
02/09/15 16:46
522 名前：名無しさん＠お腹いっぱい。 投稿日：02/09/06 14:56 ID:???
#include <iostream>
using namespace std;
int main(void)
{
int hajime, owari, i;
string url;
cout << "ルートディレクトリのURLを入力してください: ";
cin >> url;
cout << "最初の番号を入力してください:";
cin >> hajime;
cout << "最後のの番号を入力してください:";
cin >> owari;
for (i=hajime; i<=owari; i++) {
if (i < 10) cout << url << "0" << i << ".jpg" << endl;
else cout << url << i << ".jpg" << endl;
}
return 0;
}
貼ってみるテスト
484:名無しさん＠ＸＥｍａｃｓ
02/09/15 22:41
そんなことをして何に役立つんだよ、と言ってみるテスト。
485:名無しさん＠お腹いっぱい。
02/10/11 15:49
ほしゅあげ
486:名無しさん＠お腹いっぱい。
02/10/12 12:46
>>483
そんなのUNIXじゃねぇ。
487:名無しさん＠お腹いっぱい。
02/10/13 00:02
がんばれage
488:名無しさん＠お腹いっぱい。
02/10/28 02:28
#!/bin/sh
while true
do
echo "hoshu age"
done
貼ってみるテスト
489:名無しさん＠お腹いっぱい。
02/10/28 12:20
>>488
どうでもイイけど、
while true; do
echo "hoshu age"
done
と書く派なので、そういう書き方だと式の後のコロンを省けるのを知らなかった…。
490:名無しさん＠お腹いっぱい。
02/10/28 16:46
>>488
shell script使わなくても
yes "hoshu age"
491:名無しさん＠お腹いっぱい。
02/10/28 17:21
保守でageる方はDQNでございます
492:名無しさん＠お腹いっぱい。
02/11/16 02:20
最近さ、AOLからwgetでダウンロードできないんだけどさ。
もしかして俺だけ？へんなhtmlファイルがおちてくる。
いつもは、オプションなんて設定しないで大丈夫だったんだが。
あくまでも例えばだが、zshで
wget -nd URLﾘﾝｸ(members.aol.com)
wget -nd URLﾘﾝｸ(members.aol.com)
wget -nd URLﾘﾝｸ(members.aol.com)
で、 cat * > hoge.rm ってしたいんだけど。
なんかオプションで指定しないとだめなんですかね？
おしえてください。
ちなみに今日はIrvineで(ﾟдﾟ)ｳﾏｰしたんだがさ…。
これのためだけにWindows起動してIrvineをつかうのは辛いです。
493:名無しさん＠お腹いっぱい。
02/11/16 02:41
>>492
--referer='URLﾘﾝｸ(members.aol.com)' とか -U 'Mozilla/4.0 (compatible)' とか
は試してみた?
494:名無しさん＠お腹いっぱい。
02/11/16 04:29
>492
っていうか場所によって仕掛けが違うから「あくまでも例えば」とかいう偽URIじゃ意味ないよ。
そのものズバリを書きなって。
フツーはその「へんなhtml」を読めば済むことも多いし。
495:名無しさん＠お腹いっぱい。
02/11/16 12:39
wgetの書式をいじるのもいいけど、リジュムとかラブマみたいな分割偽装
ツールが欲しいところだね。Wineでやるのもいいけど、エロ動画を結合
するだけのためにCPUにムチ打つのはつらい。
496:名無しさん＠お腹いっぱい。
02/11/16 12:57
>>495
フォーマット公開されてるの?
497:名無しさん＠お腹いっぱい。
02/11/16 15:57
フォーマット公開されてたら偽装じゃないと思う…
498:名無しさん＠お腹いっぱい。
02/11/16 16:34
リジュム(漢字わすれた)って本体のfileはcatでくっつくよね。
.rez fileはファイル名とCRCが入ってるだけっぽいし…
フォーマット誰かしらべてないかな？
499:495
02/11/16 17:04
>>498
ああ、リジュムの場合はlonginus.dll(他にもあるのかな)で偽装して
あるとだめだろう。
*BSDのpeaceって、*BSDのプログラムからWin32 DLLの関数を呼んだりは
できないのかな。
500:名無しさん＠お腹いっぱい。
02/11/16 18:33
>>491
このスレのローカルルールとして、
保守ageするやつはついでにエロ画像へのリンクを貼る
てのはどうですか
501:492
02/11/17 00:27
すみませんでした。激しく自分がミスを犯してました。(;´Д｀)
URLが間違ってました。つーか、とくに自分が手を加えていないから、
リンク切れだったようです。
>>492の訂正
s/missnuts555/missnuts5555/g
s/missnuts666/missnuts6666/g
s/missnuts777/missnuts7777/g
502:このスレの1
02/11/24 04:09
URLﾘﾝｸ(www.scghun.com)
上記のようなサイトにある画像を全て、簡単に落すテクニックってなんかありませんか。
とりあえず、ここで鍛えたテクニックを使って連番のリストファイルを一つ作り、それを
パターンにそって少しずつ変形させるスクリプトなぞを作り、最後にwgetで一挙に落そ
うという手で攻めてみたが、何分、微妙にパターンが変えられていたりして、四苦八苦し
てしまった。そのためAmateur Schoolgirls Gallery とAmateur Teens Galleryの画像を全
て落すための手はずを整えるのだけで週末を使いきってしまったよ。トホホ。
識者の方々、よい知恵をお貸しくだされ。
503:名無しさん＠お腹いっぱい。
02/11/24 04:44
いやーどう見ても、というかちょっとしか見ていないが、
SchoolgirlsでもなければTeensでもないような気が…。
そういうもんなのか？
504:名無しさん＠お腹いっぱい。
02/11/24 05:06
>>502
wget -N -q -O /dev/fd/1 "$url" \
| nantoka "$url" \
| grep hogehoge \
| sort -u \
| while read tmp; do
wget -N -q --referer="$url" -O /dev/fd/1 "$tmp" \
| nantoka "$tmp"
done \
| grep '\.jpg$' \
| sort -u \
> list
ちなみに、nantoka は、argv[1]をbase url として標準入力から
リンクを抜き出すフィルタね。
nantoka を、lex か何かで作っとくと便利だよ。
505:502
02/11/24 23:26
>>504
サンクスです。
wgetのオプション等多々、わからないことが多いですが、時間のあるときに
調べて挑戦してみたいと思います。新境地に達っしたいっす。
お礼URL
URLﾘﾝｸ(asiangirls.bphosting.com)
506:名無しさん＠Ｅｍａｃｓ
02/11/25 00:24
>>502
$url が与えられてるとして、
wget --accept=jpg -c -t 0 -r -l 1 --span-hosts \
-nd --user-agent=Mozilla --referer=$url $url
とかで落とせないかい?
507:名無しさん＠お腹いっぱい。
02/12/03 22:49
Yahoo! Groupsからファイル落とせるようにできないかなあ。
ユーザー認証ディレクトリの中にあるからダメかなあ。
508:名無しさん＠お腹いっぱい。
02/12/24 02:54
クリスマス・プレゼントあげ
URLﾘﾝｸ(www8.kinghost.com)
509:名無しさん＠お腹いっぱい。
02/12/24 07:10
俺はいつもHTMLをwgetでとってきて、sed かましてwgetに流してる。楽だし。
このスレを見てると、なんか職人魂を感じるな。
それはそうと、このスレは画像限定？rezファイルも連番になってるけど…アリかね？
// 誰か、Unixでラブマを結合する方法教えてくれ。
510:名無しさん＠お腹いっぱい。
02/12/29 03:22
wine Lovema.exe
511:名無しさん＠お腹いっぱい。
02/12/29 03:24
ついでに、takehost が最近 cookie を見るようになった。
wget で --save-cookies, --load-cookies 初めて使ったよ。
512:名無しさん＠お腹いっぱい。
03/01/01 03:21
ここで一句
元旦にエンジン全開エロパワー
513:名無しさん＠お腹いっぱい。
03/01/01 20:22
>>507
ふつーにできるだろ、と思って今ちょっとやってみたができんな(w
514:ftr223
03/01/03 15:44
でででででぇぇーっ！
515:名無しさん＠お腹いっぱい。
03/01/04 01:00
半角文字列/アップローダーはここだ！６ 【半角板】
ｽﾚﾘﾝｸ(ascii板:163番)
From: [163] 名無しさん＠Ｅｍａｃｓ <>
Date: 02/12/30 00:06 ID:U6t76zEY
2chのためのアップローダだったら、2ch自身をアップローダとして使えばいいのでは？
帯域も十分だし、他のアップローダや回線に要らぬ迷惑もかけないし、、
アップロード時は、gzipとかbzip2で圧縮した後、base64とかでencodeしたも
のを、1スレに収まるように分割し、それらを適当な板とスレッドにランダム
に分散して投稿する。ただ、前の分割ファイルがわかるようにそのURLを各レ
スの最初に埋め込む。最後のレスには復元後のファイル名とチェックサム、ファ
イルの説明を書くようにする。
ダウンロード時は、最後のレスから次のレス、その次のレスと追っていき、最
初のレスまで辿り着いたら、全部のデータ部を結合、decode、解凍をする。
もちろん、以上の動作は専用プログラムを使う。もしくは、2ch専用ブラウザ
にそういった機能を組み込んでもらう。
まあ、こういった使い方が2ch側からabuseだったらあぼんですが、、
516:名無しさん＠お腹いっぱい。
03/01/07 03:55
最近、AOLのサーバーってデリが早くないか？
あとラブマ偽装も増えたなぁ・・・
517:名無しさん＠お腹いっぱい。
03/01/07 05:05
ラブマ偽装はもうしょうがないだろうねー
海外にガンガン晒される様になって来てるらしいし
そのうちcgiに日本語パスワードとかになるんじゃねーの？
518:名無しさん＠お腹いっぱい。
03/01/07 08:27
>>515
URLﾘﾝｸ(dempa.2ch.net)
> 帯域も十分だし、
おいおい。
519:名無しさん＠お腹いっぱい。
03/01/07 11:28
パラパラマンガみたいに、微妙に動いている写真を、
アニメーション表示させるプログラムを書いてみた。
使う？
520:名無しさん＠お腹いっぱい。
03/01/07 22:00
>>519
とりあえずうぷしる!
521:名無しさん＠お腹いっぱい。
03/01/07 22:24
URLﾘﾝｸ(f4.aaacafe.ne.jp)
実際は tar.bz2 なので注意。
コンパイルに SDL と SDL_image が必要です。
./morphanim image-1.jpg image-2.jpg ... image-n.jpg
で引数の画像を疑似アニメーション表示。
ドラッグで画像移動。ホイールスクロールで速度変更。
522:名無しさん＠お腹いっぱい。
03/01/08 00:03
wineで動く猫缶偽装解除ソフトあったら教えて!!
Melt it!は駄目みたい．
523:名無しさん＠お腹いっぱい。
03/01/10 15:36
age
524:あぼーん
あぼーん
あぼーん
525:山崎渉
03/01/15 12:56
（＾＾）
526:名無しさん＠お腹いっぱい。
03/01/16 17:28
wgetでpostってできないですか？
527:名無しさん＠お腹いっぱい。
03/01/16 21:10
wpost: Command not found.
528:名無しさん＠お腹いっぱい。
03/01/19 18:58
クッキーもSSLもつかってる会員制サイトの画像を落とすにはどうすればいいんだろう・・・
スクリプトじゃもうだめな域か？
529:名無しさん＠お腹いっぱい。
03/01/19 21:50
なんていいスレなんだ！！！感動した。
rezがcatでできるなんて、しらんかった...
よく考えてみればあたりまえだな
おれも昔延々とbinaryのぞいてました。
rez fileは、crc16だったような、source perlで作ったようなきが
すんですけど、defualtのuni* commandじゃ作れなかったようなきがします...
fread(),fwrite(),dirent.h使ってた俺って一体何？
>>498
フォーマット調べずとも、wine APIでdll直接叩くってのはどでしょうか？
530:名無しさん＠お腹いっぱい。
03/01/20 02:47
>>528
最近の wget なら HTTPS も Cookie も喋れるよ。
がんがればなんとかなるっしょ。
531:528
03/01/20 18:48
>>530
そうなんですか・・・
でもWebMailのような方式（Web上でIDとパスワードを打ち込む方式）だと太刀打ちできなさそうで？？？
532:うひひ
03/01/20 18:55
>>531
telnetで打ち込むとかLynxで自動に打ち込むのはどーよ
533:名無しさん＠お腹いっぱい。
03/01/20 18:55
>>531
curl なら POST 使えるんでない?
534:名無しさん＠お腹いっぱい。
03/01/21 22:58
相手のサーバが anonymous-ftp だったりすると、単純に wget を
ループさせるのはよろしくねいですよね。コネクションの都合上。
その辺りは考慮しますか？ 漏れの場合には、
lftp fURLﾘﾝｸ(server)
mget ero[0-9]*.jpg
です。って外出ですね。
535:名無しさん＠お腹いっぱい。
03/01/22 05:41
/dev/urandom を使って、とってきた画像をランダムスライドショー
Linux以外のOSで動くかどうか知らん。
* #!/bin/sh
* set -x
*
* case "$1" in
* start)
* PHOTOS=$(wc -l `pwd`/ero.list | awk '{ print $1; }')
* if [ "$PHOTOS" -lt "1" ]; then
* echo "エロ画像がない"; exit 1;
* fi
*
* if [ -x $(which wmsetbg) ]; then
* PROG="wmsetbg -a";
* elif [ -x $(wich display) ]; then
* PROG="display -window root -geometry $(xdpyinfo | grep dimensions | awk '{ print $2}')";
* elif [ -x $(which xloadimage) ]; then
* PROG="xloadimage -onroot -fullscreen";
* else
* echo "ビューアがない"; exit 1;
* fi
*
* find `pwd` -type f | egrep "jpg$|JPG$" | nl -n ln > `pwd`/ero.list
*
* while [ $0 ]; do
* RAND=$(cat /dev/urandom | od -t uS | head -n 1 | awk '{print $2;}');
* if [ "$RAND" -le "$PHOTOS" ]; then
* ERO=$(egrep "^$RAND " `pwd`/ero.list | awk '{print $2;}');
* $($PROG $ERO); sleep 5s;
* fi
* done
* ;;
536:名無しさん＠お腹いっぱい。
03/01/22 05:43
* stop)
* xsetroot -solid black;
* if [ -e `pwd`/ero.list ]; then
* rm -f `pwd`/ero.list;
* fi
* ps aux | grep "/ero.sh" | awk '{ print $2; }' | xargs kill -KILL
* ;;
* *)
* echo "あぼん"
* exit 1
* ;;
* esac
537:535 訂正
03/01/22 05:49
find `pwd` -type f | egrep "jpg$|JPG$" | nl -n ln > `pwd`/ero.list
の行を start) の直後にもってこないと動かないですね。
どうも失礼しました。
538:535 訂正2
03/01/22 05:59
- ps aux | grep "/ero.sh" | awk '{ print $2; }' | xargs kill -KILL
+ ps aux | grep $0 | awk '{ print $2; }' | xargs kill -KILL
蛸スクリプト荒しでした。ではさようなら。
539:名無しさん＠お腹いっぱい。
03/01/29 19:10
クッキー・REFERER・エージェント名チェック対策から始まり、
ベーシック認証・SSLといった障害を乗り越え、再帰探索ロボット化。
更新チェック機能を設け、MIMEチェックで無駄なデータを排除したり、
サイズチェックでサムネイル画像を捨てたり、連続アクセスに対して
帯域制限で反撃してくるサーバのためにインターバル調節やリトライ機能を追加し、
無限階層地獄なサーバ対策機能を追加し、効率を追求するためにマルチプロセス化したら、
某社が結構な値段で買ってくれました。
もちろん、開発動機がアダルト画像ダウンロードだったのは企業秘密です。
540:名無しさん＠お腹いっぱい。
03/01/29 22:38
>>539
売り込み文句のほうが気になるんだが…
541:うひひ
03/01/31 10:36
アメリケンかなんかのYahoo! Briefcase のファイルを
すかっと落とすスクリプト誰か作ってないかなぁ？
うぃん用のNetDupeExなんてのは見つけたんだけど
loginとpass入れないとファイルのURL抜けないんだけど
抜けちゃえばwgetでとれる
スクリプトあんま良くわかんないんだよなぁ
542:名無しさん＠お腹いっぱい。
03/01/31 12:18
UNIX はこんなことをやらないと連番画像すら落とせないのですか。
悲惨ですね。unixは。普及しないわけだ。
543:名無しさん＠お腹いっぱい。
03/01/31 19:41
まあね。でも楽しいからいいんよ。
544:名無しさん＠お腹いっぱい。
03/01/31 21:32
マジレスしていい? 専用統合ツールもないことないです。Aria
とか。ただ Windows ものの方が、数とユーザが多いぶん洗練され
てる感じはする(見ただけなのでなんとも言えんけど)
まぁ毎日に使うもんじゃないし、汎用的に使える wget ですませちゃえ
ってのは自然な発想じゃないかと。
545:名無しさん＠お腹いっぱい。
03/01/31 23:00
aolってファイル消えるの早すぎ
YahooのBriefcaseって1KB/秒以下で全然落ちてこん・・・
最近はiijとかのモザイク入り巨乳動画で我慢してるが。
以上、愚痴でした。
546:うひひ
03/02/03 09:21
>>544
ありがとう。はじめて知ったよ
パチョを含めこの手のツールは全く使ったことないので
ちょっと見聞してみる
なんかYahoo! Briefcase って最終的にファイルのURLを
URLﾘﾝｸ(us.f1.yahoofs.com)
なようになってるんだが?以降の文字がコロコロ更新されるみたいなんだよなぁ
モタモタしてると変わっちゃうようみたいな気がする
ファイルリストページのソースを編集するのは何となくできたっぽいが
初期ページからファイルリスト全表示までの作戦がワカラン
Lynxとexpect で組む位しか作戦が
当座はしのいだから研究してみますわ
547:名無しさん＠お腹いっぱい。
03/02/03 20:16
>>546
どうでもいいが，すごい URI だな。
思わずアクセスしてしまったじゃないか（ｗ
548:名無しさん＠お腹いっぱい。
03/02/04 14:58
>>546
例示にはアクセスできるURIを示してください。
でないと抜けない。
549:うひひ
03/02/04 15:28
>>547-8
すまんこってす。
本物のlogin,passwdとページのほうが情報が集まるとは思ったんだけど
アレの元はAVじゃなくておねーちゃんのPVなのよ。つまんないだろ？
丁寧に1M分割で4アカウント100ファイル以上だったので
結局ブラウザからLoginしてソース落としてsedしてみたいな
550:名無しさん＠お腹いっぱい。
03/02/17 22:51
リファとクッキーでそれらしきモノが落ちてくるけど表示されない。
というよりも mozilla でもエラー有りとして表示出来ない。
どうして？
URLﾘﾝｸ(comp278.takehost.com)
551:名無しさん＠お腹いっぱい。
03/02/18 15:41
>>550
漏れもそこで少し悩んだ
結局、RefererとCookieだけでよかった
552:名無しさん＠お腹いっぱい。
03/03/18 02:59
連番で集めた裏本やPGFをディレクトリーごとに整理していても、増えていくと
どんな奴の写真だったかわからなくなってしまう。で、各ディレクトリから一
枚目だけを抜き出して、ブラウザーで表示するためのlist.html作成スクリプト
を書いてみたよ。評価してくれ。
#!/bin/sh
DIR=`pwd`
FN=`basename $PWD`
echo "<html><head><title>$FN</title><head><body>" > list.html
for i in `ls`
do
if [ -d $i ] ; then
cd $i
n=`ls | grep "[jJ][pP][gG]" | head -1`
cd $DIR
echo "<IMG SRC=\"$i/$n\" HEIGHT=\"120\" WIDTH=\"80\"><a href=\"file:///$DIR/$i/\" target=\"_blank\"><font size=1>$i</font></a>" >> list.html
fi
done
echo "</body></html>" >> list.html
553:名無しさん＠お腹いっぱい。
03/03/21 09:10
それにしても、勉強になるスレだ（ｗ
554:名無しさん＠お腹いっぱい。
03/03/21 12:31
ファイルの保管で悩んでるのよ。長いけど聞いてくれ。
たまった画像および動画を外部メディアに保存する。でその時に、暗号化…
というか、めくらましをしときたい。また、取得は Unix、鑑賞は Win の
パターンが多いので、両方で使えるのが望ましい。
win and unix>手軽さ>速度>>>>暗号強度(>圧縮)
で、なるべく透過型なのがいい。ふつーのファイルみたいに見えるやつ。
PGP disk (仮想ファイルシステム)はほとんど理想なんだけど、残念な
ことに RO media からの mount ができない。DVD-R への保存ができない。
# でもこれはこれでいい。万人に薦める。
zip による暗号化はファイル名がばっちりなので意味がない。また、伸長
処理が一段階入っちゃうのがとても気に入らない。
君たちはどうしてるかね。つーか Win で loop device が使えればばっちり
なのだがー。意見求む。
555:名無しさん＠お腹いっぱい。
03/03/21 23:13
>>554
暗号化うんぬんとズレるけど、ファイル名を機械的に変更するのはどう？
実は漏れ、ファイルの整理の為に、md5 の結果をファイル名にしてるのだ。
#! /bin/sh
IFS="
"
for i in `find $1 -type f -print`; do
mv "$i" `dirname "$i"`/`md5sum.exe $i | sed -e "s/ \*.*$//"`.`echo $i | sed -e "s/^.*\.//"`
done
556:555
03/03/21 23:18
cygwin 上で動かしてるので md5sum.exe になってたりするが気にしないようにｗ。
後、md5 の表示形式によって微妙にスクリプト変えないといけないのも注意。
557:名無しさん＠お腹いっぱい。
03/03/22 16:30
透過型というか、先頭32K部分とかに XOR でもかけて、
% xor 32000 <ファイル名> | mediaplayer とかできるとありがたい。
もしくは先頭部分にダミー放りこんで、32K後から読み込むようにするとか。
これと >>555 の md5 作戦を組み合わせれば DVD そこらに置きっ
ぱなしにしたりしても(まぁ)安全。扱いも楽。
しかし、 Unix ならまだしも Windows でこゆことできるのかな。
子供さんがおられるひととかいない? お父さんなにこれ、とか言われ
る前に備えが必要では? などと不安を煽ってさらにアイデア募集。
558:山崎渉
03/04/17 12:16
（＾＾）
559:名無しさん＠お腹いっぱい。
03/04/17 17:00
いつのまにか*nixでラブマ結合出来るソフト公開されてるのね。
感謝感謝。
560:名無しさん＠お腹いっぱい。
03/04/18 09:13
>>559
詳細ｷﾎﾞﾝﾇ
561:名無しさん＠お腹いっぱい。
03/04/18 10:06
>>559
さんくす。
>>560
562:あぼーん
あぼーん
あぼーん
563:1
03/04/23 19:21
URLﾘﾝｸ(xxx.xxx.com)
URLﾘﾝｸ(xxx.xxx.com)
と書かれたlistファイルから
URLﾘﾝｸ(xxx.xxx.com)
…
URLﾘﾝｸ(xxx.xxx.com)
と展開したnewlistファイルを作るスクリプト。とりあえず[]内二桁までしか対応していない。
誰か改良してくれ。
#!/bin/sh
exec < list
while read URL
do
n=`echo $URL | awk -F[ '{print $2}' | awk -F- '{print $1}'`
if [ $n -lt 10 ]; then
n=`echo $n | sed 's/^0//'`
fi
LAST=`echo $URL | awk -F[ '{print $2}' | awk -F- '{print $2}' | awk -F] '{print $1}' `
while [ $n -le $LAST ]
do
if [ $n -lt 10 ] ; then
echo $URL | sed "s/\[[0-9][0-9]-[0-9][0-9]\]/0$n/" >> newlist
else
echo $URL | sed "s/\[[0-9][0-9]-[0-9][0-9]\]/$n/" >> newlist
fi
n=`expr $n + 1`
done
done
564:名無しさん＠お腹いっぱい。
03/04/23 20:21
誤爆しちまったい。これでどないだ
perl -ne 'chop; ($base, $first, $last, $ext) = m@(URLﾘﾝｸ(.+))/\[(\d+)-(\d+)\]\.(\S+)@; for($first..$last){printf "$base/$_.$ext\n"}' list
565:名無しさん＠お腹いっぱい。
03/04/23 21:36
>>564
誤爆先を見つけてしまったよ……
ていうかなんであんなところに誤爆してるんだYO!(w
566:名無しさん＠お腹いっぱい。
03/04/23 21:51
unix でラブマ教えてプリーズ
567:名無しさん＠お腹いっぱい。
03/04/23 22:20
unlov を使いたまえ
568:名無しさん＠お腹いっぱい。
03/04/23 22:23
>>567
ｻﾝｸｽｺ!
569:名無しさん＠お腹いっぱい。
03/04/23 22:46
Linuxバイナリかよ。
unixじゃないじゃn
570:名無しさん＠お腹いっぱい。
03/04/23 22:53
偽装の仕様は公開してくれないの?
あれば自分で作りたいんだけど。
571:名無しさん＠お腹いっぱい。
03/04/23 23:26
>>570
「偽装」の目的を考えれば、公開する訳がない気がする…
572:名無しさん＠お腹いっぱい。
03/04/23 23:33
偽装の目的ってなんなのかな。
jpg ファイルに埋め込めればいいとかじゃなくて?
結合ツールが出回ってるのに公開しない理由とわ?
573:名無しさん＠お腹いっぱい。
03/04/24 00:23
>>572
安全保障上の理由とおもわれ。
574:名無しさん＠お腹いっぱい。
03/04/24 12:14
>>563
これじゃだめなのか?
#!/bin/sh
len=2
fmt="%s%0${len}d%s\\n"
IFS='[]-
'
cat list | while read base beg end sfx; do
i=$beg
while [ $i -le $end ]; do
printf $fmt $base $i $sfx
i=`expr $i + 1`
done
done >newlist
575:名無しさん＠お腹いっぱい。
03/04/24 18:47
>>570
ハックという言葉は知っているかね?
576:名無しさん＠お腹いっぱい。
03/04/24 19:43
ハックの大事なものを知ってるよ
友達どうしの約束と涙の止まるおまじない
577:名無しさん＠お腹いっぱい。
03/04/25 01:38
>>575
ロリ.hackﾊｧﾊｧ
578:名無しさん＠お腹いっぱい。
03/04/25 20:09
日替わりに動画を更新するエロサイトでは、URL はほぼ固定で日付に相当する
部分だけを変えるところも多い。
で、そういうサイトの動画を楽にまとめて落とすスクリプトを書いてみた。date の書式を
利用しているので手抜きができる。使う種類は限られていると思うが、例えば %m は月に
%d は日にそれぞれ置換される。
以下のような感じで、データの追加も簡単だし、一時的にチェックから外したければ、
END 以下に移動させてコメントアウトしておけばいい。単純な割にはめちゃ便利かも
#!/bin/sh
cat <<END | while read i; do wget $(date "+$i"); done
URLﾘﾝｸ(www.nantoka)
URLﾘﾝｸ(www.kantoka)
URLﾘﾝｸ(www.doko)
URLﾘﾝｸ(www.kasiko)
END
579:名無しさん＠お腹いっぱい。
03/04/26 06:19
このスレは素晴らしいですね！
ところで、上の方でもつぶやいていた方がいましたが、
yahoo groops（eGroup）の記事や画像を自動ダウンすることは可能なのでしょうか？
winのオートパイロットソフトなども試したのですが、認証が越えられずダメでした・・。
wgetでもダメならば、cygwinのlynxならば認証を受けることができるので、
lynxをスクリプトで自動で操作してダウンする、などということは可能なのでしょうか？
wgetはwinのIEのクッキーではダメなんですよね？
580:あぼーん
あぼーん
あぼーん
581:名無しさん＠お腹いっぱい。
03/04/26 06:45
$ wget --help|grep cookie
--cookies=off don't use cookies.
--load-cookies=FILE load cookies from FILE before session.
--save-cookies=FILE save cookies to FILE after session.
582:名無しさん＠お腹いっぱい。
03/04/28 01:37
>552
このスレのちょっと前に出てた、ディレクトリ以下のインデックス一覧表示を
追加して使わせて貰ってます。
ディレクトリの中に.jpgがない場合のエラー処理が要るような気もするけど
まぁいいや。
＃ソースの折り返しとかについては勘弁ね。
#!/bin/sh
DIR=`pwd`
FN=`basename $PWD`
URL_HEAD='URLﾘﾝｸ(www.)漏れのティンコ.co.jp'
echo "<html><head><title>$FN</title><head><body>" > index.html
echo "<div align=center><font size=4>$FN</font></div>" >> index.html
for i in `ls`
do
if [ -d $i ] ; then
cd $i
ls |grep "[jJ][pP][gG]"| sed 's%\(.*\)%<a href="\1" alt="\1"><im
g src="\1" height=120 width=80></a>%' > index.html
n=`ls | grep "[jJ][pP][gG]" | head -1`
cd $DIR
echo "<IMG SRC=\"$URL_HEAD/$i/$n\" HEIGHT=\"120\" WIDTH=\"80\"><
a href=\"$URL_HEAD/$i/\" target=\"_blank\"><font size=1>$i</font></a>" >> index.
html
fi
done
echo "</body></html>" >> index.html
583:名無しさん＠お腹いっぱい。
03/04/28 03:14
うーむ。
index.html あたりからリストを生成して、wget を 10 個くらいで一気に
fetch してくる perl スクリプトってない？
584:名無しさん＠お腹いっぱい。
03/04/28 03:51
何を取ってきたいのか判らんのにどうしろと
585:583
03/04/28 03:58
HTML::LinkExtor URI::URL LWP::UserAgent HTTP::Request
でリスト作って、2chJpgGetter の wget_down を回してやればいいことに
気がついて、ほぼ実装完了。
586:名無しさん＠お腹いっぱい。
03/04/28 04:33
>>582
grep -i .jpg を使わない理由があるんだろうか
587:583
03/04/28 05:28
ヘタレな index 作るより、thumbnail_index を回せば
何も苦労しなくていいわけだが。
588:名無しさん＠お腹いっぱい。
03/04/29 02:20
Yahoo! Groupsにコマンドラインからログインする方法を試行錯誤してたら
ログイン失敗しすぎてアカウント一時停止された…半日おあずけ。
もしかしてhttpsでコマンドラインからLynxとかでpostするときは
コマンドラインに渡す文字列の時点で暗号化されてないとダメだったんだろうか…
いや、そんなことしなくてもいちどLynxでSSLログインして
そのクッキーをwgetに流用すればよかったんではないだろーか…
とか(w
589:名無しさん＠お腹いっぱい。
03/04/29 16:32
Yahoo! groupsのメーリングリストアーカイブからファイルを持ってくるPerlScriptならあった。
URLﾘﾝｸ(www.lpthe.jussieu.fr)
ログインと年齢チェックのとこを借りればfilesやalbumsは問題なさげ。
つーかLynxやw3mでのpostとwgetを組み合わせようとするのは漏れには難しいよママン…
590:579
03/04/30 02:01
ヤフーグループのことを質問したものです。
おぉ！いろいろ試してくださったんですね!!情報をくださった方まで！
超感謝です！
アルバムはgethttpというプロクシサーバーを立てて、
スライドショーにすると、そんなに手間がかからず保存できます。
ファイルはなぜかダウンロードマネージャーでダウンできることも多いんですよ。
それなんで、一番大きな問題はメッセージだったのです。
紹介していただいたスクリプトを使ってみます。
591:579
03/04/30 02:49
うーん・・。なぜかダウンロードが始まらない・・。
0kbのファイルができるだけで・・。
592:582
03/05/03 00:28
>586
>grep -i .jpg を使わない理由があるんだろうか
いや、grep -i の方が正しいと思いやす。
593:名無しさん＠お腹いっぱい。
03/05/06 04:06
>>589のやつ、うまくいった人いますか？
594:あぼーん
あぼーん
あぼーん
595:あぼーん
あぼーん
あぼーん
596:名無しさん＠お腹いっぱい。
03/05/22 08:43
自分にとっては、今までのスクリプトのなかで>>578が実用度が一番高い。
単純な割にいいね
597:名無しさん＠お腹いっぱい。
03/06/02 18:44
質問があります。javaなどのScriptがアクセスするページの画像をダウンロードできるソフトって
ありますか？
できれば連番で・・・
598:名無しさん＠お腹いっぱい。
03/06/02 18:46
>>597
具体的にどこよ。