07/07/29 22:06:50 o67gGcVS0
>>349
レスありがとうございました
試してみます
351:ピタハハ ◆pietan/Tjo
07/07/30 21:02:07 e2uSJRIB0 BE:10642728-2BP(29)
>>348
解凍して出てきたファイルの拡張子を.gzに変更して、
もう1回解凍してみると良いと思うのです('∀`;)
何でこういう形式になっているのかは知りませんが・・・
352:348
07/07/31 03:57:47 h713BSku0
>>351
貴重なご助言、多謝!
試してみたら( ゚д゚)ウマー!!ですた
353:水先案名無い人
07/08/12 21:01:35 QVaWR83b0
URLリンク(www.23ch.info)
354:水先案名無い人
07/08/12 21:54:24 cb3ewiPr0
>>353
回線の状態が良いなぁ
355:水先案名無い人
07/08/15 19:12:37 pHpQ7L030
にくちゃんねるの管理人さんのメアドって
URLリンク(makimo.to) のトップにある、gmailのアドレスでいいんだよねえ?
実は先週にこのアドレス宛に、
「もし誰も引き受け手がいないんなら、わたくしがやりまっせ。」
ってなメール送ったんだけども、返事がありません。
盆で帰省やらで忙しいのか、メールがちゃんと届いてないのか、
それとも、そもそもにくちゃん(の過去ログ)を誰か他人に渡す気がないのか
それはちょっとわからないけど、そんなことしてるうちに
一部機能(スレタイ検索と、現行スレ?のみのD2H)が復活してたから、
このまま続ける気マンマンなんかも知れないね。
ここのコテハンさんとか、ミラーサイトの管理人さんなんかで、
makimo.toの中の人と連絡つく人や、そこらへんの事情知ってる人いないかなあ?
356:水先案名無い人
07/08/15 20:22:32 2/9n8KB10
検索が残ってくれるとありがたいですね
●で落そうにもスレッドキーが判らんとどうにもならんから
357:水先案名無い人
07/08/15 21:59:33 gxLghiGd0 BE:286356274-2BP(111)
>>355
詳しい事情はよくわかりませんが
返事がないということは、それ自体が答えだと解釈していいんじゃないでしょうか
358:水先案名無い人
07/08/15 23:13:38 1WCqjLTc0 BE:243911982-2BP(445)
よくわかんないですけど、現在>>355さんは
どこかの板等の保管はされておられるのでしょうか。
もしされておられるとしたら、ぜひぜひ教えて下さいです。
で、もし
そういう事(ログ取得公開)をやった経験が無いのでしたら
ぜひぜひやって頂けたら嬉しいです。
makimo.toさんからの御返事を待たずとも
まずは自分でやってみたらいいなと思うです。
もしそういうスクリプトが自作出来なかったら(出来たらごめんなさい)
色々凄い人達が一杯居られるので助力してくれると思うですです
(このスレだと>>313でのピタハハさんとか)
何といっても
神になるチャンスですぞ
失礼しました
359:355
07/08/16 20:13:14 KWFS9WW50
遅レス申し訳ないです
>>357
やはりそうゆうことなんでしょうかねえ~。
>>358
いままで2chに関しては専ブラ(ギコナビ)を使ってて、自分が見たいと思ったスレは(その時読まなくても)
一応ローカルに保存してましたが、ミラーサイト構築できるほどは持ってないです。
(といってもここ最近は保存しに行くことすらほとんどなくなってましたが・・)
で、一応仕事でWeb関係のことをやってましたんで、Perl,PHP,MySQL,Apache関係は
ひととおりの知識はあります。自動収集スクリプトなんかも「ああやって、こうやって」みたいな
構想はできてます。(まだ書き起こしていませんが・・・)
P2なんかもローカルで動かせる(中を読んでなにやってるかわかる)ぐらいのレベルはあるつもりなんで、
先月の完全閉鎖騒ぎの時に、誰もやる人いなければ「いっちょやってみっか」ってな気になったところです。
それとまあ、個人的な興味(?)として、700GB以上とかゆうコンテンツと、700万以上とかいわれる
スレッドデータについて、純粋に憧れってゆうか、一度そんなサイトやってみたいなあ~ってゆうのがあったんです。
(今自分でやってるサイトなんかは、アクセス自体はまあそこそこあるんですが、コンテンツの総量とか、
DBの規模なんかが非常に小さくて、CPUとかディスク使用量みて「稼働率低!」とか思ってたりしてます。)
360:パント ◆DWnaXpanto
07/08/17 11:03:31 QPDukdno0
なぜ、「あげる」と一言も書かれてないのに
もらう気満々なのかが分かりません
◆金銭的な問題:自鯖のようなのでマシンは数十万はするでしょう。(マシンは数台あるかも)
UPSもあるでしょう。他人に簡単にあげられますか?
◆信用的な問題:メールでやり取りした人に全てを委ねられますか?
◆感覚的な問題:かたや1から取得するため苦心して環境を作った人。
かたや(それが他人のためとしても)他人の作ったものを使って楽しようとする人。
任せる気になりますか?
メールが来ないならばそれ以上の詮索は無用です
それどころか、そういう行為はこれ以降のにくちゃんねる管理人にやる気すら削ぎます
361:ぴたはは
07/08/17 13:24:40 /vG5JQse0 BE:37246278-2BP(29)
>>359
makimo.toのようなことを行うには、知識以外にも必要な物はいくつかあると思います。
まずは人的作業。
板の新設、引っ越しや、次々起こる2chの仕様変更に対応していかないと
あっという間に動かなくなります。
前者は板リストの解析でなんとかなる(?)のかもしれませんが、
完全に無人化は無理だと思います。
なのでうちでは1板が限度だと思って、バイク板しかサポートしてません。
(その代わり全てのログを100%収集出来ているのですが)
それからサーバも相当の物が必要になるかと思います。
うちは検索エンジンなどのbotを全て受け入れてますので、
PVだと1日数10万、転送量は月間で数Gあります。
テキストだけなので転送量はたいしたこと無いようですが、
塵も積もれば埃っぽいので、CPUやHDDの負荷がそれなりに掛かります。
最後に、一旦始めたら中々辞められなくなる物だと思いますので、
それ相応の覚悟が必要ではないでしょうか?
ですが前にも書きましたが、もし本当に実行されるなら
僕の出来る範囲程度でですが、協力はしますよ。
362:水先案名無い人
07/08/29 14:30:49 989ZaE1r0
みみずんが[ピー]になった
内容: ファイルサーバーとの疎通が確認できません。(005)
熱にやられたかな
363:亀
07/09/07 21:38:27 A5+qylYO0
355がやるならdatあげてもいいよ
364:水先案名無い人
07/09/14 01:45:24 Cyu77dtrO
案の定反応ないから
とある板のhtmlとdat置き場を制作中
フリースペースで置き場だけ作るのも大変だと実感
365:水先案名無い人
07/09/19 04:08:03 k4Ob00+ZO
インデックス作ってたら
案の定すごい大きさに…
366:水先案名無い人
07/09/19 06:48:05 0kJgMGQu0
最近、変換機を使うと(もっぱら別窓変換)その22が403になるんですけど、
同じ現象が起こっているかた、ほかにいませんか?
367:水先案名無い人
07/09/19 13:59:48 z8h2rvpr0
その22?普通に表示されているけどなぁ・・・表示されない人もいるのか・・・
368:水先案名無い人
07/09/19 18:47:57 alZZtaVz0 BE:276130139-2BP(111)
>>366
私の環境では本スレで話の出てた
URLリンク(namahage.dip.jp)スレリンク(sake板)
は特に問題ないですね
それよりその21をhtmltodat使ってソースを落とそうとすると、エラーが出るのが気になっていたりします
369:水先案名無い人
07/09/20 02:43:08 FomdcIJT0
>>368 うちでは問題ないですよ
時間帯とかサーバーの負荷具合もあるんでしょうね
いい加減貼っときます。
重複スレ・移転スレのチェックがまた…
URLリンク(www26.tok2.com)
370:水先案名無い人
07/09/21 20:49:33 GqbTIUkf0
っとURL貼ってすぐだが案の定トクトクにアカ削除されました。
>>201も考えたけど同じ轍を踏みそう
やっぱり自鯖しかないのかなあ
ちなみに総容量は4GB、スレ数4万
371:水先案名無い人
07/09/30 13:11:47 ILa6jKlj0 BE:426846274-2BP(445)
dat落ちしたスレッドの最終レス表示についてですが
掲示板トップ(この板だとURLリンク(ex20.2ch.net))をIE等で開いて
右上あたりにある「 read.cgi モード切替」をクリックして
JavaScriptバージョンに変えれば
最終レスが表示出来るようになると思います。
例えば
スレリンク(news4vip板)
等で試してみて下さい。
「ラスト1レスだけ欠けてるので」等の場合に使えるかも。
勿論、read.jsを入れているサーバに限っての事ですが。
372:水先案名無い人
07/09/30 21:36:18 g0BPPhtD0
このスレで採用されて上京したらしい
スレリンク(prog板:155-番)
373:水先案名無い人
07/10/01 10:48:31 uYk3w5Zg0
ニワンゴのサイトを見ると、大学院卒なんかも普通に採用してるんだよね。
大卒不可の採用って、なんとなく、キャリアとノンキャリをはっきり区別してた、
かつての国家公務員採用を連想させられるんだけど…
スレ違いsage
374:水先案名無い人
07/10/06 06:37:13 2t4v6ya90
スレリンク(football板)
↑のスレッドが、ミラー変換機にかけても見つからないのですが、
どうすれば良いでしょうか?
375:水先案名無い人
07/10/06 08:02:31 QSOCDMyP0
>>374
URLリンク(w3.abcoroti.com)
376:水先案名無い人
07/10/06 14:09:21 qAIJwDiz0
>>374
ミラー変換機のその6に最終レス(451)までのログあるよ。
377:水先案名無い人
07/10/08 17:10:20 Scavrm0J0
読めないdat落ちスレを読むためのGline[91]スレから誘導されてきました。
最近●買った者ですが、以前おいでになったというルクダル氏のような過去ログ保管庫を
作るのを考えています・・・解決不可能な問題に衝突するか私のやる気が滅しない限りは
やります。
datは保存。HTML化は検討中。自宅鯖の予定。
datを保存するHDDは・・・70GBUSB2.0外付けのつもりだったんですが・・・
HDDが足りなくなってきたら古いのから消します。
インデックスってどうしたものでしょう・・・。板毎のディレクトリに入れてApacheのIndexes
じゃダメなのかな。
全文検索はnamazuによるものは置けます。
という感じなのですが・・・需要はありますでしょうか?
378:水先案名無い人
07/10/08 17:31:00 JgalR9Iu0
需要が無いって事はまず無いけど
やってる側がそのうち疲れちゃうんじゃなかろうか
379:水先案名無い人
07/10/08 17:39:07 d4A6xs8A0
>>377
あるとは思いますが
特定の板を完全カバー(というか現状全部は一つのマシンでは無理)の方がいいかと
ここにいけばログがあるっていうのが理想
みみずんとかにくちゃんねるも板コンプからみればないものが多々ありなんで
総合のログ補完を目指すのはかなりきついぞ
私は保管庫のない板で遣ろうと思いました
あとDAT収集スレはアトピー・アラスカ他の板でもやってる
そういえばスマ板は管理人さんが…
380:水先案名無い人
07/10/08 17:55:50 VKipEB2K0 BE:552258296-2BP(111)
>>379
なるほど
すべての板に対応しようとすれば中途半端になって
自分の色が出しづらいってのはありますね
逆に特定の板に対応するなら、その板の人にとってありがたいすわね
どの板にどこが対応されてるかは、mirrorhenkanに書いてありますので
参考にされてみてはいかがでしょうか
381:水先案名無い人
07/10/08 17:55:58 Scavrm0J0
>>378
それについては、2chのアドレスを入力すると
取得からアップロード、必要ならHTML化&インデックス更新などなどの手続きを
完全自動化し、私はスレを見て依頼を入力し、結果を書き込むだけにしたいと思うので
多分・・・もつかなと思うんですが・・・甘いんでしょうか?
実は取得&アップロードのためのスクリプトはもうできてます。
>>379
板コンプ・・・そこまでは流石にやるつもりはないです。
HDDの容量がきつくなったら古いのから消すといいましたが、「古いの」というのは
取得依頼を受けたものからというつもりですから、消えたらもう一度ご依頼ください、というスタンスの
つもりです。
アトピー・アラスカ板・スマ板
どれも全く知らない板です・・・
382:水先案名無い人
07/10/08 18:04:36 Scavrm0J0
>>380
特定板への対応ですか・・・
やるにしてもどこにしようかなぁ・・・
ちょっと考えてみます。
383:水先案名無い人
07/10/08 18:11:26 JgalR9Iu0
自動化ならあまり負担がかからないから大丈夫かな?
384:水先案名無い人
07/10/08 18:21:32 gGO+JxKR0 BE:365868364-2BP(445)
>>381さん
DAT屋
スレリンク(alaska板)
DAT屋ヾ( ゚д゚)ノ゛シナチクー
スレリンク(be板)
DAT落ちしたスレッドをHTML化します
スレリンク(atopi板)
dat落ちスレのミラー作ります@ymag
スレリンク(ymag板)
【スマ板】dat落ちのミラー作ります【限定】1
スレリンク(smap板)
それぞれ
アラスカ板・面白ネタニュース板・アトピー板・少年漫画板・SMAP板のスレッドです
とりあえず
あまり無理しないで下さい
385:水先案名無い人
07/10/08 18:46:44 Scavrm0J0
>>384
ありがとうございます。
んー、それでは、どこかの板に絞るのもなんだか面倒だし依頼のあったのを適当に
載せていくことにします。
386:水先案名無い人
07/10/08 21:42:06 Scavrm0J0
そんなわけでそこそこ準備できたのですが、
datの格納に必要なのはアドレスだけです。
「アドレスだけでも受け付けますよー」などと
「読めないdat落ちスレを読むためのGLine」スレに書いたらまずいでしょうか。
387:水先案名無い人
07/10/08 22:34:08 4P72+9at0
いきなり大々的にやると疲れちゃうだろうから、まずは制限付きで始めたらどうか
「今から22時まで受け付けます。漏れた人は後日再度依頼ください」みたいなw
388:水先案名無い人
07/10/08 22:48:06 Scavrm0J0
>>387
ふーむ・・・そうしてみますか。
かなり自動化するのでよほどのことがない限り大丈夫だと思うけどな。
レスコピペして取得スクリプトに投げるだけ、という感じにまで自動化するつもりなので。
389:水先案名無い人
07/10/08 23:18:06 dtXqaj6J0
暇つぶしにやるぐらいの気持ちじゃないと疲れると思うお。
ルクダル氏の頃から見てると、移転やデリで存在しないスレも割とあったよ。
そういうのにレスするのも結構手間だと思うんだよね。
まぁ、「うpされてなかったスレは移転か(ry。よく調べて再依頼してね」と予め断わっておいて
個々の質問は一切スルーするならそれほど面倒じゃないかもしれませんけどねw
390:水先案名無い人
07/10/08 23:23:12 Scavrm0J0
>>389
依頼レスから行単位で正規表現で鯖と板と鍵抜き出し。
そんでもって取得試行、という感じ。
取得結果は依頼者には悪いんだが「成功」「失敗」をアドレスごとに出して、
成功についてはうp先を併記、というだけにする。
ちなみに・・・依頼されたスレが既に格納されているなら取得の試行すらしないで
「成功」を返すという手抜きで行きますw
391:水先案名無い人
07/10/09 16:03:01 WFxT11oQ0
datだけの保存にするか、HTMLだけにするかそれとも
容量食うの覚悟で両方にするかでとても迷っています。
datだけなら処理はとても簡単、容量も食わない。ただし見るのめんどい。
HTMLだけなら処理はちょっと複雑、容量もまぁ食わない。見るの簡単。
両方なら処理はちょっと複雑、容量けっこう食う。見るの簡単。
さぁどれがいいでしょうか。
自分がラクをしたいし、datさえあれば変換は●なくてもできるでしょ?
ですから、なんか意見がつかなければdatだけにしようと思います。
ちなみに運用開始後、途中で変更するのはかなりやりたくないです。
392:水先案名無い人
07/10/09 16:08:21 j8N1Qa4Q0
datだけで良いのでは。
で、みみずんさんの所のように
dattohtml.plみたいなものを付ければ問題ないと思うです
393:水先案名無い人
07/10/09 16:34:36 WFxT11oQ0
>>392
前もって変換という形ではなく、ウェブブラウザからのアクセス時に
変換する、というのですね。
それもいいな・・・と思って、そういうスクリプトどっかに落ちてないかと
探しているのですが・・・見つからないです。
これも自分で作らなきゃなのかなぁ。
394:水先案名無い人
07/10/09 16:41:40 KFDTqyE20
2ch型掲示板を置くとか・・・冗談ですw
負担と感じるなら手を広げない方がいいと思うです
395:水先案名無い人
07/10/09 16:45:31 WFxT11oQ0
>>394
まぁ見つからないので自分で作ります。
といってもアクセスがあったタイミングでDAT2HTML.EXEを起動して
変換というお粗末なものですけどねー。
> 2ch型掲示板を置くとか
2chと同じログ形式の掲示板があってライセンスが許せば、そいつのコードを
一部借りたりするんですがそれすら見つからず。
396:水先案名無い人
07/10/09 17:15:29 k3uRd7xb0
Win鯖ならTatsu氏のdat2html.exeをcgiとして動かせないかな?
397:水先案名無い人
07/10/09 17:20:24 WFxT11oQ0
>>396
あれって単体でCGIとして動くんですか?
まぁ・・・そもそもWin鯖じゃないんですが・・・Linux鯖ですけど・・・。
398:水先案名無い人
07/10/09 17:36:34 HTQPCqIg0
コマンドラインツールだけど、単体じゃムリです(;^ω^)
Linuxでしたか。DAT2HTML.EXEって書いてあったからWin鯖かとw
ライセンスOKなら0ch BBSなどのソースが流用できないかな
399:水先案名無い人
07/10/09 17:48:32 WFxT11oQ0
>>398
おー、サンクスです。
なんとかなりそうです。
400:水先案名無い人
07/10/09 17:52:41 WFxT11oQ0
>>398
DAT2HTML.EXEについては、
実はですね、鯖そのものはLinuxなんですが、一応Win用バイナリが
動かせます。
エミューレータってやつですね。ですから、DAT2HTML.EXEを使って
HTMLへの変換はLinux鯖であるにも関わらず可能なのでした。
(WinエミュレータはWineというやつです。)
0ch BBSのスクリプトを借りてなんとかなりそうです・・・。
401:水先案名無い人
07/10/09 18:24:21 i6X3H3GD0
どっかにread.cgi転がってたと思う
~氏read.cgiだったか
ある程度わかってる人ならわりと簡単に作れるらしいが・・・
402:水先案名無い人
07/10/09 19:10:56 tiZL9kgy0
html2datはちょっと面倒くさいけど、dat2htmlはcgiやタグの知識がある人なら
1から作ってもそんな面倒じゃないと思う。
Tatsu氏のhtml2datのようにいろんな付加機能を付けるなら別だけど。
漏れは両方作ったけど、HD突然死で何もかも吹っ飛んでしまった(´;ω;`)ブワッ
403:水先案名無い人
07/10/09 19:33:36 WFxT11oQ0
>>401-402
見つからないです・・・なんか探すのも面倒なんで自前の方向で。
確かにdatからhtmlなんてそれほど面倒じゃないですね。
HD突然死・・・怖いですねー
一通りできたらスクリプト公開しようかなー
404:水先案名無い人
07/10/09 20:59:57 4zBmodU60
昔のdatはフィールド区切りが「,」になってて、「,」自身は「@`」だったかな?
こっちのフォーマットも対応します?
あ、うろ覚えなんで詳しい事は検索してください(汗
405:水先案名無い人
07/10/09 21:11:31 WFxT11oQ0
>>404
しません。なぜなら面倒だからです。
406:374
07/10/10 18:30:37 N8TYNGyP0
>>375-376
ありがとうございました!
407:水先案名無い人
07/10/11 00:06:07 lujXnITJ0
ウェブブラウザからのアクセス時にHTMLに変換して出力っていうのは
いろいろごにょごにょしたらなんとかできた。
あとは必要に応じて古いdatを消去する仕組みを作れば開始できる・・・。
408:水先案名無い人
07/10/11 19:17:39 hK1ggSU70 BE:368173049-2BP(111)
>>407
もし70GBあるなら、とりあえず始めてから考えてもいいんじゃないでしょうか
409:水先案名無い人
07/10/11 19:30:25 L5Nf8uvm0
>>408
んー・・・まぁあとすこしで、一通り完成。
その後、サイズ制限を10MBぐらいにしていくつか取得してみて上手く動くかテスト。
それから開始としますよ。
多分来週ぐらいには開始できると思いますよ。
410:水先案名無い人
07/10/11 20:33:24 e1Xrq46S0
漏れならctontabで削除スクリプトを1日一回実行かな
411:水先案名無い人
07/10/11 20:56:07 L5Nf8uvm0
>>410
実はもう完成したのでこれから注意事項諸々を書いて、それから「・・・読むためのGline」本スレ
の方で依頼を受け付ける旨書きます。
取得スクリプトがduコマンドで容量を調べて70GBを超えてたら20個をさっくり削除する方式で
行きますよ。ってかもう作っちゃいました。
412:水先案名無い人
07/10/11 22:34:13 mz4gWWJN0
公示前にβテスト版公開されるお気持ちがあるなら、変換htmlが腐ってないかwとか見ましょうか?
413:水先案名無い人
07/10/11 22:51:17 L5Nf8uvm0
>>412
変換HTMLはTatsu氏によるDAT2HTML.EXEを使ってしていますから多分大丈夫かと。
414:水先案名無い人
07/10/11 23:51:25 Hu44V28R0
たまに壊れていたりとか
荒らしの大量のアンカーとかでエラーはいてへんかんできなかったことはある
415:水先案名無い人
07/10/11 23:58:39 L5Nf8uvm0
>>414
ウェブブラウザからのアクセスのたびに変換処理が行われます。
ですから更新で直るかもしれません。
DAT2HTML.EXEでの変換が上手く機能しない場合はお手数ですがdatの方をご利用ください・・・。
416:水先案名無い人
07/10/12 02:30:24 k8PL54tl0
>>415
そのDATしか利用できない場合の話です
あまり関係ないがウイルスコード(誤検知とかも)
とかはどうなるんかなあと
あと↓みたいに本家の過去ログ倉庫にないものは
スレリンク(occult板) (削除分で移転の表示が出る)
最初からNGにしといたほうがいいよ
依頼スレにもあったほうがいいんではないかとは思うが
たまにwebアーカイブとかにあったりするが・・・
417:水先案名無い人
07/10/12 17:27:08 XGUpu3cP0
>>416
ウィルスコード(及び誤検知)についてですが、特別に処理はしていませんので2chからの取得時そのままと
なります。ですから、2ch側より取得したdatファイルにそのような記述があれば当然、
サイトにアップロードされるdatファイル、及びそれを元にして生成されるHTML化されたログもそのような記述を
含みます。
また、HTML化は全てDAT2HTML.EXEに一任しています。DAT2HTML.EXEの出力したHTMLを多少加工した後、
ウェブブラウザに送信しています。
万が一、削除して欲しい内容がある場合については、2chの削除要請板に過去ログ削除についてのスレッドが
ありますのでそちらで2chの過去ログをまず削除してください。それから私に取得のやり直しをご依頼ください。
2chを過去ログを可能な限り忠実に複製するのが目的ですので、2chのログに更なる加工をして公開すること
は致しかねます。
●を使って取得を試みた際、移転・削除諸々の理由によって取得できない場合(取得した文字列が正しいdat
の形式をしていない)場合は、取得に失敗した、として保存しません。
取得の失敗の詳細の理由については、原則お教えしません。私がヒマなときには教えます。
そうでなければ取得に失敗した旨のみお伝えします。
418:水先案名無い人
07/10/12 19:41:46 G6n5J/Pl0
ところで回線はFTTH?
今は知らないけど、昔みみずんがADSLと聞いて驚愕した(;^ω^)
419:水先案名無い人
07/10/12 19:56:25 XGUpu3cP0
>>418
そーですよ
420:水先案名無い人
07/10/12 20:54:37 WoSMA+ia0 BE:184086836-2BP(111)
>>419
すごいレスの反応が早いですけど、(肉体的に)大丈夫ですか?
421:水先案名無い人
07/10/12 20:57:24 XGUpu3cP0
>>420
今のところ在宅時間中は結構頻繁に見ています。
まー今現在はヒマってことですねー。
422:水先案名無い人
07/10/12 20:58:49 z7KJg2dY0
>>418
あの頃ならADSL鯖なんて珍しいものでは無かったろうに
自宅鯖を歓迎してくれるISPって今ならどこなんだろう
大手はどこもかしこも帯域絞るorさっさと出てけって対応だし
423:水先案名無い人
07/10/12 22:11:10 c5ulgWiu0
うp先のディレクトリはどういう構成にされる予定ですか?
要望を受け入れてもらえるなら、2chURLから取ったディレクトリにしていただけるとありがたいです。
hogehoge/gline/dat/1165245437.dat とか
hogehoge/gline/1165245437.dat みたいな。
hogehoge/1165245437.dat という風に全板ベタでも構いません。
こうされますと、うpされたログを外部コマンドで簡単に落とせますし、
うp先をいちいち貼らなくても「今日分うpしましたー」だけで済みますよね?(w
逆に、
hogehoge/20071012/1165245437.dat とか
hogehoge/ita1/1165245437.dat みたいにオリジナルのディレクトリ名を付けられますと、
外部コマンドによるDLは不可能・・・とは言いませんがたいへん面倒になります。
424:水先案名無い人
07/10/12 22:26:04 XGUpu3cP0
>>423
この板の「読めないdat落ちスレを読むためのGLine[91]」スレで既に幾つか依頼を受けています
のでそちらでの取得報告などをご覧いただければ判ると思います。
とても規則的です。外部コマンドなどによる取得も容易だろうと思います。
「今日分うpしましたー」とか書くだけで済ませても良いのですが、実は取得結果報告については取得スクリプトが
出力したものをコピペするだけで、上記のアドレス生成も自動ですので、アップロード先を・・・いちいちというわけでは
ありませんが、毎回書きます。
425:水先案名無い人
07/10/13 00:00:59 3Q6a2tG40
mirrorhenkanと連動したら面白いことになりそうだな
426:水先案名無い人
07/10/13 00:43:33 HqjKW5pV0
>>425
連動?どのように連動するのかよく判りませんが・・・
mirrorhenkanでスレッドを検索したときに、私のサイトでの状況が表示されるということでしょうか?
それならご自由にどうぞ。
427:水先案名無い人
07/10/13 00:50:34 HqjKW5pV0
あるスレッドが格納されているかを調べるには、
URLリンク(takatyan.ddo.jp)
に「鯖/板/鍵.dat」が含まれているかどうかで判ります。
view_html.cgiが結構重たいんですよね。それほど大きくないdatでもCPU1秒使いますから。
そのうち暇を見つけてHTMLを変換したものを幾つかキャッシュしておくようにしたいです・・・。
428:水先案名無い人
07/10/13 01:18:57 iM7jYLyU0
それはwineが重いって事?
429:水先案名無い人
07/10/13 01:40:13 3Q6a2tG40
>>426
まあ”アホ”な考えなんだが時間あたりのリクエスト”回数を制限”して
指定URLしたを取得できるようになったら上で
(リクエストフォームを作ってその場で出るようにしたら便利)
mirrorhenkanでスレッドを検索したときにリクエストしたURLを
取得できたらすごいかなと
あんまりやると●アカウントが焼かれるだろうが・・・
別の話だけど昔●アカ晒して停止とかあったしなあ
430:水先案名無い人
07/10/13 07:47:56 HqjKW5pV0
>>428
どうもそのようです。
>>429
それ考えたんですが・・・●の利用規約に「共有の禁止」とかそういうような
ことが書いてあるんです。
●の仕組み(DOLIBでググると判る)をご覧頂くと判ると思うのですが、●でdatを取得するには
offlaw.cgiという専用のスクリプトにアクセスします。
・・・「offlaw.cgi経由でdatを取得する」これは●ただ一つの公式な機能ですから、過去ログの
取得についてやりすぎとかは考える必要はないと思います。1秒間に10回アクセスするとかの
クロール行為でなければ。
ただ、自動で取得までというのは流石にまずいかなーと思っているので、その予定はないです。
一時は真剣に考えました。しかし、●焼きが怖いので手動でのアクセスに留めます。
431:水先案名無い人
07/10/14 08:44:11 x41Z4KB10
html変換に1秒以上かぁ
依頼数にもよるが、うp報告した後の鯖は辛いかもしれんな
まぁ、にくちゃんねるみたいないつでもどこでもドゾーってタイプの
ミラーサーバーじゃないからそんなに来ないか
432:水先案名無い人
07/10/14 09:46:35 cyzHcNFB0
>>431
もうHTMLをキャッシュするようになりましたんで問題ないかと。
変換したHTMLを鯖サイドでキャッシュしておきます。
キャッシュは毎日午前6時ぐらいにクリアされます。
433:水先案名無い人
07/10/14 15:11:00 cyzHcNFB0
view_html.cgiについて、
gzip圧縮転送とクライアントサイドのキャッシュを利用するようにも改良してみましたー。
鯖側のキャッシュの生成日時とIf-Modified-Sinceヘッダによっては、
クライアントに304 Not Modifiedを返します。
・・・あんまり依頼が来ないんで拍子抜け。まぁ多すぎて潰されるよりはいいかな。
434:水先案名無い人
07/10/14 16:28:14 /adJevqQ0
ルクダル氏のような怒涛のうpする人がいなくなって離れていった人も多いと思う。
継続すれば徐々に増えていくんじゃないかな。
435:水先案名無い人
07/10/14 16:32:21 t6jpC8GI0
>>432
キャッシュのヒット率を統計とるといいと思います。
あまり効果出てないようなら、依頼増える前にdat2html.exeからの脱却も考えた方がいいかも。
436:水先案名無い人
07/10/14 16:39:27 cyzHcNFB0
>>434
正直怒涛のうpする覚悟で来ました。
70GBでどのくらいのdatが格納できるのだろう?
「70GB / 512KB」を計算すると14万3360個。ほとんどのdatは512KB以下ですから
実際にはこれよりも多いでしょう。
1日100個のdatが依頼によって取得され、同数が消えると仮定すると、全てのdatが
入れ替わるのに、「14万3360個 / (100個/日) = 1433.6日 = 3.92506672 年」かかると
いう計算になりますね。
4年も続くんだろうか・・・1日100個も依頼来るんだろうか・・・
>>435
実はですね、一応dat2html.exeを使わない、自前のHTML変換も既に組み込んであって、切替は簡単です。
dat2html.exeだとレスのポップアップとかスレ内検索とかID抽出とかの機能があっていいんですけどね・・・。
キャッシュヒット率の統計・・・なるほど、では早速そのように改造します。
437:水先案名無い人
07/10/14 16:59:13 h2TycPzQ0 BE:245448364-2BP(111)
>>436
>正直怒涛のうpする覚悟で来ました。
ルクダルさんが現役バリバリでうpしまくってた時に、あなたのような方がいれば…と思います
ですが、今はあの時とは違います
2つあったスレは統合されて、一日にひとつ依頼があるかどうかってスレになってるんですよ
それは、663さんやmukiyuさん、パントさん、ピタハハさんたちの技術の改良と
私たち除去屋、そして●持ちさんと依頼者さんの努力の成果です。
それは誇っていいことだと思うのですね。
>1日100個も依頼来るんだろうか・・・
そういうことをやりたいのであれば、別の場所でやってください。
水を差すようなことを言って、申し訳ありません。
438:水先案名無い人
07/10/14 17:04:19 cyzHcNFB0
>>437
そうですか・・・新参者がでしゃばるのは良いことではありませんね。
淡々とやっていきます・・・。
>>1日100個も依頼来るんだろうか・・・
>そういうことをやりたいのであれば、別の場所でやってください。
>水を差すようなことを言って、申し訳ありません。
これはすみませんでした。「1日100個も依頼来るんだろうか・・・」というのは、
「1日に100個も依頼が来ては困りますし、そんなに沢山こないでしょう。ですから、>>436で行った、
『全てのdatが入れ替わるのにおよそ4年」という計算結果はそもそもの仮定からおかしく、意味は薄いでしょう。
ただ計算してみただけです。」
ということであり、実際に100個依頼が来ることを前提に、あるいは予想、意図したものではなかったのです。
439:水先案名無い人
07/10/14 17:57:29 TLGstC2Y0
どうでもいいが今持ってるDATがこんな感じ
dat数:217,551
容量:19,467MB
好き勝手に集めていてこれだから
依頼分だけだと80GBはなかなか埋まらなさそうだな
440:水先案名無い人
07/10/14 20:12:51 nCHIC4qr0
HTTPヘッダ(key)
URL: takayan 2ch mirror Redirect (Out)
URLのマッチ(URL)
$OHDR(User-Agent: Monazilla/1.00)$KEYCHK(^S)$KEYCHK(^C)
ヘッダ値のマッチ(Match)
http://([^.]+.(2ch.net|bbspink.com))\0(:80|)/([^/]+)\1/((kako/([0-9]+{4})\2/\2([0-9])\3/\2\3([0-9]+{5}.dat)\4|dat/([0-9]+{4})\2([0-9])\3
([0-9]+{5}.dat)\4)$SET(5=\2/\2\3)$SET(6=\2\3\4)|(kako/([0-9]+{3})\2/\2([0-9]+{6}.dat)\3|dat/([0-9]+{3})\2([0-9]+{6}.dat)\3)$SET(5=\2)$SET(6=\2\3))
置換するテキスト(Replace)
$RDIR(URLリンク(takatyan.ddo.jp))
441:水先案名無い人
07/10/15 23:45:01 BJL4i9Wh0
実況系なら山ほど依頼したいのが溜まってるんだけど…
442:水先案名無い人
07/10/15 23:57:24 Pcae66BJ0
>>441
URLリンク(takatyan.ddo.jp)
に掲示板を置いておいたので、●で取得できるものなら
そちらで依頼してください。
その場合は、依頼に対する応答もそちらの掲示板に
書きますので、依頼後暫くしてからまたおいでください。
443:ピタハハ ◆pietan/Tjo
07/10/17 12:43:52 3w4N8k+L0 BE:29929695-2BP(29)
久しぶりに来たら、急展開してるですねー。
>>436
datもhtmlもテキストなので、圧縮が凄い利きますよ。
うちの過去ログ倉庫はdatとhtml合わせて、
5万数千スレッド分で4.5Gbyteしかないですよ。
うちでやってるのは
1.全てをgzで保存しておく
2.apacheからリクエストをフックして、
Content-encodingヘッダを調べる
3.gzip受け取れるようなら、そのままファイルを流す。
4.gzipダメなら警告&強制ボタンを表示、押されたら解凍して流す。
こんな感じです。
あらかじめ圧縮された物を転送するので、
CPUにも回線にも優しいのです。
gzip未対応のダメbot対策にもなるですし。
444:水先案名無い人
07/10/17 17:34:22 0yzondy00
>>444ゲット
445:水先案名無い人
07/10/17 18:05:49 rtacAu7Y0
>>443
助言有難うございます。
gz圧縮・・・そんな手もありますね。
実は●でdatを取得すると、基本的には全部gzで圧縮されているんです。
それを解凍して保存している形になっています。・・・ムダですね、考えてみたら。
ただ、今のところdatへの参照は直接datにアクセスしてもらう形になっていて、今から
CGIを通すように変更するのも面倒でありますし、ちょっと強引な手を講じることにします。
1.2chより取得した圧縮済みデータはそのまま保存。
2.以下の細工をする。
ApacheのMultiViewを使って、「なんとか.dat」の要求に「なんとか.dat.gz」が送信されるようにする。
SetEnvIfで、Accept-Encodingにgzipがないとno-gzip環境変数がセットされるようにする。
no-gzip環境変数がセットされていないと、Content-Encoding: gzipレスポンスヘッダが送信される。
そんで、no-gzip環境変数がセットされているとき、datへの要求が別に用意したPerlで書かれた
フィルタに通されて、解凍して送信される。
これで理論的にはバッチリ。今日はHTML化CGIを改造し、圧縮されていた場合は解凍して
DAT2HTML.EXEを起動するようにしました。他については後ほど。
ダメbot・・・そもそも私はdatのディレクトリはbot弾いています。HTML化CGI経由は弾いていません。
446:水先案名無い人
07/10/18 11:12:19 5Z12F8kc0 BE:686002695-2BP(445)
>takatyanさん(とお呼びして良いでしょうか)
datファイルなのですが
URLリンク(takatyan.ddo.jp)
または
URLリンク(takatyan.ddo.jp)
をクリックするとダウンロード画面になって
ローカル保存したファイルを解凍しても「壊れています」と出るのですが
私の環境でだけ出る話なのでしょうか。
他の方々が試してみて無問題だったらごめんなさいなのですが。
もしかしたら >>348-352のように
gzipファイルをgzip転送してあって
二重に解凍しなければならないのでしょうか。
また、htmltodatで上記ファイルを読み込んでも
gzipされたファイルが表示されてしまうのですが
何か対処方法がありますでしょうか。
話のついでの別件なのですが
FireFoxを入れている方、下のURLは読み込めるでしょうか。
他スレで出して IE6/IE7/Opera/Bagelでは読めるとの事ですが
FireFox持ちの方が来ないまま 次の話題になってしまったので。
URLリンク(mirrorhenkan.hp.infoseek.co.jp)
447:水先案名無い人
07/10/18 12:11:04 MxcoQVX60
>>446
読めましたよ、Firefox 2.0.0.7 です。
448:ピタハハ ◆pietan/Tjo
07/10/18 15:41:40 4+nBWk1q0 BE:5321524-2BP(29)
>>445
MultiViewですか。
それは面白いですね。
ちょっと目から鱗です。
>>446
>下のURLは読み込めるでしょうか。
凄くどうでもイイですが、Netscape7とNetscape4では両方読めませんでした('∀`;)
でも一昨日リリースされた、Netscape9ではちゃんと読めました。
449:水先案名無い人
07/10/18 15:47:05 t8G0is+r0
>>446
うちは二つとも読めたよ。
上のdatはgzがかかってるwので、dat→dat.gzにリネームして解凍すべし。
下のmirror変換のはうちでも読めた。Firefox 2.0.01
450:水先案名無い人
07/10/18 18:11:55 egdIhOH20
あれ、トラブル続出(´・ω・`)
どうやらレスポンスヘッダの処理に問題があるようです。
ヘッダはApache側で処理しているのでどうもなかなか難しい・・・。
基本的には、.dat.gzでアクセスされると必ずgzip圧縮済みデータが、
.datでアクセスされるとAccept-Encodingリクエストヘッダの有無で解凍されたり圧縮されたまま
返されるようにしたつもりだったのですが・・・。
今直しておりますのでお待ちください。
451:水先案名無い人
07/10/18 20:57:18 egdIhOH20
なんとかまともになったかもしれません・・・。
結局MultiViewとか止めて、mod_rewriteで対応することにしました。
mod_rewriteで必要に応じてdatへのアクセスはCGI経由に置き換えられます。
で、別途解凍処理を行うようなCGIを用意しておいて、必要に応じてこれが呼ばれて
解凍されます。
452:水先案名無い人
07/10/19 00:47:26 Ozw56vxY0
datもCGI経由なのか
453:水先案名無い人
07/10/19 16:53:20 8FVHfmR70
>>452
少なくとも今現在は、
.dat.gzでアクセスされるとCGIを経由しませんが、
.datでアクセスされるとCGI経由です。
454:水先案名無い人
07/10/20 00:20:45 2Wx8Wa9m0
datのMIMEタイプってtext/plainのほうがいいのかなぁ・・・
datってブラウザで見てもしょうがないし、ダウンロードさせたほうがいいと思って
わざとへんなMIMEタイプを返すようにしているんだけど・・・
455:水先案名無い人
07/10/21 02:15:28 9AP5mPFV0
>>454
text/plainだとスレの内容確認ができるし、
その後でも名前を付けて保存できるので一票。
>>436
"怒涛のうp"ならまさにこれではないですかw
スレリンク(download板)
取得自動化スクリプトもあるようですし、このソフトと
自鯖組み合わせると管理の負荷が減りそうな気も。
(ソフトはWindowsベースですが)
456:水先案名無い人
07/10/21 08:30:47 gdrbNVgZ0
text/plainじゃないとオミトロン経由の専ブラがdatを取り込めなかった事があったお。
アレはかちゅ~しゃだったかな。他の専ブラは問題なかったと思うけど、昔の事なんで自信ない。
457:水先案名無い人
07/10/21 09:59:36 h9PA2v0C0
>>455-456
text/plainにしました・・・。
>>455
実は既に試みたんですが・・・o2onが例のWindowsエミュレータで
上手く動かないんですよ。
起動はするんですが、なんか管理用WEBに上手く接続できないとか・・・。
起動はするんでなんとかなるのかもしれんなあ・・・あとでまた試行します。
458:水先案名無い人
07/10/21 20:36:40 h9PA2v0C0
>>455
o2onをもう一回やってみよう・・・と思ったけど、
そういえばdatは全部gzip圧縮してしまったんでした 無理ですね\(^o^)/
459:水先案名無い人
07/10/22 02:16:03 DOmm5xI70
別ドライブに解凍メンドクセか
460:水先案名無い人
07/10/22 12:09:35 EZooYtal0
>>384に追加
昔板より
■ 過去ログのhtml化2
スレリンク(mukashi板)l50
461:水先案名無い人
07/10/22 22:52:55 Mj0GsuXH0
やれやれ・・・今日の5時ぐらいに、
うちの前を通ったクレーン付きトラックが光ケーブルにクレーンを引っ掛けて切ってしまった・・・
やっと直りました。
>>459
解凍しておいとく別ドライブがないよ!
解凍そのものはgzipコマンドで再帰的処理を使えば簡単だけどさ。
462:水先案名無い人
07/10/23 00:22:17 owwBod6M0
再帰処理はいいとして振り分けるのも大変な気も
それも簡単にできそうだが…
7zかrarあたりで圧縮してディスクに焼くとか
463:水先案名無い人
07/10/24 11:27:05 qkl0js+/0
PINKのなんでも板
【Jane】過去ログhtml化 in BBSPINK 【専用】
スレリンク(eromog2板)
464:水先案名無い人
07/10/25 03:02:56 4Jdi7yPF0
DTM板
dat落ちしたスレをすぐに報告するスレ
スレリンク(dtm板)l50
465:水先案名無い人
07/10/27 09:54:19 qQE06ALW0
本スレの1000が近づいてきたようですが、
ご存知のようにガ板では●orモリタポがないとスレ立てできませんので、
このスレを見ている●orモリタポをお持ちのエロい人、
次スレをおながいします。
・現行スレ
読めないdat落ちスレを読むためのGLine[91]
スレリンク(gline板)
466:天婦羅テスト
07/10/27 13:40:46 csE2u3680
ここはdat落ちして読めないスレをhtmlに変換するorしてもらうスレです。
専用ブラウザ用のdatをご希望の方もここでどうぞ
まずURLリンク(www.geocities.jp)を開いて
dat落ちしたスレのURLを入力して検索してみて下さい。話はそれからです。
以下>>2-10あたりを読み、テンプレに従って依頼して下さい。
【依頼は1日に2スレまで】でお願いします。
依頼テンプレ(>>5)にのっとっていない依頼は無視します。
467:天婦羅テスト
07/10/27 13:42:32 csE2u3680
前スレ 読めないdat落ちスレを読むためのGLine[91]
スレリンク(gline板)
運営スレ 読めないdat落ちスレのhtmlミラー避難所[2]
スレリンク(gline板)
★ルクダルさんは引退しました。長い間ご苦労様でした。
★スレが表示できない場合は鯖移転の可能性があります。
URLリンク(rock.s54.xrea.com)を参考に鯖名をいじって入れてみてください。
★大切な過去ログは自分のパソコンに保存しておきましょう。
今はネット上に存在しているサイトも明日になれば消滅しているかもしれません。
★内容は覚えているけどURLがわからないときは、以下のスレに頼んでみましょう。
[資料室] 行方不明スレッド捜索します。 その6
スレリンク(dataroom板)
[ガイドライン] 行方不明スレッド捜索します。 その6
スレリンク(gline板)
468:天婦羅テスト
07/10/27 13:43:28 csE2u3680
★依頼の仕方
どうしても見つからなかった場合のみ>>5のフォームを使用して見たいスレのURLを書き込んでください。
現在は心の広い●持ちサン達が特別にログ提供してくれている状況ですので
すべての依頼に応じられるとは限りません。
ログ提供者の機嫌を損ねる言動はご遠慮ください。ログ提供者がいなくなればスレが成り立たなくなります
★個人情報流出が心配で●を買ってない人はモリタポを買ってみてください。
モリタポ代金の振込みは匿名決済方式です。登録時にもメルアド以外の情報は伝える必要はありません。
モリタポを持っていれば1スレ50モリタポ(日本円換算5円)で過去スレを見ることができます。
詳しくは2ch検索(URLリンク(find.2ch.net))の該当するページをご覧ください。
469:水先案名無い人
07/10/27 13:44:13 csE2u3680
その10の見方
1.URLリンク(find.2ch.net)で登録(無料)。この際メールアドレスが必要なのに注意
2.mirrorhenkanのdatへのリンクを左クリックしてログインしてdatを落とす
3.落としたdatをDAT2HTML等でhtml化
関連URL
2ch DAT落ちスレ ミラー変換スクリプトについて考える掲示板
URLリンク(yy14.kakiko.com)
Tatsu's Toolbox(DAT2HTMLの作者の方のサイト)
URLリンク(tatsu01.at.infoseek.co.jp)
気まぐれサポート掲示板(htmltodatの作者の方の掲示板)
URLリンク(jbbs.livedoor.jp)
ミラーの変換公式@2ch
URLリンク(jbbs.livedoor.jp)
ミラーの変換公式@bbspink
URLリンク(jbbs.livedoor.jp)
470:天婦羅テスト
07/10/27 13:45:03 csE2u3680
依頼テンプレ(これで依頼して下さい。書式不備の場合はれられます)
【1】:テンプレを読みましたか?
(はい・いいえ)
【2】:スレッドのURL(1日2スレ以内)
【3】:(【2】のスレッドについて)既にhtmlミラーがあるかどうか
URLリンク(www.geocities.jp)で検索しましたか?
(はい・いいえ)
【4】:【3】のフォームで探したが、見つかったhtmlでは元スレの総レス数とは差異があった場合、
何レス目まで見られましたか?
見つかったレス数(最大) ***レス/元スレの総レス数 ***レス
471:天婦羅テスト
07/10/27 13:46:30 csE2u3680
各専用ブラウザごとの持ち込みdatへの対応リスト@659調べ
A ギコナビ Jane系
B live2ch ホットゾヌ twintail
C Abone URLリンク(www.geocities.jp)を使用…だそうです
かちゅ~しゃ URLリンク(www.geocities.jp)を使用
えまのん ローカルのdatを読み込む機能があるそうです
A .ログフォルダに入れてブラウザ再起動
B. ログフォルダに入れてブラウザ再起動後URLをアドレスバーに入れてスレッドを表示
C. その他
#これ以外の専用ブラウザ用のdatをご希望の方で
#生datでダメそうな場合はその旨書いて依頼してください
472:水先案名無い人
07/10/27 13:47:50 csE2u3680
何か変更などなればこれでレッツラゴーです。
スレ汚しサーセン
473:本スレの次スレです
07/10/27 14:26:41 csE2u3680
読めないdat落ちスレを読むためのGLine[92]
スレリンク(gline板)
474:364
07/11/15 19:58:12 ye+bJYlK0
もうすぐできそうだからあげ
475:364
07/11/16 19:38:32 S0ajdqFo0
晒してみる
URLリンク(occultycurrymania.myhome.cx)
476:水先案名無い人
07/11/23 11:30:40 9bh1ivvj0
ミラー変換機の「別窓変換」を使うと和塩に「ページが見つかりません」って言われるんだけど、
この症状が出るの俺だけですか?
#無印「変換」(=同じウィンドウで変換)なら問題なし
たとえばこのスレだと…
URLリンク(www.geocities.jp)スレリンク(gline板)
変換機の中の人がメンテかなんかしてるんでしょうか?
477:水先案名無い人
07/11/23 15:25:35 HGwwy5wT0
>>476
こっちは正常だよ