01/08/27 19:37 asPJm1Ug.net
●２ちゃんねる開発統合スレッド（連絡用）
URLﾘﾝｸ(piza2.2ch.net)
●キャッシュ型負荷分散システム開発スレッド （ここ）
URLﾘﾝｸ(cocoa.2ch.net)
●read.cgi開発スレッド（当面、bbs.cgiの話題も扱う）
URLﾘﾝｸ(piza2.2ch.net)
●動作報告・障害報告スレッド
URLﾘﾝｸ(teri.2ch.net)
●２ちゃんねるWiki（全体にわたる参照事項です）
URLﾘﾝｸ(www.gedoh.org)
3:￣ー￣)ノ
01/08/27 19:40 KeujS.U6.net
最新スクリプト
URLﾘﾝｸ(star.endless.ne.jp)
4:名無しさん＠お腹いっぱい。
01/08/27 19:41 0cm50H8s.net
とりあえず 本家サーバにROMのリクエストが来たら
305 Use Proxy
で追い返すって感じですかね？
5:
01/08/27 19:42 xheJAhZs.net
本家サーバにROMのリクエストが来たら
てきとーなキャッシュ鯖に飛ばすんじゃないのかな？
6:名無しさん＠お腹いっぱい。
01/08/27 19:44 xheJAhZs.net
基本的には、本家2ｃｈ鯖は、書き込み処理と
キャッシュ鯖への誘導って感じ？？
7:名無しさん＠お腹いっぱい。
01/08/27 19:46 cn52pBwI.net
この対応策は、ひろゆきさんの参加が絶対条件ですね。
8:￣ー￣)ノ
01/08/27 19:46 KeujS.U6.net
ＲＯＭの持ってるキャッシュとの差分だけ送るなんて器用な真似できませんかね
アクセスは専用ブラウザのみにして・・
9:名無しさん＠お腹いっぱい。
01/08/27 19:47 0cm50H8s.net
問題は そのキャッシュをどこに置くんじゃｺﾞﾙｧってとこか......
10:名無しさん＠お腹いっぱい。
01/08/27 19:47 vN9r/JlA.net
>>4
302 のほうが良いでしょう。
で、 >>5 が言ってるように
Location: でキャッシュ鯖にとばす、と。
11:名無しさん＠お腹いっぱい。
01/08/27 19:48 cn52pBwI.net
いまの２ちゃんねるの運用実績を見る限り、サーバの移転、仕様の変更、新規板の設立などは、よく言えばフレキシブル、悪く言うと前置きや準備なしにいきなり行われています。
こういうシステムになると、相互のコミュニケートが必要なので、ひろゆきさんが参加しないとお手上げでしょう。
12:Perler ◆GSi39OA6
01/08/27 19:51 95LP96f6.net
fURLﾘﾝｸ(210.170.170.131)
に、ダウンロード専用スクリプトをおきました。こいつをcronで走らせる算段です。
今のところデバッグで、tech板の取得しかしないです。
実行カレントDir以下の、dat/tech/dat/*datにキャッシュファイルを作ります。
このまま実行すると巨大になるので、キャッシュ管理ファイル(index.dat)も一緒に
アップロードしてあります。
./dat/tech/index.dat
に置くと、何個かのファイルしか取得してきません。
現在、index2.htmlの自動生成をやっています。差分取得はさらにその後です。
13:4
01/08/27 19:53 0cm50H8s.net
>>10 "302 Found"だと立てるサーバは「キャッシュ」というより「ミラー」と言った方が
しっくりくるけど......まぁ結果的に本家のトラフィックが減ればどっちでもいいんだけど
14:￣ー￣)ノ
01/08/27 19:55 KeujS.U6.net
２ｃｈへのアクセスは専用ブラウザｏｎｌｙにして
各専用ブラウザにキャッシュ持たせて
まず、Ｐ２Ｐで最も新しいキャッシュを探して
差分を本家サーバーから落とせたら・・・
15:名無しさん＠お腹いっぱい。
01/08/27 19:58 95LP96f6.net
>>14
> ２ｃｈへのアクセスは専用ブラウザｏｎｌｙにして
> 各専用ブラウザにキャッシュ持たせて
ここまでは、2ch.net上のread.cgiを消せばかちゅ～しゃ等が代わりになりますよね。
16:￣ー￣)ノ
01/08/27 19:59 KeujS.U6.net
URLﾘﾝｸ(star.endless.ne.jp)
URLﾘﾝｸ(star.endless.ne.jp)
アプしときました
17:名無しさん＠お腹いっぱい。
01/08/27 20:00 HuAyIkhI.net
つーか、なんで↓でやらないの？
URLﾘﾝｸ(piza2.2ch.net)
18:名無しさん ◆0CYhqCZM
01/08/27 20:01 6kfMn/mA.net
>>16
URLﾘﾝｸ(star.endless.ne.jp)は
URLﾘﾝｸ(star.endless.ne.jp)
にした方がいいのでは？
19:名無しさん＠お腹いっぱい。
01/08/27 20:03 95LP96f6.net
>>17
・実質、read.cgi部のミラー化でありP2Pじゃないこと
・既に仕様がある程度固まり、実際に開発に入ったため、仕様策定のスレッドと分ける必要性が
出てきたこと
以上の2つでスレ分けを提案しました。
20:￣ー￣)ノ
01/08/27 20:04 KeujS.U6.net
>>15
そうですね
で、専用ブラウザにＰ２Ｐの機能を持たせて
各２ちゃんねらー同士で最新キャッシュの問い合わせをしあって
まぁ、とりあえず本家サーバーから落とすのは差分データーのみに出来たら・・・・
でもこれだとキャッシュ問い合わせに時間がかかりすぎるかな？
21:￣ー￣)ノ
01/08/27 20:06 KeujS.U6.net
>>18
おっしゃる通りです
変更しときました
URLﾘﾝｸ(star.endless.ne.jp)
22:名無しさん＠お腹いっぱい。
01/08/27 20:07 HuAyIkhI.net
>>19
いや、>>14なんかはあっちで出てる案と似てるし、
別にあっちも完全P2P化で決定ってわけでもないですよ。
こっちは完全に固定キャッシュサーバでいくのなら分かれていても
いいですが、そうでないならまとまっていた方が効率が良いかな、と思いまして。
23:￣ー￣)ノ
01/08/27 20:11 KeujS.U6.net
とりあえずread.cgiに差分送信機能だけでも盛り込めないですかね
クライアントがＩＥだと難しいですかね
24:音楽侍 ◆NtVkSITE
01/08/27 20:14 cn52pBwI.net
>>22
ここは、サーバのミラーリング的手法だと思ったんですが。
P2Pとはちょっと違うと思います。
一緒にやるとたぶん混乱します。
25:んななし
01/08/27 20:18 wPSw05wY.net
>>10
というか、302にしないと、根スケ4.X(どれだったか忘れた）が、Locationを処理してくんないよ。
26:￣ー￣)ノ
01/08/27 20:22 KeujS.U6.net
サーバーのミラーリンクをBig-serverが許してくれるでしょうか・・
27:名無しさん＠お腹いっぱい。
01/08/27 20:32 RT358Ii..net
すげ、、このコード
sub connect_soc 勉強に使わせてもらいます>>perler様 （＾＾
部外者しつれい ROMに戻ります
28:Perler ◆GSi39OA6
01/08/27 20:43 95LP96f6.net
>>27
本来はモジュール使うべきところなんだけどね。。。＞connect_soc
あと10分ほどで、index2.html作成部をアップロードできると思います。
29:ななし
01/08/27 20:52 ev7f8jX..net
ひろゆきは今なにしてんだろ？、。
本人がでないと、かなり苦しいのでは？
30:Perler ◆GSi39OA6
01/08/27 20:53 95LP96f6.net
fURLﾘﾝｸ(210.170.170.131)
fURLﾘﾝｸ(210.170.170.131)
をアップロードしました。ディレクトリ構造は一緒です。
今のところ、index2.plは、ファイルスタンプをみてますので、多分sageに対応していないです。
sage対応は後ほど入れる予定。
mirror.plにコマンドライン引数が入れられるように改変中。
31:￣ー￣)ノ
01/08/27 20:53 KeujS.U6.net
ひろゆきと後Big-server側の人も来て欲しいね
32:￣ー￣)ノ
01/08/27 20:58 KeujS.U6.net
>>30
上のファイル無いけど？
33:名無しさん＠お腹いっぱい。
01/08/27 21:00 nDMTsrLE.net
>>30
＞sage対応は後ほど入れる予定。
一時的かもしれんが、今みたいに TOP10 も表示せず
スレッド一覧だけ表示するようになれば、、、
sage機能要らないじゃん？
34:27
01/08/27 21:01 Iph3USPw.net
なるほど、昨日のQuickhackといい勉強になりまくってます。
FW挟んでるんでテストに参加出来ないのが悲しいです。
度々しつれいします 今度こそROMに戻ります。
35:Perler ◆GSi39OA6
01/08/27 21:02 95LP96f6.net
>>651
お疲れ様です。ありがとうございました。
36:名無しさん＠お腹いっぱい。
01/08/27 21:03 5zQpe5GQ.net
>>21
今会社から帰ってきたんで何のコードかさっぱりわからないんだが、
#### ソケット S をバッファするようにする
select(S); $| = 1; select(stdout);
これってバッファしないようにする。じゃないかな
37:Perler ◆GSi39OA6
01/08/27 21:03 95LP96f6.net
>>32
すみません。mirror.pl.1入れなおしました。
38:￣ー￣)ノ
01/08/27 21:10 KeujS.U6.net
URLﾘﾝｸ(star.endless.ne.jp)
URLﾘﾝｸ(star.endless.ne.jp)
あげておきました
でも、index2.plはindex2.txtにリネームしてます
39:￣ー￣)ノ
01/08/27 21:12 KeujS.U6.net
URLﾘﾝｸ(star.endless.ne.jp)
じゃないですね
URLﾘﾝｸ(star.endless.ne.jp)
でした
40:名無しさん＠お腹いっぱい。
01/08/27 21:36 0cm50H8s.net
ところで ミラー側からpullするスクリプトができれば あとは本家側のread.cgi
とかで（ってか.htaccessのRedirectディレクティブでもいいんだっけ？）
リダイレクトさせればいいんだけど ミラーサーバをどこに置くのよ？ってのが
問題...... 本格的に動かしたら アクセス量は半端じゃないでしょう......
41:音楽侍 ◆NtVkSITE
01/08/27 21:43 cn52pBwI.net
なんか、うまく動いてくれないです・・・
error: open ./dat/tech/965815778.dat for writingで引っかかります。
いちおう、/dat/tech/は作ってあるのですが、datはあらかじめ必要なんでしょうか？
42:名無しさん＠お腹いっぱい。
01/08/27 21:50 tYWhFzr..net
最終的な解決はp2pあたりが有望だけど、サーバ、クライアントの開発や環境構築と
deamonが動かせる環境の確保が必要なのでしばらく時間がかかると思われ。
こちらは、基本的には現行のhttpを使用して、鯖の確保と受け渡しcgiの作成のみで
サクッと運用しちゃいましょうがテーマでしょう。
ただし、全板キャッシュするとそれなりの容量と帯域を使うので、最大で数百人～数千人が
利用しないと旨みが少ないし、板ごとのキャッシュじゃ2ch.netに振り分けの負荷が掛かる。
個人でこんなサーバを持つのは難しいので、対象はISP側のレンタルスペースが有望。
ただし、perl以外のcgiが許される所は少ないし、cronなんて・・・。
そのため、全投稿を受け付ける2ch.netのbbs.cgiへキャッシュ鯖への転送処理を入れ、
ミラー側では受け口となるmirror.cgiと、現行のread.cgiが走らすのが一番簡単そうな
感じがします。バケツリレー方式も可能だし、投稿ごとに送っても大丈夫。
ISP側の権利問題は、ミラー側で自由にフロントエンドを拡張できるので、その辺で解決。
あとは、ミラーのリンクを自動にしたら勝手に鯖は増えるけど、悪用されちゃうかな。
cgiもperl版を作れば、有志によるミラーが自然と増える気がします。
# ブラウザ側でも、JavaScriptでdatの展開しちゃえば、差分取り出しできそうですね
43:Perler ◆GSi39OA6
01/08/27 21:49 95LP96f6.net
>>41
dat/tech/dat/が必要です。。
44:名無しさん＠お腹いっぱい。
01/08/27 21:51 vN9r/JlA.net
>>40
確かにそうですね。
とりあえず過去ログ参照だけでもミラー鯖にしたほうが
転送料は減るんじゃないかな。
最低限１鯖を１０～２０のホストがミラーだな。
DNS ラウンドロビンだけじゃなくて 302 の Location で負荷分散
するなら、鯖数 50～100 はいけるかな？
あんまりキャッシュ鯖が増えたら意味無くなるかな？
３段構成くらいにして、master→slave→cache とか。
こうすれば、master の負荷は結構減るかな。
速報板とか、アクセスの激しいのはどうするべきだろうか。
45:音楽侍 ◆NtVkSITE
01/08/27 21:53 92bYvmYA.net
>>43
あ、了解です。
ディレクトリなかったら自動で作る仕組みも欲しいですね・・・
(というか、書けって怒られてしまいそう)
46:Perler ◆GSi39OA6
01/08/27 21:55 95LP96f6.net
>>44
>３段構成くらいにして、master→slave→cache とか。
これは視野に入れて開発してます。現行のmirror.plで対応可能。
というか、受け取ったデータをいじらずにそのまま
2ch.netと同じ階層構造で保存してやってるだけだけど。
47:Perler ◆GSi39OA6
01/08/27 22:05 95LP96f6.net
取得の方がrangeに対応してませんが、閲覧の方は問題なくできるように
なってきています。
そろそろプロパガンダも兼ねて公開テストも行いたいんですが、
誰かCGI利用可能なHTTPサーバーで公開しても良いという方はいませんかね。。。
48:名無しさん＠お腹いっぱい。
01/08/27 22:05 0cm50H8s.net
>>44 DNSのラウンドロビンでやったらカキコのアクセスもミラーの方に
行っちゃうけど......bbs.cgiへのアクセスを本家側にリダイレクトさせれば
いいんだろうけど ミラー側のaccess_logにPOSTの記録が残るのを嫌がる
人が出てくるかも......ってかPOSTを他のホストにリダイレクトさせると
ブラウザが警告を出すんじゃなかったっけ？
49:名無しさん＠お腹いっぱい。
01/08/27 22:09 0cm50H8s.net
オレの自宅で使ってるプロバイダ(CATV)はサーバ立て禁止......
仕事先のを使ったらｺﾞﾙｧになるだろうし......
50:名無しさん＠お腹いっぱい。
01/08/27 22:17 vN9r/JlA.net
>>48
POST、というか bbs.cgi 周辺は全て master に置けば解決。
とは逝っても信用出来ない鯖だと、
html の FORM action URI を書き換えてしまう
かもしれんな。
51:sage ◆qXAQxUxI
01/08/27 22:31 LNUidRsc.net
やっぱりURL自体を分散しようよ。
１．Oracle使って同期レプリケーションを組んで、
２．WebAPサーバをDBサーバと同じ台数稼動。
52:音楽侍 ◆NtVkSITE
01/08/27 22:34 92bYvmYA.net
>>47
こっそり建てることは出来ますけど、公開となるとちょっと。
53:49
01/08/27 22:37 0cm50H8s.net
>>52 同意(w まぁここの開発メンバぐらいしか来ないという確証が
あれば 仕事先のマシンにこっそり仕掛けることぐらいしても
バレないとは思うけど...... いや仕事先にバレるだけでなく
そのマシンがヘンなやつらに目をつけられちゃうと......
54:age ◆AWcg9OTs
01/08/27 22:39 LNUidRsc.net
>>52
確かに。うちもそう。
うちはインターリンクってゆープロバイダで
固定IPで立ててるけど、２ｃｈで公開なんか
しようもんなら、あまりのアクセスの多さに
文句くるだろうなあ。。。
関係ないっすけど、技術者集まって、一回
OFF会しません？
55:名無しさん＠お腹いっぱい。
01/08/27 22:40 eMjgyMpI.net
なんか NetNews のようなことができないかと考えてみたり。
56:Perler ◆GSi39OA6
01/08/27 22:43 95LP96f6.net
そうですよね。。。
ただ、現状でも、スレ立てて閲覧はミラーサーバーを使うようにお願いすれば、ある程度の負荷軽減は
達成できるんじゃないかと思うので、2ch側に説得力を持たせるには、公開実験が良いと
思ったんですが。。。
別の板で募集かけてみるってのはどうでしょうかね?
57:音楽侍 ◆NtVkSITE
01/08/27 22:48 92bYvmYA.net
>>54
場所にもよりますけど、出席しますよ
>>56
それこそ、夜勤さんにお願いするべきでは？
58:名無しさん＠お腹いっぱい。
01/08/27 22:51 vN9r/JlA.net
IP 直書きでも whois でスグに身元が割れちゃうからなぁ…
鯖、無いことは無いんだけど、
個人的な鯖は回線細すぎだし
そうじゃないのは、ネットワーク管理者にばれるとダメだし…
59:aki
01/08/27 22:54 Z/nLX8Y2.net
うーむ。
さすがにさくさたん怒っちゃうかなぁ。
テストぐらいなら大丈夫だとは思うけど……。
URLﾘﾝｸ(www.gedoh.org)
60:音楽侍 ◆NtVkSITE
01/08/27 22:58 92bYvmYA.net
>>59
akiさん、ありがとう。
61:Perler ◆GSi39OA6
01/08/27 22:58 95LP96f6.net
>>59
あ、ありがとうございます。
index2.plも試してみてもらえませんか?
mirror.plと同じ階層に置いて、
index2.pl tech
とするだけです。mirror.plからも一応呼び出すようになってます。
62:不実SUN
01/08/27 23:15 gI46IMVY.net
はじめからキャッシュありき、で行くのは如何なものか？
さまよえるオランダ人キャッシュまで到達するのであれば別ですが。
63:音楽侍 ◆NtVkSITE
01/08/27 23:18 92bYvmYA.net
>>62
提案レベルを作ってるって事でしょ？
64:名無しさん＠お腹いっぱい。
01/08/27 23:22 vN9r/JlA.net
>62
人が１カ月に２倍以上くらいのスピードで増えていて、
gzip, last-modified の改造でも 45% 前後しか転送量圧縮出来ない
とくれば、後は金を作るか、転送量を減らすかしか無いですからねぇ…
金がどうにもならない以上、転送量減らさないと。
何か名案はある？>62
とりあえず文章後半の意味がよくわからん。
65:名無しさん＠お腹いっぱい。
01/08/27 23:25 odYgYVgQ.net
>>55
URLﾘﾝｸ(piza.2ch.net)
66:名無し娘。 ◆vP.bOZFQ
01/08/27 23:29 ihlstQzQ.net
>>56
URLﾘﾝｸ(piza2.2ch.net)
で募集かけてみました。ご報告まで。
67:音楽侍 ◆NtVkSITE
01/08/27 23:38 92bYvmYA.net
Perlerさん、index2.plですが、実行時間を記録する仕組みって組み込めますか？
ものすごく作業に時間がかかっています。
68:Perler ◆GSi39OA6
01/08/27 23:42 95LP96f6.net
>>66
募集ありがとうございます。お手数掛けます。
>>67
index2.plがですか?
index2.plは一瞬で終わるはずなので、時間がかかっているのなら
どこかにバグがある可能性があります。
mirror.plは、index.datを入れておかないと、初回に全ログを採りに行くので
莫大な時間が掛かります。
ちょっと今日は明日早いので、寝てしまいます。計測は、
BEGIN{$EXT::time = time};
END{print time - $EXT::time}
とかじゃ駄目でしょうか?
69:音楽侍 ◆NtVkSITE
01/08/27 23:44 92bYvmYA.net
>>68
index2.plです。
どうも、2chにオリジナルを取りに行っている節がありますけど。
70:Perler ◆GSi39OA6
01/08/27 23:45 95LP96f6.net
物凄いバグ発見。
$countをクリアしてないので、レス数がすごいことになってます。
恥ずかしいが、明日直します。$count = 0;埋めるだけだし。
71:名無しさん
01/08/27 23:48 aVpbFkaw.net
ＲＯＭで応援している者ですが、プログラマ辞めて８年もたってるので
インターネット云々には疎くお手伝いできそうもありませんが、情報のみなら・・ということで
この間無料ＨＰ探して見つけた所なんですが
URLﾘﾝｸ(www.nurs.or.jp)
で借りれませんか？容量無制限、ＣＧＩ可
「当会では「ネットワークのより自由で高度な応用」を研究テーマとして活動しております」
と書いていますが？
さすがに誰も自分のアドレス公開できんと思うので取りあえず。
２ｃｈ入り初めて２週間くらい何で失礼ならすいません。
72:Perler ◆GSi39OA6
01/08/27 23:49 95LP96f6.net
>>69
すみません、お手数かけますが、
fURLﾘﾝｸ(210.170.170.131)
でやりなおしてみてもらえますか?
73:音楽侍 ◆NtVkSITE
01/08/27 23:51 92bYvmYA.net
>>72
了解です
74:aki
01/08/27 23:58 Z/nLX8Y2.net
実行してみました～。
あと、YukiWikiから、衝突に強いTikiに移行しました。
URLﾘﾝｸ(www.gedoh.org)
75:名無しさん＠お腹いっぱい。
01/08/27 23:59 plW.7Hb6.net
>71
そこ、おごちゃんのところじゃ無かったっけ？
２ｃｈのテストとなると、どうでしょ。貸してくれるかなあ。
76:Perler ◆GSi39OA6
01/08/27 23:59 95LP96f6.net
さてと、今度こそ寝ます。テスト環境の件などなどでで私と直接連絡とりたい方は、
perler_2ch@hotmail.com
までお願いします。皆さん大変でしょうが引き続き頑張ってください。
77:名無しさん＠お腹いっぱい。
01/08/28 00:01 2PfKaiYI.net
>75
おごちゃん、散々イジめたからなぁ。この板で…
78:_
01/08/28 00:02 W9iyzXDo.net
＞71
nursさんか・・・
個人でML運営させてもらってるので、アカウント作ってもらったとこだ。
自分のメインのメールアドレスもnurs。
ただ、いつも load average 高いです。今現在は 4～8程度。
知ってる人は知ってると思いますが、ここのrootはogochanです。
79:不実SUN
01/08/28 00:03 rAM8Mv0E.net
>>63 >>64
cacheに王道なし
ゆえに、血道をあげて最適化を図るしかないのがcache道。
できれば、最期の手段として取っておきたかったな、というのが本音です。
cacheしますよ、だけではproposalとして×。
ヒット率目標を明確にしないとPGが走れないと思う。
さまよえるオランダ人キャッシュっていうのは、
「誰からも90%以上のヒット率がえられるキャッシュ機構」のことです。
writeback非同期、turnback最小化が理想。
80:不実SUN
01/08/28 00:07 rAM8Mv0E.net
追記：
RISCがなぜあそこまでcachehitにこだわるか考えてみよ。
あれは、高いcachehit率に支えられないとうまく回らない
（つまりCISCにまける - ただ命令が長いだけの演算論理に成り下がる）論理だから、
ああいう風にしている。
81:名無しさん＠お腹いっぱい。
01/08/28 00:09 BxO2wZdU.net
>>79
今ここでやってる cache は、disk cache と違って
cache server にアクセスすれば必ず hit すると思うんですが…
今やってる cache は mirror だから。認識間違ってるかな。
そのうち本物の cache になるかどうかは今後次第ですね。
82:名無しさん＠お腹いっぱい。
01/08/28 00:10 Aid0VNNU.net
mirror.plで取ってきたものをread.cgiで読めるようにしてみました。
例えば、
URLﾘﾝｸ(202.247.106.47)
こんな感じで。.datは
973187725.dat 990101968.dat 994912940.dat 997791189.dat 998845501.dat
980342413.dat 990334284.dat 995044723.dat 997931422.dat 998878393.dat
981044659.dat 991795568.dat 995431899.dat 998329377.dat 998908559.dat
981726544.dat 993005709.dat 996151042.dat 998403891.dat 998914613.dat
981823340.dat 993186053.dat 996848309.dat 998444037.dat 998915621.dat
984182993.dat 993358225.dat 997045112.dat 998736516.dat 998921988.dat
985566190.dat 993736410.dat 997348797.dat 998808627.dat 998922784.dat
987698965.dat 993758383.dat 997686555.dat 998841754.dat 998924030.dat
とりあえず、こんだけあります。適当に試してみてください。
僕が誰だか詮索しないように。
83:＞不実SUN
01/08/28 00:14 2PfKaiYI.net
理屈ばっかだと、1/16,000 になっちまうぞ。(w
84:不実SUN
01/08/28 00:17 rAM8Mv0E.net
>>81
cacheの母体がCPUと同じところに乗っていようが、DISKに乗っていようが、
cacheする以上、必要な論理はただ一つです。
「mishit時のアクセスレスポンス < hit時のアクセスレスポンス」
あとは、
・この比を求める
・平均レスポンスをどのあたりに持っていきたいか策定する
・比と平均レスポンスから、何%hit以上をもくろむか策定する
ただし、過半数がゆったりした人orCachehit率100%付近を要求する、
ということであれば、私の意見はないに等しいです ただのうるさいオヤジということになります。
85:不実SUN
01/08/28 00:18 rAM8Mv0E.net
>>83
cacheの逆ザヤって結構ある話なんです。
私はそこだけ心配なので、
目標のあるcache戦略なのかな？
であれば、サルでもわかる解説があるはず！
と思ったまでです。
86:375 ◆MsUYMX0E
01/08/28 00:20 efUShCBo.net
皆様お疲れ様です。
P2P cache のほうはだいぶ下がっちゃったし実装待ちかな。
ところで
>>82
URLﾘﾝｸ(202.247.106.47)
でレスの１ と最後2つが表示されるのですが...
ls=XX の数字がずれてません？
何かずれた事いってたらごめんなさい。
87:７１
01/08/28 00:22 rHlhRBPU.net
なんかお役に立てませんでした。
駄文に返事下さり有り難うございました。
その時の履歴漁ったケド有料鯖以外でＣＧＩフリーって、なかなか無いですね。
しくしく
88:_
01/08/28 00:24 W9iyzXDo.net
URLﾘﾝｸ(cocoa.2ch.net)
URLﾘﾝｸ(cocoa.2ch.net)
全部でレス３つってことで、あってるのでは。
89:375 ◆MsUYMX0E
01/08/28 00:27 efUShCBo.net
>88
あ、すまそ..
もともとの仕様を勘違いしてた.. 鬱だ
90:名無しさん＠お腹いっぱい。
01/08/28 00:28 BxO2wZdU.net
>>84
いや、だから、今（少なくとも年内？）問題なのは 2ch.net ゾーンの
転送量ですので、2ch.net 以外のゾーンに cache server 置けば
cache サーバ使用時のレスポンスは今より悪くなる可能性はあるのでは。
でも背に腹は変えられないという訳です。
91:不実SUN
01/08/28 00:31 rAM8Mv0E.net
>>90
了解しました。
要はread専用にレプリカするためのもので、
それによって転送量総量の問題を分散させる、ということであれば
その範疇で組んでも大丈夫でしょう ほっ・・・
92:名無しさん＠お腹いっぱい。
01/08/28 00:32 Aid0VNNU.net
>>85
とりあえず、ミラーサーバに関しては、cacheによって高速化しよう
ということではなくて、有志のサーバ達に分担させて2chのトラフィッ
クを減らそうということです。
ADSLな上り512Kbpsな人が100人集まれば、50Mbpsの回線を提供できると。
93:名無しさん＠お腹いっぱい。
01/08/28 00:43 BxO2wZdU.net
>91
理解して頂けたようで良かった。
>92
残念ながら ISP の内部で帯域幅狭まると思われ。
地方から東京までの回線とか、結構狭いと思う。
# flets ADSL とか、IP どう割り振ってるんだろう。
94:aki
01/08/28 00:46 LkIGICBw.net
大手ISPごとに居ると嬉しいんですけどね。
なかなかそうも行かないところ。
とりあえずBフレッツ来たらミラーしてもいいです。
95:名無しさん＠お腹いっぱい。
01/08/28 00:48 eBDPPdIg.net
URLﾘﾝｸ(203.174.72.113)
96:名無しさん＠お腹いっぱい。
01/08/28 01:05 2PfKaiYI.net
goo 重いね。やっぱ IIS だから？
97:名無しさん＠お腹いっぱい。
01/08/28 01:14 6KYLBzZ..net
URLﾘﾝｸ(teri.2ch.net)
もうダメなのか？
98:名無しさん＠お腹いっぱい。
01/08/28 01:53 2BmjueCw.net
To:97
URLﾘﾝｸ(kaba.2ch.net)
隊長暴走気味。
99:名無しさん＠お腹いっぱい。
01/08/28 02:27 qx8hbEL..net
あきらめたらいかん。
100:名無しさん＠お腹いっぱい。
01/08/28 02:35 nhadVYlY.net
プログラマ版は必死でやってる。
最後の1秒まであきらめたらあかん。
101:名無しさん＠お腹いっぱい。
01/08/28 06:45 QuisIe3w.net
>>100
というか、ここにいた人がプログラム板に逝ってるんですが。
102:Perler ◆GSi39OA6
01/08/28 12:07 0ST40Qqw.net
キャッシュサーバー案の方は、テストですらサーバーを提供してくれる
人がいないという事で頓挫しつつありますな。。。
閉鎖しかけた時に「うちのを使ってくれ!」って人が結構いたんで、
多少期待していたんですが。
どなたか、index2.pl動かしてうまく行った人いらっしゃいますか?
103:名無しさん＠お腹いっぱい。
01/08/28 12:11 6S1uJJBo.net
>>102 うーん......本質的には キャッシュ／ミラーサーバを用意するにしても
その管理者がどうなのか......ということで利用者の方も引いてしまうことも
考えられますね ひろゆき自身が動いてくれないと......
104:Perler ◆GSi39OA6
01/08/28 12:28 0ST40Qqw.net
>>103
うーん、書き込みは2ch.netを使うので、書き込んだ人のIPは今までどおり
保護されますが、やはり読む側のIP保護も必要とされてるんでしょうか？
個人的には読む側のプライバシーは不要だと思っているのですが。。。
実際、世の中の殆どのサーバーが、閲覧者のIPを保存してるわけで
すし、実際悪用しようにも方法が思いつかないです。
ひろゆき氏の登場を待つまでもなく、
現状でも、キャッシュ版index2.htmlへのリンク一覧を専用スレに
張って人力で誘導すればある程度の負荷削減になると考えて
キャッシュサーバー稼動の参加者を募っています。
しかし、個人的には、究極的ですが
・負荷過多のため、2ch.net側がread.cgiを次々と止めてしまう。
・応急処置としてmirror.plを立ち上げるボランティア・サーバーが出現
・ユーザーが次第にそちらへ流れて結果的に負荷削減
という流れが荒療治ですが自然だと思っています。
そういえば、現在read.cgi「だけ」止まっているサーバーってあるのでしょうか?
あるのでしたら、そこのミラー化が一番の実験課題だと思うのですが。
105:82
01/08/28 12:47 Aid0VNNU.net
>>102
index2.pl動いています。
URLﾘﾝｸ(202.247.106.47)
他にミラーサーバに参加してやるという奴はいないのか？
106:名無しさん＠お腹いっぱい。
01/08/28 12:50 n0gCtgRw.net
「稼働テストなら参加できるけど本番運用はできない」って人がほとんどと思われ
107:aki
01/08/28 13:16 e.GbBjlw.net
URLﾘﾝｸ(www.gedoh.org)
108:Perler ◆GSi39OA6
01/08/28 13:53 0ST40Qqw.net
>>105
>>107
ありがとうございます。確認しました。
特に問題になるところはないように思えますが、検証お願いできますでしょうか?＞読んでる方々
現在の所、私のローカルでは、
perl -e 'while(1){system("./mirror.pl");sleep(60)}'
というコマンド(というかone-liner)を走らせて自動巡回させてテストしています。
これだけで、とりあえずキャッシュサーバー完成になりますので、
協力者の方、引き続き募集中です。
仕事がまた忙しくなってきたので、Range対応はもうちょっと
遅れそうですが。。。まだRange仕様も半分しか読んでないですし。
109:（ ´Д｀）
01/08/28 14:01 naZkn1d..net
はずかしながら・・・
ミラーサーバー参加したいけど、具体的にどうしたらいいのか・・・
フレッツ地域からテレホ地域に引っ越しちゃったし。（鬱
今夜試行錯誤やってみますか。
うまくいけば会社の専用線に・・・（もち帯域制限かけますけど・・・
110:名無し~3.EXE
01/08/28 14:28 R/ddTLxM.net
ミラーのテストをしようとしているのですが、
error: Socket Error
が出るのは何がマズいのでしょう。
このスレをざっと読んだだけなのですが何か重要なことを見落としてますか？
111:名無しさん＠お腹いっぱい。
01/08/28 14:51 sP0roUeI.net
rangeとgzip対応が済んでないので
現段階ではかえって負荷かけることになると思います。
gzipはmod_zip導入待ちですが・・・
112:Perler ◆GSi39OA6
01/08/28 14:57 0ST40Qqw.net
>>110
サーバーは何を使っていますか?
Windowsにはsocket関連のシステム・コールがないので、
ひょっとしたらそこでコケるかもしれません。
また、サーバーによっては外部への80番ポートへの接続
を拒否してるところもあるかもしれません。
telnetが使えるなら、そのサーバーから
telnet 2ch.net 80
とやってみて、
Trying 64.71.145.43...
Connected to 2ch.net.
Escape character is '^]'.
ここまで表示が出るかどうか試してみて下さい。
あとは、Solaris辺りだと、AF_INET辺りの値が違った
ような記憶があります。
/usr/include/sys/socket.h だったかを見て違うようなら
適切な値をソースに書き込んでください。
113:名無しさん＠お腹いっぱい。
01/08/28 15:00 kWMpTnew.net
この間、ソースのincoming用に公開した所を攻撃して落とすようなヴぁかが
集まってる所だからねぇ、２ちゃんは。
114:110
01/08/28 16:04 R/ddTLxM.net
>>112
サーバーというかOSはIRIXです。
外部の80/TCPには接続できます。 出来なければここ見れません＾＾；
AF_INETは合ってました。
socket.hを見た感じでは似たような値がセットされているのでたぶん
この辺りは問題無いのではないかと思います。
となると、やはりsocket関連のシステム・コールが無いのでしょうか
うーん残念。
115:Perler ◆GSi39OA6
01/08/28 16:23 0ST40Qqw.net
うーん、IRIXはあると思いますよ。。。＞Socket関連関数
Perlのコンパイル時の問題なのか、構造体のメンバが違うのか。。。
ちょっと私のソースの方も見てみますね。
116:名無しさん＠お腹いっぱい。
01/08/28 16:38 cccdonUU.net
共用レンタルサーバでも可能ならミラーサーバ参加したいが。。。
まあ、専用じゃないと迷惑だよな。
117:名無しさん＠お腹いっぱい。
01/08/28 16:39 bv2vU4Sg.net
サーバを提供する人が現れないとなると、
このプロジェクトが２chを救うのは、次の消滅騒ぎまでなさそうですね。
次は冬休みかなー
118:名無しさん＠お腹いっぱい。
01/08/28 16:43 k3Czl6QU.net
＞Perler様
えと、昨日は一日ダウン＆今会社にいるんで協力遅れてごめんなさいです。
もし必要であれば、今夜家に帰ってからなら稼動実験に参加できます。
あ、210.170.170.131 の持ち主です、はい。
それと、どなたか「稼動実験に参加するための手順」をまとめて頂けないでしょうか。
もしくは「稼動実験を開始するために必要なファイルをtar.gz形式でまとめる」かですね。
＃いま会社なんで、時間が取れなくて自分はまとめも出来なくて・・・・。
119:名無しさん＠お腹いっぱい。
01/08/28 16:52 yjTgjGXo.net
>>117
ハード的な問題なら、現物寄付でどうにかなると思いますけど
2chのDNSやCGI側での振り分けをBIG Serverが許可してくれるか
難しい問題ですよね｡
勝手にキャッシュサーバじゃ実効が上がらないとおもいますから
現段階で2ch管理の方にここに来てもらって、BIG Serverと話し合う時の
検討事項にしてもらう必要があるでしょうね。
120:Perler ◆GSi39OA6
01/08/28 17:07 0ST40Qqw.net
色々返事遅れてます。
mirror.plがchunkedに対応してなかったため、不具合が出てました。
あと、rangeに対応させました。
デバッグ用コードを外してからリリースします。
121:Perler ◆GSi39OA6
01/08/28 17:50 0ST40Qqw.net
mirror.plが新しくなりました。
ミラー用スクリプトとしては大体完成に近いんじゃないかと思います。
あとはあぼーん対策だけですね。。。簡単そうなんですが、また仕事に戻って
しまうので、変更は後回しです。すみません。
fURLﾘﾝｸ(210.170.170.131)
fURLﾘﾝｸ(210.170.170.131)
122:Perler ◆GSi39OA6
01/08/28 17:56 0ST40Qqw.net
とりあえず新バージョンは、
Fancy Indexを取得。
そののち、Fancy Indexを参考に1分単位で更新されているファイルを取得。
その際、キャッシュを見て、既にキャッシュがあれば、Rangeヘッダを送信。
。。。という方法を採っています。
現在のところ、piza2のtechをターゲットに10分おきに走らせた場合で、
1回ミラーするのに1分前後に収まっています。
123:名無しさん＠お腹いっぱい。
01/08/28 18:09 fuFoxE4A.net
では
サーバ提供者が現れないなら勝手にジオとかに自動的にユーザ登録して
.datをミラーしてしまうってのは？
ミラーしたスレは適当なキーワードと共に
2ch側にアドレスを書き込んでしまう
別班で、Windows用の専用ブラウザかプロキシを作り、そのキーワードを
発見したらミラーを読むようにし、 ファイルサイズに差があれば、その差を
埋める動作をさせる
124:Perler ◆GSi39OA6
01/08/28 18:18 0ST40Qqw.net
>>123
それってgeocitiesだとabuseですよね。。。
2chの規模でそれやったら、冗談抜きで威力業務妨害罪とか
に問われそうです。。
URLﾘﾝｸ(www.geocities.co.jp)
>ホームページをファイルダウンロード専用のページとしたり、
>他のページ（ジオシティーズ内外を問わず）へのリンクをす
>るためだけのページ
125:名無しさん＠お腹いっぱい。
01/08/28 18:19 cccdonUU.net
tripod の jump2ch もどうかと思うけど。
ところで、cron が使えるところならミラー可能？
126:名無しさん＠お腹いっぱい。
01/08/28 18:21 k3Czl6QU.net
>>125
取り合えず、「root権限がもらえる」という前提は必須かと。
cronだけじゃなくて、色々な事をやらなければいけない事を考えるとね。
127:Perler ◆GSi39OA6
01/08/28 18:25 0ST40Qqw.net
>>126
私が作った奴の今の仕様だといらないです＞root権限
特に必要になる状況も思いつかないです。
cronも不要。
while(1){
system("./mirror.pl");
sleep(60);
}
ってのをbgで走らせてほったらかしにしてあるだけですんで。
逆にcronで走らせる間隔が短いと、今のスクリプトだと
二重起動起こしてファイルを潰しあう可能性があります。
128:名無しさん＠お腹いっぱい。
01/08/28 18:29 cccdonUU.net
>126
そっか。やっぱり自前か専用じゃないと無理だね。
一応シェルは使える。
129:名無しさん＠お腹いっぱい。
01/08/28 18:31 cccdonUU.net
>127
それはそれで鯖管に怒られそうだ…
プロセス切られたりして。
130:Perler ◆GSi39OA6
01/08/28 18:41 0ST40Qqw.net
>>128
シェルがつかえるならmirror.plは充分動くよ
131:名無しさん＠お腹いっぱい。
01/08/28 18:45 6S1uJJBo.net
だれかホスティング／ハウジング業者とかデータセンタでそれなりの権限もってる
人とかいないのかな？
132:375 ◆MsUYMX0E
01/08/28 18:51 efUShCBo.net
実は
「2chのような掲示板システムってP2Pで」
URLﾘﾝｸ(piza2.2ch.net)
でも鯖探してます。
こっちで必要なのは2ch.net に追加する新cgiがテストできる
鯖なのですが、相乗りさせていただくことって可能ですか？
ちなみにcgiの機能としては
URLﾘﾝｸ(piza2.2ch.net)
です。
133:名無しさん＠お腹いっぱい。
01/08/28 18:54 KihuaPf6.net
漏れ鯖一台余ってるYO！さくらのパーソナルだけど（ｗ
134:名無しさん＠お腹いっぱい。
01/08/28 18:55 /foo1b.s.net
>>131
それなりに権限をもっているだけじゃダメなのよ…。
きちんとしたビジネスプランなり研究プランを示せないことには、
学校・会社では通用しないんで。
なので、比較的いいわけが効く実験環境ならなんとかなるけどって
いう人が多い。
135:名無しさん＠お腹いっぱい。
01/08/28 19:10 k3Czl6QU.net
>>127
なるほど。誤解してました。
確かにそのループならroot権限は要りませんね。
136:名無しさん＠お腹いっぱい。
01/08/28 19:13 cccdonUU.net
研究にするにしても、大抵の学校のサーバでは無理そう。
少なくてもうちの学校は WIDE にぶらさがってるだけなので転送量的にキツイ。
教授に申請しても ﾊｧ?(ﾟДﾟ) といわれるのがオチだなあ。
やはりサーバ業者の協力が不可欠なような。
キャッシュサーバみたいなのををビジネスにしてる企業に売り込む？
費用対効果が低いのはbig-serverで証明されちゃってるから難しそうだ。
137:名無しさん＠お腹いっぱい。
01/08/28 19:22 HEWceQCw.net
ここはThe Internetの基本に立ち返っていっそ米軍に泣きつくとか…
138:名無しさん＠お腹いっぱい。
01/08/28 19:29 /foo1b.s.net
>>136
いや、ある程度の数の proxy が立ち上げってくれば
2ch の全てを肩代わりするわけじゃないので大丈夫だとは思う。
ただ、実運用時には個人の趣味の範囲で許される程度からは
外れそう。
ちなみに、ビジネス・研究とは関係なくても netnews の場合
は各会社や provider が NNTP server を自前で用意していた
過去があるけど、これは junet=fj & mail だった名残なのかなぁ?
139:音楽侍 ◆NtVkSITE
01/08/28 19:37 9soq5dsg.net
お疲れさまです。
現在のindex2.plで吐き出されるデータって、テスト状態のデータですよね？
件名（件数）の件数が10000件以上のものもありますけど。
140:名無しさん＠お腹いっぱい。
01/08/28 20:01 cccdonUU.net
>138
ミラー方式だと本体への負荷が高いので、
へたに proxy の数が多いと効果が低くならない？
結局データ自体は本体に集中してる。
最終的には NNTP や P2P だと思う。
141:にはん ◆/gWayilU
01/08/28 20:03 rXhYdVC..net
VLAN切ってストレージサーバを用意するとかじゃダメかねぇ。
142:名無しさん＠お腹いっぱい。
01/08/28 20:07 /foo1b.s.net
>>140
read access が極端に多く、traffic が問題となっている
状況ならば、proxy が多くてもそうは問題にならないでしょう。
いざとなったら squid のように proxy 間で data のやり取り…。
#って、そりゃ NNTP 化するのとほぼ同義だな。
143:にはん ◆/gWayilU
01/08/28 20:12 rXhYdVC..net
>>142
要するにここでのproxyの役割は、cacheによる高速化ではなくてdelegationによる
バックボーンの負荷分散、ってことだよね？ >>140 が言っているのは、（更新頻度を考えると
P2Pじゃないキャッシュがほとんど意味をなさない2chで）キャッシュサーバから本体に取りにいく
トラフィックの総計は、今のエンドユーザのトラフィックの総計と大して変わらないのではないか、
という話なんじゃないかなあ？
# でもそれだとproxyの数はあまり関係ないね
144:名無しさん＠お腹いっぱい。
01/08/28 20:12 cccdonUU.net
>142
なるほど。だとしても板と時間帯によるね。
ニュー速やラウンジならともかく、
WebProgとかレンタル鯖には必要ないだろうし。
それと朝方は比較的アクセス少ない。
145:名無しさん＠お腹いっぱい。
01/08/28 20:14 cccdonUU.net
ちょっと誤解。
キャッシュサーバへのアクセスしか許さないならば、効果はあると思う。
146:名無しさん＠お腹いっぱい。
01/08/28 20:24 6S1uJJBo.net
っていうか cache/proxyというよりdatファイルをコピーしてミラーリング
というのならどうなの？ readよりwriteの頻度の方が低いんだから
カキコがあるたびにdat転送しても 今のreadアクセスよりはトラフィックは
だいぶ少なくなると思うけど
147:名無しさん＠お腹いっぱい。
01/08/28 21:15 o186web..net
＞readよりwriteの頻度の方が低いんだから
次スレに移って一ヶ月以上も経つのに。
URLﾘﾝｸ(cocoa.2ch.net)
こうゆヤツも救うのかと思うと悲しくなるね…
148:名無しさん＠お腹いっぱい。
01/08/28 21:17 kWMpTnew.net
read.cgi は、5.10 になったが。
bbs.cgi は古かった模様…。
149:名無しさん＠お腹いっぱい。
01/08/28 21:18 /foo1b.s.net
>>147
おかげで、bbs.cgi の挙動が不審なことはわかったけど:-)
#でも、read.cgi と違って手のうちようがない…
150:名無しさん＠お腹いっぱい。
01/08/28 21:33 cccdonUU.net
>147
頭が痛いね…とりえあずスレスト依頼すべきだ。
151:名無しさん＠お腹いっぱい。
01/08/28 22:15 RfRAQI/..net
スマソ 外道ネタ
一ヶ月借りてその後の退会は自由との事
「実験だけなら何とか出来ない？」もっともドメイン持っている人じゃないと
ダメっぽいケド・・・どっちにしても自分で書いてて情けないな・・鬱だ逝ってくる。
『interQまるごとサーバー』は、サーバーを１ヵ月無料で体験できます。
URLﾘﾝｸ(www.marugoto-server.com)
ＣＧＩ／ＳＳＩ／アクセス解析可／NTTネットワークセンター内設置にて320Mbps接続
現在取得済のドメインにてサーバーをお申込み頂きますと、翌日にサーバーの用意ができます。
152:名無しさん＠お腹いっぱい。
01/08/28 22:22 6S1uJJBo.net
>>151 それってIPアドレス直打ちじゃダメなのかね？
153:名無しさん＠お腹いっぱい。
01/08/28 22:23 cccdonUU.net
悪名高き InterQか…
interＱは詐欺商法（第３版）
URLﾘﾝｸ(salami.2ch.net)
154:名無しさん＠お腹いっぱい。
01/08/28 22:26 u7C32C9Y.net
板を丸ごとじゃなくて、混んでるスレだけでも分散できないかな。
混雑スレ専用proxy。かちゅーしゃなどに組み込んで。
一つのスレに連続投稿すると勝手に起動して、2ちゃんに連絡する。
以後、そのスレを読もうとすると、proxyを経由させられる。
かちゅーしゃに組み込まれたバックドアから2ちゃんが侵入するようなイメージで（ｗ
実況などに抑止効果があると思う。巡回ソフトには効果ないけど。
2ちゃん側の変更がどの程度になるのか全然分かりませんが。
155:にはん ◆/gWayilU
01/08/28 22:27 rXhYdVC..net
多分俺と同じ状況で歯痒い思いをしている人はたくさんいると思うのだが、
俺んとこはフレッツADSLで固定グローバルIPを8つもらえるサービスを使っていて、
現に稼動しているApacheがあるので、テストだけだったらIPbasedなVirtualHostで
環境を提供することも出来る。DNSラウンドロビンの実験用にVIPを振ってそれ様の
namedを上げたりしてもいい。でも、問題なのはドメインネームが.netだから個人情報が
駄々漏れになってしまうんだよ……(;´Д`)
156:名無しさん＠お腹いっぱい。
01/08/28 22:30 Os46TJAs.net
>>155
IP8個ならその時点で駄々漏れじゃん
157:にはん ◆/gWayilU
01/08/28 22:31 rXhYdVC..net
>>156
日本の一般用whoisでは電話番号とかは出ないじゃん。
158:（ ´Д｀）
01/08/28 22:42 2aE5H8v6.net
>>118
>それと、どなたか「稼動実験に参加するための手順」をまとめて頂けないでしょうか。
>もしくは「稼動実験を開始するために必要なファイルをtar.gz形式でまとめる」かですね。
漏れのやった（やっている）手順
1:最新のindex2.plとmirror.plをGET
2:２つのファイルを/usr/local/etc/www/data/に移動し
実行できるようにchmod
3:data以下にdat/tech/datを作る
（パーミッションは777でやっちゃったよ。）
4: ./index2.pl tech
5: perl -e 'while(1){system("./mirror.pl");sleep(60)}'
今現在取り込み中・・・
問題があったらメールなりで指摘してくれ。
環境は自宅鯖、Pentium166Dual(藁 FreeBSD-4.3-stable apache-1.3.20
ahoahodqn@hotmail.com
159:名無しさん＠お腹いっぱい。
01/08/28 22:42 /foo1b.s.net
>>157
そうなんだよね。ヲレの場合、whois db を更新していないので
実家の電話番号が出てきちゃうんで、とんでもない大問題なのだ…。
160:（ ´Д｀）
01/08/28 22:45 2aE5H8v6.net
鬱氏
/usr/local/etc/www/data
↓
/usr/local/www/data
まぁとにかくApacheのdataディレクトリ
161:天才東大医学部５回生
01/08/28 22:55 rpp3OriI.net
----------------------------------------------------
*******************2chが閉鎖？ﾜﾗﾀﾖ******************
----------------------------------------------------
ネットキャンサーが自らのトラヒク負担でアポトーシスだと。(藁
死んで当然death。消えて当たり前田のクラッカーだよ。
何？クラッカーじゃなくてハッカー？（ﾌﾟ
UNIX板のノータリンはハッカーとは呼べないだろ。
普段はトゥール・クラッキングでオナってる偽ハッカーのくせに。（はぁと
**********************************
-----UNIX板の連中なんざ、芋虫------
**********************************
みんなで協力してます？ﾊｧ？死ねば？
お前らの発言とも思えないが？（＾＾；）
偽善と欺瞞、傲慢に独善。自分たちがしてきた行為を
振り返ってみな？胸に手を当ててよく考えろ。
そうすれば、2ch閉鎖が世界のためだと気づくはずだＹＯ！
最後に。UNIX板のプログラマはヘタレ。
お前らの吐き出すコードはムダとバグの塊。
もうママゴト・プログラミングなんてやめたら？みっともないよ。
162:anony ◆3XTuRnAc
01/08/28 22:58 cmJDCZ/M.net
＞158
感謝！
っていうか、「なんでmirror.pl動かんのじゃー！」とか苦闘してて(汗。
先にindex2.plを動かさんと行けないってのを忘れてました。
ご指摘感謝。いま動いてます＞mirror.pl
163:anony ◆3XTuRnAc
01/08/28 23:02 cmJDCZ/M.net
あ、すいません、>>162はいわゆる「369」です。
164:名無しさん＠お腹いっぱい。
01/08/28 23:13 Aid0VNNU.net
ミラーサーバ案が頓挫しそうな雰囲気ですねぇ。
2chをNNTPに載せるという案を散見しますが、具体的にどうするかという話が
全然出てこないですね。状況は逼迫してると思われるので、急いで実現可能な
方法が必要だと思うんです。NetNewsのシステム自体は枯れているので、それ
をそのまま使うというのは現実的な話だと思います。ただし、現在の2chのシ
ステムをそのままNetNewsに移行するのは難しいと思います。やるとすれば、
2chとは別の、2ch的ポリシーを持ったトップカテゴリを作るというあたりが落
としどころではないでしょうか。
仮に、2ch.* というトップカテゴリを作るとして、これに属するGroupはすべて
moderatedにします。moderatedとはどういうことかというと、投稿した記事は
一旦moderatorにメイルで届きます。通常はmoderatorが検閲し許可した記事を
代理投稿しますが、2ch.* では匿名化のために使います。moderatorに届いた
記事はスクリプトで From: nobody@invalid (名無しさん) みたいに書き換えて
投稿します。
サーバ側に関しては、とりあえず自分のマシンに 2ch.* を作って、OPEN NNTP
として運用を開始し、同時にpeerしているサイトに配送を働きかけます。他に
希望があれば、どことでも無条件にpeerします。
クライアント側に関しては、NetNews用のクライアントを使う必要がありますが、
OutlookやNetscapeが使えるので障害は少ないと思います。Webインターフェイス
が必要であれば勝手に作ってください。
こんな具合で始めたらどうでしょうか。
165:ガンガン荒らすぞゴルァ
01/08/28 23:16 Y4zr4Mqs.net
馬鹿プログラマー死ね！！
166:ガンガン荒らすぞゴルァ
01/08/28 23:19 Y4zr4Mqs.net
>>161
激しく同意
167:anony ◆3XTuRnAc
01/08/28 23:20 cmJDCZ/M.net
えと、ftpサーバーの
incoming/2ch-read-current/
以下に、
mirrortest.tar.gz
mirrortest.doc
というファイルを置いておきました。mirror実験を開始するための
セットと、その使用方法というかつかい方、というところで、
簡単なセットとマニュアルをおいておきました。
なにか間違いとか不備があったら突っ込みお願いします。
168:天才東大医学部５回生
01/08/28 23:21 rpp3OriI.net
>>166
僕は荒らしをしているとは考えていない。
そうではなくて、真実を述べている。
169:天才東大医学部５回生
01/08/28 23:23 rpp3OriI.net
>>167
全般的にカス。コーディング。やめれば？
170:名無しさん＠Ｅｍａｃｓ ◆oQwux7a6
01/08/28 23:42 E.ArZ2us.net
mirror.pl.2 ですが、HTTP/1.1 のデフォルトは持続型接続と
なっているのでファイルをダウンロードしてから Apache が
タイムアウトで接続を切ってくれるまで待つようになります。
Connection: close を送出するとダウンロードが完了したら
即座に Apache が接続を切ってくれるのでミラーリングが
早くなります。
ほんとは持続型接続をうまく利用すべきでしょうけど・・・。
--- mirror.pl.2.orig Tue Aug 28 22:58:33 2001
+++ mirror.pl.2 Tue Aug 28 23:05:11 2001
@@ -322,6 +322,7 @@
###### GET コマンド送出
print S "GET " . $get_command . " HTTP/1.1" . $crlf ;
+ print S "Connection: close" . $crlf;
print S "Host: $servername" . $crlf . $crlf;
1;
}
@@ -336,12 +337,14 @@
###### Range付きGET コマンド送出
print S "GET " . $get_command . " HTTP/1.1" . $crlf;
+ print S "Connection: close" . $crlf;
print S "Host: $servername" . $crlf;
print S "Range: bytes=$range-" . $crlf . $crlf;
### debug..
&green;
print "GET " . $get_command . " HTTP/1.1" . $crlf;
+ print "Connection: close" . $crlf;
print "Host: $servername" . $crlf;
print "Range: bytes=$range-" . $crlf . $crlf;
&nomal;
171:名無しさん＠お腹いっぱい。
01/08/28 23:44 u7C32C9Y.net
NNTPは懐古趣味とか言ってみる
172:名無しさん＠お腹いっぱい。
01/08/28 23:55 lMUSoYms.net
ＤＱ－－－－－－－Ｎ
173:名無しさん＠お腹いっぱい。
01/08/29 00:22 TrXIg0dU.net
NNTPウザイ
174:743
01/08/29 00:27 F1mQSOi6.net
＞173
昔、ひろゆきさんが「バケツリレー式のNetNewsなんて、ぶっ潰そう！」
なんて言ってた頃もあったけどねー。;-P
175:（ ´Д｀）
01/08/29 00:33 iNsPkFvk.net
index2.plとmirror.plをつかっていろんな板を自鯖に保存したくなってきた・・・
176:743
01/08/29 00:49 F1mQSOi6.net
＞175
そう思って皆がミラーし始めて、転送量上がるんじゃないの？
177:anony ◆3XTuRnAc
01/08/29 01:03 TkQkeuao.net
＞mirror.pl
無事動いてます。index2.htmlからの読み込みなどもオッケーのようです。
IRC経由で友人に頼んで動作確認してもらいましたが、読めるみたいです。
あとは、「このパッケージがあれば動作確認ができるぜ」っていう
アーカイブとドキュメントを書けば良いのかな。
それと、なにげにディレクトリ階層をちゃんと2ch風に合わせないと
だめなんだろうな、という話も考えなきゃ・・・・。
178:（ ´Д｀）
01/08/29 01:16 iNsPkFvk.net
>>176
もちろんミラーサイトから・・・（笑
うーん、次はread.cgi・・・どうやるんだ？
179:名無しさん＠お腹いっぱい。
01/08/29 02:03 kUOQxvzM.net
とりあえずmirrortest.tar.gzを自分のサーバーのhttpdルートに解凍して
mirrorフォルダは作りました。あとはmirror.plを実行すればいいんですよね？
180:anony ◆3XTuRnAc
01/08/29 02:07 TkQkeuao.net
>>179
あとは、read.cgiを何とかしてmakeして、って作業が必要かと思います。
閲覧にはやっぱりread.cgiをつかいますので。
181:名無しさん＠お腹いっぱい。
01/08/29 02:12 kUOQxvzM.net
>>180
read.cgiを何とかって・・・どうするの？(^^;
makeはできるけど、どのファイルなのか。
もう一個のほうのプロジェクトで開発してるんでしたっけ？
182:Perler ◆GSi39OA6
01/08/29 02:14 44.z9PPA.net
みなさん検証ありがとうございます。
Connection: close
以外の不具合は見つかっていないでしょうか？
Connection: closeに関しては、次バージョンで取り込みます。
その前にkeep-aliveに対応したいところですが。
183:anony ◆3XTuRnAc
01/08/29 02:18 TkQkeuao.net
>>179
てことで、「必要なもの一式」をまとめてみました。
つまり、「mirror.plを実行する環境」のほかに、「read.cgiを動かす」
こともできなくてはなりません。
ということで、そのアーカイブセットとドキュメントを
fURLﾘﾝｸ(210.170.170.131)
の中に置いておきました。
184:anony ◆3XTuRnAc
01/08/29 02:22 TkQkeuao.net
＞Perlerさん
えと、バグというか、不具合というか。
自分はいま、perlerさんが軽く紹介してくれた一行スクリプトを走らせているのですが、
index2.htmlの構築の段階で予想外に時間がかかってるので、
sleep(60)が意味をなしてない感じです(^^;;。
mirror.plの実行終了から60秒じゃなくて、mirror.plの起動から
60秒待って、という感覚なんですが、perlの使用ってこんなんじゃ
ないですよね？
つまり、waitなしでひたすら実行されてしまうように見える、って
ことなのですけれども。
あと、先ほどあげましたmirrortestのアーカイブとかドキュメントとかで
不備がありましたらぜひご指摘ください。
185:anony ◆3XTuRnAc
01/08/29 02:35 TkQkeuao.net
えと、明日も仕事なんで、とりあえず自分はここらで寝ます_(..)_
また明日の晩まで実質的には動けません・・・・。
186:179=181
01/08/29 02:37 kUOQxvzM.net
実行してみた。
一応確認だけど、ドキュメントの cd mirror/dat/test
cd mirror/testですよね？（Makefileとソースがそこにあるので）
実行したところzlib.hがなくて動作せず。
探さないと・・・。
187:Perler ◆GSi39OA6
01/08/29 02:38 44.z9PPA.net
>>184
うーん、mirror.plが時間がかかるのは分かるんですが、index2.html
の生成は一瞬のはずですが。。。
ただ、index.datを入れない状態だと、2ch.netのtechのすべてのログ
をダウンロードするため、ものすごい時間がかかります。
昨日あたりのindex.datをサーバーにあげてあるので、それを入れる
とダウンロード時間はかなり少なくなります。
１分ごとの起動だと、mirror.plは１分くらいの時間は食いますが、それは
現仕様では仕方ないです。
188:てんてんdwp@ yankee.tokyo-nazo.net
01/08/29 03:37 kUOQxvzM.net
>Perler
ミラーテスト成功しました。
index.html書いてないので、datディレクトリのファイルを直接参照したんですが・・・。
URLﾘﾝｸ(www.tokyo-nazo.net)
です。
また明日の夜に覗きに来ます。
私に協力できそうなことがあったら協力しますので。
189:￣ー￣)ノ
01/08/29 09:12 c40YJ4Sg.net
ＦＴＰサーバー落ちてませんか？
190:anony ◆3XTuRnAc
01/08/29 09:13 4vxuBj56.net
＞perlerさん
すいません、ちょっと勘違いしてました。
切り分け様にprint文要れて動かしてみたら、ちゃんと動いていることを確認できました。
たびたび誤解してごめんなさいです。
えと、今日一日家に戻るまで動かしておきます。
URLﾘﾝｸ(210.170.170.118)
・・・って、ftpサーバのアドレスも変わってますのでご注意を。
今IP表示させて気づきました(汗
191:anony ◆3XTuRnAc
01/08/29 09:15 4vxuBj56.net
>>189
落ちてる、というよりも、IPが変わってます。
ADSLなもので、たまにこうなります(汗。
あ、メインのftpサーバーは落ちてません。
＃今朝の6:30ごろに、IPが変わったらしいです。
192:音楽侍 ◆NtVkSITE
01/08/29 09:27 j/vYHKaU.net
>>190
こうやって動いてみると、けっこう生々しく現実味がありますね。
ただ、完全ミラーは時間的に厳しいですかね？
サーバ／ジャンル単位に複数のサーバでサポートしたりするのがいいのかもしれない。
193:名無しさん＠お腹いっぱい。
01/08/29 09:35 nl0FB/...net
>>42
>ただし、全板キャッシュするとそれなりの容量と帯域を使うので、最大で数百人～数千人が
>利用しないと旨みが少ないし、板ごとのキャッシュじゃ2ch.netに振り分けの負荷が掛かる。
2chからはランダムでキャッシュ鯖に転送処理を入れて、
キャッシュ側で全板対応してなかったら、分担リストを元に
更に別の鯖に転送するっていうのは駄目でしょうか？
そうすれば、２ｃｈ側では、たまに鯖の生存確認して、
転送リストを更新する程度の処理で済むと思います。
もっとも、登録は信頼性確保の為手動でもかまわないかも？
キャッシュ側でも、自分のところで対応してなければ、
そのまま丸なげしてしまえばいいので、簡単だと思います。
とりあえずテストの段階では転送部も独立可能な気がしますが、
というか登録が少ない内は、自動転送なんかしたら
キャッシュ鯖の方がパンクしてしまうだろうし。
まあ、ユーザーがキャッシュ鯖のアドレス知ってれば必要ないのか？。
負荷の少ないランダム転送ってどうやって実現すればいいですかね？
194:音楽侍 ◆NtVkSITE
01/08/29 09:39 j/vYHKaU.net
>>193
読み出しサーバを専門単位かサーバ単位に複数用意しておき、そこを一次サーバにする。
２次サーバがそれら一次サーバ各自から孫になって情報をもらうようにすると、２ちゃんサーバの負担は軽減しますかね。
195:にはん ◆/gWayilU
01/08/29 09:41 OYkF597Y.net
>>193
膨大なコストがかかってもいいなら、ロードバランサーを導入すべき。
それではダメなのであれば、DNSラウンドロビンのルールを有人監視 or cronで自動判定
して書き換える、とかする、って感じだろうか。有人監視は有り得ないのでたとえば定期的に
ESTABLISHEDなコネクション数なりプロセス数なりにrequest->replyなチェックをかける、
とかかなあ。
196:音楽侍 ◆NtVkSITE
01/08/29 09:49 j/vYHKaU.net
ただ、ユーザが個別にアクセスしなくなるのと、常時一定のトラフィックが発生することをはかりに掛けてみないと何ともいえませんね。
直感的には、各サーバから読み出した方が良さそうだと思うんだけど、
「だったら、bbs.cgiなども設置して、Big-server解放してあげたらどうなのよ？」っていう、すごく根元的な疑問を持ってしまうのです。
197:にはん ◆/gWayilU
01/08/29 09:59 OYkF597Y.net
>>196
話が堂堂巡りしてしまうのだけど、まず以下のことがはっきりしないことには負荷分散
（トラフィック分散に限ってもいい）モデルも作れないと思う。
・フロントエンドサーバ群をどこにどれだけ (Big内か分散させた外部か不特定多数かなど) 置くのか
・投稿はどこで受けるのか
・ユーザに対してはどこにアクセスさせるのか
・大もとの記事データは分散して同期させるのか、集中管理するのか
・既存の技術の組み合わせなのか新たに作るのか
これには技術的な話じゃなくて、第8、第9レイヤの話が多々からんでくるから
今ここで話していても埒があかないんだよね。
198:音楽侍 ◆NtVkSITE
01/08/29 10:06 j/vYHKaU.net
>>197
ごめんなさい、おっしゃるとおりちょっと混乱気味になりますね。
まず、現状を何とか改善しようと言う方向があって
read.cgi改良スレッド
URLﾘﾝｸ(piza2.2ch.net)
が動いてますね。
で、その延長上で、bbs.cgiも最適化＆改良してしまいたいという流れで
bbs.cgi 改良案スレッド
URLﾘﾝｸ(piza2.2ch.net)
があって。
いっそのこと、全く新しい仕組みでやったらどうなの？っていうながれで
P2Pでサーバに依存しない掲示板を作るの巻
URLﾘﾝｸ(piza2.2ch.net)
なんかがあって、で、このスレはというと、
datをミラーリングして、トラフィックの集中化をさけようよ、っていうことですよね？
199:音楽侍 ◆NtVkSITE
01/08/29 10:10 j/vYHKaU.net
>>198の続き
で、ふと思ってしまったのが、
至急的緊急避難措置として、このスレの考え方は非常に「あり」なんですけど、恒常的運用となると”？”であると。
それだったら、板ごとに別サーバをもうけることによってBig-serverさんの困窮を救った方が現実的だなぁ、と。
だって、データのトランザクション大きすぎるし、レスの即時性考えたら、read.cgiとbbs.cgiは同じサーバで動いているのが最良なんですし。
そんな事が言いたかったのです。
200:にはん ◆/gWayilU
01/08/29 10:10 OYkF597Y.net
もともとはプログラム板のP2P-cacheな提案のスレだったのではないかなあ、このスレは。
流れ的には単なるトラフィック分散全般の話になってるけど。
201:名無しさん＠お腹いっぱい。
01/08/29 10:12 iU.Fd0UU.net
>>199 同意 だけどどっちにしろそのサーバの置き場所を確保しないことには
どうにもならないと......
202:にはん ◆/gWayilU
01/08/29 10:14 OYkF597Y.net
>>199
本当は規模を考えたらやすやすな構成で分散しようということ自体にかなりの無理があるから、
結局のところ大まかに言って今のところ３択だよね。
・プログラム板のP2P-cache
・「2chサーバ群」ってのは、結局のところただの自動 redirect 装置に成り下がる
（つまり音楽侍さんが逝っているのはこれだと思う）
・本体はあくまで2chサーバ群にあって、それをdelegationさせる事でトラフィック分散を図る
203:音楽侍 ◆NtVkSITE
01/08/29 10:15 j/vYHKaU.net
>>200
それとはちょっと違いますですよ。
そっちで進んでいるのは、
P2Pでサーバに依存しない掲示板を作るの巻
URLﾘﾝｸ(piza2.2ch.net)
です。
あ、今度は私の誤解かも。
最初は、perlerさんが、
「mirror.plみたいなのはすぐ出来るよ。というか、もう書いちゃったよ」
ってところからこのスレが立ったんだと思います
204:にはん ◆/gWayilU
01/08/29 10:18 OYkF597Y.net
>>203
あら、こちらの誤解かも。>>1に
「このスレッドは、2ch.net の転送量削減を目指し、P2P-cache型の
負荷分散システムを開発するスレッドです。 」
って書いてあるからてっきり。
205:音楽侍 ◆NtVkSITE
01/08/29 10:19 j/vYHKaU.net
>>202
そうですね。
もっと言っちゃうと、ただのDNS（と、正面玄関）になっちゃうのが、本家2ch.netサーバだって事ですね。
その移行的側面として、perlerさんのmirror系スクリプトは超強力なツールだと思いますけど。
いずれにしても、トランザクションコストとして、２ｃｈレベルのサイトで、ミラーリングはあり得ないんでは？
なんか、IBMと国際的機関レベルの国家予算的プロジェクトと同質の規模だと思うんです。今すでに。
206:にはん ◆/gWayilU
01/08/29 10:26 OYkF597Y.net
>>205
そうなると、ひろゆきとBigは2chから降りなければならなくなってしまうんだよね。
Bigにとってのメリットは2chがさくさく動いているということを宣伝に使える、
ということだから、そのうまみがまったくなくなってしまう。
ひろゆきはひろゆきで、自分はなにも管理していないのに「２ちゃんねる」の代表として
今後も訴訟の際などには呼び出される格好になる。そんな馬鹿らしいことは誰だって嫌だろう
（いまの状態も馬鹿らしいといえばそうなんだけど）。
俺が技術レイヤだけではこの話は堂堂巡りになる、というのはその辺もあるんだ。
純粋に技術話として、大規模な「Webの」BBS群をどう取り扱うか、と言う話をしてみる、
と言う事にも十分意味はあると思うけど、少なくともそれはいまの2chには生かすことは
出来ないと思う。
207:名無しさん＠お腹いっぱい。
01/08/29 10:31 nl0FB/...net
>>194
やっぱり、ラウンドロビンの定期的変更が一番単純でしょうか？
とりあえず、キャッシュ鯖に、アドレスと使用可能な回線容量かなんかを申告させて
それにあわせてラウンドロビンのリストを作成するって感じかな？
リストのサイズは固定にして、余裕が有る鯖は複数回、普通のところは１回呼ぶとかで
負荷調整を図ると。
鯖の事は全然分かってないので知ったかぶりなんですけど、
これってBINDレベルで対応可能って事ですよね？。
>>206
とりあえず、今Big-server以外の鯖って残ってましたよね？
そっちに応用すればいいんじゃないでしょうか？
208:音楽侍 ◆NtVkSITE
01/08/29 10:33 j/vYHKaU.net
>>207
そのBig-server以外の2chサーバってさ、昨日ラウンジ一個が引っ越しただけで破綻したんだよ。
209:音楽侍 ◆NtVkSITE
01/08/29 10:37 j/vYHKaU.net
>>206
それはその通りです。
そしてそれは、私たちが話しても憶測と推定とやがてﾊﾞﾘｿﾞｰｹﾞﾝになってしまうので、みんなやらないのです。
だって、ひろゆきさんの公式コメントないし（今の段階ではない方が私もいいと思ってます）。
私たちはこうやってがんばったりしちゃってますが、ひろゆきさんからみれば、ただのいち２ちゃねらーなだけですから。
そういうことも含め、ひろゆきさんの存念を確認したい、っていうのが夜勤さん上京の本音じゃないかと私は思っているのですけれどね。
210:Perler ◆GSi39OA6
01/08/29 10:47 qGdmeavk.net
現在のミラーの様子
URLﾘﾝｸ(202.247.106.47)
URLﾘﾝｸ(www.gedoh.org)
URLﾘﾝｸ(210.170.170.118) ＜－ 全コンテンツ取得しているようです
特にanony氏のミラーは2ch本体の代わりとして充分機能している気がします。
>>199
私が考えている展望を書きます。
まず、2日前くらいの予告とともに、2ch.netのread.cgiを板ごとに順次止めていきます。
ここで、予告期間中にわかに有志でmirror.plを走らせる人が増えてくるんじゃないかと思います。
(逆に誰もミラーしてくれなければこの話は終わりです。)
read.cgiが止まった板のミラーが出来たら、さらに別の板のread.cgiを止めていきます。
実際、2ch.netのread.cgiを止めてしまわないと、有志は増えないんじゃないかと思っています。
2ch.net上でread.cgi動いてる時点ではmirror化のメリットは見えてこないですからね。
2ch.netの各サーバーへの振り分けは、当初は考えなくて良いと思っています。
振り分け自体も、現在の2ch.netの対応を見る限り、
ラウンドロビンを2chが早々に導入してくれるという事も考えにくいので、
有志にサーバー一覧(リンク集)をまとめてもらう方向になるのではないかと思います。
サーバーが増えれば、今度は負荷を考えてランダムにミラーサーバーへforwardする
CGIを作って、それをまた有志サーバー上で走らせて対処するのが現実的ではないかと。
これらがうまく機能しなくてもかちゅ～しゃがあるわけですし。
2ch.netの役割は、玄関と、bbs.cgiによるログ管理のみ、という事になってしまいますが。。。
即時性については、ミラーリングの手法を変える事で対応できるんじゃないかと思います。
現在はHTTPでやってるんでオーバーヘッドが大きすぎますが、
将来的には、2ch側に配信専用サーバーを立てて、クライアント(キャッシュ側)からソケット張りっ
ぱなしにしておき、書き込みがあったら2ch側からデータをputしていくようなシステムに
なるんじゃないかと思います。
GETリクエストを送らなくても勝手にどんどんKeep-Aliveでデータを送りつけてくるHTTPサーバー
みたいなものを想像して頂ければ分かりやすいかと。
211:名無しさん＠お腹いっぱい。
01/08/29 10:54 nl0FB/...net
>>208
だからこそ、分散処理すれば落ちにくくなるって話なのでは？
とりあえずは、避難所レベルの資源を持っている人に協力してもらって
一次キャッシュサーバになってもらうのが現実的かな？
そのうちP2Pのほうが形になってくると思いますし、
一時しのぎができればいいのでは？。
問題は、管理サイドの考えが見えてこないことなんですが、
２ｃｈがこの規模を維持するにはどう考えても分散が必要ですから
まあ、最悪の場合、避難所のサポートシステムとしても有効ではないかと思いますし、
212:Perler ◆GSi39OA6
01/08/29 10:56 qGdmeavk.net
前にも書いたんですが、現在サーバーは生きていて、read.cgiだけ止まってる
板ってあるんでしょうか?
あるのなら、そこをミラー化させるのが一番よい実験題材なのですが。
213:音楽侍 ◆NtVkSITE
01/08/29 10:57 j/vYHKaU.net
>>210
Perlerさん、おはようございます。
んー、そうですね。即効性アクセス削減案と言うところまでは異床同夢です。
P2Pについては、クライアントの開発が絡みますので、3-6ヶ月はかかると思います。
早ければ10月にはBig-serverさんは手を引く可能性がありますので、間に合いません。
また、ミラーリングの精度を上げるのも限度がありますし、ミラーするくらいだったらbbs.cgi語とおいたって一緒じゃないか、っていう発想だってあるです。
夜勤さんは９月の帯域料金は50Ｍまでしか支払えないって明言していますし。
214:名無しさん＠お腹いっぱい。
01/08/29 13:20 y.SJYiFg.net
キャッシュサーバーですけど、
ファイルの容量ってどれぐらいになるのですか？
容量によっては走らして見たいと思ってるんですけど。
215:音楽侍 ◆NtVkSITE
01/08/29 13:21 j/vYHKaU.net
>>214
走らす板によって違うと思いますよ。
techで15.5MB程度ですかね？
216:名無しさん＠お腹いっぱい。
01/08/29 13:27 y.SJYiFg.net
>>215
了解です。
cygwinで走らせて見ます。
217:名無しさん＠お腹いっぱい。
01/08/29 14:06 nl0FB/...net
＞213
まあ、ビジネスの話については、ひろゆきに代わりの広告主見つけてくれ
としか言えないですけどね。あとは夜勤さんガンバ！かな？
とりあえず、Bigサーバのイメージダウンにならない形でやらないと
本当に撤退って可能性もあるので、それだけは避けないと。
にしても最近一番疑問だったのは、PROXYに対する対応。
PROXYを使うのが、本来の目的であるキャッシュ効果よりも、
荒らしがしやすい事の方が強調されて、２ｃｈでPROXYつかうのは、
なにか後ろめたい事のような風潮になってたように思いますね。
ところで、普通のPROXYなんかと比較すると、どのくらい効果が違うんでしょうかね？
主にアクセス集中時のケースで、３者の比較が出来ればいいかも？
218:Perler ◆GSi39OA6
01/08/29 14:13 qGdmeavk.net
>>217
今回の場合、キャッシュすべきものがかっちり決まってるので、
mirror.plの方が効率が高いでしょうね。
あと、汎用のHTTP-Proxyだと、.datではなくHTML化したものを取ってくるので、帯域を
余分に喰うことになりそうです。
219:Perler ◆GSi39OA6
01/08/29 14:17 qGdmeavk.net
とりあえず、私の環境ではmirror.plは順調に動いています。
昼はアクセスが少ないためもあって、1分ごとの起動で、1回の取得が数秒と、
かなり快適なミラーリングになっています。
あとは、コマンドライン引数で板やサーバーの指定が出来るようにして、
その後.datをgzipで保存するように対応したいです。
220:山師さん
01/08/29 15:40 qc5beSto.net
6ヶ月限定らしいが2600円で結構使えそう＞開発用に
どうよ？
URLﾘﾝｸ(prime-jp.com)
221:素人さん
01/08/29 16:28 W.7THPBI.net
Big の外の帯域制限の緩い鯖に Apache proxy かなんか置いて、www.2ch.net のA レコードはそっちを指してもらうってのじゃダメなの？
222:名無しさん＠お腹いっぱい。
01/08/29 16:49 iU.Fd0UU.net
>>221 その場合はproxy/cacheじゃなくて「ミラーサーバ」になるでしょう
でも その「Big の外の帯域制限の緩い鯖」はどうするの？
それに 2ch.netのプライマリDNSの設定権限を持ってるのはだれ？
まぁ それがクリアできるのなら「激しく同意」なんだけどね
223:素朴な突っ込み
01/08/29 19:06 NvOO2vOY.net
あのー、P2Pが本命ではないかと言っておられる人が多いようですが、
2ちゃんの規模でそれをやって、日本の通信回線は大丈夫なのでしょうか。
今の２ちゃんの転送量では大丈夫かもしれないけど、一年後の転送量は・・・
と言うわけで、このスレのプロジェクトが実は本命なのではないかと
思うのですが、どうでしょう？
224:てんてんdwp@ yankee.tokyo-nazo.net
01/08/29 19:43 DVACnJqw.net
>>188自己レス。
寝ぼけてていたらしくて寝言言ってた。申し訳無い。
URLﾘﾝｸ(www.tokyo-nazo.net)
で、ミラーリングはとりあえずできてるみたいです。
あと、今はうちのweb server使ってるけど、まだグローバルIPに空きが
あるので、2chテスト専用サーバを来月中にはおったてます。128Kbps線
だけど。
>>223
できそうなものはとりあえず全部やってみるのがいいのでは？
その中からいいアイデアが出るかもしれないし。
どれかを本命と決め打ちして、それがこけたらそれこそ致命的だと思う。
225:名無しさん＠お腹いっぱい。
01/08/29 20:06 32goOYrE.net
>>158さんのを参考にmirror.plを走らせてみたんですが、
<H1>Connect Error</H1>って出ます。
Vine-2.1.5, perl 5.005_03
なんですが、どうしたらいいでしょうか？
226:225
01/08/29 20:37 32goOYrE.net
あー、今windowsマシンにcygwin入れて試したら、
ちゃんと動いてるっぽいです。
原因はperlかなあ？
227:ターボ戦隊イエロー
01/08/29 22:07 DVGyRnrk.net
>>225 TurboLinuxにのりかえる
228:てんてんdwp@ yankee.tokyo-nazo.net
01/08/29 23:07 DVACnJqw.net
えーと、>>183のドキュメント、eucで書かれてたんでちょっとだけ苦労した(^^;
というわけで、ここに修正して貼るけど、いいよね？
1. アーカイブを展開します。
gzip -dc mirrortest.1.0.tar.gz | tar xvf -
2. read.cgiをbuildします。
cd mirror/test
make -f Makefile
3. read.cgiをコピーします。
cp read.cgi ../dat/test/
4. mirror.plがあるディレクトリに移動します。
cd ../../
5. mirroringを実行します。
./mirror.pl
全てが終わったら動作を確認しましょう。
ブラウザでhttp://(解凍した場所)/mirror/dat/tech/index.html
で、合ってますか？
229:名無しさん＠お腹いっぱい。
01/08/29 23:47 VGLV51Nk.net
URLﾘﾝｸ(mankomankomanko.virtualave.net)
をbbs.cgiにして、
../dat/test/
に入れても動きますよ。
make出来ない人でもこれで動かせるはず。
230:anony ◆3XTuRnAc
01/08/30 00:08 grWs5t1E.net
>>228
そんな感じです。清書感謝です。
あと、自分で書いてて＆自分で外から自分ちのミラーにアクセスしてみて
気づいたんですが、bbs.cgiがないと意味がないことに(汗
というか、Perlerさんのmirrorツールが生成するmirrorから
記事にアクセスして「書き込む」をやると、2ch本体じゃなくて
ミラーサーバーの方のbbs.cgi見に行くような感じがするんですが＞Perlerさん
mirrorの仕様上、bbs.cgiは2ch本体のものを見に行かないと
意味がないと思うのですが、read.cgiで生成されるhtml見てると、
そのサーバー上のbbs.cgiを見てるような。
231:anony ◆3XTuRnAc
01/08/30 00:17 grWs5t1E.net
って、ひょっとして自分がつかってるread.cgiが古いのかな？
2ch-read-currentの中からそれっぽいの最新を取ってmakeしたのだけれど。
232:anony ◆3XTuRnAc
01/08/30 00:24 grWs5t1E.net
てことで即席ハックで強引に2ch本体のbbs.cgiをつかうように
してみたんですが、やっぱり無理のようでした。って当然か・・・。
233:名無しさん＠お腹いっぱい。
01/08/30 00:33 8gDt9PTM.net
>>232
書込みフォームを消して、
書込みボタンを付ける。
で、そのボタンで本家のread.cgiを呼び出す。
ただしls=1で。
これならあまり負荷は掛からないのでは。
234:名無しさん＠お腹いっぱい。
01/08/30 01:09 TfjSc3dw.net
>>233
read.cgiがls=0を許容すればもっといいんだけどね。
暫定案としては賛成。
235:名無しさん＠お腹いっぱい。
01/08/30 01:13 Xut3shDo.net
>>234
現状のread.cgiはls=2が最小の模様。
ls=1にすると全てを取得しようとする。
236:名無しさん＠お腹いっぱい。
01/08/30 01:17 TfjSc3dw.net
>>235
nofirst=true&ls=1なら最終１レスのみ取得できる模様。
237:anony ◆3XTuRnAc
01/08/30 01:20 grWs5t1E.net
うーん、でも書き込むときにもうワンステップ踏むのって
やっぱ面倒じゃないかと思うんですが。
上の書き込みを見ながらレスを書くとかって普通にやるじゃないですか。
238:名無しさん＠お腹いっぱい。
01/08/30 01:23 TfjSc3dw.net
>>237
別ウィンドウで2ch.netのread.cgiを開くようにすればよい。
239:名無しさん＠お腹いっぱい。
01/08/30 01:37 9VE7JjWs.net
恒久対策をうつのなら、
・最大許容転送量に応じた処理能力規制
が必要なんじゃないの。
要は、金融業界でやってるキャパシティ・プラニングが必要。
単に転送データ量が軽いだけだと、
首都高や東名と同じ現象が出るだけではないかい？
（道幅広げた分利用者が増えて混み具合は変らない
→道幅広い分、車がより多く通れるようになってしまう
→車のハバを小さくしたらどうか？これも同じこと
→いまさまざまな板で考えているのはこれに収斂してしまう）
まじめに、キャパシティプラニングを捉えてみないか？
240:名無しさん＠お腹いっぱい。
01/08/30 01:44 TfjSc3dw.net
>>239
真面目にやるとしたらプロ技板の手に余りそう。
通信技術板とかに振れないかな。
あっちにはそう言う技術者いるかな。
241:名無し娘。 ◆vP.bOZFQ
01/08/30 01:55 HrH04.b6.net
>>239-240
少なくとも 2ch.net では、それはやらない方向で。
初期にｶﾞｲｼｭﾂ。
キャッシュサーバー間でそれは、必要かもしれない。
242:anony ◆3XTuRnAc
01/08/30 02:10 grWs5t1E.net
とりあえず、良いアイディアがでないので、寝ます・・・。
もうちょっといろいろ考えてみたく。
＞娘。さん
実験参加できなくてごめんなさい。
あ、とりあえずミラーサーバーとftpサーバーは
生かしたまま放置プレイしておくので。
243:名無し娘。 ◆vP.bOZFQ
01/08/30 02:12 HrH04.b6.net
>>242
いえいえ（＾＾；
お疲れさまです。
244:あぼーん
あぼーん.net
あぼーん
245:名無しさん＠お腹いっぱい。
01/08/30 02:51 RRvj6jF..net
ユニマガ8月号に書いてあったyahoo.co.jpの構成は参考にならんか?
246:名無しさん＠お腹いっぱい。
01/08/30 03:58 9VE7JjWs.net
>>241
やらずに可能なんだろうか・・・
今度は有志の維持環境が同様の目に会うだけだと
思うのだが。
247:名無しさん
01/08/30 07:02 9q6FHzvw.net
>>245
何がどう参考になるのだ？
248:245
01/08/30 08:52 9Kp01ciI.net
>>247
負荷分散の仕方とか。
# ならんのならすまそ。そのときは逝く。
249:安西
01/08/30 08:56 sxla9v.Q.net
あきらめたらそこで試合終了です。
250:名無し娘。 ◆vP.bOZFQ
01/08/30 17:07 y2CYzMG6.net
>>246
帯域制限かけるくらいなら、むしろ２ちゃんねる人口を減らす方がまし、という
感じでしょうか。
251:anony ◆3XTuRnAc
01/08/30 19:27 E5ciTOEw.net
てことで、どうやらPerlerさんのmirror.plも動いているようですから、次のフェイズに移行しませんか？
私が感じてる課題としては、大きいものから小さいものも含めて
・mirrorサーバーからシームレス投稿できたほうがいいと思う。
「mirror側では投稿フォームを出さず、代りに「投稿する」リンクをread.cgiが作成し、
そのリンク先は2ch本体のスレッドを別ウィンドウで開いて表示、そのWindowsから投稿させる」
というアイディアはだされたけれど、やはりシームレスにいけるに越したことはないとは思うんですね。
となると、「mirrorサーバーに投稿して、mirrorサーバーが即座に本体にpostする」しくみ、ってのが
必要になると思います。そうなると、やはり投稿のレスポンスなども考えると
ミラーが投稿を受け付け→ミラーが本体に投稿→
すぐに本体からデータをmirroring(ほかのミラーからも投稿されているかもしれないのでそれをマージ)
ミラーの内部のcacheから生成したindex2.htmlを表示
みたいな方法になると思うのですが、mirrorのときのレスポンスが悪いですし、問題のトラフィックも
結構ありそうで、解決方法がうまく見つかりません。この線はもうなしで、既出の解決策の方法になるのでしょうか。
・mirror.plなどのディレクトリ構成
細かいことかもしれませんが、やはり、この手のツールを有志で運用する、しかも「キャッシュとして使ってもらう」
ということも考えると、ディレクトリ構成を2ch本体に準ずる必要があると思います。
つまり、
・必要なtarballを、Apacheの$documentrootで展開して動かせば2chと同様のディレクトリ構成となる
という構成になってることが実は運用というか稼動では結構重要ではないでしょうか。
このあたり、ご意見聞かせていただければ幸いです。
252:名無し娘。 ◆vP.bOZFQ
01/08/30 20:00 KS31DBTQ.net
>>251
ｶﾞｲｼｭﾂで申し訳ないですが。。。
前半について、ミラーが投稿を受け付けるのは、2ch.netの匿名性、
ミラーサーバーの管理者への信頼等がありますので、難ありかと。
action先を xxx.2ch.net/test/bbs.cgi にして、2ch.net 側で登録した
鯖からのPOSTを受け付ける、というのでどうでしょう。
いちおう、投稿者の行動がミラー管理者に見えにくくなると思うのですが。
253:音楽侍 ◆NtVkSITE
01/08/30 20:06 7UF/vWVo.net
みなさんおつかれさまです～
>>252
それを言い出すと、read.cgiでもそうなんですけどね。
254:名無し娘。 ◆vP.bOZFQ
01/08/30 20:15 KS31DBTQ.net
>>253
そうですね。ただ、利用者の心理的な部分では、読んでるのと書いてるのでは
差が大きいと思います。
書いている場合は、コテハンがわかったり、発言内容とIPが対応したりと、
嫌な感じなことが多いですから。
でも、bbspinkを読んでいる、ってのを知られるのは(ﾟдﾟ)ﾏｽﾞｰかもしれません(笑
255:音楽侍 ◆NtVkSITE
01/08/30 20:19 7UF/vWVo.net
>>254
pinkですか(笑)なるほど。
気をつけないと、いっぺんip-recordableなcgiかませてから
Locationでとばす不心得者が出る可能性もありますしね(笑)
６～10行程度のperlで記述可能だし。
256:anony ◆3XTuRnAc
01/08/30 20:27 E5ciTOEw.net
＞娘。さん
ありゃ、やはりがいしゅつでしたか。失礼しました。
とりあえず、ミラーサーバーでの中間キャッシュにIPさえ残さなければ2chに残るのはミラーの
IPだけってことになるから、何とかなるかなーなどと思ってたんですが、よく考えたらミラー側の
apacheのLogにも残ってしまうんですよね。そのpost用のツールも管理者が改変しないとも限らないと。
やはり「投稿のときにだけは本体にアクセスしてもらう」か、「登録したサーバーからは直接bbs.cgiを呼べるようにする」
しかないのかな。前者だと「面倒だから最初から本体にいこう」とかなっちゃいそうな気もしますが・・・。
257:名無しさん＠お腹いっぱい。
01/08/30 20:53 stSp5H8A.net
>>256
2ch.net本体も同じUIにすればいい。
すなわち、read.cgiでは通常投稿フォームは置かないで、
[投稿フォーム]ボタンで別Windowでの投稿というように
シーケンスを統一する。
連続投稿荒らしをある程度抑止できるかもしれないという
期待もある。
258:てんてんdwp@ yankee.tokyo-nazo.net
01/08/30 21:12 xz66aZYk.net
ちょっとやり方として可能かどうかはわからないけれど、貼りつけ合成って
できるんでしょうか。
つまり、2chからは&st=1&to=1指定でベースと書きこみフィールドだけ取ってきて、
その中間にキャッシュのデータを挟み込んでやるんです。
これができるなら、1だけは取らなければなりませんが、他は取らなくてもいいです
よね。
259:名無しさん＠お腹いっぱい。
01/08/30 21:17 stSp5H8A.net
>>258
IFRAMEを使用すれば可能。ただしUA依存が激しいのでおすすめしかねる。
ついでに、read.cgiに対して&ls=0で0レス取得は提案済み。
260:名無しさん＠お腹いっぱい。
01/08/30 21:21 kBS5NSxo.net
いきなりすいませんがプロ技板は閉鎖しちゃったんでしょうか。
read.cgiハックスレを毎日帰宅してから追いかけてたんですが。。ROMですが (^^
残念～
261:音楽侍 ◆NtVkSITE
01/08/30 21:23 7UF/vWVo.net
>>260
かちゅう～しゃ使ってない？
ブラウザから行くと新しいリンク先わかるよ～
262:名無しさん＠お腹いっぱい。
01/08/30 21:34 kBS5NSxo.net
>>260
ありがとッス、piza2に引っ越してたんですね
板一覧はローカルだったのをすっかり忘れていました ＾＾
今mirror.plを導入すべくcygwinを設定してます (ｳｨﾝﾅなんで。)
linuxは何故かNETに晒すのが怖い。。。。んー厨房だ
感謝です
263:てんてんdwp@ yankee.tokyo-nazo.net
01/08/30 22:09 xz66aZYk.net
>>259
すまん、私はにちゃんねらーじゃないので、2chをよく知らないんだ。礼儀違
反だったかな？またなんかあったら教えてくださいな。
結論としては>>252のようにbbs.cgiを変えてmirrorサーバからのリクエスト
を受けてもらうのが一番データ転送量が少ないし、その他の問題も少なくて済
みそう、ということでいいのかな。
あとmirror.plだけど、プロセスとして定期的に起動するようなスクリプトも
組みこみが必要ですね。>>158の5のやり方だとログインしっぱなしになるんで。
264:名無しさん＠お腹いっぱい。
01/08/30 22:14 7fOtYCeU.net
>263
単に起動するだけだと前のプロセスとファイルを取り合う可能性があるので、
queue に突っ込んで、
前のプロセスの処理が終わってなかったら待つなり諦めるなりの
それなりのスケジューリングをしないと。
265:
01/08/30 22:15 7ajzWl22.net
そろそろ出来た？
266:名無しさん＠お腹いっぱい。
01/08/30 22:27 tJ.u7wQ2.net
しかし大丈夫なのかなぁ？
ミラーのやりあいで、フレーム起こって
かえって転送量増える事ないのかなぁ？
267:Perler ◆GSi39OA6
01/08/30 22:46 8hpmXoeM.net
ではとりあえず、mirror.plに関して、
・コマンドライン引数による、サーバー/板の指定
・多重起動抑制
・デーモン化のコマンドラインスイッチ設置
・ログのgzip化
の変更を開始します。
268:名無し娘。 ◆vP.bOZFQ
01/08/30 23:17 KS31DBTQ.net
後ろ向きな考えでアレですが、ミラーサーバーでの改変や同一性検証を
どのように行うか、展望はありますか？
データを暗号化して公開鍵でread.cgiが複合するとか、
ミラーサーバー間&2ch.netが何かのついでにちょくちょくとCRCなりMD5なりを
チェックするとか。。。でしょうか。
269:Perler ◆GSi39OA6
01/08/30 23:29 8hpmXoeM.net
>>268
そこまでコストかけても、ミラーサーバー側のスクリプトいじられたらアウトなんですよね。。。
公開鍵で復号はいい案だと思うんですが、Rangeでのログの取得が出来なくなりますし。
どうしましょうか。。。?
270:Perler ◆GSi39OA6
01/08/30 23:55 8hpmXoeM.net
>>46
と私も思ったんですが。。。
現状のApache(1.3.x以降)だと、nph-する、しないに関わらずhttpd側でのバッファリングは一切やらない
(クライアントにリダイレクトしちゃう)みたいなので、昔のApacheで言われていたバッファリングによる
オーバーヘッドの回避はないらしいです。
ヘッダのパースで生じるオーバーヘッドもほとんどないような気がします。
271:Perler ◆GSi39OA6
01/08/30 23:56 8hpmXoeM.net
>>270 すみません、誤爆です。。。
272:名無し娘。 ◆vP.bOZFQ
01/08/30 23:57 KS31DBTQ.net
>>269
どの程度負荷がかかってしまうかとかわからないので、様々な方々の意見を
お待ちしたいです＞公開鍵
CRC とかチェックサムっぽいのならば、サーバーＡが dat 更新のリクエストを
出して、サーバーＢが応答して dat(差分) を送信した後に、Ａに更新後の CRC を
算出させ、Ｂのそれと一致しない場合にはアラートをだす、とか。
これを、複数のサーバー間で dat 更新のたびにやらせれば、１つのミラーサーバー
管理者が悪意をもってもだいじょうぶだと思います。
# ミラーサーバー内でさらにDISK内容をミラーさせて、read.cgiに見せるdatと
# mirror.plに見せるdatを変えられたら、ダメですが(笑
改変されないことはひとまずおき、改変されたら周りの鯖が気付くことで必要十分ですね。
273:名無しさん
01/08/31 00:01 K0661yX..net
既出でしょうが
read.cgiを国内キャッシュ鯖において、ＲＯＭはそこで処理
big鯖にはbbs.cgiをおいて書き込み処理＆キャッシュ情報
更新をやらせるという形は？
少なくともhe.netに入る前にF5攻撃とROMは阻止できる。
キャッシュ鯖はbbs.cgiから送られるdatを表示するだけだから
ミラー鯖のような同一性検証も必要ない。
274:名無しさん
01/08/31 00:03 x2Bz1IF..net
このスレで開発してるのは、P2Pではくて、書込バケツリレー頂点サーバーからねずみ算式に
mirrorが読んでいくシステムではないかと．．．
275:名無しさん
01/08/31 00:08 K0661yX..net
>>274
273だが折れがいいたかったのはまさにそーゆーシステムなのだが・・・
276:名無し娘。 ◆vP.bOZFQ
01/08/31 00:11 .hIWo2j..net
>>273
キャッシュ鯖での改変は。。。
>>274
スレ立てるときの間違えです。申し訳ありません。
277:２７４
01/08/31 00:20 uajIN0xc.net
>275
スマソ、もっと上に向かって書いたつもりだったよ、失敬。
>276
datディレクトリの更新チェック毎コピーだから問題ないのでは？
上位鯖から更新毎に通知してくれればロスは無いと思われ
278:名無し娘。 ◆vP.bOZFQ
01/08/31 00:37 .hIWo2j..net
>>277
全コピーですか？
それだと、datの差分転送ができなくなりますが。
差分だとすると、更新されない部分を鯖管理者が悪意で改変する場合が問題になります。
279:名無しさん
01/08/31 00:40 K0661yX..net
それでも無用ＲＯＭとＦ５攻撃の遮断だけでも
効果はあると思う
どうせ存続ならこの後も転送料増えるからキャッシュ鯖分業化と
差分転送と両方やれば？
280:名無し娘。 ◆vP.bOZFQ
01/08/31 00:43 .hIWo2j..net
>キャッシュ鯖分業化と差分転送
その、本質的な違いがわからないのですが。。。
281:腐卵 ◆r4/JZF2o
01/08/31 00:43 XN8TPsgk.net
>>278
悪意の改変は、不特定多数をキャッシュ管理にいれた時点でどうしようもない。
mirror.pl でも悪意による改変は可能では？
転送量を減らすのを大前提とするなら、その点はあきらめざるを得ない部分だと思う。
282:273
01/08/31 00:44 K0661yX..net
あっと・・・
どっちかっていうと上位鯖のbbs.cgiに書き込みがあった時に
キャッシュ鯖に更新されたdatを配信するという考えだったのだが。
cache鯖はread.cgiの対応だけで自分での更新は考えていなかった。
たとえば一定時間更新のないdatは定期更新確認してもいいと思うが。
283:anony ◆3XTuRnAc
01/08/31 00:45 Lkdpz9pY.net
>>268-272
そんなに深刻になる必要は実はないんじゃないでしょうか。
というのは、要するに「改変されたかどうかをリアルタイム(またはそれに近い
タイミング)で検出する」必要はないのじゃないかと。
つまり、必要なのは、
「任意のスレッドの任意の記事に対し、mirrorサーバー上で改変されているか
いないかを確認する方法」
だと思います。記事のやり取りの最中にMD5とか暗号とか考えなくてもいいかと。
というか、そもそも、「オリジナルは2chのサーバー」に必ず存在するわけですから、
「疑惑のスレッドに改変が行われていないかどうか」をユーザーはチェックできるわけです。
たとえば「Mirrorサーバー管理者側にとって都合の悪い記事が勝手にあぼーんされた」
というときでも、Masterである2chサーバーには生き残っているわけです。
たとえば以下の仕様を持つ「勝手あぼーんチェッカ」を用意すれば比較的容易に
誰でも確かめられるんじゃないでしょうか。
１．GUI画面プログラムとする。
２．「2ch側のdatデータのURL」「ミラー側のdatデータのURL」を設定する
３．「チェック」を実行すると、以下のように動く
３．１ 2chサーバーから「マスターdat」をダウンロード
３．２ ミラーサーバから「疑惑のdat」をダウンロード
３．３ 行毎に比較を行い、改変や追加削除があるかどうかをチェックする
３．４ 左右分割画面にて、改変追加削除があった場所の表示やその個所の
dat行のレンダリングを行う。
まあ、これを大量にやられたらものすごいトラフィックになるとは思いますし、
2ch側はともかくミラー側にとっては「DoSアタック」に相当するぐらいの
負荷がかかりかねませんが・・・。
284:腐卵 ◆r4/JZF2o
01/08/31 00:49 XN8TPsgk.net
>>283
両方を wget なりで落としてきて、diff（藁
285:音楽侍 ◆NtVkSITE
01/08/31 00:54 NnB1zrp2.net
ただでさえ２ｃｈのミラーするのは勇気がいるのに、その上ミラー内容をいじるなんて考えにくいけど(笑)
サーバは、クラッキングでもされない限り、責任者の所在が露出するから。
でもまあ、最悪のシナリオを考えるのは、絶対必要ですよね。
286:初期不良
01/08/31 00:57 St7MFrmY.net
くさちゅー変換キャッシュサーバとか出てきそう
改変できることをプラスにとってみたら？
287:anony ◆3XTuRnAc
01/08/31 00:58 Lkdpz9pY.net
>>284
まあ、早い話がそれを「ナウい(藁)GUIで」「自動的に」やってくれて、
しかも結果を「ｳﾏｰ」に表示してくれるツールってことですな(^^;;。
288:名無しさん＠お腹いっぱい。
01/08/31 01:24 K0661yX..net
>>280
キャッシュ鯖分業化
279がいいたいのはread.cgiを国内のサーバーにおいて
読むだけのリクエストはそこで対処する。
書き込みがあった時だけbig鯖に処理を任せると言うこと。
これでＲＯＭの分だけbig鯖への転送量が下がる。
差分転送
普通ファイルというものは１個丸ごと転送するものだが、何らかの方法で
（詳しくは知らないので勘弁してくれ）
更新されて追加された分（つまりあとから書き込まれた分）だけを転送するということ。
上記のキャッシュ鯖分業ではbbs.cgiに書き込みがあった時
キャッシュ鯖に更新されたdatを転送する時に、差分転送を行えば
big鯖からキャッシュ鯖へ転送する情報量が
書き込みによって追加されたレスの分だけ転送すればよくなるので
特に多くのレスがついているdatのときはそれだけ転送量を削減できる。