14/06/06 11:43:05.39
なるべくリソースコストを下げたいので、
datをほうり込んだら、JSで表示されるみたいにしたいのですが、
ログのディレクトリ構造とかどうしようかと、、
アホみたいな量のファイルになるので、
一個のディレクトリにぶち込むとかはやばいかなぁと。
3:名無しさん
14/06/06 11:57:44.21 5m1jbu5nu
今ある過去ログ倉庫 URLﾘﾝｸ(sweet.2ch.sc)
とは別に作るんでしょうか？
これも read.cgi を JavaScript モードにしておけば
JS 表示になりますけど...
4:名無しさん
14/06/06 12:43:51.34 pnUix5/ap
URLﾘﾝｸ(i.imgur.com)
ログ速のように指定のレス数以下は省けるようなフィルター機能があると過去ログ探しやすいです
5:ひろゆき＠どうやら管理人 ★
14/06/06 15:59:34.29
現状の掲示板サーバは、書き込みがあるのでSSDでレスポンス早くしてますが容量は大きくないので、
書き込みの出来ない過去ログ専用サーバに移したほうが、
効率的なんですよね。
>>4
おぉ、便利。
6:アップデート告知ロボ ★
14/06/06 19:28:28.42
今のサーバは SSD + HDD のハイブリッド構成になっていて
ライブスレは SSD 上ですが
過去ログエリアは HDD 上にあります
あとフィルタもいいかも知れませんが，どうせなら
昔「検索 (find) を過去ログに対応させる」という
話があったものの立ち消えになってたと思うので
この際それを進めてみてはと...
7:名無しさん
14/06/06 20:20:47.06 Hf3bW8G7y
専ブラはどういう扱いになるんだろ
とりあえず、現状の仕様
URLﾘﾝｸ(www.monazilla.org)
URLﾘﾝｸ(www.monazilla.org)
8:名無しさん
14/06/06 20:25:05.43 Hf3bW8G7y
kako.[server].2ch.net を用意して、302でリダイレクトさせる感じになるのかな
sweet.2ch.sc/patisserie/dat/1402022504.dat にアクセスすると
kako.sweet.2ch.sc/patisserie/1402/14020/1402022504.dat にリダイレクト、とか
リダイレクトをxmlhttprequestは勝手に隠蔽してくれるので
read.htmlはそのまま動くんじゃないかと期待してみる
9:名無しさん
14/06/06 20:33:58.50 5m1jbu5nu
>>7
ｽﾚﾘﾝｸ(patisserie板:31番),39
10:ひろゆき＠どうやら管理人 ★
14/06/07 06:03:40.84
そういえば、過去ログの検索ってどうなったんだっけか。。。
11:ひろゆき＠どうやら管理人 ★
14/06/07 06:05:01.44
おぉ、dat.gzにして、
↓みたいにすればいいんすかね。
kako.sweet.2ch.sc/patisserie/1402/14020/1402022504.dat
12:名無しさん
14/06/07 07:07:07.28 X7ZSw7tAu
リダイレクトは専ブラが対応できないかも
（Not Found と同様の扱いをしてるっぽい）
ｽﾚﾘﾝｸ(patisserie板:155番)
過去ログファイルの実体は別サーバに置くとしても
NFS か何かでマウントして掲示板サーバから
普通に読めるようにするのも一案かも
13:名無しさん
14/06/07 10:33:51.55 6PZAcqirk
302でdat落ち、404でスレ削除/存在しないって判定にしたいのは分かるんだなー
>>11
事前に圧縮しておいて、mod_rewriteで書き換える感じ？
URLﾘﾝｸ(www.webdesignleaves.com) みたいな
高速化よりディスクスペース節約の側面が大きそうだけど
あと、URLはあくまで案なのでいろんな人から意見を聞いたほうがいいかと！！
14:ひろゆき＠どうやら管理人 ★
14/06/08 00:23:41.65
>>12
掲示板サーバのリソースコストが増えるのであんまり得策でないかと。
>>13
>事前に圧縮しておいて、mod_rewriteで書き換える感じ？
そんな感じかなぁと。
15:名無しさん
14/06/08 04:29:11.13 hgpLYRWFQ
とするとかつての memories/花子みたいな感じなのかな
ただ以前は定期的にサーバの引っ越しをして
跡地を memories/花子に収容してましたが
そのやり方を踏襲するのか
それとも引っ越しせず過去ログを直接
memories に放り込むのかってとこですね
16:名無しさん
14/06/08 06:53:00.17 hgpLYRWFQ
そういえば .gz の扱いは元々 mod_negotiation でやってたような
URLﾘﾝｸ(httpd.apache.org)
ただ gzip 圧縮に対応していないクライアントのために結局
生 .dat と圧縮 .dat.gz 両方用意しなきゃならないことになるんで
圧縮/非圧縮の切り替えも含め全部 mod_deflate に任せた方がいい
ということになって .dat.gz は作らなくなったということだったかな...
17:名無しさん
14/06/08 15:55:06.07 f0/vxBHRt
あと利点としては、F22の仕事を過去ログ置き場に押しつけられるってところか
F22の仕様を詳しく知らないんだけど
過去ログ倉庫の生成でファイルを開くときにdat.gzだと処理が増えないか？
ってことだけちょっと気になった
18:ひろゆき＠どうやら管理人 ★
14/06/08 23:59:09.54
>>16
moD_deflateって、毎回圧縮してキャッシュをしないので、
CPU負荷が高いとかじゃなかったでしたっけ？
それよりは、↓みたいに、両方のファイルを用意して、送ったほうが効率がいいような。。
URLﾘﾝｸ(www.cravediy.com)
19:ひろゆき＠どうやら管理人 ★
14/06/08 23:59:47.36
>>17
具体的にどういう作業を想定してるのかわかってないおいらです。。
20:名無しさん
14/06/09 06:44:44.94 FaWtr8M1J
>>18
まぁそうですね
CPU 負荷を取るかストレージ容量を取るかということで
ストレージはどんどん増やせるから気にしないということなら
ファイル両方用意ということでいいと思います
21:名無しさん
14/06/09 07:47:00.55 FaWtr8M1J
そういえば過去ログ削除なんかも時々あるんでしたね
その際にも .gz 再生成が必要になるかと
22:ひろゆき＠どうやら管理人 ★
14/06/09 09:10:07.78
>>20
過去ログ用のサーバはストレージは気にしない方針でいきたいなぁと。
>21
過去ログ削除はめったにあるわけでもないので、
負荷を気にするほどのものではないと思いますー。
23:名無しさん
14/06/09 09:25:25.54 dnx7P2O6S
>>22
そういや、過去ログ削除、まだ出来てないようですけど、いつ出来る予定ですか？
24:ひろゆき＠どうやら管理人 ★
14/06/11 00:40:12.10
そのうち、、、
25:名無しさん
14/06/11 01:06:29.62 PTxyNDgFR
gzだけ保存して通常のdatはCGIか何かでgz展開したらどうかな
負荷はあるけれどもそんなに過去datへアクセスないでしょうし
DoS攻撃された際はCGIはmod_evasiveとかで守る
26:名無しさん
14/06/11 10:48:50.82 eTEz1kkyH
>>24
うえきｗｗｗ
脱税するなよ ひろゆき
27:ひろゆき＠どうやら管理人 ★
14/06/11 22:18:40.24
>>25
過去ログサーバなので、過去datがメインかと、、、
28:名無しさん
14/06/12 11:10:02.10 XIwvygI38
>>25
subject.txtをDB化、本文は.net側と同じ構成にした上で
静的コンテンツをCDN上に載せるのはどうですかね？
Dat鯖の中の事はあまり解りませんが、最近のDDos/Dos攻撃の防御は
ネットワーク側でも行なうのが一般的みたいです
29:２８
14/06/12 11:12:14.78 XIwvygI38
subject.txtだけと書きましたが本文検索も可能にするならDB化は必要ですね。。。
30:名無しさん
14/06/12 12:07:14.44 jbQD+jzfD
そういえば過去ログ鯖は今までどおり米国に置くんです？
それとも・・・
>>28
subject.txtをDB化する意味ってある？
なんというか、利用頻度や重要度からしてオーバースペックに見える
31:名無しさん
14/06/12 12:18:22.28 XIwvygI38
>>30
検索用？
確かにオーバースペックですが、大は小を兼ねるでw
32:ひろゆき＠どうやら管理人 ★
14/06/13 05:36:22.27
CDNって特定の動画を1万人に配るとか、
少ないデータを配布するには適してますけど、
多量のデータを扱うのはコスパ悪いですよ。
33:名無しさん
14/06/13 06:09:10.39 YU1Fm9OhN
>>32
URLﾘﾝｸ(www.cloudflare.com)
個人的に使っているここのProプランは共有SSLも使えて$20/月ですが
Dos防御は月々$200のBusinessプランからですね。
34:ひろゆき＠どうやら管理人 ★
14/06/14 03:32:58.36
おぉ、cloudflareは検討中ですー。
35:名無しさん
14/06/15 01:30:28.63 JyVzcbVxE
URLﾘﾝｸ(www.dreamhost.com)
とかでもええんとちゃう？
36:ひろゆき＠どうやら管理人 ★
14/06/15 02:47:58.39
まぁ、基本、どこでもOKですー。
37:名無しさん
14/06/16 10:23:44.79 kf96Yd52a
>>15 はどうなんでしょう？
* 従来方式
定期的に掲示板サーバを引っ越し (sweet -> sweet2)
跡地 (sweet) を memories に収容
* 随時収容方式
落ちた dat を直接 memories に転送
掲示板サーバの引っ越しなし
38:ひろゆき＠どうやら管理人 ★
14/06/17 05:31:51.01
↓が楽でいいんじゃないかとー。
* 随時収容方式
落ちた dat を直接 memories に転送
掲示板サーバの引っ越しなし
39:名無しさん
14/06/17 08:07:28.79 qo1PfKF5t
今の置き場もそんなにリソース使用してるようには見えないけど
どこにJS使うんだろう
40:ひろゆき＠どうやら管理人 ★
14/06/17 13:04:01.55
今の置場？
41:名無しさん
14/06/17 20:31:26.75 qo1PfKF5t
倉庫≠置場でした？
42:名無しさん
14/06/18 08:09:28.10 q5uuQem7m
>>39
花子は確かT-Banana (C2D) + 4GB RAMで
Boot HDDと RAID6 HDD で分けているはず．．．
43:名無しさん
17/05/26 19:36:25.29 w3NIrQByE
今は過去ログどこに置いているのですか?
これからも従来通り専ブラから見られるようにして
2ch.sc公開前の過去ログもクロールしてほしいです。
44:名無しさん
18/12/15 22:36:21.88 TPrJofNWN
１０００過ぎたスレがいっぱい放置されてある
片付けて欲しい