08/04/05 05:19:47 84lF3qo80
だまされないぞ
951:動け動けウゴウゴ２ちゃんねる
08/04/05 15:43:34 TlOEbpo/0
●でアクセスできる過去ログスレッドってすべての鯖のすべての板でどのぐらいの数あるんだろう？
具体的な数字の分かる人いる？
952:○○○
08/04/05 16:28:31 EbaI/hAY0
うへ
953:動け動けウゴウゴ２ちゃんねる
08/04/05 22:23:33 TlOEbpo/0
思いつきでこんなの作った。
だが、未だ反省していない。それどころか、今後も改良を続けたいと思う。
しかし・・・途中で限界が来るかもしれない。その時はとてもすまないと思う。
URLﾘﾝｸ(mirror.takatyan.info)
希望しか見えない。
954:動け動けウゴウゴ２ちゃんねる
08/04/05 22:32:10 TlOEbpo/0
ああ、ごめんな、ニュース速報VIP板の検索をしてくれた人。
残念だけど、yutori.2ch.net鯖は「y」で始まるからクロールは当分先なんだ。すまない。
そこまで行くまでにディスクがあふれたら、ごめんな。
955:動け動けウゴウゴ２ちゃんねる
08/04/05 22:43:25 cU33mj1AP
takatyanがすごいものを作ってくれたよ
956:●
08/04/05 22:45:22 riz0wYMI0
>>954
あぁ・・・だから駄目だったのか
957:動け動けウゴウゴ２ちゃんねる
08/04/05 22:50:03 TlOEbpo/0
>>955
問題は何が先に壊れるか、です。
・私のやる気
・私の時間（実は火曜日試験なんですよね）
・鯖のHDD（今のところあと50GBぐらいですかね）
・MySQLのテーブルサイズ上限（281474976710655バイト=262144ギガバイト）、まず大丈夫
・Sennaのレコード数上限（268,435,455 (約2億6千万)レコード=268,435,455 (約2億6千万)スレッド） これのために>>951を書いたんだ。
>>956
ごめんな、リロードバーボンがごく最近復活したんだよな。それのせいなんだ。
それがなければもっと高速に・・・いけるなじゃないかなぁ。
鯖検索式はともかく、板検索式は板ディレクトリ名「operate」とかじゃないとだめなんだ。
958:動け動けウゴウゴ２ちゃんねる
08/04/05 23:42:39 +oiD3/Zv0
50GB・・・難しいな
ちなみにdatをすべて保管する形だったら3～5TBは必要と思われ
試験がんばれｗ
959:動け動けウゴウゴ２ちゃんねる
08/04/05 23:44:21 TlOEbpo/0
>>958
残念、鯖、板、鍵、タイトル、レス数の5つを、スレッドごとに格納するだけだ。
960:動け動けウゴウゴ２ちゃんねる
08/04/06 00:14:52 /6u5OKsN0
でっていう
961:動け動けウゴウゴ２ちゃんねる
08/04/06 00:58:49 gNPaqc6O0
パスがわからなくなったんでメール出したんだが、返事がこない
もう一回出しても返事がこない
ここのサポートってほんとに存在すんのか？
962:動け動けウゴウゴ２ちゃんねる
08/04/06 05:03:07 pzOEsH7+0
土日は休みだろ常考
963:動け動けウゴウゴ２ちゃんねる
08/04/06 07:29:05 gNPaqc6O0
出したのは先週だ
964:動け動けウゴウゴ２ちゃんねる
08/04/06 11:16:31 oa0qgFE/0
昨日ニュース速報VIP板の検索をしてくれた人のために
yutori.2ch.net/news4vipを優先してクロールしたぞー
どれどれ・・・
「格納スレッド809531のうち、news4vipのスレッド779480、つまり96.2%がVIPのスレだお（ ＾ω＾）」
。 。
/ ／ ﾎﾟｰﾝ！
( Д )
965:動け動けウゴウゴ２ちゃんねる
08/04/06 13:23:04 5sK3Umh30
dat保管プロジェクトo2onどうすか！
datファイルを共有するP2Pソフト o2on 12dat
ｽﾚﾘﾝｸ(tech板)
966:動け動けウゴウゴ２ちゃんねる
08/04/06 13:54:28 oa0qgFE/0
>>965
Linuxでも動くようにしてくれたらやる！
Win鯖はこの前電源が逝ってしまいますた
967:動け動けウゴウゴ２ちゃんねる
08/04/06 13:56:37 KfRSA3E30
>>964
そりゃVIPはスレが異常な多さだからね
そういえばリストに隠し板が含まれていないねえ
968:動け動けウゴウゴ２ちゃんねる
08/04/06 14:23:26 oa0qgFE/0
>>967
その辺の扱いはどーしよっかなー
現在のリストはbbsmenu.htmlから作ったので、隠し板はありません。
URLﾘﾝｸ(www.2ch.net)から過去の倉庫も辿らなくちゃいけないんだけど、
それは現役倉庫（新しくスレッドが格納されていく倉庫）のクロールシステムができてからにするつもり。
969:動け動けウゴウゴ２ちゃんねる
08/04/06 14:25:42 oa0qgFE/0
ニュース速報板「news」で検索してくれた人がいるんだけど、
ニュース速報VIP板「news4vip」が検索結果に含まれてしまう模様。
どーしたものか。。。
970:動け動けウゴウゴ２ちゃんねる
08/04/06 15:18:48 BUhfPyYfP
隠し板はいるでしょ
あとは・・・PINKやまちBBS・・・
ここvip臭いです(931,200)が出てうぜえ
971:動け動けウゴウゴ２ちゃんねる
08/04/06 15:24:39 oa0qgFE/0
>>970
PINKは年齢的問題からできません＞＜
まちBBS？何それ、食（ｒｙ
・・・まちBBSは過去ログの仕組みがよく分からないです
事実、●持ちご用達ツール兼●販促ツールであり、
隠し板は考慮に値すると思うんだが・・・
私が隠し板は壁とアラスカしか知らない。
まぁ、ググればいくらでも出てくるとは思うが・・・。
とりあえず、非隠し板のクロールが終わってからね。
972:動け動けウゴウゴ２ちゃんねる
08/04/06 15:26:34 FNkfZJ2n0
隠し板「机」希望
973:動け動けウゴウゴ２ちゃんねる
08/04/06 15:33:42 uHI85pQ+0
>>971
ヒント：隠し板一覧は、Wikipediaの隠し板にある
974:動け動けウゴウゴ２ちゃんねる
08/04/06 15:36:19 oa0qgFE/0
>>972-973
把握、じゃぁ「机」をこれからクロールするよう指示します
975:動け動けウゴウゴ２ちゃんねる
08/04/06 15:56:26 oa0qgFE/0
>>974
できたよー＼（^o^）／
976:p2-user: 210977 p2-client-ip: 220.147.246.148
08/04/06 16:03:23 UX0LOQMuP
どうやらバーボン食らったみたい
しばらく休み
59 BBON.ex21.666 220.147.246.148 (ntnigt048148.nigt.nt.ftth.ppp.infoweb.ne.jp) 1
977:動け動けウゴウゴ２ちゃんねる
08/04/06 16:08:22 XP9RDRSY0
>>976
つなぎかえろデブ。
978:動け動けウゴウゴ２ちゃんねる
08/04/06 16:11:35 UX0LOQMuP
>>977
DDNSの浸透に時間かかるからやだ
979:動け動けウゴウゴ２ちゃんねる
08/04/06 16:13:57 BUhfPyYfP
>>971
見なければいいんだよー指示するぐらいなら見たことにはならない
隠し板一覧
壁
URLﾘﾝｸ(society6.2ch.net)
机
URLﾘﾝｸ(2chplus.2ch.net)
superfree
URLﾘﾝｸ(2chplus.2ch.net)
運用情報(金)
URLﾘﾝｸ(qb6.2ch.net)
また挑戦
URLﾘﾝｸ(dso.2ch.net)
また挑戦2
URLﾘﾝｸ(dso.2ch.net)
アラスカ
URLﾘﾝｸ(snow.2ch.net)
いずれは、削除された板も検索できるようにしないと
980:動け動けウゴウゴ２ちゃんねる
08/04/06 19:37:17 oa0qgFE/0
>>979
対応しました。
そのうちデータ収集に行きます。
981:動け動けウゴウゴ２ちゃんねる
08/04/06 19:43:44 BUhfPyYfP
乙
それと次スレ立てておｋ？
982:動け動けウゴウゴ２ちゃんねる
08/04/06 19:45:53 oa0qgFE/0
>>981
それではお願いします
983:動け動けウゴウゴ２ちゃんねる
08/04/06 19:55:10 BL3BQg6B0
ID変わったが立てた
過去ログ＆●(2chビューア)情報スレ 05
ｽﾚﾘﾝｸ(operate板)
途中で邪魔が入っているが
984:動け動けウゴウゴ２ちゃんねる
08/04/06 19:59:00 oa0qgFE/0
>>983
乙
スーパーフリー板って過去ログ倉庫あるの？
985:動け動けウゴウゴ２ちゃんねる
08/04/06 20:06:28 BL3BQg6B0
調べたらdat落ちしない設定になってら
一番下のスレ2488番ｗｗｗ
986:動け動けウゴウゴ２ちゃんねる
08/04/06 20:15:04 oa0qgFE/0
>>985
これは収集する価値があるか疑問ですねぇ・・・
987:動け動けウゴウゴ２ちゃんねる
08/04/06 20:16:24 oa0qgFE/0
というわけでsuperfree板をクロールしたことにしておいた
988:動け動けウゴウゴ２ちゃんねる
08/04/06 20:20:36 BL3BQg6B0
おつー
989:動け動けウゴウゴ２ちゃんねる
08/04/06 20:22:48 oa0qgFE/0
ふーむ、170万スレッドのデータを収集した今、検索データと実データを含むすべてのデータ量はおよそ半ギガ。
0.5ギガバイト / 170万 * 2億
とやると58.8235294 ギガバイトとなることから、仮に2億スレッドスレッド格納してもハードディスクの
領域としては何とかなりそうだ。
問題は検索性能。
2億スレッド、それもそれらのスレッドはタイトルの長さはせいぜい20文字程度。
普通に検索ワードを入れるだけでは結果が万単位になるだろう。
その他の絞り込み機能が必須だな。
990:●
08/04/06 20:24:52 ScVyHXTP0
>>987
病院・医者
URLﾘﾝｸ(society6.2ch.net)
おながいします
991:動け動けウゴウゴ２ちゃんねる
08/04/06 20:24:54 BL3BQg6B0
これならPINK＋まちBBS＋鯖移転前のスレを入れても大丈夫かも
992:動け動けウゴウゴ２ちゃんねる
08/04/06 20:25:33 BL3BQg6B0
>>990
待ってたらそのうちクロールされるさ
993:動け動けウゴウゴ２ちゃんねる
08/04/06 20:30:14 oa0qgFE/0
>>990
受けてもいいんだ、受けてもいいんだ、
システム的には今すぐクロール開始もできる。
だがここでそれを受けると以下どこそこのデータ収集始めてくださいレスで埋まるかもしれない。
それを避けるためにすまんがもう少し待ってほしい。といってももう3日目なのに、
まだこのくらいではもうしばらくかかりそうだ。
・・・リロードバーボンめ・・・。除外申請したら通るだろうか？
この検索システムの話題をするのにもっと適切な板、スレはないだろうか・・・。
>>991
PINK、まちBBSは今のところやる気なし。
・・・完全に別で、もうひとつ同じシステムを立ち上げてやる可能性はある。
にしても、２ちゃんねるの収集がほぼ終わって、システムが完成に近づいてから、ね。
994:●
08/04/06 20:34:51 ScVyHXTP0
>>993
∧＿∧
（ ・∀・） ＜待ってます。
（ ∪ ∪ ＜●餅だけなら●板でする？人いなさそうだけどｗ
と＿_）__） ＜PCｶﾃのどっかの板のほうがいいのかな？
995:動け動けウゴウゴ２ちゃんねる
08/04/06 20:36:35 BL3BQg6B0
あぼーん
ｽﾚﾘﾝｸ(superfree板)
暇だな漏れ
抽出 ID:CqnPnU/b (1000回)
996:動け動けウゴウゴ２ちゃんねる
08/04/06 20:38:29 BL3BQg6B0
スレタイ検索のスレをどこに立てるかだな
dat陳列棚の掲示板
URLﾘﾝｸ(takatyan.ddo.jp)
ここじゃ人こないよな・・・
997:動け動けウゴウゴ２ちゃんねる
08/04/06 20:40:22 oa0qgFE/0
>>994
それまでにHDDが尽きたらごめんね。でも、HDDは増設できそう・・・。
●板かなぁ。
でも・・・●を買う動機づけになってほしいと思っているのでできれば・・・
昔板とかか？「過去ログをねたにして、モリアがロー」とあるし、ここがいいか？
すごい過疎のような・・・
>>996
できれば2ch内が・・・
998:動け動けウゴウゴ２ちゃんねる
08/04/06 20:44:08 BL3BQg6B0
ネットサービス
URLﾘﾝｸ(pc11.2ch.net)
この板過疎板
2ch運用情報
URLﾘﾝｸ(qb5.2ch.net)
ないない
Download
URLﾘﾝｸ(tmp7.2ch.net)
これもない
ニュー速VIP
URLﾘﾝｸ(yutori.2ch.net)
ねーよｗｗｗ
999:動け動けウゴウゴ２ちゃんねる
08/04/06 20:44:46 BUhfPyYfP
次スレ
過去ログ＆●(2chビューア)情報スレ 05
ｽﾚﾘﾝｸ(operate板)
1000:動け動けウゴウゴ２ちゃんねる
08/04/06 20:44:47 BL3BQg6B0
>>1000ならtakatyanがリロードバーボン除外申請したらすんなり通る
1001:１００１
Over 1000 Thread
このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。