23/09/12 12:29:39.47 QOX8wfhQ.net
何行何列か示せと
31:デフォルトの名無しさん
23/09/12 12:38:34.37 A3YXlMvb.net
>>30
1億行、125列
32:デフォルトの名無しさん
23/09/12 12:46:05.28 DJD1APYm.net
こんな頭の悪いスレ上げるのはなぜですか？
33:デフォルトの名無しさん
23/09/12 14:42:44.77 A3YXlMvb.net
なぜ下げるんだい？
34:デフォルトの名無しさん
23/09/12 14:59:33.38 BQ9Iu4K/.net
なんで10GBもあるデータをCSVで管理しようと思ったんだろうな
35:デフォルトの名無しさん
23/09/12 17:11:08.62 zmLL4dpk.net
10GBもあるデータをCSVにしようとした訳ではなく
何も考えずにCSVで管理してたらいつの間にか10GBになったんだろう
36:デフォルトの名無しさん
23/09/12 18:09:26.28 BQ9Iu4K/.net
そっかｗ
37:デフォルトの名無しさん
23/09/14 15:11:27.86 Ur1UGoF9.net
>>31
俺だったらなんでも良いからまずRDBに入れちゃうかも。
内容にもよるだろうが、とりあえずSQLiteとかな。
38:デフォルトの名無しさん
23/09/15 19:50:24.13 V4ggyvBY.net
巨大なデータをSQLiteで処理するためのメモ
URLﾘﾝｸ(fan)ぶろぐs.jp/scripts/archive/11/0
39:デフォルトの名無しさん
23/09/15 20:30:51.52 mLRMgWkC.net
やさいい
40:デフォルトの名無しさん
23/09/27 20:16:21.16 PKUrAitV.net
まず各ブロック当たり1000行とかに分ける。ブロック単位でソートする。
1.ブロックA/B を連結してAB間でソート。 B=全体の数/2
2.ブロックA+1, B+1 で連結してソート
3. ブロックA+全体の数/2- 1(前半最後まで)、ブロックB+前半最後までを連結してソート
4.今度は全体の前半で1-3 風にブロックソート。後半～最後までで1-3 風にブロックソート
5. 前半～前半+3/4 でブロックソート、前半+2/4～前半+4/4 でブロックソート、
......
・・・・
ってのを大昔 BASIC で作ったのですが、なぜかデータがゼロに
なってしまうバグが出て作るのを止めてしまいました。ちゃんちゃん。駄目じゃん俺。
41:デフォルトの名無しさん
23/10/04 21:29:03.45 ja1//dn8.net
だいたいデータの入れ替えに時間が掛かるんだよな
メディアがHDDとかだと尚更
普通はインデックスで実データを間接参照させるんだが
まあ、やって無いんだろうなぁ
42:デフォルトの名無しさん
23/10/05 11:43:25.54 AvBTKCCq.net
速度を優先するなら固定長CSVの採用をオススメする
各行へのランダムシークが出来るし並び替えに必要な行の入れ替えも可能になる
最近のutf-8などを使いたい場合は文字数での管理が難しくなるがあくまでもストレージ上でのサイズを基準にして
クラスタサイズも考慮し列サイズを決めていこう
検索性能を上げるには外部インデックスを作るしかないだろう
ファイルサイズは100倍ぐらいに増えるかもしれないが単純なファイルキャッシュだけで下手なDBでは敵わない速度が出せるだろう
43:デフォルトの名無しさん
23/10/08 19:41:45.47 Unktq8Si.net
>>31
125列のレコードが1億行あったらカンマだけで10GB超えるんだが
44:デフォルトの名無しさん
23/10/12 21:43:44.24 5lP2cmIF.net
ひとつが100MBくらいのファイルになるように
ディレクトリ構造でB木をつくって(アンバランスでもOK)
個々にソートしたものを最後に結合
45:デフォルトの名無しさん
24/11/08 00:13:58.03 0/QV09gu.net
csvだから遅いとかはない、デシリアライズして云々するよりそのままテキスト（あるいはその部分文字列、フィールド）として比較するならむしろ有利
単にサイズの問題、メモリより十分小さいサイズに分割（今どきなら数GBなんで100MBあたり）して個別にソート、マージ
むしろテキストにシリアライズされたデータにおいて、最も実用的な類のフォーマットに入る
46:デフォルトの名無しさん
25/05/10 00:23:13.60 Fj2J3+nY.net
とすと
47:デフォルトの名無しさん
25/05/10 14:35:35.59 7IHH6CUB.net
クソスレかとおもったら想像以上に真面目に考察してるスレだったw
48:デフォルトの名無しさん
25/05/10 20:02:05.08 ij0zz7My.net
マジレスはあるかもしれんが別に真面目な考察はないだろ
実は良スレだったんだと雰囲気で既成事実にするな
49:デフォルトの名無しさん
25/05/12 11:20:32.62 Zw0HuL6G.net
DBをエクスポートしたら数GB出てきたとか普通だけど
50:デフォルトの名無しさん
26/02/04 13:57:39.22 Sx8lFlijf
住民の命た゛の暮らしだのほざいて自閉隊動かす小泉進次郎の頭の悪さはともかく四六時中薬物盗撮窃盗詐欺強姦に捏造逮捕までしてる税金泥棒
犯罪組織クソポリ公が益々悪質化してやがる駆除すべきは国民から強奪した税金て゛湯水の如く石油燃やしてグルグル遊覧威力業務妨害ヘリ
飛ばして望遠カメラで女風呂のぞき見して知能への嫉妬心丸出しでクマさん含む住民の暮らしに生命財産にと破壊してイライラ犯罪惹起してる
てめえらクソ害虫やJALだのAΝΑた゛のクソアイヌドゥだの国土破壊省だの莫大な温室効果ガスまき散らして気候変動災害連發させることで
私腹を肥やしてるこいつら強盗殺人テロリストどもだろ
邪惡な高市早苗は支持を得られなかったから給付は行わないだの寝言ほさ゛いてるが支持を得られなかったのは天下り献金賄賂癒着によって
曰銀から盛大に給付されて不正免除に税金免除に補助金まみれに働かない改革でシステム障害まみれ超絶高額完全ナマポ世界的盆暗寄生虫集団
大企業の存在た゛ろとっとと日銀株保有禁止法通して外形課税してクソ航空機に年100兆圓課税してクソ公務員賃金と消費税廃止しろやウマ婆ぁ
航空機連絡先情報 noise.web.fc2.сom