くだすれPython(超初心者用) その23at TECH
くだすれPython(超初心者用) その23 - 暇つぶし2ch172:デフォルトの名無しさん
14/06/08 18:18:38.92 e+2yydW9
>>170
永続化したいデータがあって、全体から必要なデータだけを取り出したいとき
あと取り出すときにソートできるし楽

>巨大データをリストなどに読み込むとスワップしてPCが使い物にならない
これは不必要なデータもとりだしてるんじゃないか。そうでないなら、そのPCが性能不足ということになる

173:デフォルトの名無しさん
14/06/08 18:24:20.67 SjxXj1KS
>>170
ソートとか、ややこしい集計とかで楽したい時とか

174:デフォルトの名無しさん
14/06/08 18:29:28.96 jRRr+ktT
>>170
スクレイピングのキャッシュ保持に使ってる

175:デフォルトの名無しさん
14/06/08 18:46:02.25 43jAtAsp
>>170
SQLiteというよりはデータベースの使い道?
端的に言えば複数の同種データとか永続化したいならならなんでもござれだよ
抽出したりソートしたり集計したりリスト使うよりSQLのが楽というかそれこそが仕事

SQLiteはファイルベースだからアクセス権もそれに依存だけど
それだけにぽんぽん移動できて取り回しが楽だし
インメモリデータベースとしても使える

176:デフォルトの名無しさん
14/06/08 19:03:12.89 AGC0ZTJI
参考になりました
メインメモリ2GBのPCで、60GBほどのテキストデータを
リストで処理しようとしたら、スクリプトの実行が終わっても
グゴゴゴ・・・とHDDの音が数分続いて恐くなった次第
どうやら用途としては間違っていないようでよかった

177:デフォルトの名無しさん
14/06/08 20:04:12.80 jRRr+ktT
pytables使えば?

178:デフォルトの名無しさん
14/06/08 22:56:25.54 W6M7L2Zj
よくわからないけどでかいデータはちょっと読んでは捨て、ってやっていったほうがいいと思う
あと、その用途ならpickleが使えるかと

179:デフォルトの名無しさん
14/06/09 01:05:20.51 QFOBToaK
やっぱり人力が一番だよ

180:デフォルトの名無しさん
14/06/09 07:42:14.68 NzkmwWkT
>>178
realplayer とか flash とか全部オンメモリで糞みたいに固まるからなω


最新レス表示
レスジャンプ
類似スレ一覧
スレッドの検索
話題のニュース
おまかせリスト
オプション
しおりを挟む
スレッドに書込
スレッドの一覧
暇つぶし2ch