20/06/16 13:47:06.38 qh0zMHIl.net
どこに悩みどころがあるのか理解できないな。
メディアが磁気テープだとか厳しい条件があるのか？
920:デフォルトの名無しさん
20/06/16 14:31:33.48 JkKVZycg.net
splitコマンドで先に入力ファイルを分割しておくやり方もある
一旦データベースに入れたほうが幸せになれそうな気がしないでもない
921:デフォルトの名無しさん
20/06/16 17:32:26.07 MkxUTruR.net
65535行までだったりしてw
922:デフォルトの名無しさん
20/06/16 18:01:01.67 uOZIHf/t.net
ありがとうございました。
>>917さんのおっしゃるとおりでした。複数ファイル開きっぱなしで普通に行けました。
そんなたくさんファイル開きっぱで大丈夫かなとか思ってたんですけど普通に大丈夫でしたね。
923:デフォルトの名無しさん
20/06/16 20:47:23 ivkBgZLC.net
>>922
他にアドバイス出来る事があるとするならmmap使ってどれくらい速くなるかといったところか
でも普通はそんな細かいテクニック使わずにマルチプロセスにして終わらすけどなｗ
924:デフォルトの名無しさん
20/06/16 20:52:28 CInIEXBA.net
WebPって実用性ある？
大きなデメリットとして対応ブラウザのカバー率ってのがあるからWebではそこまで広まってないというのは分かるんだけど
ローカルなアプリでならlibwebpくっ付ければ良い訳だし、例えばサムネキャッシュなんかにjpgではなくWebpを採用するってのは合理的だよね？
925:デフォルトの名無しさん
20/06/16 21:30:15.97 ivkBgZLC.net
>>924
今時画像がメインのコンテンツってあるか？
JPEGのトラフィックが占める割外が全体の3%だったらWebP使っても全トラフィックの0.9%程度削減出来るだけ
たったそれだけの為にJPEGだったら使えるツールやライブラリーを永久に捨てるのか？
解凍だと1.3倍の計算コストがかかり、圧縮については５倍から１０倍もの計算コストがかかってトータルのサーバー代が一体どれだけ削減出来るというのか
それでいて組み込みだと使うのが面倒とかなれば増える開発コストの事とか色々考えでそういう判断には簡単にはならないと思うわ
個人的にはJPEGのまま圧縮率を高めるイスラエルが開発したJPEGminiの方が、アルゴリズムの学習教材として興味があるわｗ
926:デフォルトの名無しさん
20/06/16 21:33:54 CInIEXBA.net
>>925
エンコードコストなら何倍かかっても良いと思ってたけどデコードも1.3倍なのか
そう考えると言うほどメリット無さそうだな
927:デフォルトの名無しさん
20/06/16 23:08:13 MYBrtVeJ.net
プログラミング初心者が、自動購入ツール・既存の通販サイトの自分用新着入荷のアラートを
プログラミングできるようになるまでかかる時間ってどれくらいだと思いますか？
HTML打ってWebサイト作って運営するぐらいはできます
タイピングは速いです
Adobeソフトは一通り使えます
プログラミングそのものは全く経験なくこれからド基礎から勉強します
928:デフォルトの名無しさん
20/06/16 23:11:36 Z/cmpzUe.net
>>927
掲示板で情報を聞くような人は普通の人よりずっと見込みがなく時間もかかるのだけは確か
929:デフォルトの名無しさん
20/06/16 23:16:42 BOJj0jgT.net
>>928
このスレの存在全否定じゃないですかやだー
930:デフォルトの名無しさん
20/06/16 23:17:47 CInIEXBA.net
HTML出来るならJavaScript数時間で出来るようになるから本気でやろうと思ったら1ヵ月もあれば出来ると思うよ
931:デフォルトの名無しさん
20/06/16 23:18:30 19TzQnOu.net
>>927
3日かからないんじゃないかな
pythonの基礎抑えるのに1日、Selenium覚えるのに1日、まとめて形にするのに1日
だいぶ余裕とってこれぐらい
932:デフォルトの名無しさん
20/06/16 23:19:31.52 19TzQnOu.net
JSできるならnodeのほうがいいか
933:蟻人間
20/06/16 23:21:08.26 ebnS0OPT.net
>>927
Ruby nokogiriを使え。
ただし、HTTPSの仕組みを知らないとキツいぞ。
934:デフォルトの名無しさん
20/06/17 00:02:06 H0Dcbe9T.net
静的なサイトは、Ruby, Nokogiri でスクレイピングできるけど、
5ch みたいに、最初に空のHTML を送ってきてから、
Ajax でページの内容を取得するようなものは、
Selenium Webdriver でブラウザを自動操作する必要がある
または、10秒ぐらいスリープしてから、DOM を取得するとか
つまり、すぐにHTMLの内容を取得すると、データが入っていない事がある
935:デフォルトの名無しさん
20/06/17 00:12:19 RrUAhOeu.net
>>927
ド基礎から数時間で習得なんて絶対無理だから
覚悟して最低一ヶ月くらいは毎日取り組め
数時間でさわりだけでも覚えられるのは経験者だが
その経験者も最初は最低一ヶ月くらいは掛かってる
936:デフォルトの名無しさん
20/06/17 01:20:03.75 H0Dcbe9T.net
>>916
Ruby のCSV.foreach とかは、ファイル全体を読み込まない。
ストリームで、1行ずつ読んだ端から捨てていくから、問題ない
これを作るファイルの回数だけ、繰り返せばよい
データがメモリ容量以上なら、メモリキャッシュには残っていないから、遅いけど
937:デフォルトの名無しさん
20/06/17 03:06:13.53 lH3AbCEk.net
>>927
まとめて作るんじゃなくて
機能を分割して作ると早い
例えばウェブページを監視して新着が来れば警告表示される機能をつくるとか。
個別に見ていけばchromeの拡張機能で実現できるものとか色々あるし。
938:デフォルトの名無しさん
20/06/17 04:09:45.16 DyZG4gKK.net
>>937
chrome拡張ってWebから取得したデータの保存が難しかったように思うけどどうなんだろうな
前やった時は色々悩んで結局、
document.write("<img src...
って感じでサーバーにgetで渡したわｗ
chrome拡張で取得したデータをファイルに保存したいだけなのにサーバー建てなきゃいけないとかだったら設計として汚いよな
939:デフォルトの名無しさん
20/06/17 06:33:29.70 H0Dcbe9T.net
例えば、Ruby, selenium-webdriver なら、以下のように、ブラウザを自動操作して、
Yahoo に、ユーザー名・パスワードを入力して、自動ログインする
最短で、Ruby, selenium-webdriver, Nokogiri, CSS セレクターの知識で、
スクレイピング・ブラウザを自動操作できる
driver.navigate.to "URLﾘﾝｸ(login.yahoo.co.jp)
element = driver.find_element(:id => "username")
element.send_key "ユーザー名" # 入力
driver.find_element(:id => "btnNext").click # ボタンをクリック
element = driver.find_element(:id => "passwd")
element.send_key "パスワード" # 入力
driver.find_element(:id => "btnSubmit").click # ボタンをクリック