13/01/07 22:40:29.73 TM+tkKtJ.net
そんなに差出なかった
-rw-r--r-- 1 aaa users 5118621 1月 7 22:29 logs_with_dir.tar.gz
-rw-r--r-- 1 aaa users 13828 1月 7 22:24 logs_with_dir.tar.xz
-rw-r--r-- 1 aaa users 13796 1月 7 22:26 logs_without_dir.tar.xz
xzのやつをxz -dで解いた後xz -9で固めたらこうなった
-rw-r--r-- 1 aaa users 48650240 1月 7 22:24 logs_with_dir.tar
-rw-r--r-- 1 aaa users 48650240 1月 7 22:26 logs_without_dir.tar
-rw-r--r-- 1 aaa users 13692 1月 7 22:24 logs_with_dir.tar.xz
-rw-r--r-- 1 aaa users 13584 1月 7 22:26 logs_without_dir.tar.xz
68:59
13/01/07 23:56:16.32 dCQMeIg4.net
>>67
むむ、ぬぁにぃぃぃ、こっちの環境のせいなのかぁ？
こっちでも、 xz -d して xz -9 してみた。
-rw-r--r-- 1 hiro hiro 48650240 2013-01-07 23:37 logs_with_dir.tar
-rw-r--r-- 1 hiro hiro 48650240 2013-01-07 23:40 logs_without_dir.tar
-rw-r--r-- 1 hiro hiro 16972 2013-01-07 23:37 logs_with_dir.tar.xz
-rw-r--r-- 1 hiro hiro 13668 2013-01-07 23:40 logs_without_dir.tar.xz
やっぱり 1.2倍くらい違う。
えーと、こっちの環境は debian 6.0.6/squeeze で
$ tar --version
tar (GNU tar) 1.23
$ xz --version
xz (XZ Utils) 5.0.0
liblzma 5.0.0
debian パッケージ的には、
$ apt-show-versions tar xz-utils
tar/squeeze uptodate 1.23-3
xz-utils/squeeze uptodate 5.0.0-2
なんだけど、そっちの環境を教えてもらえますか？
69:67
13/01/08 00:05:54.47 TM+tkKtJ.net
Slackware 14.0
tar (GNU tar) 1.26
xz (XZ Utils) 5.0.4
liblzma 5.0.4
だった
70:67
13/01/08 00:24:54.72 Yi/2g8hy.net
ひょっとしてと思ってたけど、これ多分メモリの搭載量によって結果変るんだと思う
さっきやったPCでまた新しくデータを作ってからlogs_with_dir.tar.xzを作って
それを別の二台に送って解凍してからまた固めたらこうなった
一番上が最初のPC
Mem: 1165120 696316 468804 0 10940 328680
Mem: 3915520 129536 3785984 0 9660 85404
Mem: 767544 97744 669800 0 15752 67784
-rw-r--r-- 1 aaa users 13908 1月 8 00:09 logs_with_dir.tar.xz
-rw-r--r-- 1 aaa users 13828 1月 8 00:12 logs_with_dir.tar.xz
-rw-r--r-- 1 aaa users 16948 1月 8 00:16 logs_with_dir.tar.xz
xzとtarは全部同じバージョン
71:login:Penguin
13/01/08 00:38:08.97 Yi/2g8hy.net
最後のPCでwithoutのほう試すの忘れて電源切っちゃったけど
多分13800前後になるんだと思う
なんでか分からないけどディレクトリ付きのほうが
圧縮するときメモリ使うってことじゃないかな
72:login:Penguin
13/01/08 00:42:37.31 Yi/2g8hy.net
と適当なこと書いたけどxzやってる間そんなメモリ使ってないな
73:59
13/01/08 00:56:31.29 5U01eE+J.net
>>70
おー、そういう検証はとてもありがたい。
しかし Slackwareが出てくるとは…、年季入ってそうっすね。
こっちのメモリは、↓な感じ。
Mem: 3371996 2639292 732704 0 264628 1622812
まさにwithoutの方頼もうと思ってたら、電源切っちゃいましたか…
メモリの使い方については、xz の man pageの "Memory usage"に
いろいろ書いてありますね。
でも、メモリ搭載量で圧縮率に変動があるとしても、元々のお題の
ディレクトリを含む/含まないによって圧縮率が変わることへの
直接の回答にはなっていないような感じ…
んで、今さらながら より新しいバージョンの xz-utilsの
NEWSを見てみたんだけど、
URLﾘﾝｸ(git.tukaani.org)
5.0.3 (2011-05-21)
* liblzma fixes:
- lzma_stream_buffer_encode() no longer creates an empty .xz
Block if encoding an empty buffer. Such an empty Block with
LZMA2 data would trigger a bug in 5.0.1 and older (see the
first bullet point in 5.0.2 notes). When releasing 5.0.2,
I thought that no encoder creates this kind of files but
I was wrong.
なんかこれっぽい感じ。
今日はもう寝るけど、明日にでも sid の
新しいバージョンビルドして確認してみよう。
74:67
13/01/09 22:44:39.42 Q9Cbtgql.net
>>67のときと同じのを展開した後はこれで
tar cJf logs_with_dir2.tar.xz log
tar cJf logs_without_dir.tar.xz log/*.log
Mem: 767544 97056 670488 0 15600 67276
-rw-r--r-- 1 aaa users 13908 1月 9 22:33 logs_with_dir.tar.xz
-rw-r--r-- 1 aaa users 16948 1月 9 22:36 logs_with_dir2.tar.xz
-rw-r--r-- 1 aaa users 13812 1月 9 22:34 logs_without_dir.tar.xz
Mem: 1165120 359552 805568 0 7776 196436
-rw-r--r-- 1 aaa users 13908 1月 8 00:47 logs_with_dir.tar.xz
-rw-r--r-- 1 aaa users 13828 1月 9 22:35 logs_with_dir2.tar.xz
-rw-r--r-- 1 aaa users 13812 1月 9 22:36 logs_without_dir.tar.xz
同じPCでも今回はサイズが微妙に違った
75:59
13/01/14 04:16:03.55 ccIYmHSp.net
明日とか言いつつ、時間たっちゃったな。
てことで xz-utils 5.1.1alpha+20120614 で確認してみた。
なんで 5.0.4じゃないかというと、debian sid に 5.0.4 がなかったから。
試した結果だけど、若干前よりどちらも圧縮率は上がったけど、
圧縮率の差はそのまま。
>>73 の 5.0.3のliblzma fixesは関係なかったみたい。
$ ls -al logs_with*tar*
-rw-r--r-- 1 hiro hiro 16920 2013-01-14 03:54 logs_with_dir.tar.xz
-rw-r--r-- 1 hiro hiro 13836 2013-01-14 03:55 logs_without_dir.tar.xz
$ xz -l logs_with*dir.tar.xz
Strms Blocks Compressed Uncompressed Ratio Check Filename
1 1 16.5 KiB 46.4 MiB 0.000 CRC64 logs_with_dir.tar.xz
1 1 13.5 KiB 46.4 MiB 0.000 CRC64 logs_without_dir.tar.xz
-------------------------------------------------------------------------------
2 2 30.0 KiB 92.8 MiB 0.000 CRC64 2 files
>>67の人が検証してくれたおかげでとりあえず確認できたのは、
どうやらメモリ環境によって圧縮率は変動するらしいってことくらいか。
確かにそれらしいことが xz の man pageの "Memory usage"に
書かれてるけど、ディレクトリありなしによって圧縮率が変動する
ことの理由にはなってないよなぁ。
てことで、なんかすっきりしないけど、解明はあきらめました。
>>67の人は協力してくれてありがとう。
誰かが xz-utilsのソース読み込んで、
この現象をすっきり説明してくれることを願う。
76:login:Penguin
13/02/20 23:23:26.32 TJXl/4x3.net
77:pxz
78:login:Penguin
13/04/01 23:37:56.61 8w3a7CB+.net
>>67 >>75
今更だが気になったので実験。
ファイルはGNUのtar-1.26.tar.xzを使用した。
Debian wheezy 7.0
tar 1.26
xz (XZ Utils) 5.1.0alpha
liblzma 5.1.0alpha
Mem: 8104148 2631116 5473032 0 21232 1628468
これをgz,bzip2,xzでそれぞれ -c をつけてリダイレクトして圧縮する。
$ tar -cf tar_with.tar tar-1.26
$ tar -cf tar_without.tar tar-1.26/*
$ du -b * | sort
14899200 tar_with.tar
14899200 tar_without.tar
1763224 tar_without.tar.xz
1788988 tar_with.tar.xz
2348783 tar_without.tar.bz2
2360563 tar_with.tar.bz2
3455923 tar_without.tar.gz
3456187 tar_with.tar.gz
となった。.tarを比較してみる。
$ diff tar_with*.tar
バイナリファイル tar_with.tar とtar_without.tar は異なります
と出力されたのでtarの方に原因があると思われ。
ディレクトリの有無によるファイルサイズの違いについては
xz-utilsよりtarのソースを読んだ方がいいかもしれない。
79:login:Penguin
15/11/26 08:15:48.68 oTJt1TGF.net
CMIX
URLﾘﾝｸ(www.byronknoll.com)
圧縮率のためならメモリもCPUも使いまくるというポリシーの実装。
ベンチマークを見ると、30MBのファイルを550kBに圧縮できる代わりに、
メモリ20GBと24分という時間をかけている。
すごいけど推奨メモリ32GBはきつい…
80:login:Penguin
16/01/21 16:01:55.90 ZsqpdWQX.net
BWTのの改良方法考えたんだけど、方法書くから誰かプログラム組んでもらえない？
プログラム起こす人いたら、仕様書きます。
BWTのWikipedia見て思いついたことなので、私の仕様に不備があったら、
プログラム書かなくっても教えてもらえると助かる
81:login:Penguin
17/12/29 15:13:27.11 S/CsVkMC.net
誰でも簡単にパソコン1台で稼げる方法など
参考までに、
⇒ 『宮本のゴウリエセレレ』 というブログで見ることができるらしいです。
グーグル検索⇒『宮本のゴウリエセレレ』
EVBFQZKA6L
82:login:Penguin
18/05/22 10:13:07.23 Czl6p0FW.net
僕の知り合いの知り合いができた副業情報ドットコム
関心がある人だけ見てください。
グーグルで検索するといいかも『ネットで稼ぐ方法 モニアレフヌノ』
V2TCB
83:login:Penguin
18/07/29 06:38:19.85 lED4Gqol.net
おまいら7zとxzは親戚で圧縮率が全く同じだって知ってた？
84:
19/02/03 22:53:26.09 XQhFDeeQ.net
>>82
7zは lzma2 や ppmd などから符号を選べる
lzma2を選択したらxzと同じになる
それだけ
85:login:Penguin
20/01/24 13:08:54 MCMHsiRW.net
保守
86:login:Penguin
23/09/15 16:24:16.33 bHtwO9NEz
航空騒音によって知的産業壊滅、ネットでは日本語の最新技術情報なんてとっくに消滅してるし情報漏洩に不正送金にシステム障害まみれの
ポンコツ後進国突っ走ってるが、騒音は音楽や執筆などの創作活動にまで影響を及ぼしてオチなし主張なしご都合主義のウンコンテンツだらけ
税金で地球破壞支援して世界最惡の脱炭素拒否テロ国家に送られる化石賞連続受賞して世界中から非難されながら力による一方的な現状変更
によってクソ航空機倍増、閑静な住宅地から都心まで数珠つなぎて゛鉄道の30倍以上もの莫大な温室効果ガスまき散らして気候変動
災害連発させることで私腹を肥やし続ける世界最悪の殺人テロ組織公明党蓄財3億円超の齋藤鉄夫みたいな外道に人類史上最高の苦痛とともに
息絶えさせたりクソ航空機を次々撃墜．国土破壊省ビ儿一帯を灰燼に帰したりクソ航空機廃絶すれば原發全廃て゛も余裕で電力足りるものを
核汚染水まで垂れ流して原発再稼働、憲法1З条25条２9条と公然と無視しながら法による支配ガ－だのデタラメほさ゛いて隣国挑發して軍事利権
倍増、徴兵徴發を容易にするためにマイナンバー強要して霸権主義を目論むキチガイを見事に討ち取る感動コンテンツが待ち焦がれてんだぞ
(羽田)тURLﾘﾝｸ(www.)<)Ρroject.jimdofree.com/
(成田)Ｔtps:/／n-souonhigaisosyoudan.amebaownd.ｃom/
(テロ組織)Τtps:／/i.imgur.Сom/hnli1ga.jｐеg
87:過去ログ ★
[過去ログ]
■ このスレッドは過去ログ倉庫に格納されています