21/09/09 15:30:55.07 Ti5gtG1m.net
LinuxカーネルにNTFSドライバーが追加、トーバルズ氏はGitHub経由のマージに苦言
Liam Tung (Special to ZDNet.com) 翻訳校正: 編集部 2021-09-08 14:01
URLリンク(japan.zdnet.com)
288:login:Penguin
21/09/09 16:08:17.82 yZA2ccAk.net
ファックファック言わなくなってる…😳
289:login:Penguin
21/09/09 17:02:00.90 bMPZjWuq.net
linuxで作ったntfsドライブがwindows10で読み込めない
ディスクをアタッチして起動するとフォーマットするか聞いてくる
linux側から見るとデータが書き込まれてるのに
290:login:Penguin
21/09/10 11:20:22.80 AU+z5FwG.net
>>289
チャレンジャーだなぁ。
291:289
21/09/10 12:20:17.15 gkerD8uH.net
色々試したけど結局フォーマットした
ネットだとwindowsからlinuxで読めないトラブルはあるんだけど逆はあんまり出てこないんだよね
フォーマットしたディスクはlinuxで一応読み込めたけど気づいた事がある
ディスク丸ごとフォーマットしたはずなのに何故か数メガの未使用領域が出来てる
これが関係してんのか?
292:login:Penguin
21/09/10 14:37:10.89 4r6H+99Z.net
>>289 >>291
断定できないが蓋然性として高い要因は、NTFSのログ構造(LFS)がWindows7以前がver1.1、
Windows8以後がver2.0と更新している関係で出る不具合。これはWindows同士でも起こり得る
トラブルの一つで、LinuxのNTFS-3Gドライバはver1.1準拠なので、同様の事情(>>287の新・
標準ドライバがこの件を解決しているかは、知らないが)。以下、詳細は↓。
NTFS-3G - ArchWiki
URLリンク(wiki.archlinux.jp)
293:289
21/09/10 15:39:43.90 gkerD8uH.net
>>292
情報thanks
確かにwindows7の頃はこの手の問題に遭遇したことはないな
294:login:Penguin
21/09/10 16:41:55.52 H/thhANN.net
>>292
それならば、Linuxで作成したVer1.1のNTFSが、より新しいバージョンにも対応しているWindows 10で読めないということはないはずで、
>>289の言っている問題を説明するものではない。
そのLFSのバージョンが問題になるのは、Windows 10等新しいWindowsからNTFSのディスクを、「安全に取り外す」をしないで取り外し、
Windows 7等古いWindowsに接続した場合。
「安全に取り外す」と、Windowsは当該NTFSのLFSをVer1.1に変換するので、問題は起こらないが、
しないでいきなり外すと、古いWindowsはLFSを解釈できないので、最近の操作が適用されていないように見えるなどの不具合が発生する・・・とのこと。
295:login:Penguin
21/09/10 17:32:25.87 4r6H+99Z.net
>>294
蓋然性が高い要因を挙げただけで、他にないとは書いてないが。>>292で紹介したリンク
(NTFS-3G - ArchWiki)の"トラブルシューティング"に、Windows8・10の別の不具合もしっかり
記述してある。人に難癖つける前に、確認すべき。
296:289
21/09/10 20:08:27.27 gkerD8uH.net
色々試してわかった
ディスク丸ごとだと駄目でパーティションを作ってフォーマットすると読み込む事が出来る
297:289
21/09/10 20:19:19.59 gkerD8uH.net
>>294
>>295
お騒がせして申し訳ないw
けどこれがntfsのバージョン関係してるのかはわからない
win7で試したいけど環境ないんでね
298:login:Penguin
21/09/12 19:56:44.85 Q/6ceb7l.net
初心者スレから誘導されてきました。
HDD4台構成のraidz1がデグレードになってしまい慌てて交換用HDDに取り替えたのですがうまくリビルドができないです
交換用のHDDが/dev/sdeで「zpool replace tank 14576820926089804651 /dev/sde」を実施しても
cannot replace 14576820926089804651 with /dev/sde: already in replacing/spare config; wait for completion or use 'zpool detach'と出るだけでリビルドが走っている様子も見えません
この場合、どのようにすればリビルドを開始することができるのでしょうか?教えてください
299:login:Penguin
21/09/12 20:49:07.39 s2hUCnQh.net
>>298
真の有識者が来るまでの時間稼ぎにしかならないかもだけど取り敢えず
losetupでループアタッチしたプールでは当然ながら問題無かった
再同期やscrub等が動いていない事を確認し、不良ディスクをzpool offline tank 数字 してから
replaceしてみては如何だろうか
自分だったらだけど、まだDEGRADEDで済んでいるうちにスナップショット取って
余裕のあるディスクへzfs sendで退避した上でプール作り直してしまうけど
300:login:Penguin
21/09/22 20:53:27.48 iZQWyrHm.net
Linux板のくだ質スレから誘導されました。
現在、CentOS+btfs&snapperの自作NASを課内で使っています。
スナップは1時間毎で、直近の2週間と月1を残し続けています。
現行
メイン機(上記のマシン)
サブ機(rsyncで毎晩丸ごとメイン機のデータを取得。メイン機が壊れた場合の保険)
希望
メイン機をサブに回して、新規で高速なNASを作成したいです。
どのようなファイルシステムを選ぶのが良いか、アドバイスを貰えたらと思っています。
新メイン機は下記のハードを用意しています。
0. Ryzen Pro 1700 or 3600, 2x16GB@3200MEM
1. SataSSD128GB(OS)
2. NVMeSSD512GB(R3年度ファイルを保存する作業フォルダ)
3. CMR8TB(過年度のファイルを保存)
4. CMR8TB(rsyncで2,3番を毎晩バックアップ)
質問
1番はどの鳥が良いでしょうか?現行機はCentOSです
2番は現行機と同じルールでスナップを撮りたいです。fsは何が良いでしょうか?
3番はスナップは不要と思っています。現行機は過年度のデータもスナップ対象でした。
3,4番はext4で構わないと思っていますが、1番の鳥と2番のfsに何を選べば良いかアドバイス貰えると嬉しいです。
よろしくお願いします。
301:login:Penguin
21/09/23 06:01:04.99 AxTVswon.net
どんなファイルが多いとか、普段の使い方とか、現状どんな時に不足を感じるかとか、性能測定が必要では?
btrfsから(比較すると機能の少ない)ext4に変更したいというからには細かいファイルが多いのかな?
これまでCentOS使いということはサポート長いほうが良いだろうからDebian系に抵抗なければUbuntuサーバが良いのでは?
302:login:Penguin
21/09/23 21:54:34.10 G3mdAv3f.net
CentOS で btrfs つかっていたけど RHEL 系が btrfs のサポートやめちゃったから
別のディストリに移って btrfsを使うか、RHEL系のままスナップショットありの別の
FS に移行するべきかって話でしょ。
4. でバックアップ体制があるなら多少不安定な奴を選択しても良い状態だから
好きなの選べばいいんじゃないかな。
個人的には opensuse で btrfs ってのが一番理解を得られる線だと思う。
303:login:Penguin
21/09/23 22:07:57.63 5GvGB4Pa.net
Oracle LinuxにしてUnbreakable Enterprise Kernel使えばbtrfsのサポートを(Oralceが)やってるぞ
サポート申し込まなくても機能としては使える
304:303
21/09/23 22:08:53.68 5GvGB4Pa.net
Oracleは好き嫌いが分かれるので、あくまで選択肢の1つとして・・・ということでお願いします
305:login:Penguin
21/09/24 09:14:00.18 8pmJ0Xha.net
みなさまありがとうございます。
説明不足がある中で、面倒なこちらの状況を把握して、明快なアドバイスで助けてくださったことに、感謝しています。
SuSEのサーバ利用は私の中で盲点でした。
サーバではOracle含むCentOS代替系が慣れの面で楽だとは思っていましたが、
好きなのを選べば良いと言って貰えると、今回はopensuse+btrfsでやってみます。
SuSEは学生時代に使っていた9.3振りです。大変にありがとうございました。
306:login:Penguin
21/09/24 09:51:15.88 dzf13hIH.net
ココ↓は?
URLリンク(twitter.com)
URLリンク(twitter.com)
(deleted an unsolicited ad)
307:login:Penguin
21/09/27 10:11:27.65 8b0UHmE8.net
ddrescue 絡みで以下
$ sudo mount -o subvol=@ /dev/loop0p2 /mnt
$ sudo btrfs scrub start /mnt
scrub started on /mnt, fsid 98d2193c-b09e-4f8b-b78d-dc9ff9906263 (pid=1929)
<< scrub が一瞬にして終わり、
$ watch sudo btrfs scrub status /mnt
$
Every 2.0s: sudo btrfs scrub status /mnt kyo: Sat Sep 25 13:17:40 2021
scrub status for 98d2193c-b09e-4f8b-b78d-dc9ff9906263
scrub started at Sat Sep 25 13:17:35 2021 and was aborted after 00:00:00
<< この行からまったくスクラブしてないことが読み取れる
total bytes scrubbed: 0.00B with 0 errors
次はどうすればよいですか?
308:login:Penguin
21/09/29 18:34:19.27 fGc1oPa1.net
windowsでNTFS圧縮したフォルダってlinuxで使うと問題あるのかな?
linuxでNTFSを扱う事にリスクがあるのは知ってるけど圧縮する事でそのリスクがさらに大きくなったりするのかどうか
309:login:Penguin
21/10/02 15:29:45.10 kc4v6amD.net
>>308
昔、PC-DOSに標準付属だったFAT16ファイルシステム圧縮ソフトを使ってたが、他のシステムと互換性が無くてファイル交換に困った。
あまり特殊な機能を使うと、Windowsの異なるバージョン間でもファイルの読み書きが出来なくなる可能性が有るから、あまりオススメはしない。
XP時代にあれだけ推していたダイナミックディスクがdepricatedになったみたいにね。
Linuxの事は知らんん。
310:login:Penguin
21/10/02 15:31:47.16 kc4v6amD.net
>>308
ZFS等の他のファイルシステムのファイル圧縮機能を使って、Samba等のCIFS系でネットワーク越しに共有するとかでは駄目なの?
311:login:Penguin
21/10/02 19:04:03.09 EgCcoSU6.net
NTFS圧縮のどこが特殊な機能だよ
312:login:Penguin
21/10/02 20:31:54.58 EB7kVLAn.net
そもそもLinuxのNTFSサポート(特にrw)はリバースエンジニアリングの賜物だし、あんまり信用しない方がいいと思うけどなあ。カーネルモジュールのroで使うのが無難だと思うよ。
313:login:Penguin
21/10/02 23:12:43.44 KqC7ziZl.net
こないだMSと契約してて仕様見れる企業がLinux用ドライバ書いてくれたとかなかったっけ?
314:login:Penguin
21/10/03 19:44:44.17 2jfRA+HE.net
でもMSが書いてるわけじゃないからねえ。btrfsとか仕様を自分たちだけで決めて実装してるものだって、完璧ではないわけだし、
ファイルシステムは個人的には枯れてることや、トラブルシュートのノウハウの蓄積が重要かなと思う。
まあAPFSを普段使ってて何言ってるんだって感じだが、ユーザーはめちゃ多いからなあ。
315:login:Penguin
21/10/04 13:08:55.60 TXzl7kYV.net
>>314 FAT32実装でも完璧になることはほぼないよ
316:login:Penguin
21/10/04 19:36:08.93 fn2oJW0l.net
>>315
うん、だからext4とかxfsとかしか使わないよ。
NTFSマウントしたかったらVM経由でCIFSマウントするわ。
317:login:Penguin
21/10/21 18:38:36.21 AxEaN9Vn.net
クライアントマシンのルートパーティションをBtrfsからext4に戻してみた
扱い簡単だし日々のバックアップなんかdumpで十分じゃねとか思って
318:login:Penguin
21/10/22 00:37:11.94 LPm9gNbQ.net
Fedoraの傾向からすると
今後はバックアップだけじゃなくて高速化でもBtrfsの機能を活用する方向だから
新しいディストリを使うならBtrfsにしておいたほうが良い
319:317
21/10/22 07:30:15.12 DPzRrjD6.net
さすがFSスレ住民 未来を見据えてらっしゃる
再フォーマット&データリストアはワケないんで近いうちに出戻りBtrfsやるかも知れないっす
320:login:Penguin
21/10/23 04:27:16.95 I1Xbj+ci.net
Facebookの全面協力で安定してきたから
最新のカーネルを扱えるならBtrfsでも良いけど
DebianやRHELクローンだとカーネルが古いからBtrfsは早いかな
321:login:Penguin
21/10/24 09:22:16.94 1yf+lTo0.net
Debian11を使用中なんですが、
> DebianやRHELクローンだとカーネルが古いからBtrfsは早いかな
との事なのでZFSを仕込んでみました
URLリンク(i.imgur.com)
322:login:Penguin
21/10/24 17:47:04.20 lKWonQWJ.net
ZFSはメモリ消費が激しすぎてイマイチでしょ。
最近のBtrtfsのメリットは
Btrfsを前提とした周辺機能が充実してきた事。
例えばFedora35からはソフトウェアの更新がBtrfsで高速化される事になった。
323:login:Penguin
21/10/24 19:24:24.84 DfnSHm2O.net
ちょっと前まではbtrfsディスっとけばできる男を演出できてたけど
最近はbtrfsを褒めるほうが有能そうな雰囲気出せる時代になってきたん?
324:login:Penguin
21/10/24 19:35:29.46 jhNfOHT2.net
俺は一貫してBtrfsの素晴らしさを讃えてきたので……というのはともかく、風向きが変わってきたなとは思う
325:login:Penguin
21/10/24 19:41:59.94 lKWonQWJ.net
昔から壊れるという欠点を除けば素晴らしいファイルシステムだった。
最近のカーネルでその欠点が急速に改善されているからメインでOKという流れ。
FedoraがデフォルトをBtrfsにしたのに阿鼻叫喚になっていないし本当に安定してきてるんだと思うね。
326:login:Penguin
21/10/24 20:49:19.85 SkXAlUtd.net
最近のカーネルにCentOS 8の4.18はともかく、debian 11の5.10は含まれないの
327:login:Penguin
21/10/24 21:28:44.29 4t2MKVSe.net
ZFSがメモリ食いなんてまだ言ってる人いるんだくらいの感想
328:login:Penguin
21/10/25 00:04:16.92 iwYvMRD6.net
カーネル5.4で安定化したらしいからdebian11なら大丈夫じゃない?
それ以降のカーネルでも高速化が入っていたりするから新しいに越したことはないだろうけど
329:login:Penguin
21/10/25 00:16:24.92 iwYvMRD6.net
あとは透過圧縮で利用するzstdの改善が5.13で入った
安定面ではなくパフォーマンス面で考えるとカーネル5.10だともったいない気がする
330:login:Penguin
21/10/25 05:51:44.96 kkWUslu3.net
ZFSはまあまあメモリ食う時もあるけどあまり気にした事ないな
心配ならARC制限すればいいし
Btrfsはパフォーマンスが上がるのか
個人レベルでは問題視する様な不具合は見てないし今後がますます楽しみ
331:login:Penguin
21/10/25 06:45:49.20 ZAX3MeqU.net
>>329
知らなかったから調べてみたらBtrfsでzstd圧縮を利用している場合5~15%パフォーマンスアップとあるね。必須とまでは言わないけど、あれば嬉しい感じ
332:login:Penguin
21/10/25 09:40:15.48 qncdQ78l.net
ext4でcrc32c_intelが有効になっているか確認する方法ありますか?
カーネルモジュールは組み込まれていて、
dumpe2fs -hで見ると、crc32cとだけ表示されています。
intelの使ってるのでしょうか…?
333:login:Penguin
21/10/25 12:08:31.07 FE+vN1GH.net
URLリンク(wiki.archlinux.jp)
URLリンク(ext4.wiki.kernel.org)
334:login:Penguin
21/11/07 02:36:58.41 /DYcsXrN.net
今やwindowsでもBtrfsは使えるんやで
URLリンク(github.com)
335:login:Penguin
21/11/09 11:16:06.66 C2t7c7MT.net
EXT4って巨大ファイル(数十GB~数百GB)のファイルを削除しようとしたらめちゃくちゃ遅くない?
ずっと前からそうで久々に新しいシステムセットアップして最近は改善されたかな?と思ったけど同じだった
336:login:Penguin
21/11/09 20:10:11.07 os//3YxP.net
ext3じゃなくて?
337:login:Penguin
21/11/09 22:15:53.46 C2t7c7MT.net
ext4でもそうなんだよな
338:login:Penguin
21/11/10 12:55:17.02 Gmm1clxh.net
inodeに削除フラグ立ててるだけならおかしいよね
SSD のハードウェア側で何か処理が行われているのかな
339:login:Penguin
21/11/10 18:23:09.04 NkSwIMlY.net
まさかマウントオプションでTrim有効にしてないか?
340:login:Penguin
21/11/10 20:25:56.39 HeWruaDL.net
ext4は昔からNTFSと比べると削除は遅いよ
341:login:Penguin
21/11/12 21:57:58.67 9wzH1mCG.net
On-Disk Format Changes Ahead To Improve "Painful" Parts Of Btrfs Design
URLリンク(www.phoronix.com)
そろそろ安定してきたっぽいからbtrfsに乗り換えようかと思ってたけど
来年Disk Format変わるのかよ……
342:login:Penguin
21/11/13 01:26:17.24 e0PvumLs.net
そうだとしても乗り換えてOKでしょう
Fedora34でBtrfsにして35へのアップグレードも済ませたけど相変わらず安定だよ
即座に壊れたカーネル4.xx時代とは大違い
343:login:Penguin
21/11/13 01:29:53.82 e0PvumLs.net
Fedoraが透過圧縮有効のBtrfsをデフォルトにして問題なしだから
カーネルさえ新しければデスクトップ用途ではまず問題は発生しないと思う
344:login:Penguin
21/11/13 02:04:13.93 GWxfAFmk.net
Fedora の方がRedhatの見立てより正しかったのか。
xfs Cow を頑張るべきかで楽しみ増えたね。
345:login:Penguin
21/11/13 02:17:42.38 jL/cp8Sk.net
見立てが正しいとかじゃなくて性質の違いじゃないかなあ。
半年ごとに新しいバージョンが出て、サポート期間が1年のものと、
10年近くサポートしなければいけないものでは、物事の決定が大きく変わるよ。
Fedoraで徹底的にbtrfsのバグを潰して、RHELに再導入したいんじゃないかな。
ちゃんと動くなら、btrfsはどう考えてもRHELの売りにはなるから。
346:login:Penguin
21/11/13 02:20:55.49 e0PvumLs.net
RHELは単純にRedHatの従業員にBtrfsのメンテナが居ないという理由だったはず。
Btrfs側にパッチを当てる権限がないと商業利用でメインに据えるのは難しい。
347:login:Penguin
21/11/14 01:41:15.55 05NxiEGH.net
bcachefsを使ってる方いますか?使い心地を伺いたく。
たまにしか使わないvmを、使うときはssdの速度、保存は大容量のhdd、といいとこ取り出来たらいいなと思ったので。
348:login:Penguin
21/11/14 22:17:45.69 8yaYENO9.net
Bcachefsはやめときな。
開発が事実上個人に依存している上に
Btrfsが安定化した今となっては存在意義が薄れてる。
349:login:Penguin
21/11/14 22:53:51.95 9NKXbiYN.net
BcacheFSの作者にはPatreonで投げ銭してたけどBtrfsが普通に快適で順調に安定性も上がってるようだったから投げ銭止めちまったな。
350:login:Penguin
21/11/15 22:07:17.58 4zDn1QCD.net
>>348
>>349
ありがとうございます。
このスレでも使われてなさそうで、常用はまだまだという感じました。
大人しくメインライン入りを待ちます。
351:login:Penguin
21/11/16 02:02:48.51 jPDcGScd.net
いや、メインライン入りしても使わないほうがいい
Bcachefsはリソースが足りてないから常用はまだまだというか多分無理
素直に安定化したBtrfsを利用するのがおすすめ
352:login:Penguin
21/11/18 03:36:45.41 qTns37yC.net
結局のところBtrfsの圧縮はlzoかzstdどっちがいいのか教えて偉い人
353:login:Penguin
21/11/18 04:04:50.86 15FxU4NQ.net
>>352
zstd:1一択
FedoraチームがCPU使用率と圧縮率のバランスから検証した結論
自分も1年以上zstd:1で運用してるけど快適そのもの
354:login:Penguin
21/11/18 06:57:17.00 yAyQZrWM.net
マジか。長らくlzoだったけどzstdにするかな?
RaspberryPi4な自宅ファイルサーバだからCPU弱いけど
355:login:Penguin
21/11/18 10:07:14.65 kJ0Z9QmQ.net
zstdが進化しすぎてlzoはもはや存在意義がない
圧縮率、圧縮速度、解凍速度、全てでzstdが上回ってる
しかもzstdは未だにアルゴリズムの改善による高速化が続いてるから差は広がるばかり
強いて弱点を挙げるなら古いカーネルとの互換性くらいかな
356:login:Penguin
21/11/18 10:20:13.51 PS7LS2tl.net
zstdの圧縮アルゴリズム自体が負荷が少なくて
しかも圧縮率でもほぼ全てのケースで
gzipとかの系統の圧縮方法より縮むみたい
(さすがにlzoよりは多少負荷かかるだろうけど)
将来的にgzip使ってるとこをを完全に置き換えそう
自分でもarm系の非力な環境でtarに使ってると
時間ベースで倍以上早い感じ
357:login:Penguin
21/11/18 12:17:53.39 vBDA9b/+.net
開発中の5.16カーネルでZstd更に速度アップ(四年前のコードが新しく)
358:login:Penguin
21/11/18 13:05:16.60 ePhyqPG7.net
今fstabでcompress=lzoとかしてるんだけど、既存のファイルは別に今すぐzstdにしなくていいけど今後作られる新規のファイルとかはzstdで圧縮してほしいと思ったらcompress=zstdにするだけでいいの?
359:login:Penguin
21/11/18 13:12:53.19 KkteLCRf.net
上記に書かれてるのはcompress=zstd:1かな。
自分はcompress-force=zstd:1にしてる。
zstdはアルゴリズム自体に圧縮の可否の判定コードが組み込まれているから
compress-forceでも問題ないらしい。(実際に使ってるけどデメリットは感じない)
360:login:Penguin
21/11/18 13:23:27.34 GASrRsZg.net
BtrfsもZstandardもFacebookが本番環境でゴリゴリに利用しながら開発協力してるから進化が早いね
361:login:Penguin
21/11/19 00:01:05.30 olu0IGqg.net
リーナスがbtrfsの時代を見越して特権でマージしてからはや12年
やっといい感じになったのか
一時期の停滞はなんだったんだろうな
362:login:Penguin
21/11/19 02:04:08.97 zywWlpj/.net
compress-forceはやめたほうがいいぞ
画像や動画や音声みたいにすでに圧縮されていて圧縮する意味がないファイルまで圧縮するから
363:login:Penguin
21/11/19 02:21:10.12 9V6nr5YI.net
だからそれをzstdなら自動で判定してくれるって話なんじゃないの?
俺はcompress=zstdにしてるけど
364:login:Penguin
21/11/19 03:24:10.20 jLZ82X+D.net
>>362
zstdなら自動判定で圧縮出来ないファイルは無視するから大丈夫だよ
compress-force=zstd:1でこんな感じ
URLリンク(i.imgur.com)
365:login:Penguin
21/11/19 07:22:27.39 9u0Wrd2T.net
forceとはいったい……
>>364
そんなの見れるんだ、コマンド教えて
366:login:Penguin
21/11/19 14:45:20.50 KKx0Rm7F.net
zstd以外の圧縮形式だと本当に全部圧縮する
zstdは賢いからforceで問題ない
>>365
URLリンク(github.com)
367:login:Penguin
21/11/19 16:59:38.83 9u0Wrd2T.net
>>366
おー、Debianにもパッケージあるし、見れた。ファイルサーバで試したら思ってたよりすげー圧縮してたわ。
ありがとう。
368:login:Penguin
21/11/19 22:14:57.88 dMVwvFav.net
まじでここ最近のBtrfs進化凄まじいな
圧縮によってSSDが長持ちする効果も。
個人ユースレベルの話だけど、fedora34、35と使っててトラブルなし
>>366
横からですがGJ!
kernel 5.16でbtrfsパフォUP
URLリンク(www.phoronix.com)
369:login:Penguin
21/11/21 14:51:49.00 bYykWTis.net
qemuイメージをbtrfs上で使う場合、どのような方法がオススメでしょうか? thin provisipningが目的で、qcow2自体のsnapshotや圧縮は使っておりません。
・qcow2+nocow(btrfs)
・raw+cow(btrfs)
・raw+cow(btrfs)+compress(btrfs)
・raw+nocow(btrfs)
・その他など
370:login:Penguin
21/11/21 16:13:24.94 shHqGKFO.net
thin provisioningがディスク容量の削減を指すんだったら
qcow2の圧縮にzstdを使ったら「初期イメージは」RAWの
20%以上ぐらい?まで縮んだなあ…
debianインストール済みイメージで、/はext4、ディスク使用量
約2GBで、イメージサイズは300MB台だった記憶
インストールして初期イメージ作成までは一旦RAWで作って、
空き容量いっぱいにddでzero埋めファイルを作ってから削除、
それからqcow2変換ってことをしたけど
371:370
21/11/21 16:25:51.92 shHqGKFO.net
圧縮方式はデフォルトでzstdは勘違いだった
372:login:Penguin
21/11/21 21:17:36.62 a95bCROj.net
牛さんパワーktkr
373:login:Penguin
21/11/22 03:14:17.87 Sspgrqlg.net
うーん、btrfs上のqcow2はcowだとパフォーマンス劣化が激しいという記事や、btrfs NOCOW filesにはchecksumや圧縮が効かない?ようなんですよね。。
URLリンク(btrfs.wiki.kernel.org)
ならば、cowや圧縮はqcow2ではなくbtrfsに任せるよう、rawが良いのかなと考えたのですが、ネットに事例見当たらず、考え違いしてないか気になりまして。。
374:login:Penguin
21/11/22 10:33:10.09 tMXPzEWO.net
自分は/homeとか/varとか、書き換え頻度の高そうな
マウントポイントだけ分離するために別のRAWイメージファイルを
作成して、メインのqcow2イメージとは別に
追加でマウントとかしてた
例えばqemu内のfstabでは sdb1を/var とか sdb2を/home とか
頻繁に書き換えのあるディレクトリだけを
別のディスクイメージにまとめて、/のファイルシステム上では
そこへのシンボリックリンクにしてしまってもいいかも
375:login:Penguin
21/11/22 10:35:56.55 tMXPzEWO.net
redditでちょうどそんなこと議論してるスレッドがあった
URLリンク(www.reddit.com)
これ読んで、Btrfs上でなら自分はこうするかも
・Btrfs上でqemuイメージ専用のサブボリューム作成
・そのサブボリュームはマウントオプションでCoW無効・圧縮無効
・/以下メインのディスクイメージはqcow2
・一旦RAWイメージで環境をインストールして安定させてからqcow2変換
・/home, /varほか用に同じサブボリューム内に別でRAWディスクイメージを作成
・こっちは chattr +c <RAWイメージファイル> で個別にBtrfs圧縮だけ有効
376:login:Penguin
21/11/22 23:15:14.86 Sspgrqlg.net
みなさん、アドバイスありがとうございます。
rawにした方がパフォーマンスはいいけど、qcow2の方が他のメリットがあるから?使う人が多いような印象を受けました。
rawを試してみようと思います。
377:login:Penguin
21/12/11 15:09:53.92 uaIAfbTU.net
Btrfsは開発が活発で気持ちいい
URLリンク(btrfs.wiki.kernel.org)
これなら最新カーネルを使おうという気になるね
378:login:Penguin
21/12/11 16:21:22.87 QzQGI3Jf.net
いやならないけど
379:login:Penguin
21/12/12 08:17:39.09 cpwBL7PZ.net
使ってみようかなという気にはさせるねバター FS
新しいハードディスク買ったんだけど今回は zfs から変えてみた
380:login:Penguin
21/12/12 20:35:12.39 vXaeyJFG.net
「Btrfs」って「バター FS」って読むの?
「ビートゥリーFS」って読んでたや
381:login:Penguin
21/12/19 17:24:06.42 mSL3klp3.net
Windows機からLAN経由でLinux機の共有フォルダにアクセスした場合に
Linux機の共有フォルダがext4でフォーマットしてあるHDD上に作られているにも関わらず
Windows機側から問題なく読み書きできるのは何故なのでしょうか?
Windows機にはサードパーティ製のext4ドライバをインストールしていないので不思議です
382:login:Penguin
21/12/19 17:48:44.26 M0LazKhz.net
ext4じゃなくてCIFSを読んでいるからです
383:login:Penguin
21/12/19 18:01:02.94 mSL3klp3.net
>>382
レス有難う御座います
てっきりデフォルトのWindowsがext4を読めるようになったのかと思っていました
Windows機とLinux機で使えるように外付けHDDをext4でフォーマットしようと思ったのですが無条件では無理なんですね
384:login:Penguin
21/12/20 00:14:48.35 zMHkIVHO.net
>>381
sambaはSMBを喋るからね
385:login:Penguin
21/12/21 00:41:30.48 VORHfyX5.net
ここ1ヶ月ほどでbtrfsのエラーが急に増えたのですが、このエラーの直し方ご存じの方いますか?
デバイスはWDS512G1X0C nvmeです。
Dec 20 10:24:57 xxx kernel: BTRFS warning (device nvme0n1p4): csum failed root 257 ino 284 off 101092372480 csum 0x3423b0e6 expected csum 0xb17c434b mirror 1
Dec 20 10:24:57 xxx kernel: BTRFS error (device nvme0n1p4): bdev /dev/nvme0n1p4 errs: wr 0, rd 0, flush 0, corrupt 1453, gen 0
$ sudo btrfs dev stat /disk/btrfs_nvme0n1p4
[/dev/nvme0n1p4].write_io_errs 0
[/dev/nvme0n1p4].read_io_errs 0
[/dev/nvme0n1p4].flush_io_errs 0
[/dev/nvme0n1p4].corruption_errs 1457
[/dev/nvme0n1p4].generation_errs 0
386:login:Penguin
21/12/21 06:10:52.48 TC2x/Bp/.net
それ破損エラーたけど
SSDが壊れているのでは?
387:login:Penguin
21/12/21 08:17:40.23 Ll1T4oMZ.net
ZFSの機能について質問させて下さい
スナップショット・ブックマーク・チェックポイント それぞれどういうものでどう機能するのでしょうか
今のところバックアップや有事のrollback等、スナップショット機能+sendくらいでニーズは満たしてはいるのですが
>>385
$ sudo btrfs dev stats -z /disk/btrfs_nvme0n1p4 でステータスリセット後にscrub
それでも同様になるならストレージ交換を推奨
388:login:Penguin
21/12/21 08:38:54.22 4osIJ+cx.net
エラーが急に増えた、とかいうことはまだ読めるんじゃないか
それだったら先にデータをバックアップしたほうが良くないか?
389:login:Penguin
21/12/21 08:45:40.45 Ll1T4oMZ.net
それもそうですね
dev stats 使える人ならばたぶんバックアップのやり方も知っているでしょう
390:login:Penguin
21/12/21 11:05:51.12 LG40fTb8.net
そもそもファイルシステム関係あるの?
391:login:Penguin
21/12/21 11:43:39.02 Zj9XuLmV.net
どっちかと言えばハードウェアの領域か
392:login:Penguin
21/12/21 20:19:44.01 VORHfyX5.net
>>386,387,388
アドバイスありがとうございます。
エラーはhw故障の可能性でしたか。。
バックアップは取りました。
btrfs scrub、試して様子見てみます
393:login:Penguin
22/01/30 16:43:37.08 YDeubZLZ.net
385 (369)です。
btrfsのcorruption_errですが、原因が(多分)判明したので報告します。
原因はDirectIOだった様です。
URLリンク(www.reddit.com)
URLリンク(www.spinics.net)
394:login:Penguin
22/01/30 16:44:46.57 YDeubZLZ.net
自分の場合、qemuでWindows guestをqcow2 image(NoCoW,nocomp)、cache mode=none で使っており、raw(CoW,comp)に変更した後もcache mode=noneのままでした。writebackにしたらcorruption_errが発生しなくなりました。
btrfsのDirectIOは、NoCoWでは問題ないが、CoWだと問題がある(?)ようです。
URLリンク(lwn.net)
URLリンク(bugzilla.redhat.com)
ファイルシステムのDirectIOを使う際は、Stable pages(?)もチェックしておく必要があるということを初めて知りました。。
395:login:Penguin
22/01/30 16:59:25.31 YzatN2Pg.net
btrfsのDirectIOについては、URLリンク(btrfs.wiki.kernel.org) に記載されてました。
396:login:Penguin
22/02/22 03:39:13.71 2ssZI16J.net
$ timeshift-launcher &
で あるスナップショットで 非共有サイズが109メガバイトだとして、具体的に以前の状態からどんな変更をくわえたかの
具体的情報は、どうすればわかるのでしょうか?
397:login:Penguin
22/03/11 19:30:11.42 +/x0RjOc.net
OpenZFS 2.1.3 Released With Many Fixes - Phoronix
URLリンク(www.phoronix.com)
398:login:Penguin
22/03/12 21:51:56.02 Rf7pMd17.net
TimeshiftでRsyncでバックアップしたのですが、
RestoreしようとするもInvalid argumentと出てRestore出来ません。
TimeshiftみたいなのってVPSでは使えないものなのでしょうか?
ちなみにbtrfsでフォーマットされたパーティションです…
399:login:Penguin
22/03/13 02:14:25.83 /q/1mXoW.net
引数間違ってるって書いてるやん
間違えてるんでしょう
400:login:Penguin
22/03/14 07:02:05.97 S1lHKHAK.net
>>397
更新内容
Release zfs-2.1.3 ・ openzfs/zfs ・ GitHub
URLリンク(github.com)
401:login:Penguin
22/03/17 08:17:01.36 Xqtw5Hi8.net
うちは全てのマシンにUPSをおごる金など無い
昨日の大規模停電は図らずもファイルシステムの信頼性を確認する出来事となった
電力回復後fsck的なものも走らず復旧するZFS・Btrfs つよい
402:login:Penguin
22/03/17 23:23:35.45 fuiYI/4E.net
Debian ではいつインストーラーにOpenZFSを付けてくれるんだろ。
URLリンク(wiki.debian.org)
xfs に関しては、上記のwikiには記載ないとかドキュメント化で差があるけど。
403:login:Penguin
22/03/18 00:47:17.84 yCqU+awR.net
mainパッケージ入り出来ないうちは無理なんじゃね
404:login:Penguin
22/03/21 21:55:13.33 RpudRr3o.net
Btrfsについにブロック単位での重複排除が来た
URLリンク(github.com)
405:login:Penguin
22/03/21 23:05:41.80 NkBSbpzk.net
マジ!!?
406:login:Penguin
22/03/21 23:23:12.49 PMPLxowA.net
キタ━━(゚∀゚)━━!!
407:login:Penguin
22/03/21 23:59:22.85 FOQLXsvF.net
ユーザースペースのなら前からあったような
408:login:Penguin
22/03/23 06:35:53.49 W+gk/0wT.net
10TBあたりわずか1GBのハッシュテーブルを使用できます
ファイルシステム全体の重複排除-スナップショットを含む
btrfs圧縮で動作します-圧縮ファイルと非圧縮ファイルの任意の組み合わせを重複排除します
デーモンは、btrfsツリー検索を使用して新しいデータを段階的に重複排除します
シャットダウン後の迅速な再起動のための永続的なハッシュテーブル
データセットが大きくなってもRAM使用量は増加しません
ライブで動作します-スケジュールされたダウンタイムは必要ありません
おいおい神か!?
もうzfsを使う理由がなくなってきたな
409:login:Penguin
22/03/23 08:43:47.82 oNwCL5VO.net
raid6はいつ安定しますか…?
410:login:Penguin
22/03/27 14:09:56.65 BHPkkIfn.net
>>408
> データセットが大きくなってもRAM使用量は増加しません
これってZFSだとメモリ食うやつだよね?
ZFSしか使ったことないけど次は調べてbtrfsするかな
411:login:Penguin
22/04/11 13:31:32.14 28SRxXFF.net
ext4でいいじゃん・・・
412:login:Penguin
22/04/11 16:02:18.94 hvOblzS0.net
Fedoraで2年間Btrfsを圧縮有効にしてtimeshiftも使ってるけど一切不安定になったことがない。
以前にDebianでBtrfsを試して即座にデータが吹き飛んだ頃と比べると相当安定してきたと感じてる。
最新のカーネルを使えるなら今はBtrfsが第一選択肢でもいいんじゃないかな。
413:login:Penguin
22/04/11 17:23:02.02 1RMzXaNK.net
・空き容量が不正確
・空き容量カツカツでの運用は非推奨
・scrubを定期的に実行しないといけない
・vmイメージの置き場所にはあまり適さない
・ext4と比べると容量食い
ってな感じのことを聞いたんだけどほんと?
414:login:Penguin
22/04/11 18:48:41.13 WGF5H3C+.net
・btrfsユーティリティが正確な容量を教えてくれる
・空き容量カツカツは大抵のフォイルシステムで非推奨じゃね?
・定期実行しなくても問題出ない
・VMイメージの置き場所には適さないけどオプション指定があったような
・透過圧縮もあるのでむしろ食わない
415:login:Penguin
22/04/11 19:57:21.84 HZzXsyjN.net
・ちんちんシュッ!シュッ!シュッ!
416:login:Penguin
22/04/11 20:23:34.01 sEAd7XzV.net
イメージ置くならlvm推奨、raid5,6使うならdevice-mapper推奨、quota使うならxfs推奨
417:login:Penguin
22/04/11 21:07:01.93 /rTzXMzJ.net
VMイメージやDBファイルについてはCoWを無効化した方が良いとArchWikiにあるな
ファイルやディレクトリ単体で無効化できる模様
418:login:Penguin
22/04/12 16:02:03.24 OdAks5dN.net
自動でその設定してくれんかな
sqliteとか多すぎて手動で設定するの大変だよ
419:login:Penguin
22/04/12 16:16:50.72 8C6toS04.net
パフォーマンス追求するケースの話であって一般的にはそこまで困らんでしょ
420:login:Penguin
22/04/12 20:03:02.55 XoxKNETm.net
>>417
chatter +C dir
だけで良いのでしょうか?
421:login:Penguin
22/04/12 23:40:33.09 urXgeN0C.net
CoWを無効にすると圧縮も無効になるから一長一短だよ
422:login:Penguin
22/04/13 07:21:15.65 ELY+bluI.net
多少性能低下するだけだしVMディスクイメージはCOW有効化するな
無効化したらスナップショットからのお手軽ロールバック出来なくなるし
423:login:Penguin
22/04/13 10:08:48.71 fv2dkzRd.net
スナップショットをVM Consistentでとれる確証がなければ、やめておいた方がいいよ
424:login:Penguin
22/04/13 14:29:58.02 hXXP1Y6R.net
>>413
・ツール類に信頼がおけない
EXT4の感覚でUUIDを変更したら
特に警告等なく完了したがその後エラーを検出してファイルにアクセスできなくなった
425:login:Penguin
22/04/13 14:47:06.35 hXXP1Y6R.net
>>413
空き領域まわりは強いクセがあるな
btrfsの場合は常に5GB以上は空けておかないと安心できない
btrfsは未使用領域を"chunk"と呼ばれる1GB(公式の説明)のブロックで切り出してから書き込むが
切り出すときに用途を固定してしまう(実データ・メタデータ・システム)
全ての未使用領域を切り出したあとにメタデータ領域が枯渇すると実データ領域に空きがあっても一切のファイル操作ができなくなる
ファイルの削除は可能だが空き領域が回復しないことも多い
メモリ上では削除成功したことになってもディスク上ではメタデータの更新に失敗するため
こうなったら復旧するには特殊な手順が必要になる
426:login:Penguin
22/04/13 14:51:31.77 hXXP1Y6R.net
NTFSはフォーマット時にメタデータ領域を切り出すが
空き領域が枯渇するとメタデータ領域を実データ用に転用したり、メタデータ領域を拡張する仕組みがあるので
最後まで表示通りに書き込みができる
その代わり断片化が激しくなる
427:login:Penguin
22/04/13 15:32:39.16 dVO4/n+j.net
なる
パフォーマンスを取るか緩く安定を取るかみたいなもんか
428:login:Penguin
22/04/13 15:33:43.53 +IAQCF5I.net
空き容量はメタデータ云々といよりスナップショットの関係だよ
スナップショット取ってる場合には、削除が空き容量の増加にならないからという単純な話
スナップショット使ってないパーティションで何度も空き容量不足になってるけど一度も壊れた事はない (カーネル5以降の話)
429:login:Penguin
22/04/16 14:26:12.78 tF/izOz2.net
サーバーはともかく
デスクトップPCならBtrfsに切り替えても問題ない頃合いだね
Fedoraがデフォルトにしてしばらく大きな不具合は見つかってないし
430:login:Penguin
22/04/16 16:04:38.05 t4vxTGvP.net
なんかええんかそれ
431:login:Penguin
22/04/16 16:22:16.47 y438Thu7.net
レッツビギン 使ってみればわかるさきっと
432:login:Penguin
22/04/16 17:45:27 4lwQorlw.net
未だに10年前と同じ感覚でbtrfsを語ってる人たまに居るよね
くっそ古いカーネル使ってるならその認識で合ってるかもしれないけど
433:login:Penguin
22/04/16 17:52:11 nOVJDdzD.net
ファイルシステムはカーネルバージョンでガッツリ変わるからな
btrfsだけでなくext4やxfsも変わってる
434:login:Penguin
22/04/16 17:53:43 y438Thu7.net
怖いのはFS信頼性よりヒューマンエラー(ヒューマンとは俺自身含む)と思ってる
有事への備えさえしておけば先進のFSでも大丈夫
ラズパイですら再フォーマット無しにほぼ放置で2年ちょっと経過
435:login:Penguin
22/04/16 19:32:29 b4hVpIAm.net
今でこそBtrfsを愛用しているけど
カーネル4.xx時代はヒューマーンエラーとかいうレベルじゃない不安定さで使い物にならなかったよ
前兆なしでサルベージすら不可能な壊れ方するからヤバかった
436:login:Penguin
22/04/16 19:47:51.64 y438Thu7.net
使用開始時はさすがにおっかないFSだと言う認識はあった
当時のラズパイOSのカーネルはよく覚えてないけど5.4.*とかだったかなぁ
ラズパイでの試験運用開始時は十重二十重にスナップショット取ったり
日時バックアップしたりを欠かさなかった
437:login:Penguin
22/04/16 20:07:09 b4hVpIAm.net
調べるとBtrfsは丁度カーネル5.4から安定してきたらしい
確かにそのくらいからBtrfsユーザーの阿鼻叫喚が鳴りを潜めた気がする
438:login:Penguin
22/04/16 20:15:32.08 y438Thu7.net
「ラズパイだからいいややってみよ バックアップも取るし」くらいの安易な気持ちだったのを覚えている
運が良かったのか引きが強かったと言えるのかわからんけど特にFSが飛ぶ事も無く現在に至る
使用開始後調子に乗ってPCでも使い始めるまでにそれ程時間はかからなかった
439:login:Penguin
22/04/16 20:41:33.26 ALi/F0DO.net
ふっるいカーネルと言われると3とか4あたりを想像するわ
5.4ってまだ2〜3年前くらいじゃね
440:login:Penguin
22/04/16 20:54:53.45 Cxdwk3KI.net
従って今日はそのふっるいカーネルの感覚で語ってる者はいないと言う事だな
441:login:Penguin
22/04/17 00:25:54.64 FWZKWgiO.net
Fedoraはdnfインストールでreflinkを扱ったりと
既にBtrfsの利用を前提とした周辺ソフトウェアの最適化に取り組んでたりするから
他のディストリにも成果が流れてBtrfsがデフォルトになっていくだろうね
442:login:Penguin
22/04/17 01:51:38.91 XLgIjm9T.net
ZFS みたいにメモリが沢山ないとパフォーマンスが出ないみたいな低スペ野郎は使えない制限はBtrfsにはないんですか?
ext4 と比べるとディスク容量は少し食うみたいですが。
443:login:Penguin
22/04/17 03:03:00.73 FWZKWgiO.net
XfsでCoW有効にした時にはメモリ食いすぎて常にカツカツだったけど
Btrfsは省メモリで特にロースペに厳しいとかはないね
透過圧縮も普通に有効にしてる
444:login:Penguin
22/04/17 15:47:14.78 xi4dvUYy.net
btrfsもそれなりにスペック依存性あって、
職場NASをHP ProLiant MicroServer(Athlon II NEO N36L)から
Ryzen 5 Pro 3600自作機に更新したらメチャ早くなった。どっちもCentOS7。
なので試しに自宅NAS(4HDD@UbuntuServer)を200GEから2400Gに変更したら早くなったので、
今は欲を出して余りHDD全部(4x3.5CMR, 4x2.5CMR, 1x3.5SMR)を繋ごうと考えてSATAカード物色中。
445:login:Penguin
22/04/17 19:40:20.31 o3E9K/21.net
BtrfsというかZstdの進化が凄まじいから
なるべく最新のカーネルを扱えるディストリの方がいいよね
今だと公式にBtrfsをデフォルトにしてるFedoraがベストかな
446:login:Penguin
22/04/17 19:51:44.94 o3E9K/21.net
Btrfsのカーネル選び
5.4~ 安定化(事実上これ以前は非推奨)
5.16~ Zstd圧縮のパフォーマンスが大幅に向上
Ubuntu 22.04でもカーネル5.15だから入れ替えないならFedoraしかない
本格的な普及はサーバー向けの定番ディストリに5.16が降りてくる来年以降かな
447:login:Penguin
22/04/18 00:12:22.45 H/gUmSKT.net
ほなCentOS Stream使いましょうねえ
448:login:Penguin
22/04/18 00:46:36.56 7pkk+FE/.net
>>447
先生、質問です。
CentOS Stream はインストーラがBtrfsに対応していますか?
RHEL が Btrfs を利用しないとインストーラに出てこない気がしました。
449:login:Penguin
22/04/18 01:32:56 xB+OMS2q.net
インストーラが対応してないどころかbtrfs-progsのパッケージもないしそもそもカーネルが対応してない
自分でビルドして入れれば使える
450:login:Penguin
22/04/18 18:36:05.91 pP5e1xMZ.net
先生スパルタ過ぎませんか…?
僕はArchで行きます
451:login:Penguin
22/04/18 18:51:32.65 JAVvjsLe.net
CentOS Stream だと、/ に一式インストールした後、カーネルのリビルドして、必要なパッケージ入れて分ける予定のパーティションはその後フォーマットして色々移動させてから、残りは btrfs-convert でext4 から Btrfs に変換するんかな。
452:login:Penguin
22/04/18 19:19:47 WCMNsdhx.net
昔はデスクトップでArch使ってたけど
BtrfsやZram等、結果的にFedoraのデフォルト構成に近い部分が多くなって
だったら最初からFedoraでいいじゃんと思って以来ずっとFedoraだな
453:login:Penguin
22/04/20 08:15:50.77 4V340LVP.net
今、透過的圧縮対応のファイルシステムって何が主流なんですか
バターFSですか
454:login:Penguin
22/04/20 20:01:34 Z3bbGBjd.net
デスクトップ用途だとFedoraのデフォルトインストール設定が
Btrfs+zstd圧縮だから圧倒的にBtrfs
サーバーだと実績を考えてまだ無難なZFSで動かしてるケースが多いんじゃないかな
455:login:Penguin
22/04/20 20:25:16.48 EEBifDNl.net
ZFS ハードル高いのとRHELはxfs、Debianはext4 だと思うけど。
456:login:Penguin
22/04/20 20:39:53.00 fQvTkgaj.net
xfsはRedHatがBtrfs駄目だからって言ってCOW持ち込んだらすげーぶっ壊れになったり、32bit環境で致命的なバグ出した事あったり、急に鉄板ハイスピードFS扱いになったりととにかく評価が安定しないイメージ
457:login:Penguin
22/04/20 22:02:13.27 ZDR7sTAh.net
RedHatは社内にBtrfsのメンテナがいないから導入予定はないらしい
Btrfs側のバグが原因で不具合発生した場合にRedHatで解決できないのが理由かな
>>455
透過圧縮の話題だぞ
458:login:Penguin
22/04/20 22:04:48.14 Myq2ka8B.net
ちんちんシュッ!シュッ!シュッ!
459:login:Penguin
22/04/20 22:06:29.81 Qm6iTfJp.net
Redhatクラスの会社はエンジニアが必要ならいくらでも雇えると思うけど、そもそも市場にbtrfsのメンテできるエンジニアがほとんどいないとかなんかな
まぁしょうじき政治的な理由な気がする
460:login:Penguin
22/04/20 22:20:36.07 0X67q2nR.net
自宅だと最新kernel追えるが、職場だと怖いね
461:login:Penguin
22/04/20 22:38:36.47 ZDR7sTAh.net
>>459
RedHatの言うメンテナってのは本家のコードへのコミット権を保有してるレベルの話だから簡単じゃない
462:login:Penguin
22/04/20 22:42:14.55 +dTCpvcy.net
>>458
ニキ
463:login:Penguin
22/04/20 23:48:54.56 Qm6iTfJp.net
>>461
その基準だと最終権限はリーナスしか持ってないしサブシステム単位の権限を基準にしてもext4すら使えなくなるが
464:login:Penguin
22/04/21 01:09:55.47 I5yQjODX.net
だからXfsがデフォルトなんでしょうよ
465:login:Penguin
22/04/21 01:24:26.88 srfaurpM.net
xfsの人oracleだけど
466:login:Penguin
22/04/21 01:47:41.95 KalF/zpO.net
私が間違っておりましたm(_ _)m
467:login:Penguin
22/04/21 12:54:53.07 5U6ZkiPz.net
>>459
落ちて来たとは言えFacebookから引き抜けるほどお金積める気がしない…
468:login:Penguin
22/04/21 20:20:13.80 Zk6H540j.net
Facebookは業務でバリバリBtrfsを使っていて現場の情報も入ってくるから
やりがい作戦での引き抜きも困難だろうしな
469:login:Penguin
22/04/22 08:12:03 jZiBDVrO.net
元々Redhatには、btrfs主要開発者のjosefさん(現Facebook)が在籍してたんだけどな。
会社の方針が変わったから転職したのか、
転職しちゃって開発者がいなくなったからサポートやめたのかどっちだろ。
470:login:Penguin
22/04/22 16:52:47 5g5kzzmH.net
Stratisっていつ完成する予定なんだ
471:login:Penguin
22/04/23 21:07:58.07 qZnjF4sP.net
フリーランスに立ちはだかる「常駐」の壁。慣例を打ち壊し、
“テレワーク”案件3割→8割へと成長を遂げた「クラウドテック」の軌跡
リモートワーク求人専門サイト「プロリモート」がリニューアルオープン、業務委託契約の求職者と企業をマッチング
1/3以上が採用につながる高マッチング率、リモートワーク×エンジニア・デザイナー専門の
人材紹介サービス「ReworkerAgent」正式リリース場所からも時間からも自由な働き方を実現!
『ReWorks(リワークス)』リモートワーク特化型転職サイトとして 3月5日 リニューアル
副業・兼業マッチングサービス「クラウドリンクス」登録者数2万人突破
中小企業で進む副業人材の採用、96%が継続採用を希望
茨城県日立市、県外からの「テレワーク移住者」に最大151万円の助成金
長野市、市内に移転・事業所設置し、移住することで最大550万円の支援金を支給
フリーランスが活用できる「最大1,000~3,000万円・補助率50%~75%」の
『ものづくり・商業・サービス補助金』とは?概要や条件を解説
472:login:Penguin
22/04/24 14:24:37.94 NHQlztSx.net
Open ZFSの zfs-dkms今日降って来るのかと思ってたけど来ないのかな
リリース予定日とかってどこかに載ってたりする?
473:login:Penguin
22/04/24 14:49:03.18 qCQScQBJ.net
どのディストリのどのバージョン?
なおOpenZFS の 2.1.4 なら sid と bullseye-backports には来てるけど
474:login:Penguin
22/04/24 15:41:29.65 NHQlztSx.net
Arch Linuxで2.1.4使ってます
475:login:Penguin
22/04/24 15:55:49 d66q6a18.net
次のバージョンはまだリリースされてないよ
URLリンク(zfsonlinux.org)
476:login:Penguin
22/04/24 20:58:53.21 NHQlztSx.net
>>475
ありがとうございます
477:login:Penguin
22/04/25 01:49:54.00 UGDT6XoN.net
archでzfsなんて使うもんじゃないよ
478:login:Penguin
22/04/25 02:14:07.93 qqwuYFp1.net
archなんて使うもんじゃないよ
479:login:Penguin
22/04/29 23:54:58.67 s+FK0s2a.net
aufsみたいな、FSの上にFSを被せる系のFSで
今安定しておすすめのやつってどれになんの?
480:login:Penguin
22/04/30 08:59:34.13 l4CFJUkJ.net
OverlayFS
481:login:Penguin
22/05/08 18:53:38.55 840uxcKI.net
Fedora36めっちゃいいぞ
完全にGnome一強時代の到来を感じさせる作り
482:login:Penguin
22/05/08 20:41:55.97 XFL8YPf4.net
ファイルシステムにGnome関係ないやん
483:login:Penguin
22/05/08 21:10:39.72 840uxcKI.net
誤爆っす
484:login:Penguin
22/05/09 18:57:31.40 KxV+cFub.net
Fedora36に際してはBtrfsをやめるなんて議題にも上がらなかったところを見ると
デスクトップに関してはBtrfsは安定したと考えて良さそうだね
485:login:Penguin
22/05/12 05:32:10.71 IH8uyqjg.net
SUSEなんて何年も前からエンタープライズ領域でbtrfs使ってるからな
486:login:Penguin
22/05/15 14:09:34.67 SB3ccrEq.net
>>444だが自宅NASも本格稼働して嬉しいので書き込む。
M.2. ext4 /
2xSataSSD btrfs(raid1) ~/work
3xCmrHDD btrfs(raid0) ~/tmp
1xSmrHDD ext4 ~/arc
SATAカードは起動が遅いので外した。
snapperは便利だけれど自宅では不要だった。職場では評判良い。
鳥はUbuntu, CentOS7(kernel3→5), SuSEの順で試して大差ないので、好みの問題でdebianにした。
CPUは最初の200GE以外は、R3-1200, R5-2400G, RPro5-4650Gを試して差がない。メモリも1x8GB, 2x8GB, 2x16GBで変化なし。
487:login:Penguin
22/05/28 03:18:22.46 NSOwZ8lu.net
aufsってカーネルのメインラインからいつの間にか外れてたんだな
488:login:Penguin
22/05/29 16:31:35.70 1BV98f7M.net
ZFSのARC上限を制限するチューニングですが、これってどんなpros/consありますか?
ZFSでなくても、Linuxなどはメモリがあるだけキャッシュするのが一般的と思ってます。(手元のbtrfs使ってるPCのbuff/cacheは17Gi表示)
わざわざ制限するのはどういう理由からか、知っている方いれば教えて頂きたく。
489:login:Penguin
22/05/30 09:15:53.34 wJQ/WRFV.net
>>488
DBサーバーだったら、DB自体がキャッシュするから、ファイルキャッシュしない方がいいよ。メモリ勿体ない。
490:login:Penguin
22/05/30 11:13:19.91 uyd0SUnZ.net
>>489
ありがとう。用途はNAS、docker、vm少々です。
DBサーバーだとARCよりDBにメモリ回した方が良さそうですね。参考になります。
491:login:Penguin
22/05/31 18:09:50.63 bZp66LZU.net
XFS 5.19で改良・高速化予定
URLリンク(www.phoronix.com)
492:login:Penguin
22/06/01 18:58:04.34 dOLmiJfZ.net
Btrfsが安定した今ではもう用済みのFSだな
493:login:Penguin
22/06/01 19:59:57.13 CRtSl/+G.net
Btrfs の良いところって透過的圧縮?
494:login:Penguin
22/06/01 20:51:56.99 +2lVFzvV.net
良いところ・・・
・fsck不要、マウントが成功すればファイルシステムはclean(ということになっている)
・スナップショット、サブボリューム機能
・Copy on Writeのファイルコピー
・透過的圧縮
・ファイルシステムの機能としての複数デバイス機能(JBODっぽいやつ、RAIDなど)。ただしRAIDはRAID5など未完成。
・send/receive機能
他の~~ファイルシステムだってその機能はあるだろ!というのもあるけど、別にBtrfsだけの機能という話ではないので・・・
495:login:Penguin
22/06/01 20:58:14.09 0rwCsUmC.net
ブロック単位での重複排除も期待できる
496:login:Penguin
22/06/01 21:06:15.90 LSU9vOwc.net
俺は xfs 使ってるから助かる
実際に恩恵を受けるのはあとだろうが
497:login:Penguin
22/06/01 21:31:24 Pey+ovy8.net
シングルディスクだとXFSにするかBtrfsにするか迷う
498:login:Penguin
22/06/01 21:58:21.64 8yJK90kV.net
Btrfsは凄い高機能な割にリソース食わないのが結構嬉しい
499:login:Penguin
22/06/01 23:58:59.25 DS4CLYHo.net
btrfsはファイル内容のcheck summingがあるので安心感ある。
500:login:Penguin
22/06/03 08:33:27.69 DazIiVq4.net
ZFSでZVOL使うのとBtrfsで.imgファイル作って使うのに特質すべき差ってある?
>>495
これが出来たら良いのに
501:login:Penguin
22/06/03 08:54:01.39 uBwlU6Ky.net
>>500
普通に出来るぞ>>404
502:login:Penguin
22/06/03 10:51:57 Dqry4wE4.net
Btrfs の色々な機能を使っている人は、インストール時点では/に一通りをインストールしてから、新規のパーティションのフォーマットをBtrfsで適切なフラグ付けて、mount オプションも適切なフラグ付けてってされていますか?
その後、/var の中身を移動させるとか。
インストーラの時の設定のみで良いのか疑問です。
503:login:Penguin
22/06/03 11:49:54.71 xcPUldd7.net
昔xfsでCoWを有効にした時には
ディストリのインストーラーのソースコードを弄ってフラグ変更したな
再フォーマットでID変わると不具合出る事があるからその方が安全だと判断した
504:login:Penguin
22/06/03 12:28:46 Y9pyqtcH.net
>>501
ありがとう
パッチ当てなくても良いのか、後で試してみる
505:login:Penguin
22/06/04 13:30:50.83 KfY54W04.net
>>502
Arch Linuxをbtrfsオンリーで使っている。
他のディストリ事情は分からないけど、btrfs自体は圧縮やCoWのOFF/ONは後でディレクトリとファイル単位でできるし、subvolumeも後でpoolからいくつでも切り出せる。
一部のmount optionもsubvolume単位で変えられる。
自分の場合、partitionを分ける理由はsubvolumeで変えられないoption(autodefragとか)を使いたいときぐらい。
使い方次第だけど、分けたくなったら後でsubvolumeを切り出したりresizeすればいいかと。
/varとかはrsyncで適当に移動しているけどArchは動いている。
1byteの差も許せない場合はlivecdとbtrfs send/recvを使うのかな。やったことないけど。
506:login:Penguin
22/06/04 13:50:50.68 8D7RtrEH.net
これは生きてるんかな
URLリンク(github.com)
mysqlfs
MySQLfs is Linux userspace filesystem which stores data in a MySQL database. It uses FUSE to interface with the kernel.
507:login:Penguin
22/06/06 04:14:57.99 dUD2Slaj.net
>>505
btrfsのマウントオプションは今のところ
最初にマウントされた時点のオプションが
同じファイルシステムからの後のマウントにも一律に適用されるのであって
例外はほとんどない(それこそsubvol指定ぐらいである)はずなんだけど
「サブボリューム単位で変えられるオプション」って逆に一体どういった物のことなんです?
上記の理由で圧縮周りもCoW無効もサブボリュームトップのディレクトリにプロパティを適用する事でしか
いちファイルシステムに混在で運用出来ないって認識なんですが……
URLリンク(btrfs.readthedocs.io)
508:login:Penguin
22/06/06 13:43:25.52 pqWX/OuS.net
>>507
あ!申し訳ない。。btrfs WiKi FAQ を見直したら確かにsubvol以外はまだ Planned だった。。訂正します。
ただ、圧縮とCoWはsubvolではなくディレクトリ、ファイル単位にできている。
URLリンク(wiki.archlinux.jp)
chattr +C で CoW無効、chattr +c 圧縮有効かな。確認は lsattrやcompsizeで。
空ファイル以外はファイル作成後の変更は効かないかも。。
btrfsはopenSUSEが標準でrootfs対応していてsubvolumeやsnapshotも色々考えられているようなので、VMなどに入れて参考にするのも良いかと。
509:login:Penguin
22/06/06 18:08:26.83 prkafuiv.net
>>508
chattr で CoW 無効にしても swap file にしようとすると結構ボロボロだった経験が…
今はマシになったかな?
510:login:Penguin
22/06/06 18:57:02.07 pqWX/OuS.net
>>509
swapfile、どうなんですかね。。
btrfs使い始めた頃はswapfile無く、ずっとswap partition切っているので分からず。。
使っている方の情報知りたいですね。
511:login:Penguin
22/06/06 19:25:13.95 xU/tX20b.net
CoW のおかげでファイルコピーが早く終わるシチュエーションが思いつかない
512:login:Penguin
22/06/06 20:02:57.70 w0jkq8L7.net
ファイルコピーがCoWってのはBtrfsの1つの側面に過ぎなくて、
Btrfsの重要なところは、既存ファイルの上書き保存であっても、(chattrで無効化してなければ)常にCoWがなされるってところなんだ。
つまり、既存ファイルの上書きでも、ブロックが上書きされるんじゃなく、新しいデータが別のブロックに書き込まれてから、
当該ファイルがそのブロックを参照するようにメタデータが変更される。
だから何だと言われると困るが・・・
513:login:Penguin
22/06/06 21:16:10.91 pqWX/OuS.net
cpでreflink使うと巨大ファイルのコピーでもすぐ終わるのが便利。raw imageの簡易バックアップとか。
reflinkはCoWの副産物の認識。
変更箇所が少なければ容量の節約にもなってるはず。。
514:login:Penguin
22/06/07 06:25:40.64 fVuIiiKk.net
CoWなのに上書きはそのまましちゃうファイルシステムなんて存在するの?
515:login:Penguin
22/06/18 02:18:08 r1TLOhzS.net
いまのカーネルはスワップファイルとその物理領域をロックして直接アクセスするので性能はスワップパーティションと変わらない
そのときcowは発生しない
516:login:Penguin
22/06/19 16:03:31.02 qsibPTFk.net
ZFSですが、ashift、recordsize、volblocksizeなど重要パラメータがいくつもあるようで、最適設定が分からずにいます。
詳しい方のアドバイス頂きたく(できれば仕組みや考え方も。。)
用途:ホームサーバ(NFS、KVM)
H/W:CPU:Xeon E3-1220 V2 RAM:16GB SSD:CT1000MX500 x2 HDD:ST8000DM004 x2
ホストOS: Debian 11 bullseye (OpenZFS)
KVMゲスト: Linux、OpenMediaVault、Windows10
この用途だと、SSDとHDDのashift=12(4K)、データ倉庫のrecordsize=1M、VM用zvolのvolblocksize=16K かなと考えているのですが。
517:login:Penguin
22/06/23 16:58:16.36 TMc4AaIu.net
5.20でXFSがIOuringを使うようになるみたい
btrfsも対応中で近いうちに使えるようになる
518:login:Penguin
22/06/23 17:38:09.63 Ep5Zy0Ip.net
>>516
> HDD:ST8000DM004 x2
私だったらの話ですがこのドライブ(SMR)をZFSで使うのは割と勇気が要ります
事例リサーチの上でご決断を
ashiftは12で良いでしょう
recordsize や zvolブロックサイズについてはより詳しい人をお待ち下さい
519:login:Penguin
22/06/23 19:52:23 v0yzdsN/.net
>>518
ありがとうございます。
SMRは確かに遅いけど、現状自分の使い方だとbtrfsであまり気にならないので、ZFSでもいけるかなと。
さすがにWin10 VMは難があると思うのでSSDへの配置も考えてます。
520:login:Penguin
22/06/24 00:22:37.02 76F5ouZf.net
>>519
私もだいぶ前バラクーダ2TBでZFSを試した事があり
その時S.M.A.R.Tのなんだかの値がやたら増えたんです
(なんてやつだったかは忘れてしまいました)
「ZFSをSMRドライブで使うとデータロストするかもよ」みたいな記事もある様で
怯えた私はCMRドライブを手に入れバラクーダはテレビ録画用(FSはXFS)に回してしまいました
521:login:Penguin
22/06/29 21:10:55.45 ZhJGgCK1.net
Metaの巨大なデータセンターでメモリを大幅に節約するための「透過メモリオフロード」とは?
URLリンク(gigazine.net)
522:login:Penguin
22/07/25 12:10:29.58 oBMCUNvG.net
ZFSの暗号化ですが、ZILやl2arc使う場合特に注意する点あります?
attach先poolの暗号化が適用される、であってますかね?
523:login:Penguin
22/08/15 08:35:31.40 Wqm7CiAN.net
OpenZFSでdRAID使っている方います?
安定性や性能、使い勝手はどうなのか参考にさせて頂きたく。
524:login:Penguin
22/08/19 15:16:48.11 9vosFDnq.net
このところautofsとかいうのにハマりつつある
車輪の再発明?別にfstabや手動マウントでじゅうぶん?
いやー面白いじゃん マウントしてないのにcpコマンド打ったりしたときに自動マウントされて通ったりするの
525:login:Penguin
22/08/19 15:57:20.70 iSOCHkdV.net
そういえばそんな仕組みもありましたね。
ftpのマウントとかと組み合わせると案外便利なのかもしれませんね。
526:login:Penguin
22/08/19 16:02:37.91 9vosFDnq.net
なおNFSとSMB(CIFS)は余裕で設定できた
527:login:Penguin
22/08/19 17:59:05.93 9vosFDnq.net
>>525
これなかなかいいですよ
URLリンク(i.imgur.com)
528:524
[ここ壊れてます] .net
幾多のNASやFTPやクラウドストレージをマウントしていてもサービス再起動するだけで一括アンマウント
mountコマンドやfuseで使えるものならなんでも動的マウントが可能
WANストレージを多用する人には有用 かもね
529:login:Penguin
22/08/20 17:03:02.98 w2f/OM+r.net
>>527
ええなそれ
530:login:Penguin
22/08/20 17:14:13.96 Puzy2tFv.net
>>529
代表的なプロトコルの設定例はこちら
Autofs - ArchWiki
URLリンク(wiki.archlinux.jp)
531:login:Penguin
[ここ壊れてます] .net
なおautofsはローカルストレージにも使える
fstabでnoauto指定したマウントポイントにアクセスするまではマウントしないという使い方
例えばバックアップ用やマル秘ファイル満載のHDD、使うまではオフラインにしておくなんて事が可能
多少の電気代とコマンド叩くカロリー節約にはなる
532:login:Penguin
22/08/20 22:40:25.42 seP7+Qij.net
> fstabでnoauto指定したマウントポイントにアクセスするまではマウントしないという使い方
これLinuxでは結構手こずるわ
FreeBSDなら当該行頭の#を消すだけ
533:login:Penguin
22/09/12 11:27:55.61 EKZ5iDu6.net
外付けのデータがこっそり壊れてる可能性がある、
というのを極力避けるためにwindows捨ててlinux(btrfs)使う価値ある?
そもそもそんな破損の仕方はそれほど起こらない?
534:login:Penguin
22/09/12 12:29:19.52 wJlIRGX5.net
OSやファイルシステムのせいにする以前に
ヘタったストレージはさっさと交換して廃棄しちまえ、とだけ
付け加えるとしたら消えたら困る様なデータの保管先が中古ドライブだったらもってのほか
535:login:Penguin
22/09/12 13:27:25.39 EKZ5iDu6.net
> ヘタったストレージはさっさと交換して廃棄しちまえ、とだけ
定期的に新しいHDDに移してはいるんやけどね
10TBとかのデータをまったくの欠け無しにどんどん世代交代してくなんて可能なんかと不思議でさ
保存中に気づかない欠けが発生したりしないもんかと
その点ファイルシステムがハッシュチェックしてくれたら少なくとも気づくことはできるかなと思った
zfsやらbtrfsやらを使ってる人でその宇陰でデータ破損に気づけたという経験をした人はここにいる?
536:login:Penguin
22/09/12 13:31:33.85 8VmosxAD.net
クレクレ君が張り付いてんなら俺は何も情報出さんよ
普段どんな構成で運用してて現在どんな状態か等を「正直に」カミングアウトすれば別かもしれんが
537:login:Penguin
22/09/12 14:01:17.47 saGl8sEK.net
ファイルシステムの機能以前にそんなに完全性を気にするなら普通はベリファイなりハッシュチェックなりかけるので…
538:login:Penguin
22/09/12 18:05:47.10 ty0CoN/s.net
Oracle Linux 9 は btrfs サポートするのかー、と今調べた。
RHEL 9 も次では btrfs 復活させないのだろうか。
539:login:Penguin
22/09/12 19:21:01.75 /T1h+qWP.net
情報出さんよと煽れば情報貰えると思ってる
クレクレ君が張り付いてるな
540:login:Penguin
22/09/12 19:50:06.79 iumAOYEz.net
欠けるってなんだ
ディスクのチェックすり抜ける破損なんてあるか?
541:login:Penguin
22/09/12 21:01:49.15 zezXgxg3.net
> 情報出さんよと煽れば情報貰えると思ってる
>>536か?
あの短い文章で気持ち悪さを醸し出せるって大した才能だよ
542:login:Penguin
22/09/13 00:27:35.82 /2PyzOea.net
>>538
Oracle Linuxは普通に8でもbtrfs使えるので・・・
そりゃ自分のところで作ってるんだから当たり前である
543:login:Penguin
[ここ壊れてます] .net
もうsolarisぶん投げたんだからzfs移植してくれればいいのに
544:login:Penguin
22/09/13 10:55:34.31 26SDvzTI.net
>>540
> 欠けるってなんだ
> ディスクのチェックすり抜ける破損なんてあるか?
RAID スクラビングでググれ
H/w RAID 製品だとデフォなんで結構あるんじゃね?
545:login:Penguin
[ここ壊れてます] .net
>>544
そういうのはあるけど
質問者のいうファイルシステムを変えたからって回避できる問題ではないよね
546:login:Penguin
22/09/13 13:04:17.87 IWngxX9u.net
oracle にはzfsをGPL化して解放して欲しい。
もう面倒見る気ないでしょ。
547:login:Penguin
22/09/13 15:20:48.56 26SDvzTI.net
変更しないデータは iso ファイルで固めた後にパリティアーカイブコマンド
(par2 コマンドとか MultiPar(Windows) とか) でパリティ付けてるわ。
誤り訂正符号なんでパリティをギガ単位でつけておけばギガ単位でデータロスト
しても修復できるんでお勧め。
548:login:Penguin
22/09/14 08:36:54.95 3+fnCgkr.net
arch の XFS のドキュメント見てたら、カーネル5以降で使えるようになった機能への記載もあって良かったよ。
CoWはよくわからんが。
URLリンク(wiki.archlinux.jp)
549:login:Penguin
22/09/14 12:38:59.56 bYfFHp12.net
RHELがbtrfs捨てたんだからbtrfsはもうダメって雰囲気から、未だにbtrfs採用しないとかRHELは遅れてんなみたいな雰囲気にまで変わったのは何気にすげーわ
550:login:Penguin
22/09/14 13:52:40.76 nq/UBHqF.net
RHELというかRed Hatには早くファイルシステムレベルの透過圧縮を実現して欲しい。
アプリ側で圧縮展開なんて面倒すぎてやってられん。。
551:login:Penguin
22/09/14 14:21:54.84 3+fnCgkr.net
>>550
どのオペレーションの事言ってるの?
圧縮するとパフォーマンスに影響あるから、理解して使わないとダメだと思うのだけど。
552:login:Penguin
22/09/14 17:32:22.56 5xcyS0Dn.net
確かに適用先は気をつける必要があるね。
自分の場合はサービスアプリの大量のJSONログ。zstdならAWS EBS節約にかなり効果ある。
通常のOS領域でも、lz4ならパフォーマンス上がるという報告もあるし。
553:login:Penguin
22/09/15 11:18:18.47 lBhke55s.net
Redhatはbtrfs捨てた代わりにstratisとかいうの開発してただろう
使ってる人いるのか知らんけど
554:login:Penguin
22/09/15 11:54:40.70 Cc+Q8Ruh.net
ここからのリンクでRAID5,6 でbtrfsは、まだ問題抱えている気はする。
パーソナルユースでRAID5,6 使う人は多くないから問題ないのかな。
URLリンク(btrfs.wiki.kernel.org)
CoW はDBのファイルシステムに向かないという話もあったと思う。
そんな事を気にし始めるとext4いいね、って一周するんだけど。
555:login:Penguin
22/09/15 12:02:30.08 Cc+Q8Ruh.net
直っているねかも
Btrfs RAID 5/6 Sub-Page Support Readied For Linux 5.19
URLリンク(www.phoronix.com)
556:login:Penguin
22/09/15 12:04:36.92 U8x9yY/A.net
RHはxfsに梶切っていた認識。
btrfsは開発facebookメインで圧縮もfb自身が実環境で使ってる記事あった気がする。
世界最大級のサービスで使われてるのは強みかな。
557:login:Penguin
22/09/15 15:05:48.87 tkXHiVbC.net
>>554
これってデータベースが更新頻度の高い巨大なバイナリだからって意味だよね?
cowの利点は活かせないけど特段デメリットも無い気がする EXT 4に比べるとパフォーマンスが落ちるぐらいかな
558:login:Penguin
22/09/15 16:29:17.79 FJNLk0E4.net
RHはxfsに舵を切ったんじゃなくてファイルシステムからは撤退でしょ
EMCやNetAppと違って利益に直結しないbtrfsにお金かけられないよ
559:login:Penguin
22/09/15 17:05:26.20 TtrJqiPo.net
btrfsはファイル毎にCoW切れるからDBも行けるよ。まぁ本気でやるなら専用パーティション切れってのは確かだけど
560:login:Penguin
22/09/15 18:15:23.16 RUJ684lp.net
レッドハットはXFSに行ったけどfedoraはbtrfsなんだよな?
561:login:Penguin
22/09/16 01:39:51.29 UTE3VPOH.net
デスクトップだけね
fedoraサーバーはbtrfsではなかったはず
562:login:Penguin
22/09/16 01:45:24.63 UQnaXGMd.net
Fedora Server で btrfs インストール時に選べるよ。
ただ LVM との組み合わせではリストに出てこないから、利用できないと思われているかも。
563:login:Penguin
22/09/16 18:46:30.95 6/pTtJMl.net
RedHatは社内にBtrfs詳しい人がいないから採用予定はないってさ
ここで言う詳しいは客からのバグ報告を基にBtrfs側に修正パッチ投げられるレベルの話ね
564:login:Penguin
22/09/16 21:58:38.00 kHteBK8Y.net
それでいうと、RedHatはじゃぁ、「サポート」しているパッケージ、ソフトウェアは全部、その「詳しい」人が社内にいるのか・・・と思ってしまうのだが、そうなのか?
まぁあれだけのサポート料とるからには、そうなのかもだが。
565:login:Penguin
22/09/17 00:39:25.45 MKyVd3Sm.net
>>564
結構のカバー率でいるよ
XはカバーしきれないからWayland作ったし
PulseAudioも外から触れないからPipeWireを作った
RedHatはサポート出来ないなら代替プロジェクトを自前で立ち上げるくらい本気でやってる
566:login:Penguin
22/09/17 01:05:36.96 odAvhWZF.net
そんな話を聞くと Red Hat 好きになってしまうじゃないか。
567:login:Penguin
22/09/17 04:58:39.63 Fuq/3f9P.net
dockerの代替も作ってたな
568:login:Penguin
22/09/17 07:48:18.00 bk9onoJP.net
Podmanか。アイコンがかわいい。
569:login:Penguin
22/09/17 08:01:27.63 Qn7DNwb1.net
PodmanってRHなのか。ひょっとしてkubernetesと相性良かったり他に無い連携機能あったりするのかな
570:login:Penguin
22/09/17 08:52:56.30 /jdXCmzy.net
>>565
pulseaudio外から触れないってどういう意味?
571:login:Penguin
22/09/17 13:25:14.54 bk9onoJP.net
Podmanはkubernetesと直接の関係はないけど、buildahがOpenShiftと関係ある。
OpenShiftのコンテナのサポートはbuildahやDeploymentConfigなどのRH製で作ったもの以外は断られる場合がある、となってたはず。
実際は柔軟だと思うけど。
572:login:Penguin
22/09/17 18:26:31.06 VWuq5bLf.net
外部のボランティアが動かないせいで苦情を放置する訳にもいかないからね
特に複数ソフトウェアの相性によるバグは相手のせいにし合って永久に解決しないから
両方RHで管理してしまうのが一番手っ取り早い
573:login:Penguin
22/09/18 04:47:32.52 7cdIxJDp.net
dockerが将来性や互換性や内部のゴタゴタで揉めてたころ、redhatがコンテナ実行環境を掻っ攫おうとしたけどdockerがなんか復活して失敗したプロジェクトだろpodman
574:login:Penguin
22/10/02 07:20:03.97 4EGz31vy.net
それにしても最近のBtrfsの安定感は凄い。
Fedoraユーザーだから透過圧縮を有効にして数年使っているけど
全く不具合発生しなかった。
コミュニティでも不具合報告がないしデスクトップ用途なら実用レベルに達した気がする。
575:login:Penguin
22/10/02 08:36:33.18 vgUhfbS4.net
URLリンク(btrfs.wiki.kernel.org)
使える機能と不完全な機能ははっきりしているよ。
576:login:Penguin
22/10/02 10:09:03.49 4EGz31vy.net
カーネル4.xx時代には普通に使ってぶっ壊れた経験がある
577:login:Penguin
22/10/02 10:27:26.51 qpkp4YD/.net
RAID5と6だけは一向に進まんな。まぁ、使わないけど……
578:login:Penguin
22/10/02 10:32:03.81 vgUhfbS4.net
mostly OK: safe for general use, there are some known problems that do not affect majority of users
これとか、英語オモシロって読んだけど。
579:login:Penguin
22/10/02 10:35:50.11 MGDUtQ70.net
ZFSにLinuxとFreeBSDの独立したデータセットをつくってマルチブートしてるんだが
Linux使用後にFreeBSDを使うには一旦FBSDインストールメディアでimportする必要がある
この手間さえ無ければZFSになんの不満も無いんだよなあ
580:login:Penguin
22/10/02 13:25:43.40 wWzX4YlV.net
あとZFSはストレージプールからのデバイスの削除ができない。デバイスを誤って追加した場合でも、削除はできない。
btrfsは一応削除できる。削除しようとしているデバイス上のデータを他のデバイスに移動させる時間がかかるけど。
デバイスの削除ってあまり使われない機能なん?
581:login:Penguin
22/10/02 14:52:07.45 /bQPOp78.net
単純なストライピング(RAID0)の場合なら zfs remove でできるけど
582:login:Penguin
22/10/02 22:35:50.60 ToQkc5fj.net
正確には zpool remove ストレージプール ブロックデバイス
583:login:Penguin
22/10/03 10:14:47.82 WCTJZs5Z.net
ZFSで、別のマシンで同じpool名で使ってたディスクを同じマシンに付けた場合、どうやってimportするんでしょうか?
584:login:Penguin
22/10/03 11:11:57.84 GcIDZGw0.net
ちょっと質問文が紛らわしいので私なりに整理
マシン1にてtankというpool名でimportしていたZFSパーティション or ZFSアレイがあるとする
↓
マシン1をshutdownし、プールtankとして使用しているストレージをマシン2へ接続する
↓
稼働しているマシン2にてプール名はそのままにtankをimportしたい
こういう事なら実施命令は簡単
# zpool import -f tank
585:login:Penguin
22/10/03 12:22:12.91 lRZrkpv7.net
説明不足ですみません。
disk1: マシン1で tank として使用中
disk2: マシン2で tank として使用中
の状態で、
disk2 をマシン2から取り外し、マシン1に取り付け、importする方法、の意図でした。
目的はdisk2のtankからのデータのサルベージです。
586:login:Penguin
22/10/03 12:50:12.36 GcIDZGw0.net
こちらは仮想ストレージで構成を再現したものです
現在の構成はおおよそこんな感じという事ですかな
URLリンク(i.imgur.com)
ブロックデバイスの状態・予定サルベージ先ストレージ等不明かつ当方に時間の余裕が無い為
申し訳ございませんが実際のサルベージ手順は他の方のご回答をお待ち下さい
587:login:Penguin
22/10/03 12:55:56.27 GcIDZGw0.net
あ、違うな
マシンが2つあってzpool(非RAID)も2つあり、どちらもpool名がtankという事か
tank(disk2)の状態を提示し回答をお待ち下さいませ
588:login:Penguin
22/10/03 12:59:04.03 GcIDZGw0.net
状態の信憑性を高める為に、状態提示は端末エミュレータのスクショ貼りがおすすめです
589:login:Penguin
22/10/03 23:47:10.71 dtV7H3/+.net
ありがとうございます。
調べたところ、zpool import poolname newname でいけそうな感じでした。
仮想環境で試してみようと思います。
590:login:Penguin
22/10/04 08:26:10.23 bNT9y4ds.net
物理環境があってサルベージが目的なのに仮想環境で試すとはこれ如何に
591:login:Penguin
[ここ壊れてます] .net
物理には同じ名前のプールがあるから物理でやる前に試すってことじゃないかな?
592:login:Penguin
22/10/04 12:06:58.73 kn3LxMYm.net
やっぱzfsは駄目だな
時代はBtrfs
593:login:Penguin
22/10/04 12:49:05.71 2+bfy/ol.net
BtrfsからZFSに出戻ったわ
特にスナップショット使いが難くてダメだった
594:login:Penguin
22/10/04 18:34:25.31 ImjmuMcI.net
子データセット(Btrfsだとサブボリューム)がある時の一括バックアップの使い勝手は
ZFSに軍配があがるなー
595:login:Penguin
22/10/05 19:10:58.86 8EmBrLW8.net
スレリンク(linux板:922番)
btrfs のパフォーマンスが6.1で上がるニュースを教えてくれた人がいる
596:login:Penguin
[ここ壊れてます] .net
いっつもパフォーマンス上がってるな
597:login:Penguin
[ここ壊れてます] .net
……と思ったら今回は割とガチ目の上がり方だな
URLリンク(i.imgur.com)
598:login:Penguin
22/10/06 18:08:03.26 avGMmg5J.net
Open ZFSの更新来てた(∩´▽`)∩
599:login:Penguin
22/10/09 15:01:09.59 rXr5IkAi.net
zfsの実際のrecord sizeはいつ決まるのでしょうか?
ググった範囲では、record sizeは(dataset指定サイズの範囲で)動的に決まる、決まったあとは変更されない(再作成が必要)、と認識してます。
ファイル書き込みはwrite(2)やfwrite(3)で行われると思うのですが、全てのプログラムが大きなバッファを用意しているとは限らない気がしてます。
zfsにはwriteback用にtxgという領域があるようですが、非同期書き込みのreocrd sizeはtxgがflushされる際に決定されるのでしょうか?
(もしそうであれば、同期書き込みはfsync(2)時に決定?)
600:login:Penguin
22/10/10 12:36:41.47 aroMbFWo.net
NTFSクラスタサイズを後から変更するにはどのような方法があります?
フリーで探し手いるのですが、minitool や aomei無料版は非対応のようで。り
601:login:Penguin
22/10/19 00:38:57.76 8S0s8MKH.net
XFS & F2FS Changes Are Tame For Linux 6.1
URLリンク(www.phoronix.com)
602:login:Penguin
22/10/26 21:27:04.04 4URvJJm4.net
Linux 6.2 Aims To Ship Updated Zstd Implementation
URLリンク(www.phoronix.com)
Zstd with Btrfs transparent file-system compression performance the decompression speed was "a small win across the board" and at lower compression levels the compression speed and compression ratio were both better than the prior kernel code.
603:login:Penguin
22/11/07 08:35:37.59 RMBZpOPP.net
暗号化鍵ってみなさんどう読み込ませてますか?
手入力だと強さに限界や起動時コンソール前にいる必要があると思うのと、何より面倒。。
かといって同じマシンに置くと平文になると思うので。
604:login:Penguin
22/11/09 22:33:21.52 KvH0BOKS.net
システムパーティションは暗号化せずにおいといて、盗まれたら困るデータだけ別のパーティションにおいてそこは暗号化している
起動したらSSH(SSHのサーバー鍵は「盗まれたら困る」には当たらない)して手でパスフレーズ入れて復号化
手入力の場合の強さの限界は、ストレッチングで多少は緩和される。
605:login:Penguin
22/11/21 05:26:42.47 QKr0PUfj.net
BitTorrent File System (BTFS)
URLリンク(www.bittorrent.com)
なんだこれは・・・たまげたなあ
606:login:Penguin
22/11/21 19:44:06.85 yefmWMbF.net
これが本当の分散ファイルシステム
607:login:Penguin
22/11/22 13:05:00.91 gnE97F4D.net
概念的には昔からあるが今のインターネットじゃいろんな部分の性能保証がないから実用性がね
608:login:Penguin
22/12/02 13:21:39.17 lH0jw8OM.net
赤帽エンジニアブログ
2022-12-01
XFSで使った以上に容量が減るナゾ
リンク貼れんかったので
609:login:Penguin
22/12/04 13:25:00.37 MfcKUhyk.net
ファイルシステム関連のドキュメントはBtrfsもxfsもOracle Linux のが親切だな。
URLリンク(docs.oracle.com)
610:login:Penguin
22/12/04 16:07:29.87 Ye7QwRkv.net
Oracleは宗教上の理由でちょっと……
611:login:Penguin
22/12/13 18:07:58.13 sT4F2h1k.net
URLリンク(www.phoronix.com)
6.2からbtrfs raid5の信頼性が上がるらしい
612:login:Penguin
22/12/20 11:30:51.92 0v1vCYwT.net
zstdもアップデートされて高速化されるみたいだし6.2は重要なアップデートになるな
613:login:Penguin
22/12/20 18:04:21.86 0v1vCYwT.net
exfatも6.2で速くなるみたいだな
614:login:Penguin
22/12/20 18:46:15.08 fyhGCDZv.net
6.1 が重要そうで、Debian のコードフリーズに間に合って喜んでいたんだけど...
カーネルだけならアップデートしてもほとんど失敗しないし、別にいいんだけど。
615:login:Penguin
22/12/20 22:50:57.03 de7d8g5m.net
昔はshutdown -rFでfsck走ったけどbtrfsは気にしなくていいの?
VMシャットダウンした時とかに気になって。
616:login:Penguin
22/12/21 00:04:24.39 qmUzV3jd.net
shutdownコマンドは古くて問題があったので廃止されてる
systemctlを使おう
617:login:Penguin
22/12/21 02:19:04.96 q6nimIuc.net
使ってるのだが...
618:login:Penguin
22/12/21 12:46:38.28 EhRPJEI6.net
今は大抵shutdownとかもsystemctlへのリンクになってるやろ
619:login:Penguin
22/12/21 12:57:38.99 q6nimIuc.net
ホントだ
shutdownとして呼ばれると適切に読み替えてくれるんかな?
# shutdown -r now
# shutdown -h now
620:login:Penguin
22/12/21 19:12:15.59 5YV/Phng.net
普通にpoweroffかrebootが1語で済んで簡単で良い
621:login:Penguin
22/12/29 08:21:21.62 TYlqFk7p.net
ファイル名の長さ制限なんとかならん?
622:login:Penguin
22/12/29 09:36:29.31 YrPvt7JI.net
前は制限あったけど、今もあるっけ?
623:login:Penguin
22/12/29 10:06:03.55 2nJ5CorQ.net
ファイルのダウンロード中にLinuxのext4ファイルシステムが突然クラッシュしてOSが動かなくなった。
保存先のディレクトリのファイルがすべて操作不能、削除不可能状態になった。
物理的な衝撃とかもまったくなく、突如として起こったトラブル。
再起動したらLinuxはうまく立ち上がらず、セーフモードに。
けっきょく再インストールするハメになったが、インストールに失敗する。
いろんなディストリを試したが、どのディストリでもインストール中にエラーが出て止まる。
インストールメディアの破損もなければ、HDDの破損もない。
DVDドライブも普通に焼くことができるのに。
こんなことがあるんだね。安定しているファイルシステムはなんだろうか。
624:login:Penguin
22/12/29 10:06:58.53 otCbGAW+.net
>>621
無制限なのはパス名の長さで、ファイル名はほとんどのファイルシステムで長さに制限があるはず
625:login:Penguin
22/12/29 10:07:45.99 otCbGAW+.net
>>624
>>622
安価ミス
626:login:Penguin
22/12/29 10:33:59.58 ZePSKeUC.net
>>623
> こんなことがあるんだね。
ビジネスだと物珍しいレベルではないかな。
最近は出荷前検査の精度が上がってて初期不良減ってるから物珍しいレベルになりつつあるけど。
症状的には CPU/マザボ 故障が疑わしい。 その次はメモリ。
ドライブもファイルシステムも無罪だと思うわ。
つうか、ext4 ってまともなメンテナ居るのか?
ドライブ故障のトレンドに追随できてないファイルシステムは使うべきではないよ。
627:login:Penguin
22/12/29 10:58:58.47 ZDryYAQt.net
>>623
ZFSならsnapshotからロールバックで戻せるんじゃない?
628:login:Penguin
22/12/29 11:02:16.35 ZBJb5QBa.net
>>622
ext4が255バイトでNTFSが255文字(Unicode16)なんで困るんよ
vfsにハードコードされてるぽいんでダメだろうけどダメ元で聞いてみた次第
629:login:Penguin
22/12/29 11:16:06.03 Sx2YLUkq.net
流石に無知がすぎるだろ
ext4なんて現在進行系で開発されまくってるファイルシステムだぞ
あと絶対に壊れないファイルシステムは無いから
ext4よりbtrfsやzfsのほうが壊れにくくはあるけれど
630:login:Penguin
22/12/29 11:26:50.12 ZePSKeUC.net
>>629
本当に開発されまくって言えるか?
Red Hat 系使う奴は xfs ばかり使うし、その他のディストリも btrfs だったり。
ファイルサーバ製品もハード直結独自FSばかり。
ext4 は使われていない/充分なデータが集まっていないだろ。
631:login:Penguin
22/12/29 11:32:23.29 pqXRLrrR.net
6.1でのext4の変更
URLリンク(lore.kernel.org)
632:login:Penguin
22/12/29 12:10:45.55 O8F+4wx8.net
ext4が使われてないってどこの世界線なんだ…
クラウドではほとんどext4だろう
633:login:Penguin
22/12/29 12:27:56.45 ZePSKeUC.net
>>632
amazon も ext4 やめて xfs でしょ?
634:login:Penguin
22/12/29 14:06:41.98 YrPvt7JI.net
ここのベンチマークの結果だとext4は速い方なので、いい印象持っている
URLリンク(hesonogoma.com)
635:login:Penguin
22/12/29 15:32:08.76 zAcLS6l6.net
ファイル名については昔Linusが255バイト制限緩めても今度は1MBじゃ足りないっていい出すに決まってるから対応しないって言ってなかったっけ
東アジア圏だとutf8で更に厳しくなったけど、今ならファイル名に長々情報持たせるほうが悪いって言われそうだしな
636:login:Penguin
22/12/29 23:22:37.08 yFWCe43l.net
英語圏の人は漢字圏特有の問題を理解しないからな
637:login:Penguin
22/12/30 00:00:29.63 A61NzzNw.net
使えるパスの長さは AIX や Solaris の方が少し制限が緩いようにも見えるし、文字コードがUTF-8 じゃなかった頃の設計のせいにも見えるね。
URLリンク(www.ibm.com)
638:login:Penguin
22/12/30 13:20:02.61 9woIQjbF.net
OpenShift4 のPVはext4だった気がする。間違ってたらスマン。
639:login:Penguin
22/12/31 00:08:37.77 FTj3W6ps.net
>>638
デフォルトはね
設定で変えられる
640:login:Penguin
22/12/31 02:05:18.30 xELcB+Gr.net
linuxの文字数制限が不便でNASを使用しなくなったことがある
641:login:Penguin
22/12/31 12:09:04.56 P2xYG+Vx.net
ファイル名がUTF-16で記録されるexFATだとLinuxでも全角文字255文字フルに使えたからファイルシステムによるんじゃない?
642:login:Penguin
22/12/31 16:44:14.18 QpXj8X5v.net
fusuで実装されてるからでは?
643:login:Penguin
23/01/03 22:18:56.96 qEN3cyhG.net
>>639
なんと。。圧縮したかったのでbtrfsで圧縮出来ればいいなと思ってた。
RedHatだから無理かな。。
644:login:Penguin
23/01/03 22:25:23.88 wEpuZtJW.net
ログを延々と吐き続ける用途にbtrfsは向いてますかね?
CoWが邪魔したりしませんか?
645:login:Penguin
23/01/04 12:49:11.56 0uCFlsnQ.net
GpartedでUSBメモリをexFatでフォーマットしている途中で進捗が止まり、そのまま。
USBメモリがどうやら物理的に壊れてしまった。
PCに挿し込んでもそのUSBメモリだけがまったく反応なくなった。
Linuxのインストール途中で失敗しつづけている。
悪いこと続き。Linuxの神様に見放された模様。
646:login:Penguin
23/01/04 12:59:21.38 PQqENS/b.net
邪魔の意味は分からないけど、性能はともかくデータ化けとかの心配は無いのでは?
CoWが提供するのは堅牢性や一貫性確保だと思う。
CoWがダメならzfsにはログ保存できないことになってしまうし。。
647:login:Penguin
23/01/04 13:06:12.57 K9sTb1hf.net
ZFSはブロックレベルの重複排除だからCOWでも問題無いとかの話?
648:login:Penguin
23/01/04 13:10:20.00 xX40yDLp.net
ログファイルってコピーして使うか?
普通しないからCoWが邪魔はしないでしょ。
ランダムアクセスするファイルならRAIDで向き不向きあるけど
ファイルシステムで向き不向きはないと思う。
649:login:Penguin
23/01/04 14:17:37.35 n7gUnUO1.net
データベースやVMのディスクイメージみたいな1つのファイルを何度も上書きするパターンはCoWと相性が悪いと聞くな
当該ディレクトリのCoWを無効化すればいいけど、してもI/O性能が上がる程度で有効のままでも別に問題なさそう
650:login:Penguin
23/01/04 23:08:47.39 xX40yDLp.net
Btrfs の場合、CoW有効のファイルを書き込んだ後に以前書き込んだ部分を上書き
するとドライブ上ではそのブロックを上書きせずに別ブロックに書き込む動作をする。
「ファイルコピーしたファイルでのみそれが発生する」と思っていたがそれは俺の
勘違いで、実際は全ファイルでそれをやるってことか。
まあでもログファイルはシーケンシャルアクセスだから(ブロック単位の
上書きは発生しないから)CoWが邪魔しないことに変わりはなさそうね。
651:login:Penguin
23/01/04 23:43:18.43 FNVxHNKk.net
ログで質問したものです。
皆さんありがとう!
色んな考察が聞けてためになりますた。
VMはCoW無効にするのが常識とおもってて、
ログとかの追記も関係あるのかと思った次第です。
とりあえず何もチューニングせずに使おうと思います!
652:login:Penguin
23/01/08 00:55:03.06 fvHOPfXO.net
debianのtestingに降りてくるまで一月ほどかかるなぁ
653:login:Penguin
23/01/12 22:26:05.98 mpGk/a+b.net
ext4はシステム向け、xfsは倉庫向けと考えてok?
654:login:Penguin
23/01/13 08:54:10.86 7OCE97ZZ.net
どうしてそう思った?xfsデフォのディストリもあるが
655:login:Penguin
23/01/13 13:01:18.72 ZKf8B51+.net
大きいファイルなら速いけど壊れやすくメモリ食うのがxfs縮小もできない
ext4は逆
656:login:Penguin
23/01/13 23:06:07.68 0qCLEX6/.net
>>653
RHEL9 から dump/restore は OS に添付されなくなった。
何かあっても保守/問合せ対象外。
EPEL として残ってるから完全に対象外というわけではないだろうけど。
その観点でいうと ext4 はコンテナ向け、xfsは物理向け、なのかも?
657:login:Penguin
23/01/14 15:10:17.93 iY56yVZu.net
じゃあbtrfsはなに向け?
てかbtrfsはscrub定期的にしないとダメなの?
658:login:Penguin
23/01/14 15:54:59.93 V6u7C4fp.net
zfs にコンプレックスを感じる人向け、というのは冗談として
ext4 の後継と思っている。
659:login:Penguin
23/01/14 16:53:12.51 QwD6oUxh.net
>>658
やっぱそういう位置づけだよね?
何故かQNAPはbtrfsをディスってるけどw
URLリンク(www.qnap.com)
660:login:Penguin
23/01/14 18:20:11.77 2OMLCN0j.net
>>659
草
BtrfsでNAS作られると(高機能すぎて売りが無くなるので)困るというのが伝わってくるw
661:login:Penguin
23/01/14 21:07:01.17 g3eX2Qbu.net
Linuxのファイルシステムはどれも一長一短で決め手にかける。「用途とか関係ない、これにしておけばまずOK」ってのがない。
ext4は大容量ドライブでfsckが遅く昨今の大容量なディスクドライブに作成するには向かない、
xfsはfsckは大容量ドライブでも問題ないが縮小ができないしメモリも食う、
btrfsはfsck不要、CoWなど「モダンなファイルシステム」とされるが、比較的新しいファイルシステムでやや心配がある、枯れていない、遅い。最近はまともになってきているが。
ZFSはライセンスの問題・・・
一方、選択肢が多いのは良いこととも言える。他のOSだって問題はいろいろあるし、OS、FSともに完全無欠のものはないけどね。
662:login:Penguin
23/01/14 21:16:49.66 rbIBgCNH.net
Debian系はデフォルトext4なのは何でだろ
663:login:Penguin
23/01/15 00:04:50.52 Ra9CuA6A.net
>>661
xfsって壊れやすいって本当?
なんかレガシな感じがして受け付けないんだよね。
そういやreiserfsはタイーホ後からどうなったのかね?
当時は先進的だったけど。
664:login:Penguin
23/01/15 00:57:20.31 U8aJCTCE.net
>>663
reiserfsは非推奨になってて2025年に削除される予定