18/02/27 00:21:54.20 ba93YfaM.net
それならこのスレの英知を結集して新しいファイルシステム作れば良いじゃないか!
101:login:Penguin
18/02/27 00:26:23.10 mYKxKYUa.net
ext系はずいぶん前に開発者リソース分散を避けるためext5を作らずext4強化で実質5相当にするとか言ってたが
その後の方針はどうなったんだろう
102:login:Penguin
18/03/02 05:30:25.81 hhxLds+U.net
ntfs-3gは互換性にちょい問題あるから仮想マシンのwinにマウントさせれば大丈夫だろうと思ってたけど、物理マシンのwin10にファイルシステムぶっ壊されて尻込みしてきた…
103:login:Penguin
18/03/02 07:08:22.43 67A/reQv.net
windowsがNTFS壊すことなんて普通ないだろ
壊れる場合は大体ハードか要因
104:login:Penguin
18/03/02 22:39:56.04 H+tXBOeU.net
btrfsはまさかのWinBtrfs登場でいま一番すき
105:login:Penguin
18/03/02 23:13:17.15 MFGpClv5.net
狂気
106:login:Penguin
18/03/04 21:51:49.30 4+1xEt+z.net
>>102
Win10は次の起動の高速化のためにシャットダウン時に色々やってるから、油断ならない
107:login:Penguin
18/03/05 14:52:46.83 O88BXzrm.net
ntfs-3gのLFS=Windows7以前のLFSだからWindows8移行のLFSと互換性はない
108:login:Penguin
18/03/10 09:31:23.08 x4lfxI/y.net
btrfsからext4に逃げたけど透過圧縮ないとNAS用途だと10%くらい容量食って辛い
109:login:Penguin
18/03/12 21:38:16.59 unPKrVS/.net
恐縮ですが、SSDとHDD混在のVLMでアクセス頻度の高いデータをHDDからSSD側に動的に移動してくれる機能はないでしょうか
例えば Windows Server 2016 の 記憶域プールのような SSD と HDD を階層化する機能はないでしょうか。
CentOS7を使っています
ご存知の方がいらっしゃいましたら教えてください。
110:login:Penguin
18/03/12 22:19:07.32 TUBoTmo4.net
LVM Cacheが多分一番楽
既にあるLogicalVolumeに対してもSSDをキャッシュに出来る
動いてる状態でにキャッシュの追加と削除が可能
3年くらい使ってるけど、特に問題は起きてない
あくまでキャッシュなのでSSD追加しても全体の容量は増えないけど
111:login:Penguin
18/03/12 22:22:50.43 RTR6VDTp.net
>>108
LVM?
階層化は聞いたことないなあ
本質的にはSSDキャッシュだし
git探してもマトモなのないね
112:login:Penguin
18/03/12 23:15:13.20 /r957bgo.net
>>108
もう開発止まってるっぽいけど、btierとか。
113:login:Penguin
18/03/13 05:55:03.42 mU6yb35H.net
いろいろ情報ありがとうございます。
LVM Cacheキャッシュでいこうと思います。
できないことがわかっただけでもありがたい。
114:login:Penguin
18/03/24 05:35:48.82 vglWJKal.net
ext以外で予約領域
115:の概念があるファイルシステムってある?
116:login:Penguin
18/03/24 08:18:16.54 A+B8Oca5.net
XFSのパーティションに別のパーティションから
100万個ファイルをコピーしたら、途中でコピーが止まり
XFSのファイルにいっさいアクセスができなくなったよ。
よくある話らしいが、EXT4で構築すればよかった。
117:login:Penguin
18/03/24 10:05:42.33 Okpi41CK.net
連続書き込み3万個くらいで不具合起きるかもしれないんだっけ
RedHatの一件からだと思うがXFSに手を出して痛い目みる事例が増えてるみたいだな
そのうち安定化するといいが…
118:login:Penguin
18/03/24 13:09:54.84 7LZp7+hZ.net
XFSでファイル鯖立ててしもうた。
鬱だ。(´・ω・`)
119:login:Penguin
18/03/24 13:55:13.48 Q03LRYRl.net
XFSそんななんだ・・・使わんとこ
120:login:Penguin
18/03/24 13:56:22.34 Ylvb0lEk.net
zfs使えばええやん
121:login:Penguin
18/03/24 14:12:08.40 PZTMha1Y.net
>>118
メモリが足りねえ
122:login:Penguin
18/03/24 14:41:48.58 Q03LRYRl.net
重複排除使わなきゃそんなに使わなくね?
123:login:Penguin
18/03/24 18:46:05.11 WfIumJp8.net
初めて聞いたわそんなん
fs選択は地獄だな
124:login:Penguin
18/03/25 01:03:27.71 sNVEb48G.net
ZFSはdedupeをonにすると地獄を見るけどoffだと最強になりすぎて
もうコイツだけで良いんじゃないかなってなって面白みがない
誰かが映画版ジャイアンfsと言ってたが一理あるっていう
125:login:Penguin
18/03/25 03:39:28.73 jXn25Zte.net
ライセンスの問題がなけりゃすべてのディストリが採用してるレベル
オラクルほんとクソ
126:login:Penguin
18/03/25 04:16:38.82 /qrb38yx.net
xfsだめなのぉ?
127:login:Penguin
18/03/25 05:18:18.15 azIef3b5.net
xfsは中身変わりまくりで歴史が長く信頼性が高いとか言われると?ってなる
128:login:Penguin
18/03/25 05:50:15.79 xf2ttzH/.net
>>122
dedup使わなくても空き容量なくなったら死ぬという欠点がある
129:login:Penguin
18/03/25 06:59:41.30 H+lpi9gt.net
zfsは機能と安定性は最強だけど、速度は弱くない?
130:login:Penguin
18/03/25 10:21:30.83 jXn25Zte.net
あー、空き容量残り2割切ると遅くなるんだったな
確かに残り1割になったときは遅かった
131:login:Penguin
18/03/25 12:23:01.94 HgQzeR+v.net
atimeが更新される条件ってなんですか?
ファイル見ても更新される時とされない時があるんですが
132:login:Penguin
18/03/25 12:53:24.66 QhmAkcZ/.net
noatimeとかそういうのでぐぐったところ、
133:login:Penguin
18/03/25 16:18:11.25 qnXLJ6VG.net
ZFSをoptaneで性能底上げしたらどうやろ?
134:login:Penguin
18/03/25 16:33:05.47 xf2ttzH/.net
URLリンク(gigazine.net)
この記事ZFSにoptane最高だぜって言ってるけど
そもそもl2arcとzilの有効性が微妙だからな
耐久度という意味では間違いなくいいけど
135:login:Penguin
18/03/26 12:19:39.47 wqW+3yz6.net
btrfsに続いてzfsでもzstd圧縮が使えるようになるらしいな
136:login:Penguin
18/03/27 06:01:39.80 kqSS0Nv9.net
外国の開発者(ストレージ系)の人とXFSとEXT4について意見交換
したのだが、信頼性を求めるならEXT4じゃね?とメールしたところ、
XFSのほうが多くの面で優れていて、確かに多くのファイルを一度に
更新する(メタデータ更新)とエライコッチャになることが稀にある。
その弱点を差し引いても私はXFSを選ぶよ。 と返事をもらった。
自分はEXT4派だったんだが、XFSに宗旨替えしよう。
137:login:Penguin
18/03/27 06:44:56.07 782OWoK3.net
本当に根拠が宗教的信仰心しかない・・・
138:login:Penguin
18/03/27 11:00:41.72 c6neFUpA.net
よく「エライコッチャになる」可能性があるもんを使えるどころか他人に勧められるもんだな・・・
139:login:Penguin
18/03/27 11:01:48.38 3wHgt0DI.net
zshはmetadataの処理速度が遅すぎて、ガリガリアクセスするとこには使いたくないわ
140:login:Penguin
18/03/27 11:04:18.47 vJefcZPQ.net
xfsは明確な不具合が出ると指摘されたうえでも選ぶんだから厚い信仰心が垣間見れるな
ストレージまわりにそんな危ないの使うのはあるいみ狂信の域だけど
重要データ扱う状況でも無さそうだし文字通り人柱として貢献できるね
141:login:Penguin
18/03/27 12:52:33.67 i69pveH8.net
数万のファイル更新は絶対にやらないシステムならいいんじゃね?
XFS使ったことないけどkernelのソースとか取ってきたら死にそうw
142:login:Penguin
18/03/27 21:30:42.61 G+R+bUTm.net
xfsは2010年ごろ?に大改修されて、
その道の人に言わせるとext4より良くなったとか
143:login:Penguin
18/03/27 21:38:10.43 WBgLhK0q.net
centos7 ext4がデフォらしいけど、かっこつけてxfsにするクセがついてます。
まぁ個人で使う分に違いはわからんでしょ。
144:login:Penguin
18/03/27 22:10:53.31 76SAlyTy.net
centos7はxfsだろ
6まではext4だったが
145:login:Penguin
18/03/28 13:34:01.30 jktrpz3K.net
JFSオヌヌメ
146:login:Penguin
18/03/28 17:02:03.91 P4JKYXtv.net
LinuxをZFSにインストールしてみたけどロールバック便利ね
ライセンス問題解決されたらインストーラーで簡単にインストールできるようになって欲しい
147:login:Penguin
18/03/28 17:15:40.79 L0+1Mu1U.net
zfsはdebianなら公式のリポジトリからインストールできるようになってたろ
それ以上に簡単になってほしいのかね
148:login:Penguin
18/03/28 17:59:04.23 20ARKeD+.net
/boot以外のディレクトリがZFSのファイルシステムに
簡単に出来るとイイね かな?
149:login:Penguin
18/04/01 09:31:01.50 OYHXfTBa.net
古い資料だけど、カーネル違うとXFSの信頼性が変わるとか本当にあるんだね
URLリンク(www.toshiba.co.jp)
150:login:Penguin
18/04/01 11:20:18.59 QBy5utPh.net
そんなのxfsに限らず当たり前のことでは?
ext4やbtrfsもカーネルバージョンが違えば様々な変更があるわけだし
151:login:Penguin
18/04/01 14:15:28.35 OYHXfTBa.net
>>148
カーネルの違いによるファイルシステムの信頼性変化のソース頂戴
今btrfsからの乗り換え先を探してるから
出来ればその資料みたいに最新化したことで信頼性が悪化する例をもっと見てみたい
152:login:Penguin
18/04/01 14:52:14.68 a8d4V1Xg.net
そりゃ上流にバグが入ったら信頼性下がるに決まってるだろ
153:login:Penguin
18/04/03 06:12:46.89 I/0dc/Hy.net
たら
れば
154:login:Penguin
18/04/03 07:50:39.98 Foag5iYt.net
たらの肝臓?
155:login:Penguin
18/04/03 14:39:00.66 S8qkn2WL.net
かゆ
うま
156:login:Penguin
18/04/03 16:41:26.89 M5LndyRh.net
VFSの挙動変更やIFの変更があればFSによって安定性や性能は変わるだろうよ
ブロックデバイスならスタックオーバーフローとかハングとかあった
FSの事例は知らん
157:login:Penguin
18/04/04 08:27:57.45 W5UkkDcz.net
お前らは仮定と雰囲気と信仰心でファイルシステムを選んでたのか
158:login:Penguin
18/04/04 11:26:27.40 /Ug4ZlIe.net
そうだよ
159:login:Penguin
18/04/04 13:55:47.18 lyQXyzfh.net
LinuxのVFS自体がクソなんだから、xfsだろうがzfsだろうがLinux選んでる時点で妥協の産物
可能な限りVFSの影響を排除したfsって何かあったっけ、商用のGPFSとか?
160:login:Penguin
18/04/04 15:05:31.77 ivHW8Uko.net
VFSの影響を排除ってどういうこと?
VFSを通さないってこと?
161:login:Penguin
18/04/04 21:58:18.65 wsQhzkvD.net
>>155
個人で使う分にはそんなものじゃない?
お仕事で使うならそれなりの試験して比較した上で選ぶんだろうけど
162:login:Penguin
18/04/05 10:49:14.09 UFtAh63C.net
そだねー
163:login:Penguin
18/04/05 12:40:16.73 PZ6ba6Cv.net
LinuxにはまともなFS自体無いしね
今ならext4が一番無難そう
164:login:Penguin
18/04/05 12:48:13.14 ooBkRXr4.net
Btrfsはどうよ?
165:login:Penguin
18/04/05 14:04:30.72 LhdglGPx.net
>>162
メモリいっぱい積んでサブボリュームあんまり使わないでメンテもしないならまあ安定してるような
166:login:Penguin
18/04/05 14:24:17.10 FJ1/oKME.net
>>162
死んだ
167:login:Penguin
18/04/05 15:16:23.91 kEfzAnCA.net
ファイルシステムの拡大縮小ができるのってextとBtrfsとNILFSくらい?
168:login:Penguin
18/04/05 15:19:27.03 HiWsgMbS.net
むしろ出来ないのあるの?
169:login:Penguin
18/04/05 17:58:14.90 KkTRrs34.net
>>166
XFS は縮小できない。ってそういうことじゃない?
170:login:Penguin
18/04/06 01:22:29.26 4rk4ScsM.net
>>166
XFS JFS F2FS
171:login:Penguin
18/04/27 20:06:04.61 u4cXRz7g.net
なんだかんだFATが便利
172:login:Penguin
18/04/27 22:16:32.31 0SsfYo3O.net
unkofs
173:login:Penguin
18/05/07 13:19:20.00 QLrkQLv9.net
RHEL 7.5のVDOを試してみた人いますか?
いろんな種類のインストールイメージを複数枚分保存したら、
およそ半分のサイズで収まったらしいと聞いています。
ZFS on Linuxでそんなことをやったらメモリーがパンクし、
CPUはフル稼働に、その後いろいろ調子が悪くなりそう。
実用的に動くのかな?
174:login:Penguin
18/05/07 14:20:33.75 rFabU+na.net
nullpofs
175:login:Penguin
18/05/22 07:12:29.96 Czl6p0FW.net
僕の知り合いの知り合いができた副業情報ドットコム
関心がある人だけ見てください。
グーグルで検索するといいかも『ネットで稼ぐ方法 モニアレフヌノ』
1Z3RL
176:login:Penguin
18/05/22 11:42:52.16 NlhYPEMm.net
1Z3RL
177:login:Penguin
18/05/23 21:47:33.09 j/ZuEc8f.net
1Z3RL
178:login:Penguin
18/05/31 21:07:27.81 SvOq+S0A.net
Google File System
URLリンク(storagemojo.com)
179:login:Penguin
18/06/01 03:04:43.47 u24Pgi8f.net
URLリンク(stackoverflow.com)
socketの生成
180:login:Penguin
18/06/03 16:29:56.16 lawReclZ.net
基本はext4で8TB超えならXFSってことでおけ?
181:login:Penguin
18/06/03 16:37:03.18 FIiFhMXo.net
ストレージサーバー分けようぜ
182:login:Penguin
18/06/03 16:47:02.65 V+X4pyF5.net
1台か2台なら、なんとなく、とか個人的な好き嫌いで選んでもいいと思う。
LVM使えばSSDをキャッシュとして使えるから、速度差は現れにくくなるし。
HDDの台数が多いと、残念ながらカーネルのメインラインに取り込まれることはないZFS on Linuxが便利で困ってる。
割当ドライブの台数の増減が出来ないのが欠点なくらい。
一度btrfsも使ってみたけど、ドライブ見失う頻度が高すぎで使い物にならなかった。
md-raidはさんざん痛い目あったから違うのを試しました。
という訳で、Redhatが作ると言っていた新しいFSに期待してます。
183:login:Penguin
18/06/03 16:59:16.14 lawReclZ.net
あ、いわゆるふつうのパソコン用途です
184:login:Penguin
18/06/03 17:00:44.20 lawReclZ.net
ちなみにここでのNTFSの評価ってどうなんやろ
ファイルシステムとして
185:login:Penguin
18/06/03 17:02:58.45 YkabeVcD.net
評価も何もWindowsでしか使えないから対象外
186:login:Penguin
18/06/03 18:26:04.03 lawReclZ.net
まあそうだろうけど、ファイルシステムのプロから見たらどうなのかなと
いちおう読み書きできるし
187:login:Penguin
18/06/03 18:39:56.54 P6dTgl4L.net
lazytimeオプションってext4専用なのかな?
それとも主要fsならどれでも使えるようになってたり
188:login:Penguin
18/06/03 19:05:05.61 YkabeVcD.net
>>184
スナップショット、暗号化、透過圧縮なんかがあって比較的枯れているからその点ではいいんじゃないの
>いちおう読み書きできるし
windows以外で使えるかって話なら常用レベルではないので問題外
189:login:Penguin
18/06/03 22:12:17.89 lawReclZ.net
>>186
Linuxで実用は無理だろうねNTFS
ファイルシステムとしてはext4とどっちが優秀かな
windowsでNTFSのときとLinuxでext4使ったとき比べて
190:login:Penguin
18/06/03 22:14:18.78 lawReclZ.net
ひとり言なのでスルーでもいいんで
191:login:Penguin
18/06/03 23:50:11.68 P8zsSYLb.net
NTFSのスナップショットってVSSでしょ?
あれは実用的と言えるのか
192:login:Penguin
18/06/28 23:38:02.68 LKI6IkPm.net
URLリンク(inmatelocator.cdcr.ca.gov)
URLリンク(i.imgur.com)
2020年7月Hans Reiser仮釈放でReiser4開発再開か?
193:login:Penguin
18/07/11 09:21:55.60 81A8Byow.net
ブロックチェーン処理に特化した中国製ファイルシステム「TCFS」 劉尭 2018年7月10日 19:25
URLリンク(pc.watch.impress.co.jp)
中国・深セン市網心科技有限公司は6日(現地時間)、ブロックチェーンの処理に特化したという
ファイルシステム「Thunder Chain File System(TCFS)」を発表した。
これは同社が展開しているクラウドサービス「迅雷」の数百万のP2Pネットワークノードの基礎の
上で、ブロックチェーン処理と分散に特化したファイルシステム。
merkle DAGファイル管理技術に基づいており、ファイルのすべての変更履歴を保存し、過去を
遡って検索できる。ハッシュインデックスも暗号化し、ファイルに変更があったさいに新たなハッシュを
発行することで、ファイルの改竄を防ぐ。
データは前方誤り訂正(FEC)を使って保存され、冗長データをほかのノードに保存することで、
ファイルの破損を自動的に修復することで、データの信頼性を99.9999999999999%までに高めた。
さらに公開鍵と秘密鍵を利用したユーザーとファイルの関係性の維持、トークンを用いたユーザーの
アクセス権限の管理といった機構も備える。
応用としては、音楽ストリーミングサービスにおけるライセンス管理、透明性の高いオンライン
トレード、機密性の高いデータの保存などを挙げている。
194:login:Penguin
18/08/16 17:30:32.82 39cS3E35.net
URLリンク(i.imgur.com)
NTFSは2MBまでクラスタサイズいけるんやな
195:login:Penguin
18/08/16 23:09:22.44 PPmzMeLy.net
NTFSで32MBクラスタ使えないのかな
実は勝手に諸元を書き換えて32MBクラスタ使えるとかにならないのかな
クラスタを32MBに出来れば、SMRの使用感が少しは改善されそうだと思うのに
196:login:Penguin
18/08/17 16:41:59.86 7soilHVI.net
バックアップ用のHDDって最悪Windowsでも読めるようにNTFSにしといたほうが無難?
197:login:Penguin
18/08/17 17:04:45.89 H2Fclh+T.net
復旧しやすいようにソースと極力同じになるように設定する事もある
条件次第じゃないか
198:login:Penguin
18/08/17 20:35:01.75 C9Ul9meq.net
USBブート出来るOSで読めたほうが良いって考え方もあるしね
一概には言えない
というか、お好みで、としか
199:login:Penguin
18/08/18 18:09:10.32 +CO+WrnP.net
今どきVirtualBoxとかでWindows上でLinuxを動かせるんだから、
Windowsが対応してないファイルシステムでもファイル取り出しは問題ないと思うんだけど
200:login:Penguin
18/08/18 19:13:15.79 cNvHne3E.net
VMとLiveCDで何の問題もないな
201:login:Penguin
18/08/19 13:16:18.10 CPC0hSnt.net
まずは東京大学理学部数学科に入らなくては。
院はできればハーバードかプリンストンかオックスフォードかケンブリッジに入りたい。
そのためには東大の頃にダントツの成績でないと駄目だな。
202:login:Penguin
18/09/13 06:35:28.83 /tlUzn9b.net
ZFSで突然、あるディレクトリが書き込み不能になる
別のディレクトリを作成してファイルをmv
それらファイルが消滅してどこにも見当たらない
元のディレクトリをrmdirしようとすると、Directory not empty
ファイルは残ってそうなのに見えない
復活の呪文ありますか?
203:login:Penguin
18/09/13 10:35:08.64 nKRuzqKH.net
データ領域もジャーナリング機能のついたファイルシステムにしたほうが良いんですか?
204:login:Penguin
18/09/19 23:00:09.06 FIDWcfFI.net
>>199
本当にお前はダメな奴だな
ここの住人は皆んなハーバードかケンブリッジを首席で卒業した奴らだぞ
分かったならマルチしてないで勉強しなさい
205:login:Penguin
18/09/19 23:47:25.20 krG05pRF.net
そして超一流自宅警備員へ
206:login:Penguin
18/09/20 01:54:12.01 E/rK9i+3.net
>>202
バークレーじゃないの?
207:login:Penguin
18/09/22 15:29:08.14 kLlRHo8O.net
>>201
起動時に毎回fsckと戯れたいなら好きにすれば良いと思うよ
208:login:Penguin
18/09/22 21:24:06.56 Xfzmt50h.net
文系大学持ち出す時点で何もわかってない奴
209:login:Penguin
18/09/22 21:29:43.26 +Jh+72go.net
自分らが触れる機会があるのはMIT or ケンブリッジ のコードだもんな
210:login:Penguin
18/09/22 21:41:39.58 Xfzmt50h.net
一番多そうなのはバークレーだろ
211:login:Penguin
18/09/23 06:44:11.00 rv2OitWj.net
URLリンク(github.com)
212:login:Penguin
18/09/29 10:07:38.38 1Dc6qtGM.net
パーティションごとにファイルシステムが違ったらどうなるんだろ。
/homeを初期化したくなかったので/homeはext4のまま、
その他はbtrfsにしてみた。そうしたら一見して問題は起こらなかった。
でもまだ長期間使用していないから分からない。
213:login:Penguin
18/09/29 12:50:38.58 0Ve7xPU/.net
>>210
別になんともならんよ
/boot だけext2 で残りは xfs とかよくあったし、さらには /home は nfs にして Solaris のマシンと共用とか普通に使ってた
214:login:Penguin
18/10/01 20:39:13.70 DSkHHZzv.net
古には/ですらnfsにして使ってたしな
215:login:Penguin
18/10/02 11:06:07.84 ZKEr5WA9.net
exfatってtrimに対応してますか?
USBブート用のLinuxのファイルシステムで悩んでいるのですが
winに差し込むとうっかりフォーマットするリスクを抑えるためにexfatにしようか考え顔なのですが
流石に今どきTRIM未対応のファイルシステムは論外なので。
216:login:Penguin
18/10/02 12:40:25.27 SN0/NIk+.net
exfatはそういう用途向けではないだろ
217:login:Penguin
18/10/02 20:41:47.15 o0qw6zlT.net
>>213
何度か試したが、exfat では(機器によるかもしれんが)そもそも EFI ブートしない。
218:login:Penguin
18/10/02 21:16:55.40 DGB6jGsO.net
URLリンク(en.wikipedia.org)
> UEFI firmware supports booting from removable storage devices such as
> USB flash drives. For that purpose, a removable device needs to be
> formatted with a FAT12, FAT16 or FAT32 file system,
FAT12かFAT16かFAT32でないとブートできないみたいよ
219:login:Penguin
18/10/02 21:29:35.73 i06zddSv.net
/bootと/分けりゃいいだけだろ?
220:login:Penguin
18/10/03 12:20:44.82 wn/fCBme.net
だね
221:login:Penguin
18/10/03 23:44:56.27 m0Z4y/aE.net
最近の Windows10 では修正されたけど、以前の Windows10 や 8.1 以前はパーティション
切ってある USB メモリは最初のパーティションしか認識しないんだよね。
USB HDD だと2つ目以降のパーティションが見えるのが不思議だった。
222:login:Penguin
18/10/03 23:45:56.72 OFOutVqB.net
/を先に持ってくればなんの問題もないだろ
223:login:Penguin
18/10/03 23:53:04.84 RrP0WrVl.net
昔のWindowsの仕様の方が良かったな
先頭だけをvfatにしておけば誤フォーマットすることもなかったし
224:login:Penguin
18/10/04 03:42:23.69 Yt0MaRex.net
IOスケジューラの話ってどこのスレでやればいいのかね
LinuxのデフォルトをBFQにする話が出てるけど
225:login:Penguin
18/10/04 03:58:16.23 ZDdm/HRk.net
>>222
ずっとArchでzenカーネル使ってるけど不具合もないしいいんじゃないの。
226:login:Penguin
18/10/08 12:31:21.08 igXVv/4M.net
>>222
昔はカーネル朗読スレがあった気がした
227:login:Penguin
18/11/04 05:58:27.32 j1IIPeFa.net
ext4はさっさとファイル名最大1024バイト対応しろよ
スレリンク(linux板)
228:login:Penguin
18/11/05 05:41:37.11 tiOwL0BC.net
こんな短いんだ知らんかった
229:login:Penguin
18/11/05 09:37:02.66 Thuf2ewx.net
>>2
いつものメリケン基準で、ファイル名なんか256バイトもあれば十分よyeah
とか言っちゃって決めたんだろ。マルチバイト文字とか考えちゃいねぇ
その点Windowsは最初から国際化対応。256文字は必要だから
1024バイトだなって1993年、Windows NT 3.1の頃から対応されてる
リンク先では63文字と書いてあるけど、IVSとかIVDとか考慮すると最低32文字だからな
漢字1文字が最大8バイト、Unicodeの「IVS」とは?
URLリンク(tech.nikkeibp.co.jp)
230:login:Penguin
18/11/05 11:20:01.71 uUVvgPC6.net
MAX_PATHって256じゃなかったか
231:login:Penguin
18/11/05 19:56:44.94 NfnT2Wl5.net
Windows10はパス長最大260文字の制限が撤廃されたな
デフォルトだと互換性維持のために制限された状態だから設定変える必要があるけど
232:login:Penguin
18/11/05 20:08:42.30 4bDcnNm4.net
ずっと前から260文字なんて超えられてる
MAX_PATHなんてC言語などでWin32を直接使っていた場合で、
たいていの言語では関係ないからな
233:login:Penguin
18/11/05 20:45:39.43 5TOR/5LU.net
ext5まだー?
234:login:Penguin
18/11/05 21:01:52.14 4bDcnNm4.net
(この世界はもう俺が救って富と権力を手に入れたし、女騎士や女魔王と城で楽しく暮らしてるから、俺以外の勇者は)もう異世界に来ないでください。.zip
が保存できません!
235:login:Penguin
18/11/10 21:37:05.95 rwyMg4B1.net
>>232
嘘つくなや
236:login:Penguin
18/11/11 16:16:28.58 e3serY0S.net
リナクスのは母型となる仮想ファイルシステムで制限あるんだっけ
extの改良だけでは済まないかと
237:login:Penguin
18/11/11 22:03:46.68 lCHAA8xV.net
暇つぶしに fuse で超長い名前通してみたけど、通るね
238:login:Penguin
18/11/11 22:14:43.99 9DgMe0v3.net
raiserfsが4,032 bytes/255 characters、Reiser4が3976 bytesだから
どこかに制限あるとしても簡単に変更できるようなってると思う
239:login:Penguin
18/11/12 05:22:28.31 i5PNL/7Q.net
>>233
>>232は211バイトだからね
73文字(うち4文字は1バイト)で63文字を超えてるけど
多くの日本語文字は1文字で3バイトなので、69*3 + 4 = 211 バイト
63文字っていうのはUTF8で全部4バイト文字を使った場合
JIS X 0213の第3・4水準漢字の一部や、絵文字なんかが4バイト
だから一般的には85文字が限界
AKBの
「鈴懸の木の道で『君の微笑みを夢に見る』と言ってしまったら僕たちの関係はどう変わってしまうのか、僕なりに何日か考えた上でのやや気恥ずかしい結論のようなもの」
が76文字(228バイト)だから、もう少し余裕があるな。
アダルトビデオのタイトルは252文字とかすでにext4の限界を突破している。
(252文字と書いてあるサイトを見つけたが実際には249文字だった。
拡張子込みでNTFSの255文字ギリギリ追加い切ってるのかもしれんなw)
240:login:Penguin
18/11/12 10:43:41.86 SbwQ9Mgt.net
WinとLinuxの文字数制限は分かったけど
Macの文字数制限はどうなってるの?
あれもLinuxと同じ255バイト制限?
241:login:Penguin
18/11/12 11:37:44.24 i5PNL/7Q.net
>>238
こっちにまとまってたよ
URLリンク(en.wikipedia.org)
主要なのを抜き出すと
HFS Plus ・・・ 255 UTF-16 characters
APFS ・・・ 255 UTF-8 characters
ext4 ・・・ 255 bytes
ReiserFS ・・・ 4,032 bytes/255 characters
Reiser4 ・・・ 3,976 bytes
ZFS ・・・ 255 bytes
Btrfs ・・・ 255 bytes
exFAT ・・・ 255 UTF-16 characters
FAT32/FAT32X ・・・ 8.3 (255 UCS-2 characters with LFN)
NTFS ・・・ 255 characters( UTF-16 code unit )
ReFS ・・・ 255 UTF-16 characters
思ったんだけど、UTF-16はサロゲートペアとか使われたら最小127文字かもしれない
LinuxはReiser4を使えばext4の限界突破できるのか
ReiserFSの 4,032 bytesなのに255 charactersってのがよくわからんが(1文字最長16バイトを想定?)
どうでもいいけど、こういうデータは各言語ごとに作成するのって無意味だよなぁ
242:login:Penguin
18/11/12 11:55:40.08 SbwQ9Mgt.net
ほんま文字数制限ゴミやな。
中国人が新しいFSを作ってくれるのをまつしかないか。
243:login:Penguin
18/11/12 20:18:38.67 98rUk5Kh.net
ファイル名に長文使えるとどんなことに便利なの?
煽りではなく純粋に使いみちが思い浮かばない…
244:login:Penguin
18/11/12 20:50:19.14 nc1YhHRD.net
>>240
255文字のFSはあるしそっち使っては?
伝統的なext、xfsは多分変わらんと思う
新しいFSが出てくるならNVDIMMとか
普及してDAXが
245:流行るころかな fuse 製なら1ヶ月あれば俺でも作れるけど 馬の骨製はいらんやろうな
246:login:Penguin
18/11/13 01:22:32.96 bS1tEn4h.net
>>241
JANコードをファイル名にするよりも
「JANコード + タイトル」の方がわかりやすいやろ?
247:login:Penguin
18/11/13 08:16:29.43 jwZ3Cmt8.net
>>243
うーん俺は>>241じゃないけど
例えばタイトルにスラッシュが含まれてたらもう絶対ファイルの名前にできないじゃん。
だったらファイル名は純粋な整理番号にして,それにメタデータという形でタイトルや作者の情報を添付する。
そしてファイルマネージャで閲覧したときは,その設定したメタデータが見えるようにできたらよくね?
248:login:Penguin
18/11/13 08:31:59.75 0k27DXB3.net
>>243
なるほど
ただlsで表示するときに長文名すぎると邪魔じゃないの?
249:login:Penguin
18/11/13 11:11:50.28 C7ecaGwA.net
保存時にタイトルが長いと
エラー出るからな
例えばWinのファイルをLinuxに移してバックアップしようとしたら
ファイル名が長すぎて一部のファイルがエラーになったりする。
短くするにもどう切るとファイル名の意味が損なわれないか個別に考えるのはかなり面倒。
250:login:Penguin
18/11/13 11:29:39.24 9EpLlZ3i.net
lsじゃなくて、samba等でwindows上のファイラーで見るから
長いファイル名は、一覧では前半しか表示されないけど
個々の名前も見ることが出来るから問題ない
251:login:Penguin
18/11/13 14:16:11.43 bS1tEn4h.net
>>244
> 例えばタイトルにスラッシュが含まれてたらもう絶対ファイルの名前にできないじゃん。
スラッシュ省くか全角にすればいいだけでは?
たった一文字のために、コードで管理する必要ない
> そしてファイルマネージャで閲覧したときは,その設定したメタデータが見えるようにできたらよくね?
lsもファイルマネージャw
252:login:Penguin
18/11/13 14:44:57.39 jwZ3Cmt8.net
>>248
言い争う気はさらさらないのだが
「ファイルの名前に使用できない」という非常に機械的な理由から,
タイトルの原題文字列を変更してしまうというのは 俺にはどうしても抵抗があるな。
あとlsじゃなくて例えばxlsみたいなコマンド作ってファイルの属性表示させればよくね?
253:login:Penguin
18/11/13 14:48:03.16 Y3ZVP60o.net
DB使えよもうって遥か昔から言われる案件だろー
254:login:Penguin
18/11/13 15:12:56.14 hs0M6Rqs.net
お互い折れる気のない人が議論してもなんのためにもならんでしょ
そういう考えの人も居るのか、でスルーすりゃいいのに
255:login:Penguin
18/11/13 15:35:35.36 SJjGtM96.net
例えば
ChMate、旧2chMateは、ファイル名にスレッドのタイトルを利用する
(この仕様と末尾にTABをつける謎仕様のせいで、
外部SDにそのままアーカイブ出来ないという事態が発生したが、それはまた別の話)
スレタイはもちろん文字数制限があるので、全角100文字前後までに普通は収まるが
外部板なども今後も絶対大丈夫などということはなく
仮に全角100文字までとなると、SJISやNTFSのUnicodeならば問題ないが
UTF-8等だと問題が出てくるケースがあるかもしれない
全角150字までとなると、SJISでも255バイトを超えかねない
(5chのサーバー本体はそんなファイルは作らないので、タイトルの最大文字数を増やすこと自体は簡単)
※「全角」は、datが内部的にSJISで記録されていることからも、用語として妥当
NTFSでファイル名の長さが問題になることがあまりないのは
制限があるのが「バイト数」ではなく「文字数」であるため
一方、一部のファイルシステムでの制限は「バイト数」であるため、文字コードによっては
Windows上の制限を大きく下回り、ファイル鯖として使いにくくなってしまう
「自分で使う�
256:vファイルなら、それに合わせたファイル名をつければいいが Excelで作った文書を保存するねーちゃんが、あとでどれほど見やすさ探しやすさを求めて どんなファイル名をつけるかなんて、普通は干渉できない なお、Windows上の制限は、ファイル名についてはそれほど厳しくないが 最大パス長の制限は厳しいので 実際にはそこまで無茶なファイル名が使われることはあまりない
257:login:Penguin
18/11/13 15:37:16.06 bfC+v+im.net
ファイルシステムじゃなくてクソアプリが原因の事例出して何いってんだ
258:login:Penguin
18/11/13 15:38:20.04 SJjGtM96.net
エリートユーザー様しか使わせないファイルシステム様のスレッドだったか
じゃあ俺は場違いだな
さようなら
259:login:Penguin
18/11/13 17:58:10.46 2Y5G2BZm.net
更にいうとパーティションの暗号化をすると
ファイル名の制限がキツくなるという謎仕様もある
260:login:Penguin
18/11/14 00:03:35.13 yAAmsjp4.net
reiserfs じゃだめなんか?
261:login:Penguin
18/11/14 00:53:54.56 1vX8qbGP.net
文字数制限は緩いほうが良いけど文字数の為に使うファイルシステム自体を変えようとは思わないな
262:login:Penguin
18/11/14 02:41:16.66 NypCRQ0z.net
え?パッケージのためにディストリを変えるくせに?
263:login:Penguin
18/11/14 02:54:25.38 55qCcZ6h.net
ディストリの変更とかファイルシステムの変更と比べたら簡単だからな
264:login:Penguin
18/11/14 03:34:46.53 NypCRQ0z.net
ファイルシステムの変更のほうが簡単では?
データコピーするだけでしょ?
265:login:Penguin
18/11/14 08:20:53.83 VjhLGNul.net
ファイル名の長短でファイルのサイズは変わらないから
保存容量を減らさずに文章を書き続けられるってことじゃね??
266:login:Penguin
18/11/14 08:48:35.17 AfO3Y+Qc.net
CP932なWindowsからutf-8なLinuxにファイルを持ってきたらさらに文字制限がきつくなる
267:login:Penguin
18/11/14 09:06:50.33 NypCRQ0z.net
>>262
Windowsは完全なUTF16です
268:login:Penguin
18/11/14 20:19:26.89 +dcwxL5B.net
Windowsは全角チルダと波ダッシュの文字化け問題を引き起こす不完全OS
269:login:Penguin
18/11/14 23:14:04.26 5Nww0q8b.net
Oracleが起動したままxfsをアンマウントしたら、データファイルが全部綺麗に消えました
lost+foundにもありません…
ufsの頃にはこんなことは何度かありましたが、いまどきのジャーナリングファイルシステムで同じことが起きるとは思ってなかったので驚いてます
よくあることなのでしょうか?
270:login:Penguin
18/11/14 23:19:12.80 d5iK05E1.net
前提で????ってなるけど他のファイルシステムで試してみたんか?
271:login:Penguin
18/11/15 01:21:26.24 jf56ooyw.net
データファイルが全部消えて、
オラ狂う
272:login:Penguin
18/11/15 07:45:28.85 hnVEV5I3.net
旧時代のファイルシステム「EXOFS」メインラインでのサポート終了へ
Linux Daily Topics 2018年11月14日 階戸アキラ
URLリンク(gihyo.jp)
273:login:Penguin
18/11/15 14:41:15.70 NFvYeQMc.net
>>265
どうやってアンマウントしたのか
274:265
18/11/15 22:30:54.29 d1qolyDf.net
よくよく聞いてみると、どうやらテストの過程で何を間違えたかrmでデータファイルを消したようです
ディレクトリは消えてなかったのでおかしいなぁ、と思ったのですが、まさかそんなオペミスするなんて…
xfsにあらぬ疑いかけてすまんかった
275:login:Penguin
18/11/16 15:02:38.35 xbhqLy20.net
(゚д゚)
276:login:Penguin
18/11/16 18:18:58.76 nuom71Wq.net
25年前に「魅入られた様に」にrootアカウントで「rm -r /」を実行したっけ…
277:login:Penguin
18/11/17 20:45:05.46 eJrxRiQ7.net
ある客が /root の中身が消えたというので話を聞いてみると、残ってるデータとかからして、
rm -fr /foo/work/*
って実行しようとして、
rm -fr /foo/work/ *
を(多分)実行したってのがあったなぁ。
278:login:Penguin
18/11/29 02:40:45.67 soyVBKIU.net
4.19でext4が壊れるバグ
URLリンク(www.phoronix.com)
279:login:Penguin
18/11/30 23:45:23.54 W1Yw+32X.net
なんでバグッた?
280:login:Penguin
18/12/02 00:54:34.33 KK9PakAY.net
>>275
人がつくるものなどそんなもの
281:login:Penguin
18/12/02 14:21:24.38 9Jl634Yx.net
いや詳細をきいてるのかとw
俺も知らんけど
282:login:Penguin
18/12/02 22:24:14.60 L0oS14it.net
遠因系トラブルで原因はまだ不明らしい。 リンク先みる限り、SSDやNVMe、HDDでも出てて再現できる人は再現
できてるが、できない人はどうやっても再現できない。 VMで再現できた人はいなさそう。
4.18 では問題でないが 4.19 では出るけど、基本的に ext4 周りの修正は 4.18 にバックポートされているので
ext4 モジュール以外のところがトリガーだけど、それがどこかわからないという状態みたいね。
283:login:Penguin
18/12/12 21:21:08.67 36Ot3wmG.net
4.19.5で不具合出なかったけど4.18.20に戻した
284:login:Penguin
18/12/12 21:22:01.33 36Ot3wmG.net
ext4についてね
285:login:Penguin
18/12/13 19:39:55.95 NR/T+hQb.net
なんで?
286:login:Penguin
18/12/13 22:45:27.66 6+F6f/Rk.net
kernel.orgのchagelog見た感じでは4.18.20と4.19.3でext4のfixだったから
慌てて4.19.2 → 4.18.20コンパイルじゃなく4.19.2 → 4.19.3にすれば良かったというオチだた
287:login:Penguin
18/12/20 12:22:45.32 5OhO9sob.net
4.19.5でも起きてるってコメントもあるんだけどなあ
288:login:Penguin
18/12/20 22:57:57.60 jiO1Nkhz.net
URLリンク(kledgeb.blogspot.com)
Linux その34 - ファイルシステムが破損する問題、Linux kernel 4.19.8で修正
これは?
289:login:Penguin
18/12/21 00:59:06.38 hNEoKB5T.net
BLK-MQは有効にしてたけど現象でなかったんだよなあ
デバドラレベルのBUSYステータス発生なんて珍しい状態じゃないだろうし
290:login:Penguin
18/12/24 18:18:07.17 MsEreEa8.net
FreeBSD ZFS File-System Code To Be Re-Based Over ZFS On Linux
URLリンク(www.phoronix.com)
291:login:Penguin
18/12/24 19:15:10.64 Zs6FFiek.net
まるでLinuxのZFSが本家みたいになるな
Solarisとかほぼ死んでるし
292:login:Penguin
18/12/24 19:58:44.49 AvA68yyH.net
まじか
最近追いかけてなかったけどそんなことになってたのか
293:login:Penguin
18/12/24 20:22:54.03 0lCFTzuV.net
マジかー
ZOL使っててよかった
294:login:Penguin
18/12/26 00:24:11.39 EZlyc994.net
殺人犯が作った「ReiserFS」使ってる人いる?
295:login:Penguin
18/12/26 01:18:41.06 +zqsQdF+.net
、i`ヽ ,r‐'ァ
`ヽ:: ::´
ヽ ヽ , -‐--、 / /
ヽ \ I:::::::I_ _ / / ┌──────
ヽ ヽ i,(;;;ノI、;;;)l ,,/ , ' < レイザーエスエフゥゥゥ!
ヽ ` ー 、.,,ゝ´ヮ`,ノュ_, - ' r' └──────
` 、_ /::: `山'::::: /
ヽ:::::::::::|::::::::"",r‐'
〉::::::::|::::::::::¨/
/;;;;;;;/;;;;;;;;;;/
/;;;;;;;/:::::::::::《
<;;;;;;;《:::::::::::::ヽ ))
/ ヽI,r''"""^~ヽ
/ ,/ ヽ ヽ
296:login:Penguin
18/12/26 21:54:51.33 k0fBjbIm.net
ライザーエフエスだよHG
>>920
今は使ってないが
壊れかけのHDDでEXT3よりも頑張ってくれた思い出
297:292
18/12/26 21:55:35.75 k0fBjbIm.net
>>290
ね
298:login:Penguin
18/12/26 22:47:15.21 oxycjWUh.net
壊れかけのレ いざーえすえふぅぅぅ!
299:login:Penguin
18/12/26 23:38:01.14 1V71/meg.net
URLリンク(inmatelocator.cdcr.ca.gov)
Hans Reiserは2020年5月に仮釈放の申請ができるようになるらしい(仮釈放が認められるとは限らない)
300:login:Penguin
19/01/09 03:02:08.47 BmFDJC8W.net
ラップトップでスナップショット使おうとするとやっぱりbtrfsしかないんだろうか
LVMも使ってみたけどスナップショット取ると遅すぎて使い物にならなかった
ZoLのほうが良かったりするのかな
301:login:Penguin
19/01/09 05:34:15.75 6Kb50MSA.net
ZFSってファイルサーバーに使うもんだって勝手に認識してるわ
一般的なデスクトップに使うのってどうなのかね
302:login:Penguin
19/01/09 06:33:05.71 2XJLKBa3.net
zfsは遅いから向かない
303:login:Penguin
19/01/09 08:36:15.65 3kocD77g.net
軽さと安全性はトレードオフ
速さが必要ならext2でも使ってなさいってこった
304:login:Penguin
19/01/09 09:18:43.98 q30xsoFi.net
>>299
今はext4の方が速いよ
305:login:Penguin
19/01/09 09:24:22.22 Hbv17+4B.net
もうxfsでいいじゃん
306:login:Penguin
19/01/09 11:02:07.20 gBwoP/Ri.net
>>297
ワークステーションならまだしもラップトップじゃ力不足だろうね
307:login:Penguin
19/01/09 12:17:22.03 3kocD77g.net
zfs遅い速いって不毛な議論されてるけど、zfsはボリュームの構成で激しくちがうからなんとも言えないだろう
zfsでシングルボリューム、シングルプールだと力なんか必要ないだろう
308:login:Penguin
19/01/09 14:00:00.41 2XJLKBa3.net
いや巣の速度が遅いから
309:login:Penguin
19/01/09 15:51:24.98 3kocD77g.net
データ壊れるより遅くても耐障害性があるほうがいい、、
ext/xfs/reiser/jsf色々使ったけど懲りた
310:login:Penguin
19/01/09 16:02:24.88 h6KWpsf5.net
ZFSは使って楽しいけどね。覚えるコマンドも
少ないし。
311:login:Penguin
19/01/09 16:42:54.90 L2SIo0+c.net
>>305
何使ってるの?
btrfsに関しては普段はいいけどいざ問題が起きてメンテナンスしたりするとすげーバギーで常用は辛いって感想
とりあえずlvm+ext4に逃げてる
zfsは使ったことない
312:login:Penguin
19/01/09 20:07:50.74 3kocD77g.net
>>307
メインはfreebsd+zfs
linuxならext4,xfs
macはapfs
winはNTFS
使いたいOSが押してるやつだな
313:login:Penguin
19/01/09 20:12:46.50 8j8FNEah.net
NTFSは堅牢だよな
カトラーが設計したからな
314:login:Penguin
19/01/09 21:32:17.43 3VBEQkcT.net
cephを組む猛者はさすがに居ないか
315:login:Penguin
19/01/10 01:10:07.66 ONIdj6GA.net
使ってるけど自動でデプロイされたから中身よく知らない
316:login:Penguin
19/01/10 03:23:15.64 yRd7o2H0.net
SSDでも気にするほどの差出るの?
317:login:Penguin
19/01/10 04:16:12.47 BjrbHG9/.net
とりあえずbtrfsが遅い
まあxfsやext4はlvm使うことが多いからそうなるとbtrfsとそんなに違わなくなるのかもしれないが
URLリンク(www.phoronix.com)
318:login:Penguin
19/01/10 12:33:23.19 fuJmgG8x.net
zfsは構成がどうのとか関係なくメタデータ操作系が全般的に遅いから
homeやspool的なものとかデスクトップマシンとかでは使いたくない
319:login:Penguin
19/01/10 13:16:00.06 1s74qavR.net
鯖には用途に合わせてxfsとZoL
デスクトップにはbtrfs使ってる
btrfsはもう少し速くなってくれたら言うことないんだけどなあ
320:login:Penguin
19/01/10 13:38:23.11 Wp8ERfnm.net
zfs勢はbtrfsをpoor man's zfsとか揶揄するけどエンタープライズしか考えていないようなのをノートパソコンで使えたもんじゃないよな
321:login:Penguin
19/01/10 15:14:33.70 bO97j5+0.net
>>173
zfsは、高価なハードウェアを使わない
より安価なソフトで解決する
プアマンズRAIDだしね。
322:login:Penguin
19/01/10 15:43:56.87 uL96sDqi.net
>>317
今どきはCPUが性能余してるからソフトウェアRAIDの方が速いと思う
323:login:Penguin
19/01/10 16:40:39.19 nBvfLuxC.net
停電とかの事を考えるとそう単純な話じゃなくなる
バッテリとか大容量キャパシタ積んだコントローラなら突然の停電でも
書き込んだなら書き込んだ、書き込まれてないなら書き込まれてないの
保証がある程度できるけど、
ソフト側で逐次各記憶装置に書き込み命令とか送り込んでると一貫性がなくなる
win10以降の記憶域プールはその辺の対策はしてるみたいだけどめっちゃ遅い
IsPowerProtectedをTrueにすれば早くなるけどその辺の対策がされなくなるしな
所詮ソフトウェアRAIDだからっつーて、
単純にパリティ分散とかミラーリングとかすればいいっちゅーもんでもない
324:login:Penguin
19/01/10 16:49:02.93 vCZDF784.net
RAIDZで雷の日でも精神ダメージが入らなくなったのは嬉しかったな
バッテリ付きRAID
325:320
19/01/10 16:51:25.84 vCZDF784.net
ごめん途中送信した
バッテリ付きRAID高いから手が出せなかったって言いたかった
326:login:Penguin
19/01/10 16:56:22.43 UxcPDKnG.net
小規模・個人レベルならどっちでも良いよ
データ保証はアプリとファイルシステムが担うべき
DCクラスでハードRAIDはナンセンス
327:login:Penguin
19/01/10 21:27:48.95 nBvfLuxC.net
ファイルシステムが物理層の構造に依存するとか非現実的だろう
328:login:Penguin
19/01/10 21:58:54.96 l/4uAxA6.net
物理というかブロック層はbarrier/fua/flushに従うだけやろ?データとしての一貫性は上位のソフトウェアにしか分からんから>>322は当たり前の事を言ってるぞ
329:login:Penguin
19/01/10 22:14:30.50 H0AhwQF+.net
そういえばWindowsはファイルシステムの下位にフィルターが入るとかでWSLがやたらIO遅いとかネタになってたな
330:login:Penguin
19/01/10 23:36:19.35 AqGvqMIJ.net
WSLが遅いのはNTFSの上でfuseみたいなの動かしてるからじゃないか
331:login:Penguin
19/01/11 00:02:58.95 ftLr49mX.net
>>324
データの保証ってチェックサムレベルだったら勘違いしてるぞ
停電とかで一部のHDDにだけ書き込みが実行されて他に書き込まれなかった時、
単純に分散するだけじゃハードの恒久的な障害かそうじゃないかがわからなくなる
そのフラグなりジャーナリングなりまでをもファイルシステムがやれって事でしょ?
zfsみたいなチェックサムとは訳が違う
332:login:Penguin
19/01/11 00:55:44.89 g8TOMcSo.net
>>327
raid5/6のwrite hole問題の話か
あれはストレージノードの冗長構成とっていて頻繁なディスク同期のできない企業向けシステムが気にする問題やろ?停電や強制電源オフを頻繁にする人なら気にしたほうがいいが
333:login:Penguin
19/01/11 00:59:47.13 UZr/7ZNA.net
それに限らずハード起因の不整合は起こり得る
334:login:Penguin
19/01/11 01:06:21.03 ftLr49mX.net
win10の記憶域プールはファイルシステムより下で
ハード起因なのか停電とかなのかを判別してる
その機能の有効無効のフラグがIsPowerProtected
335:login:Penguin
19/01/11 11:39:07.98 DIcHdIQZ.net
ZoLの未来は明るくないな
URLリンク(www.phoronix.com)
336:login:Penguin
19/01/11 23:46:17.04 9r8ZI+Du.net
互換APIないの?
337:login:Penguin
19/01/12 16:09:53.17 L0kxz95a.net
bcachefsが今年中に使えるようになるんじゃないかね
結構期待してる
338:login:Penguin
19/01/12 16:46:59.06 2OwY199Y.net
今年使えるようになったばかりのfsなんて怖くて使えない
339:login:Penguin
19/01/12 17:43:51.46 7QnqZR8r.net
>>334
人柱様に水を差すんじゃねえだ。
340:login:Penguin
19/01/12 18:12:49.01 p6KdOxro.net
Linuxのメインラインに取り込まれるのが今年になるだろうってだけで何年も前から使えるけどな
341:login:Penguin
19/01/12 19:22:16.98 qht6K0wG.net
Linux上のZFSがLinux 5.0でひっかかる
URLリンク(www.phoronix.com)
342:login:Penguin
19/01/12 20:50:02.41 L0kxz95a.net
少し上のレスくらい見ようぜ
343:login:Penguin
19/01/12 20:57:27.94 jEoumrTa.net
何言ってんだこのバカ
344:login:Penguin
19/01/12 23:56:12.11 /MlJZYbW.net
>>337
>>331
345:login:Penguin
19/01/15 13:06:56.35 2Ah+Qrqf.net
Ubuntuどうするだろ
346:login:Penguin
19/01/23 00:57:56.89 kNNPf5id.net
URLリンク(cdn-ak.f.st-hatena.com)
一杯あるねー君達
347:login:Penguin
19/01/23 02:31:34.66 3xXFOHSL.net
jfsって使ってる人どれくらい残ってるんだろう
これに新しいReiserfsにRedhatが新しく作ると言われてる奴が加わると思うと、胸が熱くなる
348:login:Penguin
19/01/23 18:35:07.23 0M8bthjo.net
UX4800で主流だったvxfsってどうなったんだろ
349:login:Penguin
19/01/31 19:49:57.57 eyiJg58C.net
olacleのzfsアプライアンスのボリュームをwindows10からsmbアクセスしたとき、大文字小文字の違いしかないファイルペアがあると、それらが8文字の長さの別のファイル名に見えるのはどういう機能なのでしょうか。
NFSでCentOSでマウントして、"hello.txt"と"Hello.txt"を作成すると、Windowsでは
HE~B3GZT.TXT
HE~C3GZT.TXT
という2つのファイルに見えます。
350:login:Penguin
19/02/01 08:04:15.23 N0xuylqN.net
>>345
Windowsはケースセンシティブじゃないから…
351:login:Penguin
19/02/05 23:09:56.64 KE7i+wC/.net
ext4で大文字小文字の区別をしないモードが開発されているらしい
352:login:Penguin
19/02/06 20:07:35.87 wB6R+SSI.net
それはそれでまた阿鼻叫喚の予感が…
353:login:Penguin
19/02/08 19:16:10.92 JCux+jot.net
ケースセンシティブでなきゃ死ぬ環境にも問題がありそうな気がする
354:login:Penguin
19/02/08 22:49:20.26 gM5IfNf+.net
昔、別の板でだけど
FAT32の外付けディスクにWin2000で大文字小文字だけの違うファイルを作って
それをWin98で読んだらどうなるかってのの話題があったな
FATの特性(エントリべた書き)もあるだろうけど
dirで表示されるファイルとエディタで開くファイルが違うとか、
移動させようとすると別な方が移動されるけど残った方が読めるようになるとか
いろいろ挙動不審だったら
355:しい
356:login:Penguin
19/02/15 13:03:48.45 4tPOtJVd.net
>>345
FS側じゃなくてsambaのname manglingじゃねえの
Windowsで使えない文字とかもSamba経由だとそうなる
357:login:Penguin
19/03/06 12:57:44.81 GYShYGFU.net
釈放されたんだから早くreiser4復活しろよ
358:login:Penguin
19/03/07 02:54:37.96 6s6dEvVm.net
ようやく時代がreiser4に追いつくか?
359:login:Penguin
19/03/07 09:33:29.95 MuV+t1Gm.net
今はbcachefsのほうが期待されてるだろう
360:login:Penguin
19/03/11 00:35:21.09 UOCKT9C0.net
md-raid 6上の6TBのbtrfsボリュームが怪しくなった
> BTRFS error (device sdb): parent transid verify failed on 222893 34353920 wanted 631557 found 632032
そして消せないサブボリュームがある
# ls -l /mnt/BtrfsTank
ls: /mnt/BtrfsTank/encoding にアクセスできません: 入力/出力エラーです
合計 0
drwxrwsr-x. 1 root video 636 3月 10 13:13 datastorage
d?????????? ? ? ? ? ? encoding
この?の並びが激しく気持ち悪くて不気味だ、このencoding内のデータはどうでもいいってか何も入ってなかった気がする
今の所読めないデータはないし読み書き含め他の部分は問題なく動いて見えるが、btrfs-select-superやbtrfs check --repairやってもダメなので
データ退避してから作り直すしかない
スナップショット撮っては消ししまくりにしてはよく頑張ってくれたと思う
データ退避処理の進捗をみながらRedHatがbtrfs投げ捨ててからの動きとか見てるけど
btrfs on md-raidでいいのかZFS on Linuxに移行すべきかなかなか良いスタンダードが確立してないよねぇ
361:login:Penguin
19/03/11 00:40:43.65 IigLLh3C.net
btrfsはトラブるたんびにモグラ叩き、の繰り返しだったろうに何故に実運用しようとするのか
362:login:Penguin
19/03/11 00:52:12.93 5TJmB3dg.net
video encodingかw
エンコ厨のアニヲタは氏ねばいいよw
363:login:Penguin
19/03/11 03:25:35.52 Iugc1R92.net
btrfsは失敗だもう捨てろ
364:login:Penguin
19/03/11 03:39:15.17 obZ/zwS+.net
btrfsのスナップショットは作る分にはいいけど…
365:login:Penguin
19/03/11 10:13:10.16 nc+22c0z.net
もうNILFS2は誰も見てくれないのかなあ。
結構好きで/homeに使っているのだけれど。。。
366:login:Penguin
19/03/11 23:14:39.58 SU9pN+Q4.net
どんなメリットがあって使っているの
367:login:Penguin
19/03/12 20:49:05.55 yL9gOqQR.net
>361
Logファイルシステムなんでファイル操作ごとにチェックポイントができるから保存されている限り任意の時点のファイルシステムの状態が復元できるんで、
あ、消しちゃったとか、間違えて書き換えちゃった時にすぐ取り返せる。
ルートで対象のチェックポイントをスナップショットに変更してマウントする作業する必要があるけど。。。
ファイルシステム止めずにスナップショットが得られるので他の作業しながらコンシステンシー気にせずにバックアップが取れる。
書き込み量とストレージのサイズによるけどデフォで1時間で設定で24時間位は遡れるようにしているので割と気軽にファイル操作している。
とは言っても実際にファイル取り返さないといけないケースは1年に数回程度だけど。
368:login:Penguin
19/03/16 17:38:18.22 RacPXVIy.net
このディスクのファイルシステム何かわかる人いませんか・・・・・・FreeBSDのUFSではマウントできず・・・・・・。
GPT fdisk (gdisk) version 0.8.10
Partition table scan:
MBR: protective
BSD: not present
APM: not present
GPT: present
Found valid GPT with protective MBR; using GPT.
Disk /dev/sdf: 3907029168 sectors, 1.8 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): 5D5F6FE4-4185-11E4-AE7C-20C6EB48C57A
Partition table holds up to 128 entries
First usable sector is 88, last usable sector is 3907029134
Partitions will be aligned on 8-sector boundaries
Total free space is 5071 sectors (2.5 MiB)
Number Start (sector) End (sector) Size Code Name
1 88 4194391 2.0 GiB FFFF
2 4194392 3907011775 1.8 TiB FFFF
3 3907011776 3907024063 6.0 MiB FFFF
パーテション1をddで吸い出してfileしてみたら↓
# file backup-disk-image-sdf1.img
backup-disk-image-sdf1.img: Unix Fast File system [v2] (big-endian) last mounted on /tmp/mnt/ustorage3,
last written at Mon Mar 11 10:13:02 2019, clean flag 0, readonly flag 0, number of blocks 524288, number of data blocks 520071, number of cylinder groups 4,
block size 32768, fragment size 4096, average file size 16384, average number of files in dir 64, pending blocks to free 0, pending inodes to free 0,
system-wide uuid 0, minimum percentage of free blocks 8, TIME optimization
369:363
19/03/16 17:50:40.75 RacPXVIy.net
あ、ディスク自体はパナのVIERAに外付けHDDとして接続してたTV録画HDDです。
HDD自体はsmartやら、ddやらの読出し結果からは異常はないっぽくて、
どうも中のファイルシステムがおかしくなってるっぽいなんとか復旧したく。
各パーテション、CodeがFFFFでファイルシステムが何かわかりません。
fileの結果からは、/tmp/mntとなってるので、UNIX系の何かだとは思うんですが・・・・
370:login:Penguin
19/03/16 18:42:10.51 QAw47Obs.net
レコーダで初期化したHDDは独自のファイルシステムになってるもんじゃないの?
そうでないと録画データの引っこ抜きとかが容易になるわけで。
371:login:Penguin
19/03/16 19:11:00.46 FKDx4ojb.net
> Unix Fast File system [v2] (big-endian)
これが「UFS2」にしか見えなくて、
まずこれをやって
URLリンク(www.google.com)
次にこれをやってみて
URLリンク(www.google.com)
なんとなく
>>365
そんなことしてたら、コストに見合わない
安定性やバグ取りにサポートまで必要なことに手を出すほど、メーカーはヒマじゃない
せいぜい多少の細工をして外部から読みにくくすることがあるかも程度
372:363
19/03/16 21:15:49.38 RacPXVIy.net
ありがとうございます。独自ファイルシステムだとコスト的にあわなさそうというのは同意見です。
TV側のOSkernelレベルからカスタムする必要がありそうですし。
吸い出したddをもとに、現状、以下をやってます。
・別HDDへのddでの丸コピでどうにかならないか
→ HDD個体識別はGUIDでやってるだろうという推測ベースで激遅コピー中。HDD異常ではなさそうなので�
373:]み薄。 ・ddとったイメージをいろんなOSでマウントして中身をみてみる → USF2対応のFreeBSDでマウントしてみたけど、なぜかデバイスファイルのリンクがきれててNG。 GUIDとか、gpt上のファイルシステム№、ラベルとかを振りなおしてもだめでした。 ddイメージのfileの結果はUSF2だけど、gptのcode上はUSF2を示すA503ではなく、 FFFFで、リザーブ№というか、末番なのが果てしなく怪しい。 ・マウントせずにファイルを見れるツールを使ってファイルだけ吸い出してみる → 大量の分割ファイル(mp3、mlv?)。あとSQliteとかいうDBMS関連と思われるファイル(dbx、sqlite、txt) 某社みたいにmpegファイルとして直で保存してなくて、DBMS内に格納していそうな予感。 DB論理破壊なら絶望的・・・・・。そもそも構造もよくわからんし・・・・。 現状からすると、UNIX系をベースにファイルシステム、保存方法の両方に細工がされてそうに見えます。 DB解析はあきらめて、ちょっとファイルシステムが壊れてるだけです!の方向で継続してま・・・・・ 東芝のTVにしとけばよかったなぁ・・・・
374:363
19/03/16 22:17:05.43 RacPXVIy.net
てきとうにやってたら━(゚∀゚)━DB構造見えてきたー
URLリンク(imgur.com)
このDBはプリセットっぽいけど一応データを見ておこう・・・・・・
????TVよりはるか昔のなにやら不穏な文字列がががが・・・・・・
パナに怒られても嫌なのであれなところは黒塗りで・・・・・・・・
URLリンク(imgur.com)
ということで全力でDBデータ吸い出し中。
375:login:Penguin
19/03/16 22:54:00.06 RacPXVIy.net
TV録画HDDまるごとddイメージ用の2TB、
TV録画HDDのパーテションごとddイメージ2用のTB、
パーテションごとddイメージの一応swabイメージ用の2TB、
DB吸い出し用の2TB。空き容量ガー。
今日はもうddでHDDコピーしながらDB吸い出し仕掛けて寝ることにしま・・・・
もし同じような境遇でデータ救えた人がいればアドバイスいただきたく・・・
376:login:Penguin
19/03/18 19:49:09.41 Vfq3Yari.net
デコードできるのそれ?
377:login:Penguin
19/03/18 20:09:35.84 23E+fOK/.net
録画データ壊れてて読み込んだ時点で死んでるとかじゃなければDB修復したら元のTVで見れるでしょ
378:login:Penguin
19/03/18 21:24:29.74 Vfq3Yari.net
あ、そゆことね
379:363
19/03/21 01:42:47.79 /l10lWhU.net
はい。結局マウントかけずにフアイルを読み出すツールだと、情報が断片的にしか読めずDB復旧にはいたりませんでした!あと、ddの完コピディスクも予定通りダメなとこまでコピーされてだめ!南無!
380:363
19/03/21 01:45:46.80 /l10lWhU.net
結局、gpartのFFFFコードの小細工を突破して、正攻法でマウントして読み込んでffckなりするしかなさそうですが、これはうちのスキルではむりんご。
381:login:Penguin
19/04/09 13:17:11.49 1OOoyLh/.net
【速報】削除後、起動しているだけでデータが復元できなくなるという性質がLinuxのファイルシステムに存在することが判明
URLリンク(cloud.watch.impress.co.jp)
>Windowsでは、1回削除してもファイルシステム上にはフォルダ構成が残っているのですが、
>Linuxに関しては、削除後はしばらくそのままにしているだけでどんどん消えていきます。
>起動しているだけでデータが消えるという性質がLinuxのファイルシステムにはあります。
382:login:Penguin
19/04/09 13:22:56.97 lhCkt0bg.net
ファイルシステム名すら書かずに
383:login:Penguin
19/04/09 13:39:29.81 izrDON32.net
セキュリティ的にはそのほうがいいんじゃない?
384:login:Penguin
19/04/09 13:41:03.99 xKrw21om.net
>>375
Linuxでは削除したデータの復活が難しいって話でしょ?
データが勝手に消えるという意味ではないぞ
385:login:Penguin
19/04/09 14:45:23.63 MWJmYr9/.net
ファイルシステムの仕様の話でバグでもなんでもないよな
それにファイルシステム上から完全に削除したファイルの復元なんてWindowsにしろLinuxにしろ保証なんてしてないし
386:login:Penguin
19/04/10 11:00:23.00 4T4hCHHJ.net
ext4との比較かな
そんな性質あるのか?ssdの場合か?
387:login:Penguin
19/04/10 11:51:08.21 sqoFbBjM.net
ext4は結構戻せるからxfsのことでないかな
388:login:Penguin
19/04/11 07:56:59.03 4Cyx3VjH.net
>>377
一般的には、そうだよね。
記事の内容は、視点がフツーじゃない。
389:sage
19/05/02 07:41:59.61 uuWYZZoh.net
>> 363
LGのTVの録画に使っていたディスクが壊れて調べたらLGのモデルでは次のようなことがあるらしい。
URLリンク(www.avforums.com)
ひとことでいうと、録画ファイルのメインデータは JFSの第一パーティション。
メタデータ(リストとかかな?) はext3の第二パーティションに書き込む。
パーティションタイプはa2という独自のものを利用している(!)
新しいディスクはLG TVにフォーマットさせてたが、
TVが初期化した以前の2TBのWDディスクは
fdisk -l でみるとパーティションのバウンダリがセクターの始まりにないという。
そこでlinux の上で gparted で jfsのパーティションと最後に50MBほどのext3のパーティションを
つくり、そのあとfdiskの t コマンドで パーティションタイプをa2 に書き換えて、
上のAVForumの投稿にあるように無事つなげた。
(最初まちがってa1を書き込んだらUSB機器に問題があるといって認識せず。
正しくa2にしたら接続したが、「初期化」しますかと聞いてきた。
パーティションから作りかえることはしないだろうとOKして使えるようになった。)
古いディスクは ddrescueで読みだそうとしているが、3日かかるとか出ていてあきらめ状況。
小さいext3部分は強制的にext3としてマウントできた。jfsの方はだめだった。
消費者としては録画ハードディスクをつなげることができるTVでは
- S.M.A.R.T.の情報を表示して欲しい(ディスクが壊れる場合の80%くらいはS.M.A.R.T.で予測できるのではないかな。
あとの20%はいきなりこわれるから、気休めだが。)、
- Windowsマシンなどでバックアップコピーを簡単にできる方法を提供してほしい
とつくづく思った。
(TVの内部キーで暗号化している部分があると思うので、他では再生できないバックアップなんだけども。)
メーカーが独自ファイルシステムなんて作る余裕はないという考えには同意。
LGはパーティションタイプを変えることで obfuscateしているんだけども上記のAVFORUMの投稿者はどうやって知ったんだろう?
390:login:Penguin
19/05/03 02:19:19.70 MTUS+yEB.net
ファイルのヘッダ見るだけでファイルタイプがわかるように、
その人もパーティションのヘッダを見てファイルシステムがわかるんしゃないかな。
ファイルシステムにシグネチャとかあるのか知らんけど。
391:login:Penguin
19/05/03 12:16:35.70 Wzb7upON.net
無かったら mount -t auto なんて出来ないぞ
392:login:Penguin
19/06/05 11:45:36.91 7o3gJPQx.net
NixOS Takes Action After 1.2GB/s ZFS Encryption Speed Drops To 200MB/s With Linux 5.0+
URLリンク(www.phoronix.com)
ZoLもうダメそうだな
393:login:Penguin
19/06/05 14:08:52.34 rn1dV4UN.net
AES-NIが使えなくなってそこまで遅くなってるんだろう
暗号化をAESからchacha20に切り替えたらかなり改善されると思う
394:login:Penguin
19/06/05 16:08:58.99 ODK3wUcN.net
>>386
あらら(´・ω・`)
395:login:Penguin
19/06/13 01:37:16.29 vP00iu9C.net
>>387
ChaChaもChaChaでSSE/AVX使えないのはつらいぞ
396:login:Penguin
19/06/16 06:51:50.05 fORVbt/P.net
ARXはあまりアーキテクチャ依存しないから速いよ
397:login:Penguin
19/06/26 02:22:44.66 wL+APPob.net
改心したはずのトーバルズ氏がまたもや感情的な暴言
Liam Tung (Special to ZDNet.com) 翻訳校正: 編集部 2019年06月25日 12時28分
URLリンク(japan.zdnet.com)
(前略) Torvalds氏に早速かんしゃくの矛先を向けられたのは、オーストラリア人プロ
グラマーのDave Chinner氏である。Chinner氏は、多くのLinuxディストリビューションが
サポートしているSilicon Graphics製のXFSファイルシステムを管理している。(中略)
しかしTorvalds氏は、Chinner氏の言い分を否定し、そのような考えを広めようと
している開発者は「無能だ」と痛烈に批判した。
「Dave、キャッシュはちゃんと機能する。そう思わない者は無能なだけだ。ファイル
システムによるアクセスの99%はキャッシュに保存され、IOを行うことは決してない。
ページキャッシュはファイルシステムを美しく処理している」(Torvalds氏)
それに対してChinner氏は、Linuxの行動規範に従い「礼儀正しく議論する」ことをリマイ
ンドし、カーネル開発者がプロらしく論議できる雰囲気を作ろうと、次のように回答した。
「その通りだ。ページキャッシュは多くのストレージより高速なため、問題なく機能する
ケースはたくさんある。しかし、私が指摘したのは、そのことではない」「わたしが、IOの
並行処理、ページキャッシュ、既存コードのアーキテクチャー上の不具合などについて書い
た長文のメールの中から、たった1つの記述を前後関係を無視して引用し、まったく新しい
文脈をでっちあげた上で、私がキャッシュやページキャッシュのことを全く理解していない
と非難し始めた。」「プロらしからぬ振る舞いだ。しかし残念ながら、まったく予測できた
反応だとしか言いようがない」とChinner氏は応じている。
398:login:Penguin
19/06/26 15:14:51.68 6o+Ir3lv.net
>>391
>ページキャッシュはいまも、ダイレクトIOよりかなりスピードが遅い。そしてNVMeのSSDが高速になればなるほど、
>そのギャップは広くなりつつある。PCIe 4のSSDで、この問題はますます明白になるだろう。もはやページキャッシュを
>使用する理由は、旧態依然としたディスクストレージを使う手頃な価格のシステムやmmap() をサポートするためだけになりつつある
じゃあnvme用に新しいファイルシステム考えれば良いんじゃね?って気はするけどね。
磁気ディスクを前提としたファイルシステムIOいじって喧嘩するなよww
399:login:Penguin
19/06/26 21:25:29.86 LXNNeckR.net
何言ってんだ
ページキャッシュはファイルシステムの機能ではないだろ
400:login:Penguin
19/06/26 22:04:26.08 08MS9y/0.net
SSD向けのファイルシステムならもうあるからな
401:login:Penguin
19/06/26 22:48:54.02 6o+Ir3lv.net
>>393
> ページキャッシュはファイルシステムの機能ではないだろ
ではないにしても最終的にこの人が弄ったのはfs/配下なんでしょ?
何れにしてもそんなコアな部分を、nvmeの為に変更しますとか言ったら
揉めるのはしょうがない。
402:login:Penguin
19/06/26 23:23:02.57 OjXYcy1P.net
どちらかというと仮想メモリ周辺の話じゃないか
403:login:Penguin
19/06/26 23:31:21.49 6o+Ir3lv.net
何にしても特定機能の為に汎用部分弄ったら怒られるのはしょうがない。
404:login:Penguin
19/06/27 07:53:35.03 1kwJgDpi.net
非常に根本的が疑問があるんだが
ダイレクトI/Oより遅いページキャッシュってなんか話がおかしくね
ページキャッシュってオンメモリならストレージインターフェースより速いはずでは…?
405:login:Penguin
19/06/27 10:34:39.89 j+m7QE0N.net
ページキャッシュが無い環境を使ったことがないから分からんな
どうなんだろうな
406:login:Penguin
19/06/27 13:32:07.45 Va09TTiq.net
>>398
オンメモリでもページキャッシュの管理コストが絶対に発生するので
昔はストレージアクセスが文字通り桁違いに遅かったので管理コストは
無視しても差し支え無かったけど今はそうも言ってられなくなったってことかと
407:login:Penguin
19/06/27 21:45:22.84 icJgPc2A.net
ダイレクトIOが遅いって言ってるのは
rawデバイスでDB扱うレベルの話でOK?
でないとRAMがSSDに。ページキャッシュのコストがあるとはいえ遅いという話にはならんと思うんだが
408:login:Penguin
19/06/27 22:50:29.23 LI96p1HW.net
NVMeも通り越して、3DXpointだかあの辺のDRAMの数分の1くらいまで速いメモリを使うようになったら
ページキャッシュ経由するより直で読み書きした方が良くね?って話ならまだわかるけど
いくらNVMeでもフラッシュメモリ使っててページキャッシュはオーバーヘッドだからもう要らないみたいな話なら、何言ってんだお前…ってなる
409:login:Penguin
19/06/28 17:51:59.02 b8zcOuzC.net
jfs使てる人おらんの
410:sage
19/06/28 18:01:49.33 1jOqGt+U.net
>> 391
これって、次見るとわかるけど
URLリンク(lkml.org)
要は、一般的な場合ではなくて、非常に大きくて(しかもアクセスパターン考えると)キャッシュになじまない
ような大きなデータのときにはページキャッシュのオーバーヘッド大きい、また(そのような場合には)
キャッシュに使うようなLRUみたいな汎用なアルゴリズムでなくてアプリケーションの方が素性が分かっているからそっちにキャッシュさせろと。
いうごく当たり前のこと言っている。しかも発言者は数字はだしてないが、多分95%くらいのアプリケーションは
全然いまのページキャッシュでも問題ないということも言っている。
つまり のこりの数値は私の感覚だが5%の大きなデータセットを使うDB(たとえばOracle)、big data crunchingとか
の場合を話をしているわけで、どこを見るかですれ違いは無理もないかもしれないがなんだかな。
ページキャッシュの話を読んでて、次の話を思い出した。昔Sun Sparc V6だったか、bitblt 命令が入って、
白黒画面程度だったらCPUだけで簡単なウィンドウサポートができるようになった。
ただし、、MC68Kなんかの場合にCPUだけでやって困ったのが、カラー画面の書き換えしただけで
キャッシュが使われてしまって肝心のユーザアプリケーションのデータがキャッシュから追い出されることがある。
つまりカラー画面のデータって結構大きいので、そこを書き換えるとアプリケーションのデータがキャッシュから
おいだされてしまうことがままある。
Sun Sparcの場合には、bitblt関係の命令っで使ったデータはキャッシュしないことで
この問題を解決して、なるほどと思った。
巨大なデータセットがページキャッシュをバイパスするのも同じような話なんだけども、
なんでLinusは理性ある対話ができないのだろう?
411:login:Penguin
19/06/28 20:21:42.62 GazpYCiw.net
対話をする気がないか、諦めてるんじゃないの?
412:login:Penguin
19/06/28 20:40:28.14 WA1on6xu.net
流れを見てないからわからんけど
これだけ見ると老害化してるやん
413:login:Penguin
19/06/28 21:03:39.64 KMXUlWzl.net
最近の書込みキャッシュ付きの RAID コントローラだと、NVMe/SSD に対しては
キャッシュを通さず直接書き込むほうが早いからそうしているらしい。
ちまちま4KBずつどのキャッシュを抹消していいかを計算しながらの、
ページテーブル書き換えながらの、だと本当に遅いんじゃないかね。
414:login:Penguin
19/06/28 21:47:13.92 UfcHNutv.net
消去がボトルネックというなら納得かな
415:login:Penguin
19/06/29 00:02:34.09 aGo2YBvo.net
RAID-Zのオーバーヘッドが今一つ分からないわ…。
パリティ+1の倍数分のブロック単位で区切るから、無駄が出る事が有るよって事?
スプレッドシートの数式見てもピンと来ないぞ…。
block size in sectors …、in sector ってどゆこと?単純に使用するブロックの数?
URLリンク(www.delphix.com)
416:login:Penguin
19/06/29 11:34:54.48 55acDkj4.net
>>409
block size in sectors はファイルシステム側のブロックサイズ(またはデータベースのブロックサイズ)で、
OSがファイルシステムに対して書き込むを要求する基本サイズだね。
in sectors は KB 単位じゃなくてセクタ単位で書きましたよ、この書き方ならブロックサイズ 512B の人も
4KB の人も同じ表で良いよね、ってだけじゃないかと。
417:login:Penguin
19/06/29 11:46:31.18 55acDkj4.net
以下チラ裏。個人的解釈。
シートの Example にあるディスク7本のRAID-Z1を考える。
ブロックサイズ(プログラムやデータベースからの1度の書き込み要求のサイズ)が大きい場合は、
ディスク本数7-パリティ数(RAID-Z"1")=6なので、基本6セクタごとにパリティ1セクタが付与される。
RAID-5 と違ってブロックサイズが6セクタ未満の場合はパリティが1セクタ付与されるだけ。
例えば3セクタならパリティ1個追加して4セクタ分書き込む。
RAID-5 なら6セクタ+パリティ1個の7セクタ単位でしか書けない。
ただしRAID-Znは n+1 セクタ単位で書き込む必要があり、条件を満たさない場合は足りないセクタ分
パディングされる。 RAID-Z1 は n=1 なので書き込みセクタ数は2の倍数でなければならない。
なので2セクタ書き込む場合は、パリティ足して3セクタではなく4セクタ。
Example に戻って1度の書き込みのセクタ数が16の場合、
セクタ1-6+パリティ + セクタ7-12+パリティ + セクタ13-16+パリティ
の計19セクタ、n+1の倍数の制限でパディングが1セクタ追加されて総計20セクタ必要。
パリティとパディングは 20-16 で 4 セクタ。
データに対するパリティとパディングの比率は 4/16 で 25% になる。
418:409
19/06/30 00:08:50.88 Iwm+1v/G.net
>>410-411
おお、ありがとう。データとの比率だったのね。スッキリしてきたよ。
最近ZFSについて調べ始めたのだが、いろいろと難しい…。
分かっていない所だらけなんだが、
・>>in sectors は KB 単位じゃなくてセクタ単位で書きましたよ → 使用されたブロックの数という認識で良い?
・ブロックと表現されているものは、NTFSで言うクラスタみたいなもん
・ブロックサイズは、4、8、16、32、64、128KBで可変(DBの人は8KBをセットする?)
・書き込まれるファイルのサイズによって、ブロックサイズとブロック数が変わってくる
という事であってますか?
419:login:Penguin
19/06/30 03:37:15.39 QfL+H/59.net
>>412
俺も ZFS についてはど素人なので下記内容については
420:詳しい人による査読希望。 参照先の文脈においては、 (スプレッドシートの縦軸における)ブロック → 一回の書き込み量であってLinuxのファイルシステムのブロックサイズではない。 セクタ → ディスクに書き込む際の最小単位。 参照ページの2番目の図の P0 とか D0 の箱1個分。 セクタブロック → セクタと同義と解釈。 フィジカルブロックサイズ → セクタサイズと解釈。 (私見ではLinuxのファイルシステムの場合だと基本ブロック=セクタ=4KBなので厳密にどっちの話をしているか曖昧) だと解釈。 > ・>>in sectors は KB 単位じゃなくてセクタ単位で書きましたよ → 使用されたブロックの数という認識で良い? 使用されたフィジカルブロック数という認識ですね。 > ・ブロックと表現されているものは、NTFSで言うクラスタみたいなもん Linux スレ的にはそう。 フィジカルブロックならそう。 スプレッドシートの文脈のブロックなら違う。 > ・ブロックサイズは、4、8、16、32、64、128KBで可変(DBの人は8KBをセットする?) フィジカルブロックサイズは固定。 > ・書き込まれるファイルのサイズによって、ブロックサイズとブロック数が変わってくる フィジカルブロックサイズは固定でブロック数だけ変わる。 zfs で動的ストライプ幅って言ってるのはフィジカルブロックサイズ(RAID装置によってはチャンクサイズって呼んでる部分) が動的に変化するのではなく、パリティグループ(データ+パリティ,2番目の図の色が同じ箱のセット)の幅が動的ってだけ。
421:login:Penguin
19/07/02 01:12:51.76 15r1RiO6.net
>>413
うーん…、頭がこんがらがってきた。
URLリンク(docs.oracle.com)
「ブロックサイズが自動的に調整されます」というのは、何を指示している…?
422:login:Penguin
19/07/02 02:26:53.70 vY+H/LKm.net
URLリンク(i.stack.imgur.com)
URLリンク(i.stack.imgur.com)
URLリンク(genomewiki.ucsc.edu)
URLリンク(genomewiki.ucsc.edu)
URLリンク(genomewiki.ucsc.edu)
やはりext4が攻守最強か
423:login:Penguin
19/07/02 02:32:52.56 VNdE/qGn.net
パフォーマンスとかコストとかならそうなんだろうけど、
透過圧縮とか正当性の検証とかとなるとzfsのが上ってかext4じゃ無理
424:login:Penguin
19/07/02 05:18:02.15 FKCbYBRA.net
xfsは重複排除とCoWに逆マッピングも対応したのは聞いてたけど
フォーマットの段階でオプション有効化する必要があったのか
今使ってるxfsとは全く別物だなこりゃ
URLリンク(strugglers.net)
425:login:Penguin
19/07/02 07:23:04.59 dV8XE8AH.net
鯖屋は大変だな
俺みたいな一般人は黙ってext4使ってりゃいいんだろ?
現状はそれで過不足ないし臨機応変に使うFSを吟味しろとかやってられん
426:409
19/07/02 07:59:51.04 7tOiBm/F.net
>>414
> > ・ブロックサイズは、4、8、16、32、64、128KBで可変(DBの人は8KBをセットする?)
> フィジカルブロックサイズは固定。
この文書からするとここが間違い(フィジカルブロックサイズは固定ではない)ですね。
元の文書でデータベース向けに 6KB に調整したってのがあるがそれがこれってことでしょう。
ソースを弄って調整した可能性もあったし、サイズが可変は間違いという話もあったので固定だと思っていました。
427:login:Penguin
19/07/02 08:18:06.21 7tOiBm/F.net
>>418
企業向けの大きいストレージは保守がハードとミドルウェアでセットになってないとNG。
加えて10年ぐらい前に luster や gluster fs, zfs ベースの製品が雨後の筍のように出てきたけど皆失敗した。
現状信頼されてるのは Isilon (OneFS) で、その下に NetApp (WAFL)。
HPE の 3PAR (AdaptiveFS?しらん) も評判下げずに続けてるようだ。 IBM の gpfs 使う製品もある。
言えるのは全てプロプラエタリで、オープンソース・フリーソフトの製品は企業は怖くて使ってられないみたいね。
なので鯖屋もストレージ屋に丸投げするしか仕事がないんじゃないかな。
428:login:Penguin
19/07/02 18:13:16.85 vY+H/LKm.net
オープンソースは
企業がバックにいないと話にならないよね
そういう意味ではRedHatが公式に支えているxfsがベスト
429:login:Penguin
19/07/02 20:23:04.94 RJ/Pz5R6.net
企業に支えられていないファイルシステムってどれのことだ?
430:login:Penguin
19/07/02 20:45:36.79 CdZ1Kw09.net
プロプラ由来かOSS由来か…って事なんじゃね
431:login:Penguin
19/07/02 21:28:31.67 rRMzFXGI.net
Reiserfs
出所したから復活するってのは嘘だったのかな
432:login:Penguin
19/07/02 22:16:53.32 9meA9UgT.net
スレリンク(linux板)
↑ここから誘導されてきたファイルシステム素人なんですけど
ext4が十分ではない場合って例えばどんな場合がありますか。
そしてext4では十分ではない場合にxfsやbtrfsを使えばその問題を解消できるんですかね。
ext4が対応できない問題って大抵のファイルシステムが対応できなさそうに思うんですけど……。
433:login:Penguin
19/07/02 22:24:04.87 +bA9GvGw.net
個人利用なら今でもreiserfs有用だと思う
あの早さが必要で諸々理解して使うなら
reiser4fsの開発開始しないかなしないだろうな
>>425
ext4遅い
ext3よりreiserfsの方が倍くらい早いんじゃないか?という感動は忘れられん
434:login:Penguin
19/07/03 00:05:11.18 NZGhw/Gn.net
>>426
速度の問題があるんですね。
意識したことなかったです……。
バカな質問に答えてくださいありがとうございます。
435:login:Penguin
19/07/03 00:53:08.95 Qt/N9GEP.net
今時パフォーマンスを最優先にするならF2FSでしょう
reiserfsはもう相対的にそこまで早くもないし
URLリンク(www.phoronix.com)
436:login:Penguin
19/07/03 01:20:53.54 ZZuB/vaR.net
そして障害時の対応で時間を食うと
437:login:Penguin
19/07/03 01:22:02.01 V5c8y5zy.net
>>425
>スレリンク(linux板)
こういう人って zfs も LVM に乗せて LV リサイズしたら壊れたって騒ぐんだろうな
438:login:Penguin
19/07/03 01:44:17.52 E6xhFUOk.net
用途にも寄るしな
安定性が課題のFSはテストならまだしも実用は怖い
個人デスクトップ用途だと小さめのファイル扱いはSSDだとそれほど差を感じないだろうが
大きなサイズの扱いはSSDでも時間かかる、これが早くなると体感がかなり違う
とするとReiserFSは安定してるし、デスクトップ用途かなり良さそう
439:login:Penguin
19/07/03 03:41:45.20 v76vN8mT.net
そんな終わったFSを前提にされても
440:login:Penguin
19/07/03 11:23:23.07 lvGvaRtu.net
>>425
うちは透過圧縮が欲しいから/をbtrfsにしてる奴がある(ZFSはツリー外のモジュールとか面倒くさいしfuseも使いたくない)
早いCPU+遅いHDDの組み合わせでディスクアクセスがボトルネックになってるような環境だと結構目に見えて高速化されるよ
ぼんやりとしか使ってないってのもあるけど3年ぐらい使ってて特にトラブルは無いな、まあデータを置こうとは思わんけど
つかswapファイルに対応したりとか普通に開発継続してんのにRedHatが抜けたってだけで放置とか色々言ってるやつはアレやな
441:login:Penguin
19/07/03 12:13:29.85 Y5ON4Ylq.net
だってRed HatのAndy Grover様も
Btrfsはメーリングリストが断末魔で埋め尽くされていてクソって言ってるんだもん
URLリンク(strugglers.net)
442:login:Penguin
19/07/03 16:06:18.82 IxUC1S3v.net
btrfsは互換性とか影響範囲とか考えずにどっかで再設計すれば違う展望もあっただろうになあl
443:login:Penguin
19/07/03 20:49:55.88 pn6xgYzw.net
断末魔と団地妻って似てるな
444:login:Penguin
19/07/04 08:58:47.97 MPcWxAgH.net
btrfsの後釜になれるかもしれないbcachefsがそろそろLinuxカーネルのメインラインに入るぞ
おそらく次かその次のバージョン
445:login:Penguin
19/07/04 09:09:45.05 5FppRmLC.net
メーリングリストが団地妻で埋め尽くされるとか股間が熱くなるな
ファイルシステムが乱立ってのもなんだかなぁ
zfsをパクって機能削減してxfsと足して2で割り切れない感じでいいと思うんだが
446:login:Penguin
19/07/04 09:13:41.09 t19oAjJ9.net
そういうお前も新しいの作ろうとしてんじゃん
447:login:Penguin
19/07/04 10:30:19.24 66v4UI/A.net
bcachefsのホームページ見たら
最初の一文からアレを意識しすぎぃぃぃ
>We prioritize robustness and reliability over features and hype:
>私達は機能と誇大宣伝よりも堅牢性と信頼性を優先します。
URLリンク(bcachefs.org)
448:login:Penguin
19/07/04 12:10:02.17 rpGqPEX9.net
究極たるzfsを崇めよ
449:login:Penguin
19/07/04 15:51:02.60 P64f5rak.net
>>440
先生!堅牢性と信頼性より機能と過大宣伝を優先したファイルシステムが多すぎてどれか特定できません!
450:login:Penguin
19/07/04 15:52:17.40 P64f5rak.net
しかも
URLリンク(mstdn.jp)
らしいし。
451:login:Penguin
19/07/04 16:54:53.24 +XLHt8Ha.net
>>443
そのベンチマークは1年前で古いこっちの最新の結果を見た方が良い
URLリンク(www.phoronix.com)
XFS安定という結果には変わりないけど
452:login:Penguin
19/07/04 17:09:39.55 6XXEq2Nj.net
bcachefsは新しいけどベースがbcacheだからすでに信頼性はそれなりにありそう
まだ使ったことないけど期待はしておく
453:login:Penguin
19/07/04 17:18:29.96 JEN2SxWZ.net
F2FSってフラッシュストレージ向けのくせに最近はHDDのサポートもしてきてるんだよな
HDDで使うことはないだろうけど
454:login:Penguin
19/07/04 19:12:45.96 rpGqPEX9.net
枯れてないFSなんて地雷やで
455:login:Penguin
19/07/04 19:29:25.21 1YidJb1m.net
そうは言ってもxfsも最近は新機能追加しまくりだし
枯れてるの定義は結構難しいぞ
456:login:Penguin
19/07/04 20:03:25.18 P64f5rak.net
MINIXファイルシステムを使おう!
457:login:Penguin
19/07/04 20:32:20.56 z0Pbt8nE.net
最強に安定しているのはntfs
なお
458:login:Penguin
19/07/04 20:53:14.61 zNLNx3om.net
>>437
始まったな
459:login:Penguin
19/07/04 22:44:03.98 N/xMrX9J.net
windowsで安定してマウントできるファイルシステムは今はどれなんだ?
ext4ですらなんか怪しい感じなんだよなぁ
460:login:Penguin
19/07/04 22:48:44.94 JEN2SxWZ.net
>>452
btrfs
461:login:Penguin
19/07/04 23:01:52.19 nCIQ4/jH.net
>>452
ext2fs+ext4
これでだめだったらwindows窓から投げ捨てろ
462:login:Penguin
19/07/05 00:04:02.89 tcFjwaW7.net
wsl2が来るまで待て
463:login:Penguin
19/07/05 00:10:18.86 j7UvDQ62.net
仮にntfsがオープンソースになってカーネルにマージされたら
互換性も考えてほぼ一択化になるだろうな
464:login:Penguin
19/07/05 00:23:35.79 G1guSEeh.net
>>454
ext2fsって開発が滞ってないか?
それに、環境によって、最新版だとマウントできないみたいだし。
実際自分のところもできなくて、いくつか戻す必要があった。
465:login:Penguin
19/07/05 00:51:32.72 w6qq3pqZ.net
ファイルシステムのシェアってどんなもんなんだろうな
デバイス数では地味にF2FSが上位かもしれない
466:login:Penguin
19/07/05 02:22:44.82 54nYef5x.net
NTFSそれ自体の評価って高いの?
それともNTFSの概念や
467:設計が評価できるの?
468:login:Penguin
19/07/05 02:40:31.93 7kZq9gYf.net
ディスクのハード故障を除けばNTFSで致命的な状態に陥った経験は無いな
469:login:Penguin
19/07/05 02:53:50.58 q3JGl+2T.net
>>459
NTFSは特に良いところもなく、ファイル破損が良く起きる経験しかない
470:login:Penguin
19/07/05 03:00:14.05 j7UvDQ62.net
全世界のPC初心者に有償で提供してるだけあって
少なくともWindows上ではクッソ安定してる
Winを使ってるような層を相手に安定してるんだから異次元としか言い様がない
471:login:Penguin
19/07/05 03:02:08.04 q3JGl+2T.net
いやそういうの要らないから
対立煽りってやつ?
472:login:Penguin
19/07/05 04:11:17.66 SYL5tGuC.net
安定していると言ったら対立煽りに見える思考やばいだろ
473:login:Penguin
19/07/05 05:35:22.47 f3vjr6Xw.net
>>454
上手い事言ったつもりかw
474:login:Penguin
19/07/05 06:48:52.45 54nYef5x.net
>>462
なるほど。そういう見方もあるな。
Unixは基本的にファイルシステムをある程度理解してるから
Windowsの大半の利用者みたいな使い方はしないわな。
その上で安定してるというのであればすごい。
でもそんなに安定してる?
475:login:Penguin
19/07/05 07:42:17.19 q3JGl+2T.net
ntfsは電源断などのファイル破損が起こりやすいところとか
度々ext系ほかと比べられてるけど、同じ話ループしすぎなような
476:login:Penguin
19/07/05 08:25:02.29 54nYef5x.net
どうでもいいけどWikipediaのBrtFSの記事すっごく宣伝調だね……
477:login:Penguin
19/07/05 10:14:55.89 lGHrYghR.net
>>459
URLリンク(togetter.com)
UbuntuJPの中の人曰く
478:login:Penguin
19/07/05 12:10:41.83 kGpLF8uq.net
>「今のLinuxにNTFSレベルにマトモなファイルシステムなぞない」
まで読んだ
479:login:Penguin
19/07/05 12:25:54.82 yalE+Jvn.net
アンチMSには理解し難いだろうけど、エンドユーザーが利用可能でよくメンテされて機能的にNTFS以上のファイルシステムってちょっと思いつけない、あるなら例示して?…ってなるな。
ああ、「俺の好きなFS」じゃないんで。まあ言っても理解できないだろうが…
もちろんWindowsから扱う場合の話で、互換環境で同等の信頼性があるとは思えんが。
それでもUFSやextよりはずっとマシ
480:login:Penguin
19/07/05 12:26:03.28 8tR6yfC3.net
そういえばBSDのハマー2の評価はどうなの?
481:login:Penguin
19/07/05 12:28:53.02 yalE+Jvn.net
Linux環境だと、データセンター並みに巨大なボリュームを扱うとか、ウェアレベリングの無いフラッシュメモリをストレージにする組み込みみたいな特殊用途でない個人ユースなら、消去法でext4が無難か…
482:login:Penguin
19/07/05 12:30:53.10 yalE+Jvn.net
>>468
たまにあるよね、読者を説得というか、折伏?しようとしてる記事。
483:!ninja
19/07/05 12:40:54.45 rX9H6RAi.net
デスクトップとしてLinuxを使用して写真の現像とか色々しているけれど
ext4で問題になった事はないです。(安定しています)
因みにWindowsはカメラのファームアップとOSアップデート位しか使わない。
484:login:Penguin
19/07/05 14:25:39.16 qDrdSQQO.net
別に個人が普通に使うならどれでも滅多に困らない
485:login:Penguin
19/07/05 17:01:26.55 5Oj7dNKU.net
外付けHDDをLinuxで使う場合、
FAT32は無いものとして、
NTFSとexFAT、どちらのほうが無難?
486:login:Penguin
19/07/05 17:18:10.07 aHzpu2WI.net
外付けHDDだってことは、複数のOSからmountすることもあるだろうから
exFATが無難というか最良かと
487:login:Penguin
19/07/05 17:29:29.45 0uxDVNFV.net
>>472
Dragonf
488:lyBSD使てる日本人は居らん
489:login:Penguin
19/07/05 23:39:13.82 QVfQ7xAQ.net
COWありでまともに使えるファイルシステムはどれなんだー
490:login:Penguin
19/07/06 00:04:47.81 8LM9xkHS.net
xfsでしょそりゃ
ただしフォーマットし直さないとCoWは有効化出来ないけど
491:login:Penguin
19/07/06 04:51:15.15 g9aj4tWg.net
xfsのcowってまともに使えるのか?
最近使えるようになったばかりだろ
新しいファイルシステムと同じようなもの
492:login:Penguin
19/07/06 04:59:40.34 8LM9xkHS.net
xfsのメンテナが自分のPCで
CoW導入で使えるようになった
新機能の重複排除を使ってると言ってるのだから安心していいかと
493:login:Penguin
19/07/06 05:20:44.07 VaeT5YKG.net
そりゃファイルシステムのメンテナなら自分のPCで動かしてて当然だろうな
494:login:Penguin
19/07/06 05:27:27.89 L3XPzqxa.net
俺はbtrfsのメンテナがbtrfsを常用しているとは思えない
495:login:Penguin
19/07/06 05:32:05.88 g9aj4tWg.net
常用してなくても動かしてはいるだろ
496:login:Penguin
19/07/06 07:08:26.31 JWtFUONt.net
btrfsのお陰でニュースサイトは信用ならないものだということを再認識した
ボラクルの政治力()がそれをさせたのだろうか、それとも
497:login:Penguin
19/07/06 07:10:44.85 dmxILAE/.net
>>487
BrtFSってオラクル噛んでんの?
498:login:Penguin
19/07/06 07:54:59.98 RB1jb8Q5.net
「btrfsは透過圧縮が凄い!!」
みたいな宣伝ならまだ分かる。
実際には
「btrfsは他のFSよりも堅牢!安全!」
みたいに、大事なデータこそbtrfsみたいな言い方してるからタチが悪い 。
499:login:Penguin
19/07/06 08:17:26.52 JWtFUONt.net
>>488
RedHatだったか?
500:login:Penguin
19/07/06 11:46:12.10 4pSPVA6e.net
>>483
ストレージなんて導入後1年とか経過したら急激にパフォーマンスが悪化したみたいな話は少なくないわけで。
データ置くんだから色々なハード×運用アプリ×負荷条件×期間で運用して実績積んだ上じゃないと安心
なんてとても言えないんじゃ。