08/01/30 23:34:24 x5QwYMj+
mdのoffsetとnear試しました(冗長性)
ディスクは全部4台構成(全て2G)
mdadm --create /dev/md0 --level=raid10 --layout=n2 --raid-devices=4 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1
md0のサイズは4G、利用可能率50%
sdb、sdc、sdd、sde1つをVMから見えなくする→問題なし
sdb、sdcをVMから見えなくする→アレイ崩れる
sdb、sddをVMから見えなくする→問題なし
sdb、sdeをVMから見えなくする→問題なし
sdc、sddをVMから見えなくする→問題なし
sdc、sdeをVMから見えなくする→問題なし
sdd、sdeをVMから見えなくする→アレイ崩れる
結果：1台障害は100％問題なし、2台目障害は1/3の確率でアウト
やっぱり1台目と2台目、3台目と4台目でRAID1だったようです
wikiの書き込みから推定するに、下の図のようなレイアウト(左側から1台目、2台目・・・)
1 1 2 2
3 3 4 4
5 5 6 6
7 7 8 8
629:login:Penguin
08/01/30 23:37:26 x5QwYMj+
mdadm --create /dev/md0 --level=raid10 --layout=o2 --raid-devices=4 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1
md0のサイズは4G、利用可能率50%
sdb、sdc、sdd、sde1つをVMから見えなくする→問題なし
sdb、sdcをVMから見えなくする→アレイ崩れる
sdb、sddをVMから見えなくする→問題なし
sdb、sdeをVMから見えなくする→問題なしに見えたが、re-addで無限ループになってアウト
sdc、sddをVMから見えなくする→アレイ崩れる
sdc、sdeをVMから見えなくする→問題なし
sdd、sdeをVMから見えなくする→アレイ崩れる
結果：sdb、sdeをアレイ崩れとしたら1台障害は100％問題なし、2台目障害は2/3の確率でアウト
どうも不安定な気がする。sdb、sde意外にもsdcsdeあたりでも変になって再構築してます・・・
wikiの書き込みから推定するに、下の図のようなレイアウト(左側から1台目、2台目・・・)
1 2 3 4
4 1 2 3
5 6 7 8
8 5 6 7
n3とo3もやりたかったんだが、アレイ構築の最後でVMがハング。うちのバージョンが古いせいかも
推定としてはn3とo3両方2台障害でも100％大丈夫なんだがなあ
o2を使う場合は実環境で事前テストしてください、今回の印象だとどーにも動作怪しい
パフォーマンス差についてもさっぱり。レイアウトから想像すると、o2のほうがn2より早そうな予感がするかなーってところ
630:login:Penguin
08/01/31 12:23:09 SwZ0bbCA
>>627
レスありがとうございます。
全てのディスクで、
mdadm: No superblock detected on /dev/sd*
と出ます。
631:login:Penguin
08/01/31 17:05:31 KV+A+s93
超基本的な質問があるんだけど
2台でハードウエアRAID1組んでて1台が壊れた場合、
残った1台も取り出してSATA→USBケーブルか何かつないで普通にアクセスできる？
632:login:Penguin
08/01/31 17:11:08 KSncdjll
できる
けどHDDがPATAだと無理
633:login:Penguin
08/01/31 17:16:31 KV+A+s93
うほ！即効ありがとう。
じゃSATA使ってる
URLﾘﾝｸ(buffalo.jp)
とかなら大丈夫なのか。。買うかな。
634:login:Penguin
08/01/31 19:21:58 jIoJh5GZ
>>630
う～ん。。。
正直なところダメだこりゃ、と言いたい。
パーティション情報は残っているのにRAIDの情報だけが消去されるってのはおかしな話よね。
壊れているんじゃなくて、何かが誤動作してRAID情報だけを消してしまったのかな？
素直に一度メーカーに問い合わせてみた方がいいかも。
635:login:Penguin
08/02/01 00:10:42 skbei6UK
3wareもしくはその他でハードウェアＲＡＩＤが組めるインタフェースカード
安価でおすすめのものを教えてもらえませんか？
動作環境はＣｅｎｔＯＳでＲＡＩＤ10で運用したいです
636:login:Penguin
08/02/01 01:28:03 r8ITSzIN
>>630 >>634
古い LInux 使ってて /dev/sd** のはずが、 /dev/hd** になってたりして。
637:login:Penguin
08/02/01 10:11:44 gycrWFaA
> けどHDDがPATAだと無理
なぜ？
SATAとPATAって運用上はデバイス名が違うだけだと思っていたのですが…
だとするといまPATAでミラーしてるけど万一を考えてSATAで組み直した方が良いのかな？
638:login:Penguin
08/02/01 10:15:09 EV/CxyDO
PATAにSATA→USBケーブルは使えないな確かに
639:login:Penguin
08/02/01 10:18:14 dBBUm++4
自宅マシンでミラーリングとかお前ら余裕あるなー。
俺はRAID5で精一杯だよ。
640:login:Penguin
08/02/01 11:29:09 r8ITSzIN
>>637
インターフェースが何でもソフトウェアraidなら問題ないよ。
DVD-RAMでやった人もいるくらいなんだから。
ただし、認識タイミングの違いでraid自動認識がこけることがある。
641:login:Penguin
08/02/01 13:11:43 3oRMUEgb
>>635
「安価」っていくら位を想定してるの?
3wareがOKってことは10万以下とか?
642:login:Penguin
08/02/01 13:12:39 GwcDPWoT
>>641
アンカーつけて教えてくださいの意味ｗ
643:login:Penguin
08/02/01 14:43:27 UDB5KdfE
>>639
RAID5組むくらいなら普通に4台マウントさせて
2台分バックアップ用にしたほうがまだマシ。
コエーぞ5は。
644:login:Penguin
08/02/01 14:51:08 3oRMUEgb
何がどう怖いのか詳しくplz
645:login:Penguin
08/02/01 14:51:41 qDeRbLmC
>>643
バックアップはバックアップとして別に用意するでしょ。
646:login:Penguin
08/02/01 15:07:40 myloF96k
もしかして、RAIDがバックアップ装置の代わりになると思ってると思ってるヤツがLinux板に居るの？
647:login:Penguin
08/02/01 15:09:46 N4C2bCGe
>>644
一台死ぬ→raid5だから平気さ（w。
入れ替えてリビルドする→生き残りの全てが高負荷状態に。
raidの仲間はたいてい同じロットの同じ製品。一台が死ぬころ
にはみんな寿命が近くても不思議ではない。
生き残りのうちの一台が……
全滅orz。
ってことが起こりやすい。っていうか割と起きる。
リビルド時に負荷がかかるのが、生き残りのうちの片割れな、
10の方がそういった意味では安心。
648:login:Penguin
08/02/01 15:10:28 3oRMUEgb
怖いかどうかはともかく、大容量のドライブがここまで安くなってしまうと、
台数が増えるほど有利になる RAID5 の価値が低下してるのは確かだね。
同じ750GB 4台なら 3台でRAID5 + 1台 spare より
RAID1 + 0 の方が速度も安心感もあって使える容量は同じ 1.5TBだもんね。
RAID5が有利になるのは 5台以上で構成する場合だろうけど、
個人の利用ではそんなに容量デカくする必要ない人が多いだろうし。
まぁ今現在なら 500GB×5 で RAID5 + spare という選択肢の方が安いのは確かだけど、
750GBのだってすぐに安くなるだろうし。
物理的な台数は少ない方が故障発生率も下がるし。
649:login:Penguin
08/02/01 15:13:50 N4C2bCGe
>>647
訂正。
>>644
上にスクロールしてみろ。
650:635
08/02/01 15:15:13 skbei6UK
>>641
やっぱり10万くらいになってしまいますか
安価とはいえ、5万以内には収めたいと思っているんですが、ちゃんとしたハードウェアRAIDで1+0を組んでみたいと思っているので、
10万ほどなら予算を用意したいと思います。
651:login:Penguin
08/02/01 15:15:42 3oRMUEgb
>>647
「割と」起きる?
俺は一度も経験したことないな～。
3wareのハードウェアRAID5構成のPCが
4台24時間稼働してるけど。
もっとも、ハードディスクをまとめて買うときは
最低でも最低2軒以上で分けて購入してるけどね。
652:login:Penguin
08/02/01 15:16:39 3oRMUEgb
ありゃ「最低」一つ消し忘れw
653:login:Penguin
08/02/01 15:17:53 myloF96k
>>650
とりあえず、誤爆を謝罪してこい
654:login:Penguin
08/02/01 15:18:44 3oRMUEgb
>>650
いや、なってしまいますか、ではなく、
予算とかスペック(必要なポート数など)とか分からんと
誰にも答えられないよ、と。
655:login:Penguin
08/02/01 15:21:22 r8ITSzIN
>643
リビルドの速度制限しとけば、それほどでも無いと思うがなあ。
656:login:Penguin
08/02/01 15:21:49 N4C2bCGe
>>651
幸運なだけかと思ったら、
> もっとも、ハードディスクをまとめて買うときは
> 最低でも最低2軒以上で分けて購入してるけどね。
しっかり気をつかっていらっしゃるのですね。
見習います。
657:login:Penguin
08/02/01 15:24:43 r8ITSzIN
>648
4台でraid5なら2台容量1台スペアより
普通に3台容量の構成にするだろjk。
658:login:Penguin
08/02/01 15:26:30 3oRMUEgb
>>656
あと、これは当然のことながら、RAIDでは「サーバー向け」のドライブしか使わない。
以前なら Maxtor の MaxLineシリーズ。
最近は Seagate の Barracuda ESシリーズ。
「4台」のうち、一番古くから動いてる PCは 丸5年くらい稼働させてるけど、
rebuild中のトラブルでデータを失ったことは一度もない。
659:login:Penguin
08/02/01 15:27:47 3oRMUEgb
>>657
それこそ危険極まりないと思うけど。
RAID使ってる意味がほとんど意味がないような。
660:login:Penguin
08/02/01 15:28:14 3oRMUEgb
あ～～～またダブった!!!
落ち着け > 俺
661:login:Penguin
08/02/01 15:39:25 r8ITSzIN
>659
一台死んでも余裕があるよ。リビルドのリスクに関しては >655
662:login:Penguin
08/02/01 15:46:24 3oRMUEgb
俺が気にしてるのは rebuild ではなく、 degraded のリスクなんだけどね。
ドライブが故障したとき、「即座」に次のドライブが入手できるか分からんので。
要するに、故障した時点でスペアのドライブを買ってくるか、予め買っておくかの違いだよね。
ケチケチしないで、一台くらい余分に買っておこうよ。せっかくRAID使うんだったら。
ドライブの大容量・低価格化時代でのRAID5の一番のメリットは、
容量不足になったとき、柔軟に容量増加が可能である、ということだと思う。
後で容量が不足する可能性があるならば、
スタート時点には無駄と思える「4台でRAID5 + spare」にも意味がある訳で。
(後で5台、6台と増やすことを前提に)
663:login:Penguin
08/02/01 15:48:48 o1JkhWu7
>>662
なんでそれをRAIDのフレームワークでやらにゃならんの？
lvmがあるのに。
664:login:Penguin
08/02/01 15:50:41 3oRMUEgb
RAIDとLVMは用途が全然違うんだけど?
当然RAID上にLVMですよ。
でないと「柔軟に容量変更」できないじゃん。
665:login:Penguin
08/02/01 15:58:45 r8ITSzIN
>662
自分は500Gディスクなら十進数の500Gを狙ってfdiskで毎回
パーティション確保して、それからraid構成してるので、
少なくとも「メーカーやモデルによる容量の差」が原因の
入手性で問題出たこと無いよ。
他に入手性に影響のある要素ってあるだろうか。
666:login:Penguin
08/02/01 16:02:01 o1JkhWu7
>>664
すまん。じゃ、RAID5のメリットをもう一度別の表現で説明してくれないか。
667:login:Penguin
08/02/01 16:15:09 dBBUm++4
RAID5にスペア用意するぐらいならRAID6でいいんじゃないの？
668:login:Penguin
08/02/01 16:19:29 r8ITSzIN
>667
だよね。
管理の手間が単純化できるし、デグレードしたからといって
急にゴリゴリする必要もない。
669:login:Penguin
08/02/01 16:24:39 3oRMUEgb
>>665
例えば「今出張中で、帰るのは一週間後」てのは?
クソ忙しくて再来週末まで買い物なんか行く暇がない! なんてことはよくあるのでは。
俺は東京在住だが、「サーバ向け」のドライブはやっぱりアキバ以外ではあまり置いてない。
(あってもゲロ高い)
地方に住んでりゃもっと大変だろうね。
あるいは「給料前で金がない」とかw
「すぐに入手できない」状況なんていくらでも思いつく。
hot spareはその間ハラハラしないで済む保険代だと思えばいいのでは。
容量については、最悪ひとつ大きいのを買えばいいんで
確かにあまり問題にはならないでしょう。
670:login:Penguin
08/02/01 16:25:34 3oRMUEgb
>>666
このスレ頭から読み直してください。
>>667
まぁそうだね。
話の流れが >>639 (ミラーリング : RAID5)から来てるだけで。
671:login:Penguin
08/02/01 16:30:45 r8ITSzIN
>669
サーバ向けね。確かにそれだと入手性はあるかもな。
半日～二日ほどデグレード状態でドキドキってのも
そりゃあったし。
672:login:Penguin
08/02/01 17:10:17 dBBUm++4
なんかだんだんRAID6にしたくなってきたなー。
mdでRAID5から移行できればいいのに。
673:login:Penguin
08/02/01 19:45:04 qr3ykgm1
俺はHPの6連装DDS4ドライブつけてるから、RAID5でも別に怖くない。
オートチェンジャーとして動くようにスクリプトも作ったし。
一度だけHDDが壊れたことがあったけど、HDD交換する前にすかさず
dumpでバックアップ取った。
いいよDDSいいよ。
最近LTOが欲しいけど。
674:login:Penguin
08/02/01 20:52:08 wB5OamBS
ここの香具師らはペンギン板だからソフトウエアRAIDだよな？
それならRAID5でリビルド時の負荷を軽減させたければ寿命と思われる一台目が死んだときに同数のHDDを用意して一旦アレイを解除してドライブ単位でデータを写せばいい
そして欠落している一台分は古いドライブでリビルドして御役御免で売っぱらう
この際に二台目が死んでも新しいドライブのデータでリビルドすればいい
この方法の欠点は多少コストがかかることと一旦データがオフラインになるということだな
でもリビルド時のリスクはRAID1並に下げられるから個人的には十分な費用対効果が期待できると思う
俺もDDSでバックアップとりたいけどデータ量が多すぎてとりきれない…
小さいデータで重要なものはDDSとMOでバックアップしてる
675:login:Penguin
08/02/01 21:56:38 qr3ykgm1
自分のは使用量1TBくらいだけど、6連装DDSドライブを使えば割と快適にバックアップ取れるよ。
19時くらいにマガジンをセットして、dumpスタート。
テープエンドを検知したら次のテープを自動的にセットするようにスクリプト書いたから。
朝には6本全て使い切っててマガジン吐き出して、次のテープをセットしたマガジンをセットして
会社に行く。
会社から帰ったらまたマガジンを変えて翌朝にまたマガジンを変えて・・・。
だいたい2日くらいあればバックアップできる。
ずっと家に居れるんなら、もっと早く終わるとは思うけど。
ヤフオクで内蔵型を5000円くらいでゲットできたから、うれしくてね～。
676:login:Penguin
08/02/02 03:25:38 zu1IjSu5
>>674
移動先のドライブに負荷かけたテストしてないと、
かえって初期不良に当たりやすくなる気がするが。
677:654
08/02/02 12:56:37 XKGlbsjJ
すみません、予算などをまとめると
総額10万以内、PC本体、メモリ増設、ハードウェアRAID（RAID10）、ポート数は予算が許す限り、HDD数も予算が許す限り
で考えています。日本市場や米国市場、為替の歩み値をデータベース化してそれを分析するシステムを構築
したいと考えており、そのデータベースサーバとして利用する予定です。
どのような選択肢があるかアドバイスいただけると幸いです
678:650
08/02/02 12:57:53 XKGlbsjJ
すまんす、先ほどの書き込み主の名前まちがってた。。。
さらには >>654 と書きたかったのです。
679:login:Penguin
08/02/02 14:56:08 5kGyMDx4
>>675
RAID使ってると容量いくらでもデカくなるから
バックアップの手間が一番の問題だよな。
HDDひとつ1TBが普通の値段で買える世界がもう目の前。
「RAIDで5TB」とかなったらどーすりゃいいのやら。
weekly backup に丸一週間かかったりw
680:login:Penguin
08/02/02 16:55:21 1dBAN3yO
せめて500GBくらい入るバックアップメディアが出てこないかな…
681:login:Penguin
08/02/02 17:00:32 C9Eze2Tn
テープより同容量のHDD用意したほうが安いんだよな…
682:login:Penguin
08/02/02 17:03:12 1dBAN3yO
でも使ってないHDDって結構な確立で駄目になるんだぜ
683:login:Penguin
08/02/02 17:36:53 aGzNkUCj
使ってないテープも結構な確率で腐るけどな。
ただHDDと違って全体が死ぬことはほとんどないが。
684:login:Penguin
08/02/02 17:44:44 1dBAN3yO
5インチでもいいから100GBのMOとか作ればいいのにな
まぁすでに見捨てられてる企画だけど…
685:login:Penguin
08/02/02 17:54:05 YmD5twGO
そろそろバックアップ用にBlu-ray導入したいな
686:login:Penguin
08/02/02 17:59:24 1dBAN3yO
ブルーレイってDVD並みの保存性しか無くないか？
それじゃバックアップの意味が無いじゃん…
687:login:Penguin
08/02/02 18:06:11 Fp6g3h3i
BDは容量少なすぎ
HDDのバックアップ先はHDDしか無いよ
688:login:Penguin
08/02/02 18:43:50 YmD5twGO
>>686
バックアップは定期的にね
>>687
基本は俺もそれだが
バックアップのバックアップにDVDではそろそろ限界かなと
スレチっぽいのでこの辺にしておきますね
689:login:Penguin
08/02/02 18:53:06 KheaAcBM
URLﾘﾝｸ(imepita.jp)
URLﾘﾝｸ(imepita.jp)
690:login:Penguin
08/02/02 19:20:15 Nrwh2fxn
>>689
医者池。
包茎専門より、ちゃんとした泌尿器科がいいよ。
691:login:Penguin
08/02/02 19:25:27 C9Eze2Tn
1TBクラスの光学メディアが欲しいところだな。
692:login:Penguin
08/02/02 20:24:51 3iuPL0zl
>>628-629
実証GJ
>>651
職場でならSCSIなRAID5がスペアに移行した直後お亡くなりとか、
スペア無しアレイでバカSEが復旧とちってお亡くなりとかなら経験ある。
目的がサービス止めたくないことなのか、データが大事なのかで話が違うだろうよ。
まパフォーマンス低下で実際上止めざるを得ないとかはよくあることだw
データに関してはバックアップ工夫しろとしか・・・
>>658
コスト次第。お金あるなら保証付きの箱のほうが安全だし、
キャッシュ系のマシンならSATAの安いのでいい。
高耐久ドライブでRAID5より安物でRAID6の方が安価で安全なこともある。
環境によってはSCSIドライブでも簡単に死ぬしね。
693:login:Penguin
08/02/03 02:24:34 mkL95ztR
RAID5のHDDが２台同じタイミングで壊れるって言うのは、交換時の作業者のミスだと思う。
ずっと寝かせたままだったHDDを横に向けたり、角度を変えたりすると、確かに壊れやすい。
しかし、いまや５年保証までつくHDDが、一台壊れたからと言って、
外部要因無しに同時に壊れるとは考えにくい。
つまり一台壊れたときには手も触れずに外付けのHDDを接続してコピれば問題ないと思うんだが。
694:login:Penguin
08/02/03 10:26:28 OLFvr5xO
確かに通常の運用ならば2台同じタイミングで壊れるってことは、まず起きない。
ただしRebuild中にOnlineなHDDに不良セクタが見つかってRebuild失敗というのはある。
同じタイミングで複数台のHDDが壊れるシチュエーションは電源ONのタイミングだね。
もしくは1台のHDDが変な壊れ方をして、SCSIのバスロックが発生してしまい
同一SCSIバス上のHDDがRAID-CもしくはOSと通信ができなくなってしまって
全てのHDDがFault扱いになってしまうか。
695:login:Penguin
08/02/03 11:38:23 EJ7i8gH6
セクタ数は爆発的に増えてるからな
696:login:Penguin
08/02/03 11:52:53 mkL95ztR
>694
そう。つまり電源ON/OFFとか、HDDを傾けたりとか、結局物理的要因がない限り
２台同時になんてありえないと思うわけですよ。
壊れた後の復旧方法以上に、そういうもっと重要な知識が無い人が多いと思った。
作業者がそのことをわかっていれば、電源OFFなんてしないでコピーするでしょ？
SCSIのバスロックですか。確かにそれはどうしようもないですね。
697:login:Penguin
08/02/03 11:54:48 q+AQxgRs
バスのせいで全部吹き飛ぶのはどのRAIDレベルでも避けようがないわな
698:login:Penguin
08/02/03 12:55:27 7yh5v0Sl
壊れる前に定期的にHDDを入れ替えて、製造ロットを適当に分散させるのが良いと思う。
699:login:Penguin
08/02/03 12:57:22 +cGxDGKE
ていうかリビルド時「不良セクタがありましたのでOFFLINEにします」
って判断はRAIDボードなりソフトウェアRAIDが判断するんであって、
リビルド時に初めて(もしくは久しぶりに)アクセスするからそういうことが起きるんだと。
で、それ以前に見つかるように定期的に全セクタチェック走らせて、不良あったら即HDD交換。
これなら1台壊れてリビルド発生しても同時に2台目が逝ってRAID崩壊の率はかなり減るんじゃないかと。
それでもREADエラーとWRITEエラーは別だからアレだけど。
・・・という考えで3年運用してるんですが突っ込みどころあったらご教示下さい。
700:login:Penguin
08/02/03 13:23:50 jeuHPgfo
いいんじゃない?
定期的なドライブのローテーションも効果あるだろうね。
701:696
08/02/03 13:25:39 mkL95ztR
>699
いいと思うけど、不良セクタがあっても普通に動くから
ちょっと贅沢な使い方だと思った。
702:login:Penguin
08/02/03 13:27:21 FPEcH9J9
RAID5+1でおｋ！
703:login:Penguin
08/02/03 13:28:07 FPEcH9J9
>>701
サブバックアップ用としてでも活用するかオクなり祖父に売れ
704:login:Penguin
08/02/03 13:40:00 OLFvr5xO
MegaRAIDとか日立のSANRISEとかみたいに、ある一定の周期で
HDDのサーフェイステストをする仕組みが欲しいよね。
そうすればRAID5でもかなりの信頼性をあげることができるんだけど。
SCSIのバスロックでステータスがFaultになるのは、悲しいけれど時々ある。
このスレにCEが居たら、「俺経験あり」って人がいるんじゃないだろうか。
705:login:Penguin
08/02/03 16:18:41 DGf+HCP2
HDDを同時に実装してArrayを作るから
HDDの劣化度は同じだじゃね。
RAID5なら1台死んで負荷が上がれば、２台目も死ぬと。
706:login:Penguin
08/02/03 21:05:16 2lFvuSaN
ここ数日のスレを読んでて、LVMとmdのいいとこどりをしたような何かが欲しいと
思った。
だが作る実力はない。。。
707:login:Penguin
08/02/03 21:36:59 cKmDQueJ
>>706
ZFS
708:699
08/02/03 23:27:50 /V4l36Hy
>>700さん
ありやとやんした。
ﾛｰﾃやってなかったんで検討します。
>>701さん
いまんとこ怖いんで>>703さんの方法を採ってます。
>>704さん
あらまMegaRAIDてｻｰﾌｪｽｽｷｬﾝやってくれるんですか-
ちょうどﾎﾞｰﾄﾞ一枚買おうと思ってたんで逝ってきます。
周りに相談出来るよなｴﾝｼﾞﾆｱさんいなかったんで助かりました。
皆さんありがとうございました。
709:login:Penguin
08/02/04 01:31:45 +0aP9ie6
どこか、パーソナルVTS出してぇ。
710:login:Penguin
08/02/04 06:47:08 gy3CgsMy
「mdでRAID5構成で、全セクタチェック」
という話は繰り返し出てきますが…
実際のところ、具体的にはどうやって行なうものなのでしょうか?
711:login:Penguin
08/02/04 07:22:58 TY83kMjq
やってはいないけど、mdがofflineの状態のときに
# dd if=/dev/sda of=/dev/null bs=1024k
とかでRAID要素のサーフェイステストをするくらいかな。
もしエラーがあったら、mdをonlineにしてバックアップ。
その後に手作業でその要素をfaultにしてhdd交換。
できればmdの機能としてHDDのサーフェイステストを実装して欲しいなあ。
712:login:Penguin
08/02/04 08:11:34 Q5KXQV/l
>>710
これじゃだめ？
>>492-493
713:login:Penguin
08/02/04 20:02:26 TY83kMjq
>>712
すごい。
こんなのがあったんですね。
現在やっています。
speedは20900K/secって出ています。
速いんだろうか？遅いんだろうか？
714:login:Penguin
08/02/05 00:26:38 j6rJkT89
誰かARAID2200の発売日知らない？
２月発売としか書いてないから気になる
715:login:Penguin
08/02/05 02:18:51 2CYEafF8
>>714
ARAID2000ユーザーだけど、良くなった点はどこ？
あれW/Bなので遅いよぉ。安全だけどｗ。
VFSのキャッシュはUPSで保護する必要はあるけどね。
716:login:Penguin
08/02/05 02:22:14 2CYEafF8
>>715
あごめん。W/Tでしたね。書き込み確認しないとI/O返してくれないのはｗ。
717:login:Penguin
08/02/05 13:35:36 bPmvBD8x
>696
>２台同時になんてありえないと思うわけですよ。
思うのは自由だ、うん。
718:login:Penguin
08/02/05 13:45:33 3+aWy1p5
だから、そういう煽るようなことを書かないの！
719:login:Penguin
08/02/05 22:24:03 j6rJkT89
>>715
チップが変わった
＆UIを別チップで処理するようになった
結構な大幅変更だぜ
720:login:Penguin
08/02/06 01:18:05 eqVT3L8P
>>706
物理ボリューム層
論理ボリューム層
の２層で管理する思想はご存知？
ストレージ専用機(NASやSANストレージ)のエンタープライズ向けはこの思想がほとんど。
この思想に乗っかると適材適所という言葉も浮かぶ。
721:login:Penguin
08/02/06 02:00:51 /VmRasag
すでにLVMが君が言うところの物理ボリューム層論理ボリューム層に分かれていて、
物理ボリューム層とmdでできることは十分に被ってるんだよ。
LVMのPVOLではコンカチしかできないから、mdが必要となっているだけで。
722:login:Penguin
08/02/06 04:05:45 EE+VEkuv
>>721
そだね。mdとLVMとは機能がかぶりまくっている。かといって、いまさらその辺の
機能の再構成をするわけにもいかないだろうしなぁ。
とか思っていても、Linuxのことだから大幅に変更してくる可能性はあるか。
しかも、斜め上の方向に。
723:login:Penguin
08/02/06 10:00:11 jVXLMw1N
過去にはEVMSというのもあった。
724:login:Penguin
08/02/06 10:39:54 t+5LNVrW
てか思想なんて大仰な言葉を持ち出す時点で
そいつはよく分かってない人だろ。
725:login:Penguin
08/02/06 10:41:32 t+5LNVrW
>>724
IBMの中の人が紳士すぎた。
evmsguiの使い勝手が良かっただけに惜しい。
726:login:Penguin
08/02/06 10:42:16 t+5LNVrW
アンカー間違えた。
>>723
IBMの中の人が紳士すぎた。
evmsguiの使い勝手が良かっただけに惜しい。
727:login:Penguin
08/02/06 23:38:38 Qs3PPl0i
>>706
Veritas Storage Foundation Basic
URLﾘﾝｸ(www.symantec.com)
ストレージが足りなくなってからHDDを一個ずつ足して、全HDD容量の合計÷2の容量のRAID1として使えないこともない。
使い始め: 200GB + 200GB → 200GBのRAID1
320GBを買ってきて追加: 200GB + 200GB + 320GB → 360GBのRAID1
500GBを買ってきて追加: 200GB + 200GB + 320GB + 500GB → 610GBのRAID1
200GBが故障しそうなので取外し: 200GB + 320GB + 500GB → 510GBのRAID1
っつう感じ。
ただ、使えるLinux distributionが限られているのがアレだな。
728:login:Penguin
08/02/07 00:07:05 kF+/kUpL
>>721
LVMはボリュームの自由度を上げるものだから、可用性の部分は
無理してLVMにせず素直にmd使った方がいい、とは思うけどね。
まあ多分に好みかも。
729:login:Penguin
08/02/08 00:55:42 aD0bAbyD
／:::|:::::::|:::::::::::::/::::::/::::::::::::::/:::::::/`＼＿
／￣＼::::::|:::::/:::......-――--..........__/:::::::::::::::＼
┌ー￣::::::::::::ヽ::|:::..-^￣ ^ ヽ、:::::::::＼
ヽ::::::::::::::::::::::::::::／ ＼::::::::ヽ
ヽ:::::::::::::::::::::::/ :::: ＼:::::ヽ
ヽ::::::::::::::::::/ :::::::: ＼::::|_
）:::::::::::::::| ::::*::::: ヽ:|::::ヽ
/::::::::::::::::| ::;;;;: l::::::::ヽ
/::::::::::::::::::| ﾉ::ii:ヽ:: l::::::::::|
|::::::::::::::::::::| /::::;ﾘ:::l:::: |::::::::::::|
|:::::::::::::::::::::l ...l::::;ﾘ:::/:: /:::::::::::::|
.|::::::::::::::::::::::l . /:ア／::: ／:::::::::::::::i
l:::::::::::::::::::::::::l ./::`^::::: ／:::::::::::::::::/
ヽ::::::::::::::::::::::::l /:::::::::: ／:::::::::::::::::::/
/:::::::::::::::::::::::l /::::::::::::: ／::::::::::::
＿＿ __ __ __ __ ＿_ __
`i | | i'l_i'l_i' i''´ __｀ヽ-ｯ _ｺ l_＿＿＿ i´__｀ｰ-ｯ _,,.、
,! ,! .ｌ l _,,,_ └'´__ ｀`´ ﾚ┐ ┌─┐ ,!'´ ｀`´ ／,r''´
/ 丿 '､'､ l´ __｀ヽ-ｯi''´__｀ヽ-ｯ .ｌ ｌ ﾉ / / /
／ ／ ヽ ヾ´ ｀`'´└'´,,_｀`'´ l └ ' ,／ ___,,ノ /
_,,.r'' ／ ＼ ｀> ｒ'"´ ｀`ヽＳ.) l 「´ 「´ _ノ
‘''' ´ `′ └ ''´￣｀`‐-‐'' └ ┘ └‐ '' ´
730:login:Penguin
08/02/11 00:38:18 2LOosLJ3
>> 714
2/18日以降だそうです。
731:login:Penguin
08/02/14 23:42:09 0SxRJSvx
自分は対象にならないだろうと思ってましたが、
RAID5のリビルド中に他のHDDが死ぬ事象を経験しました・・・
今後の対策なんですが、RAID1にしたとしても
片肺になった後、復旧のリビルドかけなきゃならないのは同じですよね？
RAID1もRAID5もリビルド中のリスク自体は同じで
RAID5は単純に壊れる可能性のあるHDDの台数が多いってだけのような気がするんですが、
リビルド時のHDDのアクセスの仕方って、RAID1とRAID5では大きく異なるんでしょうか？
よく考えてみればRAID1の方がシーケンシャルに読むだけで
RAID5はランダムアクセスになるので負荷が高くなるような気もするんですが
実際のところはどうなのかピンと来ないもので。
732:login:Penguin
08/02/15 07:53:53 KVKrbsHP
そのRAIDサブシステムがRAID6をサポートしているのならば
RAID6にするがよろし。
733:login:Penguin
08/02/15 10:23:06 BRBF3NL2
3重RAID1という手もあるよ
734:login:Penguin
08/02/15 16:42:52 cmWvzBOb
要するにアレだ
壊れるときはどんだけ頑張っても壊れるんで
ここはスッパリとRAIDなしの方向で
735:login:Penguin
08/02/15 21:33:26 3J9xJSqX
リビルト時はシンクロ速度落としてやさしくシンクロさせるのだ。
736:login:Penguin
08/02/15 21:34:37 Kxay7Pc2
処女のドライブに無理させちゃいけないよｗ
まぁ壊れるのは古いドライブだが…
737:735
08/02/15 21:44:27 3J9xJSqX
あと、リビルド時の負荷で読み取りエラーが出て
raid崩壊したように見えても、実はデータ自体は
無事な場合もある。
可能ならば -f オプションだっけ、デグレード状態で
強引に新規構成して(ダミーディスクが必要かも)
シンクロなし、ファイルシステムのフォーマットなしで
fsck をしてみるべし。
738:735
08/02/15 22:11:25 3J9xJSqX
ただしダミー必須でかつ新規構成では勝手にシンクロを
始める仕様だと、問題発生の可能性があり。
自分の場合、ダメになった最初の一台は読み取りエラー多発で
デグレード状態になった。
リビルド中にもう一台が負荷による破損でraid完全死亡。
そこでダミー挟んで新規構成、破損した一台は後で新しい
ドライブ補充でゆっくりリビルド。
だったので特に問題なかった。
しかし一般的には。
新規構成した途端に勝手にシンクロ始めるようだと
無事なドライブの無事なチャンクをダミーに入っている
値を含んだ「汚染された」パリティ値で、正常だった
パリティチャンクを上書きする可能性がある。
要はなにが言いたいかと言うと、
不要ドライブによる予行演習が必要って事。
739:login:Penguin
08/02/16 02:07:03 AuyL7bik
というより、なぜRAID５なのに、いきなり復旧しようとすんだよ。
RAID5ならば、そのまま読み込み可能なのだから、一度どこかにデータをコピーするべきじゃないの？
RAIDの復旧なんて、そんなに何度も経験ないと思うし、
(ソフトウェアの)復旧の精度だって怪しい。
ｴラーが起きた場合にはとりあえずコピーすれ。
740:login:Penguin
08/02/16 02:50:30 M3gQgdAt
質問です
フラグを付けずにRaidを外すのは危険ですか？
-f をやらずに -r するのは危険？
741:login:Penguin
08/02/16 05:31:03 dXUJmQMO
80GBx2でRAID0すると使用可能な容量は80Gじゃなくて160Gでok?
742:login:Penguin
08/02/16 05:45:09 a7+r0Lzc
RAIDのイロハから調べ直せ
743:login:Penguin
08/02/16 10:18:15 YhN3CkZR
>>730
データをコピーするのもリビルドするのも危険性は一緒。
744:login:Penguin
08/02/16 12:15:16 QgDn6KX6
RAIDカードスレで質問すると怒られそうな流れだったので、こちらに質問させてください。
RAID組んでLinux鯖を運用してる人って、/bootやOSはどこのパーティションにインストールしてるんでしょうか？
HDD4台で組もうかと思うのですが、4台すべてをRAID（10化）にしてここにすべてインストールしても
パフォーマンス的にはOKなのでしょうか？ または、別に一本OS用のHDDを使ってるとか？
どこかのスレだと「/var/logは別がいいよね」と言ってる人もいたり。
745:login:Penguin
08/02/16 13:19:27 AuyL7bik
そもそも、そのRAIDカード上にルートファイルシステムのインストールはできるのか？
できるのならばパフォーマンスもあがるし、やるべきだ。
/var/log はサイズが大きくなるからってことじゃないかな？
/var/logなんていつでも移動できるから、あんまり気にする必要はなし。
746:login:Penguin
08/02/16 13:27:11 QgDn6KX6
なるほど。ハードウェアRAIDであればマシン･OSにとってみればひとつのHDDに
見えるので、ルートファイルシステムをインストールできるのでは？と思ってました。
ソフトウェアRAIDだと仕組み上やはりムリそうですね。
はやくRAIDマシン組んで巨大なNFS鯖作りたいなあ。他のサーバの設定やコンテンツ、/var/logなどのデータを
集中管理したいんです。バックアップもしやすいし。
747:login:Penguin
08/02/16 13:37:19 YhN3CkZR
> /var/log はサイズが大きくなるからってことじゃないかな？
プログラムや設定によるけど、/var/log にガンガンログを吐く
プログラムだと、/var/log のディスクとデータを扱うディスク
と分けて I/O ネックを回避することはある。
748:login:Penguin
08/02/16 14:54:31 TWToK0Vy
>>746
$ df /
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/md1 244116192 228998376 15117816 94% /
ですが何か？まあ言わんとすることはわかるんだけど書きたくなった。
749:login:Penguin
08/02/16 14:55:35 QgDn6KX6
>>747
ってことは、/var/logをNFS使ってログサーバ溜まるようにマウントしてたりしたら、
ものすごいパフォーマンスは悪くなるってことだね
750:login:Penguin
08/02/16 17:10:45 YhN3CkZR
>>749
[ここ重要] ⇒ >>747 プログラムや設定によるけど
751:login:Penguin
08/02/16 18:13:58 8JTLkDgS
> ソフトウェアRAIDだと仕組み上やはりムリそうですね。
インストール時にドライバ組み込めば出来る。HW RAIDと同じ
752:login:Penguin
08/02/16 19:19:52 spUQqV6H
最近のインストーラなら大抵対応してないか？＞root fsがRAID
753:login:Penguin
08/02/16 19:33:18 jT4G/Hbn
対応してるよ。
だけどGrubをミラーの相方にインストールしてくれないという片手落ち。
どうせなら、そこまでやってくれよと思う。
754:login:Penguin
08/02/16 19:50:02 spUQqV6H
パーティションの先頭にGRUBいれて、そのパーティションをアクティブにマークして
ブートセクタにはMS-DOSブートローダつっこめばおｋ
755:login:Penguin
08/02/16 20:04:50 jT4G/Hbn
おお！その手がありましたか。
ん？でも、mdってパーティションの中身だけではなく、PBRも含めて
ミラーの対象にしてくれるんですか？
今度実験してみませう。
756:login:Penguin
08/02/16 20:23:29 QA952r8C
PBRもパーティションの中だろ
757:login:Penguin
08/02/17 01:02:48 i5d+mHPz
root fsはARAIDみたいな何も考えなくていいところに入れてるけどなぁ。
救出したくても手が打てないのは痛いし、
家だけど、bootable cd もって鯖置き場まで逝くのは面倒だし。
758:login:Penguin
08/02/17 09:28:36 EeCPJ2/d
bootable cd コピーして、鯖のところにおいて置けばいいだけじゃん。
もしかしてバカ？
759:login:Penguin
08/02/17 11:11:40 i5d+mHPz
>>758
カーネル置き換えたときにリモートでブート順位変えれればなw
760:login:Penguin
08/02/17 11:20:07 EeCPJ2/d
やっぱりバカだった。
761:login:Penguin
08/02/17 12:18:58 i5d+mHPz
>>760
あーなに？isoイメージでってこと？
めんどい操作は基本的にいやだよ。
参考にしたいんだけど、ちなみにあなたの場合は、どんな操作シーケンスを仮定して書いているの？
762:login:Penguin
08/02/17 13:26:19 EeCPJ2/d
> めんどい操作は基本的にいやだよ。
何を言っても、「面倒だよ」で片付けるんだろ。
バカに何言っても無駄だったな。
763:login:Penguin
08/02/17 13:33:37 fA/cUGCW
試しに教えてよ
764:login:Penguin
08/02/17 13:35:31 i5d+mHPz
いや具体的に書いてくれないと判断のしようもないよｗ
765:login:Penguin
08/02/17 13:37:16 tWbZDU3A
>>763
ID:EeCPJ2/dを取り合わない方がスレが荒れなくて良いです。
766:login:Penguin
08/02/17 15:37:46 EeCPJ2/d
>>764
別にお前に判断してもらわなくてもいいし。
# バカってこう言う粘着は「面倒じゃない」んだな (w
767:login:Penguin
08/02/17 18:52:37 ExKA9mj+
ルートファイルシステムとしてUSBメモリ使えば？
ルートファイルシステムって重要な割に復旧しにくいから、
安くてコピー取り易いUSBメモリっていいよ。
768:login:Penguin
08/02/17 19:40:54 i5d+mHPz
>>767
それはありだよね。
entry系の鯖M/Bでもそれ用途にUSBを基盤につけてるのもあるね。
URLﾘﾝｸ(www.intel.com)
あとは、管理性がついてきたらだけどね。
OS非依存でWeb consoleが付いてて、ブート関連がいじれたらそれで良いかなって気がするけど。
業務用の鯖だとそういうのって付いてるけど、安いのでも最近はそういうのは付いているのかな？
769:login:Penguin
08/02/17 21:09:52 YyBIzKMJ
USBメモリをディスク代わりにするのは耐久性に疑問がある
書き換え可能回数があまり多くない
770:login:Penguin
08/02/17 21:29:21 VhdF0BCQ
全てのディスクをUSBメモリで、という話じゃないだろ。
771:login:Penguin
08/02/17 23:13:56 qU3Dm9wu
当たり前の話だけど
root fsに何をいれるか、が決まらないと評価も何もない
772:login:Penguin
08/02/17 23:23:39 FjIQJ/u+
>>769
それこそミラーしておけばいいって話じゃないの？
773:login:Penguin
08/02/18 09:12:36 7pJwJgpT
フォールバック用途ならありかもしれませんなぁ。
774:login:Penguin
08/02/18 12:43:13 YBEsL7Ky
また耐久性疑問厨か。
/ /usr なんてそんなに書き換えないだろ。
775:login:Penguin
08/02/18 13:01:11 1jCiBLSk
てことは、RAIDで冗長化するのは/homeと/varと/etcだけでFA？
776:login:Penguin
08/02/18 13:45:23 hyGsnvLJ
便乗して質問なのですが、RAID化しなくてもよいルートファイルやなんかは、IDE接続のハード単機にインストールしたって構わないってことですね。
777:login:Penguin
08/02/18 14:00:40 7pJwJgpT
>776
ルートファイル？
ハード単騎^H機？
ま、好きにすればぁ？
778:login:Penguin
08/02/18 14:14:37 YBEsL7Ky
>>775 / と /etc は分けられない。
779:login:Penguin
08/02/18 15:23:20 RdJlk1eC
>>778
うそ！なんで？
ハードウェアRAID1+0やってるんだけど、/も/etcもRAID中な気がするんだが…
780:login:Penguin
08/02/18 15:32:44 HZgLzkAe
各自好きにやりゃいいがね。
/etcなんて一旦設定がきまっちゃったら
そうそう頻繁に変更するもんでもないだろうし、
容量もデカくないんだから
CD-Rにでも焼いときゃいいんでね～か
と俺は思うが。
781:login:Penguin
08/02/18 17:12:56 YBEsL7Ky
>>779
なんでって / と /etc を別のパーティションに置くことはできないでしょ。
>>775 > てことは、RAIDで冗長化するのは/homeと/varと/etcだけでFA？
/home と /var と /etc だけをRAIDで冗長化するって言うから、
それだと / が別パーティションになるから >>778。
/etc を RAID に入れるなら必然的に / もRAIDにいれることになるっしょ。
>>779 はそうしてるし、何に対して「なんで？」なのかわからない。
782:login:Penguin
08/02/18 17:51:59 pjqQlMbm
>>781
ハショリスギ！
783:login:Penguin
08/02/18 21:29:04 7pJwJgpT
>782
いや、それ以外に読めないと思うが...
784:login:Penguin
08/02/19 00:28:17 vYFMe8jP
initrd とかでできなくはない気がする。
785:738
08/02/19 11:51:04 xjsgqTAQ
>>739
> 一度どこかにデータをコピーするべきじゃないの？
コピーするときの負荷もリビルド負荷も御忘れなく。
そしてなにより、リビルド負荷は数値を指定して
あらかじめ制御できることも。
> RAIDの復旧なんて、そんなに何度も経験ないと思うし、
なに言ってるんだ。
RAID使うと決めたら「必ず」復旧手順は
予行演習しとくもんなんだよ。
まるでRAIDの使いかた分かってないぞ。
786:login:Penguin
08/02/19 12:12:24 HB+Mo7i2
ごめん、スレ読みとおしたところよくわかんないんだけど、HDD4台でRAID化したマシンに
Linux OSをインストールする場合って、HDD4台すべてをRAID化（たとえばRAID1+0）
しちゃってもいいの？ 起動部分やOSはRAIDでジョチョウ化されてもいいものなのかどうか、わかんなくなっちゃった
787:login:Penguin
08/02/19 12:14:22 wqil2l39
なぜか変換できない
788:login:Penguin
08/02/19 12:43:30 leSjXn0T
とんでもなく助長してる
789:login:Penguin
08/02/19 12:52:59 9sD2K6K5
冗長してる。
790:login:Penguin
08/02/19 13:16:12 jU83xi7f
じょうちょう
791:786
08/02/19 14:23:39 HB+Mo7i2
ごめんです、ジョチョウ化⇒冗長化の間違いでした
792:login:Penguin
08/02/19 16:07:31 YZYGs6Xx
>>778
マジで？
しらんかった・・・確かに今まで分けようと思ったこともないが。
793:login:Penguin
08/02/19 16:10:15 YZYGs6Xx
>>786
/bootはRAID1、あとはinitrd前提で任意のRAID構成が楽
grubは自分でinstしてね
794:login:Penguin
08/02/19 16:14:13 wqil2l39
>>792
分けたら /etc/fstab 見えないじゃん。
795:login:Penguin
08/02/19 17:21:02 z0nKTYDQ
>>793
つーことは、RAID10のサーバを組むにはHDD4台の他に、/boot用のHDD1台ないし2台(RAID1にするなら）
の合計5-6台が必要っつーこと？まじかよ。
796:login:Penguin
08/02/19 17:21:49 Wt/Vgi9h
まともに使うならそうなるな。
797:login:Penguin
08/02/19 17:29:20 9sD2K6K5
>>795
bootはパーティション切ってそこだけraid1にすれば、4台でいけるよ。
798:login:Penguin
08/02/19 17:39:33 iV/BcA4E
Linuxなら、raidを使おうが使うまいが、/bootを別パーティションにしておくのはいまや半常識だしな。
799:login:Penguin
08/02/19 17:52:39 z0nKTYDQ
>>797
レスサンクス。でもおれ頭わりーからまだ理解しきれていないのだけど、つまり500GB HDDが4台あったとすると、
そのうち10GBずつをRAID1化（ミラーリングなので使用可能容量は10GB）して/bootに、
残りの490GBずつをRAID10化して（使用可能容量は980GB）/boot以外をインストールするということでOK?
いま手元にあるHP ML115を調べて気づいたけどIDEが一本挿せるみたいなので、余りのIDE ATA15GBか40GB
を/bootにしてもいいのかな。そこだけRAIDにならないけども。
800:login:Penguin
08/02/19 17:54:40 9sD2K6K5
>>799
その認識でOK
801:login:Penguin
08/02/19 17:55:27 9sD2K6K5
>>798
でも俺は切らない派w
802:login:Penguin
08/02/19 18:17:04 z0nKTYDQ
>>800 >>797 サンクス
でも、起動部分/bootにギガバイト単位で割り当てるのはもったいないなあ、それに
わざわざパーテ区切るくらいならHDD4台は丸ごとRAID10にしてあげたいし。
やはり、IDEドライブに/bootを配置すると思うのですが、無謀かな。ついでに/tmpもIDEドライブ
にしてやろうかと思ったくらい。 USBメモリに/bootを入れるよりはまともかと思ったのだけど。。。
803:802
08/02/19 18:19:01 z0nKTYDQ
うそ、よくかんがえてみりゃ、そのくらいのことでならば多少のパフォーマンス低下を
覚悟してでも、>>801みたくHDD4台をまるごとRAID10化したほうが障害復旧が早いじゃん
と思った。
804:login:Penguin
08/02/19 20:27:16 YZYGs6Xx
>>794
おおなるほどw
>>803
そのあたりの悩みは用途次第で結論が変わるので思ったようにすればOK。
/bootにGB単位で割り当てる必要性を感じているなら、それは必要なのであってもったいないと言うことはない。
自分が障害復旧しやすい構成がって、障害復旧を優先したければそれを採用すればよい。
少なくともネットで大雑把な質問して得られた答えが最適解になることはまず無い。
805:login:Penguin
08/02/19 21:05:13 LjOdmO1l
うちの/bootは大昔に使っていた170MBのHDDだったりする。
他はSATAのGBサイズのHDDですけど。
なんか棄てるのがもったいなくて。
806:login:Penguin
08/02/19 21:10:18 9sD2K6K5
もったいない以上に、使い続けるのが怖いよw
807:login:Penguin
08/02/19 21:35:05 +qK8q1YG
やっぱり、/bootはUSBメモリに入れ込むのが楽だよなぁ。
問題はUSBメモリからbootできる機械が少ないことだけど。
808:login:Penguin
08/02/19 23:17:24 nwrDQnND
>>806
/boot なんて別に壊れてもいいじゃん。
別のディスクを用意できてるなら。
809:login:Penguin
08/02/19 23:33:12 LjOdmO1l
>>806
いや、意外にも壊れない。
よっぽど最近のHDDの方が壊れてるよ。
kernelがupdateされるたびに/bootをtarでバックアップ取って
/mnt/common(ウチのsamba公開ディレクトリ)に保存してるから
もしHDDが壊れても、まだまだ170MBのHDDがあるから。。。
壊れてもHDD交換してパーティション作ってtarで復元して
grubをインストールするだけだから。
810:login:Penguin
08/02/20 00:43:24 Zep3uocy
うちはデータしかRAID化してないなあ。
/ や /boot や自前のデータがないfilesystemは適当バックアップだけ。
復旧に要する時間はまあそれなりに、ぐらいで考えてる。
811:login:Penguin
08/02/20 01:48:02 I7MAm7/Q
飛んでもPXEで起動してくる構成
812:login:Penguin
08/02/20 02:38:13 GsxLLhRu
>>786
ソフトウェアRAIDで細かく使いわけしてる人は
少ないと思う。めんどくさすぎて。
起動部分をRAID1なら普通かな。
ハードウェアRAIDで可能ならそれもアリじゃね？
813:login:Penguin
08/02/20 02:44:06 GsxLLhRu
うわ沢山。リロードしてなかった。
>>812
は忘れてくれ。
814:login:Penguin
08/02/20 02:48:46 3eSEJw3g
>>813
いや、いいんじゃないか。
俺なんかは3wareの9650SE-4PMLでRAID10（500GB*4）してるけど、/以下すべてRAID化してる。
815:login:Penguin
08/02/20 03:01:21 YArMzvpZ
mdで/bootがRAID1、/homeと/がそれぞれRAID10してるけど、
これってなにかめんどくさいっていうデメリットあるの？
個人的には/bootのためにいろんなハード持ってくるのがややこしいんだけど。
816:login:Penguin
08/02/20 08:27:58 3eSEJw3g
>>815
>>mdで/bootがRAID1、/homeと/がそれぞれRAID10してるけど、
>>これってなにかめんどくさいっていうデメリットあるの？
説明するのがめんどくさい、っていうデメリット。
817:login:Penguin
08/02/20 12:31:55 a4F59jek
>>814
ハードウェアRAID使うならそれが普通だと思う。
つか、そのためのハードウェアRAID。
難しい/面倒なこと何も考える必要がないw
818:login:Penguin
08/02/21 00:59:49 CnMgGiXf
RAIDの耐障害性について某スレのおかげで何がなんだかわかんなくなってきた。
RAID5をHDD*4台で構築したときに、どれかひとつのHDDに致命的な故障が発生したばあい、
そのサーバは通常稼動を続けたまま、HDDを入れ替えるまで稼動させることって
できるんでしょうか。
RAID1+0というやつでは、同じストライプ組のRAID0 HDDが2台同時期に壊れなければ、そのまま運用を続けることができると勉強したのですが。
819:login:Penguin
08/02/21 01:05:27 0MyyZeE8
>>818
できなければ何の為のRAID5なんだよw
820:login:Penguin
08/02/21 01:24:24 LstAdxHS
某スレってのはどこだ
821:login:Penguin
08/02/21 08:29:25 CnMgGiXf
>>819
できるのですね。 その場合、RAID5の仕組みから考えると障害時の縮退運転中の
ホストCPUもしくはカード上のチップの処理負荷は結構なんじゃないかなと思いました
>>820
ここです
IDE/SATA RAIDカードあれこれ 28枚目
ｽﾚﾘﾝｸ(jisaku板:933番)n-
822:login:Penguin
08/02/21 10:19:15 QU9gU0w5
>>821
レス番あってる?
823:login:Penguin
08/02/21 22:56:55 2FpKpxEt
>>818-819
通常稼動を続けたままできるかどうかは、RAID とは別の次元の話。
ハード / ソフトの対応が必要。
まともなサーバーなら大抵サポートしているけど、安物の NAS なんかだと
電源切らないと HDD の交換ができない奴もあるよ。
>>821
通常運用時も常にパリティの演算はやってるので、特に縮退運転中の負荷が
高いわけじゃない。
824:login:Penguin
08/02/22 00:18:05 lqV65jWf
負荷が高いのはドライブのI/Oだよな。演算じゃなく。
825:login:Penguin
08/02/22 00:42:49 gxYR4a4l
I/Oウェイトが高くなるから、それなりに重くなる。
826:login:Penguin
08/02/22 02:04:19 Mw1lTqHM
パリティ演算が負荷にならないのであれば、RAID5がサーバ向けとしては最強っぽい感じがするな。
ML115を買ったばかりなんだけど、オンチップのソフトRAIDでRAID5 (HDD4台）でも
試してみよかな。
827:login:Penguin
08/02/22 02:11:23 rUW8ziB5
>>823
>通常運用時も常にパリティの演算はやってるので、
嘘だっ！
828:login:Penguin
08/02/22 06:09:35 lqV65jWf
>>826
raid5デグレード時のリスクについてはさんざんこのスレでも
語られてるので、読んで納得してからGOすべし。
829:login:Penguin
08/02/22 09:24:59 91jcI2i+
>>828
なるほど、サンクス
やっぱり、落としたくないサーバ＆障害が起きてもマシン負荷や付随リスクを抑えられるサーバにしたいので、RAID1+0にすることにします。
830:login:Penguin
08/02/25 06:57:27 D7C/M5Y7
教えて欲しい
LinuxでRAID5のファイルサーバーを構築したいのだけど
インストールから障害時の復旧方法が載ったHPって無い？
探したけど、構築方法だけのページが多くて
どこかお勧めがあったら教えて欲しい。
831:login:Penguin
08/02/25 10:25:31 9T281o0Y
mdadm？
ならmanのﾍﾟｰｼﾞにあるよ。いちばんお勧め。
壊HDD切り離しから新HDDの追加まで載ってる。
OSｲﾝｽﾄｰﾗ上からのRAID構築手順案内してるｻｲﾄばっか見てるのかな？
初めてなら入れるときはそれでいいと思うけど、
入れたあと必ずman片手にｼｪﾙからの復旧演習しようね。
※ﾃﾞｰﾀﾄﾞﾗｲﾌﾞのみRAIDするんなら簡単だからｼｪﾙでRAID構築したほうがいい。
832:login:Penguin
08/02/28 08:11:12 7NHGqqq8
HDL-GTシリーズをRAID5で運用してたけど、突然RAIDが崩壊…。データ吸い出したいけど、どうしたらよい？
SATA→USBに変換するケーブル４つ買って来て全部接続して、KNOPPIXから復旧できるかな？
一つだけ接続してログを確認したけど、ログがメモリ上に吐かれる仕様みたいで、ログが追えない。なにが起きたのか把握出来ないのが痛いのだが…。
833:login:Penguin
08/02/28 17:29:56 juedGX85
なんか見覚えのある書き込み。
>>620 = >>832 ？？
834:login:Penguin
08/02/28 20:50:22 7NHGqqq8
>>833
あ、いや違います。
SATAが４台つくマシンがないので、そもそもSATA→USB接続では復旧不可能なのかと思って。
でも、症状は同じみたいなので、やっぱりダメかな…。
なんだか、物理的な生涯ではなさそうなんだけど…。
835:login:Penguin
08/02/28 21:40:45 juedGX85
ベースがLinuxとはいえ、哀王がカスタマイズしている可能性があるから
下手に余計なことをせずに哀王のサポートに電話した方がいいと思うよ。
836:sage
08/02/28 23:54:03 AxfU3lU5
>>835
ありがとうございます。
すでにIOサポートには電話済みですが、RAIDの崩壊はまったくサポートしてくれませんでした。
データ復旧会社を紹介されて終わり。ひどい。。。
というわけで、自力でできないかと模索しております。きびしいですかねぇ…
837:login:Penguin
08/02/28 23:55:11 AxfU3lU5
sage入力欄、間違えた。。。
838:login:Penguin
08/02/29 00:08:26 Gwi7QNca
貶す意図は全く無いが、ここでこんな質問してる状況では厳しいと予想する。
暗に、Nonスキルでお手軽一発回復できる方法教えてくださいって意味だろ？
学習意欲無い人に親切丁寧に付き合ってくれる人ここには少ないよ。
他のコミュニティを頼ってみては。
839:login:Penguin
08/02/29 00:13:55 pUCuLP0q
>>836
>>620の時の流れを見てもあまり有用な情報が出なかったもんねえ。
あれも結局どうなったか分からないし。
いいアドバイスできなくてスマソ
840:login:Penguin
08/02/29 01:02:48 NeboVMG8
>>836
自分で書いている通り、SATA→USB 4つは試す価値があるかもね。
あと、物理的に1台分格納可能な空間が4つあれば、loopback deviceでmdadmとか。
...できないかどうか知らないが無茶っぽいか。
助言が得られないというより、
崩壊したRAIDは基本的に救えないというオチかな。やっぱり。
841:login:Penguin
08/02/29 03:31:32 js7jhxfr
そしてまた、RAIDはあくまで可用性向上のためのものなので、
バックアップを取っておくのは必須という大前提が出てくるわけですな。
842:login:Penguin
08/02/29 10:24:30 ZfFSkAXp
RAID復旧なら、こんな記事もあるが。
URLﾘﾝｸ(www.linuxjournal.com)
843:sage
08/02/29 11:52:28 ej7ymfjg
836です。
>>838
RAIDに関しては確かにNonスキルですが、Linuxは自宅でもいじってます。
至急復旧しなければいけないほどではありませんので、のんびり勉強しながらやってきます。
人柱になってもよいので、可能なことがあればやってみます！
>>840
なるほど、4台分全部イメージで吸い出して、1台に乗っけてloop back デバイスってことかな？
たしかに行けるかもしれませんが、全部で2T…orz
>>842
ありがとうございます。いま手元にないんで、ちょっと試してみます。
とりあえず、SATA→USBケーブルが１つだけあったんで、1台ずつくっつけて
mdadm --examin
でRAIDパーティションを見てみたけど、意味なかったかな？
844:login:Penguin
08/02/29 20:17:36 RZopCDve
LINUXいじってんならman見てわかんない？
その機種がどうとかいう問題以前にちゃんとmdadm使えないと無理。
一度ｱﾚｲ作って→壊して→復旧とかやってから出直し。
とりあえず>>620くらいやるのが普通。
それとloopbackなら最低1.5TB～出来たら2TBの作業領域、
実ﾃﾞｨｽｸ使うなら(危ないけど)SATA-USBがあと3つ要る。
どっちか用意しないことには何もできん。
って、ここまで書いてから気付いたんだけど本体ハックしてtelnetで入れないかな？
持ってないから知らないけれど、telnet化出来て本体起動するんなら。
845:login:Penguin
08/02/29 20:23:12 Gwi7QNca
>>843
むう、勉強する気があるならまず全ドライブをイメージ化してどういう配列になってるか調べてみたらいい。
/var/logがあるとすこぶるわかりやすいのだが、無ければ何か大きめのtextファイルを探す。
あと、NAS側で再構築すればRAID情報は初期化できるわけで、diffしてみたりFS部分書き戻してみたり・・・
もちろん各試行はvmware等で事前に実験成功させてから。データのバックアップは完全に取ること。
まぁ一般に考えられるような様々な対処が可能なのでやってみたらいい。
そしてエラーメッセージも書かずにどうかな？とかはチラシの裏へ。
846:840
08/03/01 00:14:18 zNKGHS78
>>843
0.5Tが4枚、1つのカーネルから論理的に見えていれば何でもいい。
1つが実HDD、1つがlocal fs上のfileへのloopback、
残りがNFS上のfileへのloopbackとかでもいい。はず。
まあでも、傷を深くしないためには2T分の複製確保からか。
人柱乙
847:843
08/03/01 12:08:49 MTZD+9N+
みなさん、どうもです。
>>844
たしかに、もうちょっと自分でmdadmの勉強・実験は必要ですね。
もちろん、本体のTelnet化はしておりました。ただ、RAIDが崩壊してからTelnetで入れない状況に。
>>845
ドライブをイメージ化してどういう配列か調べる、というのはどういうこと？
RAIDの配列がどうなってたか、という意味でしょうか？
/var/log は、HDL機では /var が RAM上に切ってあり、一度電源を切った時点で消滅。。。
エラーメッセージもたぶん消滅。これがかなり痛かったです。
NAS側での再構築の方法はマニュアルに載ってあるけど、その後のdiffとかFS書き戻しってどういう意味でしょう？
イメージ化した元のドライブとのdiff？
>>846
了解。やっぱり、まずは複製か。とりあえず、dd で吸い出せばOK？
方法より、場所の確保の方が難しそうだorz
848:login:Penguin
08/03/01 12:24:51 V1aTYABK
それにしても、哀王HDL-GTの被害者はこれで2件目。
このスレに書き込まないで哀王の言うとおりにデータを諦めているユーザーも
もっといるかもね。
結構ヤバイ製品？
849:843
08/03/01 15:09:46 MTZD+9N+
ほんとに。。。なーんにもしてないのに、月曜日会社に来てみたら「ぴーぽーぴーぽー」ってサイレンなってた。。。
「HDD外して再起動してダメだったらデータ復旧会社へ」的な案内だった。
「こういうことはめったにないんですが」って言ってたけど、ありゃしょっちゅうだな。
850:login:Penguin
08/03/02 00:04:58 t3uOwrRE
余りストライピングについては語られないのね..
851:login:Penguin
08/03/02 00:10:20 i5pT7HBy
RAIDじゃないから。
852:login:Penguin
08/03/02 00:12:24 090WhxWO
>>850
需要が無いからな。
853:日記
08/03/02 12:51:56 emEwbtI/
2.6.24.3のDebianでPMP使用中。
SiI3726上に3デバイス接続し、（sda, sdb, sdc）
MDを使用してRAID5で運用中。
テストとして、このうち1デバイスをそのまま外してみました。
（当然）link down。
しばらくして/proc/mdstatは[UU_]となる。
再び同じポートに再接続。
link up。
sddで認識しました。
/proc/mdstatは[UU_]のまま。以下のコマンドでhot add。
sudo mdadm /dev/md5 --manage --add /dev/sdd1
問題なくリカバリー始まってます。
続いて以下のコマンドでremove。
sudo mdadm /dev/md5 --manage --remove /dev/sdc1
以下のメッセージ。デバイスは既に削除
mdadm: cannot find /dev/sdc1: No such file or directory
でも/proc/mdstatは
active raid5 sdd1[3] sda1[0] sdc1[4](F) sdb1[1]
で、sdc1がFailedフラグ立ったまま、まだいます。
854:login:Penguin
08/03/02 13:43:40 hc9C85N7
何かと思ったけどポートマルチプライヤか。
RAIDと関係ないがPMの安定性とかはどう？
855:853
08/03/02 15:49:23 cyhXWBFJ
リビルド完了したので、--examine --scanしてみました。
sdc1にFAILEDフラグのまま
次にrebootかけてみました。
再びsda, sdb, sdcで認識。
cat /proc/mdstatしたところ、普通に上記で正常動作。
どうやらmdadmも今はuuidしか見てないんですかね・・
Sargeの頃はmdadm.confにしっかりsd*が記録されて、
認識順によっては問題が起こったりしたんだけど。
PMP周りとの相性は良さそうですね
PMPの動作自体はとても安定しています。
1つのSiI3726にSATA1とSATA2のドライブが混在しても
認識に問題なし。
ただSATA1のhotplugはまだ試してません（無理だろうな）
856:login:Penguin
08/03/04 20:13:01 LTSRnmt7
お邪魔します。
RAID5のパリティ生成順について質問なのですが、
パリティ生成順の指定において
「left-symmetric / left-Asymmetric / right-a(略」という言い方と
「forward / backward 」という言い方がどう対応しているのかがわかりません。
それぞれの対応は「forword」=「left-symmetric」 という理解でOKでしょうか？
857:login:Penguin
08/03/04 20:18:38 f138xmmP
forward / backwardは何語ですか？
858:login:Penguin
08/03/08 01:42:36 aT+xoS78
RAID5で、4台のうち2台をFail にした場合、再度RAID5で起動させて復旧するにはどうしたらいい？
859:login:Penguin
08/03/08 02:25:14 i/j6Zvyv
神に祈る or タイムマシンを購入する
860:login:Penguin
08/03/08 02:32:49 9FWYbXMd
>>830
０度アダプターの説明書に書いてある。
寒心しろ。
861:login:Penguin
08/03/08 03:46:27 081564QA
HDD4台でRAID5なんて使うなと思うのはヲレだけだろうか
862:login:Penguin
08/03/08 10:05:13 ikYk3pOb
4台でRAID5とか別に普通の構成じゃん。
863:login:Penguin
08/03/08 10:09:55 /ZyWFvm5
HDDがいっぱいだと何かいいことあるの？
二台同時に逝ったら終了なのは何台構成でも一緒でしょ。
っていうか一杯あったら10とか50とかにしない？
864:login:Penguin
08/03/08 10:41:27 i/j6Zvyv
>>863
> HDDがいっぱいだと何かいいことあるの？
容量効率が高くなる。
(4台だと 3/4 (75%) の容量だけど、10台だと 9/10 (90%) の容量が使える。)
でも、当然 HDD 故障のリスクが高くなる。
ちょっと前に 10D + 1P + 1S の構成を提案したアホＳＥがいて、案の定リビル
ド中にもう一台こけて大騒ぎになってた。
865:login:Penguin
08/03/08 11:38:35 +bpbSTe0
>>864
へぇ
素人感覚で10台ならRAID5も(何とか)大丈夫って思ってたけど
やっぱりまずいのか…
866:858
08/03/08 12:48:01 aT+xoS78
テスト用にいろいろ試してみたけど、当然、通常の起動はしないよね。
で、RAIDを同じ構成で新規作成してみると、中のデータは残ってた。
これって普通？物理障害でなければ、同じ構成で新規作成すると中身は見えるのかな？
867:login:Penguin
08/03/08 13:41:34 Omwxt5MP
１台壊れたらアウトってよりずっとマシ
まあ気休めと言われればそれまでだけど
868:login:Penguin
08/03/08 14:56:33 +bpbSTe0
>>866
実装によるだろうけど……期待してはいけない類の動作だと思う
仮に起動できても、データが本当にそのまま残ってる（化けてない）
という保証をするのはやっぱり大変なわけで
869:login:Penguin
08/03/08 16:07:01 F8QvG82q
>>867
高可用性と高完全性は全然違うよ
870:login:Penguin
08/03/08 17:04:17 HhRa/8NZ
やっぱRAID1+0が最強だよな
871:login:Penguin
08/03/08 17:14:30 MMP300iC
同じ4台なら、RAID10よりRAID6の方がいい。
872:login:Penguin
08/03/08 17:21:18 RSpr94Wo
いや6はwriteペナルティがあるでしょ
5,6はキャッシュとバッテリ積んだ装置でwrite backで運用するものだと思っている
873:login:Penguin
08/03/08 18:13:10 +bpbSTe0
>>872
後学のためにkwsk頼む
874:login:Penguin
08/03/08 18:47:50 RSpr94Wo
RAID5,6で writeする場合、新データに併せてパリティも更新します
write範囲がストライプ全体ならば新データのみで新パリティを生成できます
しかし write範囲がストライプの一部の場合には
新パリティ生成のために diskから readする必要があります(古いデータなりパリティなり)
なのでRAID5,6での write処理は、read -> 新パリティ生成 -> writeという手順を踏みます
遅いディスクI/Oの readが余計に入るのでwriteペナルティと呼びます
これを解消するために高額なRAID装置だとキャッシュ(メモリ)を積んでいて
ホストからキャッシュにwriteした時点で応答を返し、ホストでは writeが完了します
実際のdiskへの writeはRAID装置が暇な時非同期で行ってます
これが write backです
ただし write back運用するとデータがRAID装置のメモリ上にしか存在しない時間が存在します
このとき停電とか起きるとデータが消えちゃいます
なのでバッテリなどによってキャッシュ保護してるRAID装置もあるんですよ
あとね writeに不具合があるとデータとパリティがあってないことになるんですよ
この状態でディスクが故障するとデータ復元した際に不正なデータになっちゃうんですよ
ちょっとRAIDをかじると5とか6は怖いなと思うわけですよ
普通はそんなこと気にしないけどね
875:login:Penguin
08/03/08 19:15:46 RSpr94Wo
でも上記の話はRAID装置だけで考えた場合であって、当然OS作る人も認識してると思う
私は詳しくないけどファイルシステムで大抵が救われているんじゃないかと思っている
詳しい方解説頼む
876:login:Penguin
08/03/08 22:34:45 i/j6Zvyv
> あとね writeに不具合があるとデータとパリティがあってないことになるんですよ
> この状態でディスクが故障するとデータ復元した際に不正なデータになっちゃうんですよ
Write に不具合と言うのが具体的にどんな現象かよくわからんけど、ディスクにうまく書け
ないことを言ってるなら、RAID でないシステムだと HDD 故障がなくても不正なデータにな
ると思うぞ。(要するに、HDD の故障と同じだ。)
877:login:Penguin
08/03/08 23:10:14 RSpr94Wo
writeに不具合ってのはディスクやバスのエラーなんかを考えていただければ
でwriteに失敗した場合 write through運用ならホストが失敗を認識してリトライなりメモリ保持なりで救われます
write back運用でも RAID装置が失敗したことを認識してるんでキャッシュ上にはデータを保持しとくんですよ
RAID1系なら不正データの範囲は write失敗した範囲と一致してるのでリカバリが取りやすいです
一方でRAID5,6などの場合、故障HDDによっては write失敗とは異なる場所でも不正データになってしまうんですよ
この点がパリティ使うRAIDの弱点ですね
878:login:Penguin
08/03/08 23:19:58 cwkxJK45
可能性の話よりもMTBFのような数値を出してくれると
ありがたいのですが。
879:login:Penguin
08/03/08 23:29:17 RSpr94Wo
FCやSCIとATAのHDDだと一桁以上違いまっせ
具体的な数値は出せませぬ
880:login:Penguin
08/03/08 23:42:30 RSpr94Wo
タイポでSCIじゃなくてSCSIね
881:login:Penguin
08/03/09 00:38:56 +CxxF4jb
>>874
勉強になります
ぱっと思いつくところだと >>875 は
ファイルシステムのクラスタサイズと[ストライプサイズxデータドライブ台数]が一致してれば、
クラスタサイズより大きいファイルについてはwriteペナルティは減らせそうですね。
882:login:Penguin
08/03/09 00:45:02 1EA/Vx3i
>>877
> 一方でRAID5,6などの場合、故障HDDによっては write失敗とは異なる場所
> でも不正データになってしまうんですよ
> この点がパリティ使うRAIDの弱点ですね
意味わからん。
RAID だろうがなんだろうが、HDD にうまく書けないことが認識できたら、
リトライしてうまくいけばそれでＯＫ
リトライで救えなければ非 RAID 装置なら上位に報告するだろうし、RAID
システムなら該当の HDDを切り離して運用を継続するだけだろ。
初期の RAID システムの不具合事例を引きずっているか、「RAID 5/6 って
なんか難しいことやってるんだろうなぁ」って言うイメージで語ってるとし
か思えない。
883:login:Penguin
08/03/09 01:32:14 Owod6HM6
例えば1ストリップだけのwriteが失敗した場合、
RAID1系であれば失敗した1ストリップだけリカバリすれば良いんですよ
これがRAID5,6系だとwrite失敗したストリップは当然不正データでリカバリ対象なんですが
他のディスクが縮退してた場合そこのストリップも不正データになるんですよ
まぁ二重障害で救えないケースとも言えるんだけどね
884:login:Penguin
08/03/09 01:46:17 whs0OwrB
>>883
縮退してなかったらリトライだろ？
885:login:Penguin
08/03/09 02:03:27 Owod6HM6
実装にもよるんでしょうけど縮退かどうかに関わらずリトライを試みると思うよ
でリトライ中に他の範囲にreadが入ってもRAID1系なら問題無し
RAID5,6系で同じストライプの他の範囲にreadが入ってそこが縮退してたら救えないよという話です
886:login:Penguin
08/03/09 02:16:32 Owod6HM6
ごめん
writeリトライ中ならそのデータとパリティを保持してるんで
理論上は他のディスクが縮退していてもそこのデータは復元できます
でもここまでリカバリしてくれる RAIDの実装ばかりではないでしょう
ということで救えないと書きました
887:login:Penguin
08/03/09 03:09:10 NAmJLF0M
なんかわけわからん議論してるように見えてるが、俺は>>870の言うとおりRAID10が最強と支持！
888:login:Penguin
08/03/09 03:13:49 42IbcYLo
なんかわけわからん議論してるように見えてるが、俺はRAID5+テープバックアップが最強と支持！
889:login:Penguin
08/03/09 03:31:12 0nz1PJia
>>888
RAIDはあくまで可用性向上の技術なんだから、バックアップ取るのは
当たり前のことやん…
890:login:Penguin
08/03/09 04:30:58 whs0OwrB
>>885
>>886
なるほど。
よくわかりました。。。
891:login:Penguin
08/03/09 04:39:34 Jd58I2JL
>>882
>初期の RAID システムの不具合事例を引きずっているか、
結局これじゃないの？
892:login:Penguin
08/03/09 10:03:46 qGlnqLo+
>>886
長い
まとめると、一部のRAID5,6実装であらゆるRAID1より完全ではないものが存在する
ということか？
あらゆるRAID5,6実装に適用してるかのような表現があったことと、
RAID1の実装がどこの機器でも完璧だとする考え方は直した方がいい。
893:login:Penguin
08/03/09 11:50:22 Owod6HM6
RAID1に比べてRAID5はエラー処理が複雑なんで(当然RAID6はそれ以上)
同じRAIDの実装ならRAID5の堅牢さはRAID1と同等かそれ以下だと思って上記のように書きました
現状のRAID5,6もRAID1と同等のリカバリが実装されているならそれは私の認識不足です
リカバリの程度はRAIDの実装によりピンキリだとは思いますが
894:login:Penguin
08/03/09 12:10:15 1EA/Vx3i
>>893
そんなあやふやな知識の癖に、
> この点がパリティ使うRAIDの弱点ですね
なんて書くから叩かれる。
>>892 が言うように論理的な話と、実装を含めた話はちゃんと区別しとかないとね。
895:login:Penguin
08/03/09 12:21:51 Owod6HM6
しっかりした知識をお持ちでしたら
現状のRAIDがどこまでリカバリできるのか解説してくださいよ
自分の知らない実装については推定にしかならないので
896:login:Penguin
08/03/09 12:48:37 1EA/Vx3i
逆切れ？
現状の RAID って何？
実装の話するなら、具体的な機種名とか挙げなよ。
論理的な話であれば、Write に失敗する時にはバッファにはパリティを含む正しい
データがあるはずだから、Read 要求が来たらそれを返せばいいだけのこと。
RAID1 と RAID5 で何の違いもないよ。
897:login:Penguin
08/03/09 13:33:30 Owod6HM6
バッファに無い領域 read要求されてそこが縮退してたらどうするわけ?
898:login:Penguin
08/03/09 14:07:32 1EA/Vx3i
縮退している状態で Write エラーが発生したってこと？
縮退してるにもかかわらず Write していると言うことは、縮退の元となった
ディスクと今回 Write エラーが発生しているディスクは違うと言うことだよ
な。
1. とにかく Write リトライを優先して、リトライ完了してから Read 要求に
答える。(リトライに失敗したら、２重障害で Read 要求と Write 要求の
両方にエラーを返す。)
2. Read の方を優先させて、通常の縮退動作 (残りのデータとパリティがもと
データを作成) を実施して Read 要求に答えてから、Write リトライを実施。
２重障害が発生している時に凝ったことしてもしょうがないから 1. でいいん
じゃないか。
RAID1 でも同じだろ、縮退中と言うことはもう一方のディスクは壊れてるわけ
なので、バッファにない領域のデータを読もうとしたら Write リトライ中の
ディスクから読むしかないんだからさ。
899:858
08/03/09 15:42:25 jN91s3c8
>>868
やっぱりそうか。。。
2台をFailした状態からとりあえず強制的にデータを救うのはRAIDの再構築以外にはないかな？
--force オプションでもあがらないよね。一時的にでもRAID情報を書き換えて、正常起動させる、なんてことは不可能？
900:login:Penguin
08/03/09 15:49:32 qGlnqLo+
あーあー
>>892 に追加しよう、
自分の書き込みが自らの推測であることを毎回明記すること。それから
暗黙のうちに完璧なRAID1実装例とそうではないRAID5実装例を比較し
結果をRAID5方式そのものに当てはめないこと。
その上で複雑化した方式の抱える弱点やデメリットといった話題にしてくれ。
例えば安物ハードのRAID1、RAID5では5の方が危険性の高い実装が多そうな気がする、
といった具合で。でないと意図しない部分へのツッコミばかりになると思うよ。
901:login:Penguin
08/03/09 16:21:54 jyKfmYsF
荒れてますね。
>>893
>>あとね writeに不具合があるとデータとパリティがあってないことになるんですよ
>>この状態でディスクが故障するとデータ復元した際に不正なデータになっちゃうんですよ
当方OS屋です。RAIDの実装にはそこまで詳しくありませんが、
ジャーナリングファイルシステム上では、通常このような問題は起こりません。
なぜならば、データにはメタデータと実データの２つがあり
書き込みに不具合があった場合にはメタデータの更新を行わないから。
書き込みに不具合があった場合には「代替セクタ」に書いてからメタデータを更新します。
不具合を起こした領域には二度とアクセスしません。
不具合があってさらに「代替セクタ」への書き込み前に電源が切れた場合には、
１、再起動時にRAIDソフトが管理するファイルシステムの検査を行う
２、RAIDソフト側で一致しないメタデータと実データを補足する。
３、一致しないデータに対応する、RAIDソフトが管理する他のHDDの実データとメタデータを元に戻す。
902:login:Penguin
08/03/09 17:44:23 fj+FBdFH
カッコンカッコンカッコン…
903:login:Penguin
08/03/09 19:10:02 pRpyLmYY
RAID5で2台Failした場合になんとかする方法を研究するくらいなら
2台壊れたときでも大丈夫な手を用意するだけのほうが
最終的に安上がりなんじゃないの？
904:login:Penguin
08/03/09 20:27:46 tUD2p1yz
そうは言うけど、linuxのmdでsataケーブル抜けなどの理由で
複数台HDD failになった場合になんとかして復旧させる方法を
調べるのはいいことじゃないだろうか。
905:login:Penguin
08/03/09 21:39:04 IfJmdx2K
>>903
個人ベースでテープライブラリなんて持てないしなぁ。
RAID5運用するなら、外付きHDDでバックアップ用のRAID0アレーでも持ってた方がいいのかな？
906:login:Penguin
08/03/09 23:38:49 NAmJLF0M
ところでうちのRAID10(3wareのハードウェアRAID HDD4台）で縮退⇒リビルドの試験運用を
なんどかしておきたいのだけど、この方法ってどれか一つのHDDを別の新しいHDDに
差し替えてみるだけでOK?
907: ◆Zsh/ladOX.
08/03/09 23:57:11 A1+oRS+P
うん。
908:login:Penguin
08/03/10 03:04:09 OuINuyls
>>905
それならRAID1+0か1台足してRAID5+1の方がいいんじゃない？
909:login:Penguin
08/03/10 04:28:41 V+IqLp+M
>>908
Array１つだけでって意味で言ってるよね？
>>869
910:login:Penguin
08/03/10 14:46:39 DwfpLEhU
>>899
スレの前の方で書いたけど
・一台だけダミー準備して前と同じパラメータでraid新構築
・ダミー外してから フォーマットせずに、
・ファイルシステムを確認
ならやった。
911:login:Penguin
08/03/11 00:58:36 dS6lXRcN
>>901
書き込みエラー氏の理屈になにかが抜けてると思ったら「ジャーナリング」だったか。
ま、普通raidの上にFATやらext2やら乗せた運用しないもんなあ。
912:login:Penguin
08/03/11 22:29:17 1/VL/9HH
RAIDRAIDRAIDRAIDRAID…
DRAIDRAIDRAIDRAIDRAI…
913:899
08/03/12 00:09:18 7LYHERNv
>>910
レスありがとうございます。>>737の方かな？
それでデータは救えたってこと？
914:login:Penguin
08/03/12 20:28:35 UoWQ0rhV
一秒間に十回RAID発言とは流石クラウザーさん
915:login:Penguin
08/03/12 22:33:53 Ut4EhZL1
>>914
自演乙
916:login:Penguin
08/03/14 10:05:45 gBTXx3gb
うーむ、HDDを買いだめしておきたいのだが、ネット通販で最安値のものを注文してもいいものかどうか…
がんばってでもアキバまで足を運んで、手動で買うべきか、うーむ
宅急便のにいちゃん、手荒く扱っちゃいそうだからなあ
917:login:Penguin
08/03/14 19:01:53 mUI1Nkxk
seagateの1TBがもっと安くならないかな～と待ち中。
間違ってもRAID用に灼熱WDなんか使いたくないしね。
918:login:Penguin
08/03/14 19:10:57 XHTdd8Fa
何時の時代の人ですか?
919:login:Penguin
08/03/14 19:14:13 mUI1Nkxk
WDは2～3年前に買ったっきりだけど、今はマシになったの？
もしそうなら2～3年前の人ってことでオーケーです。
920:login:Penguin
08/03/14 19:15:09 NJBMEY94
午後7時
921:login:Penguin
08/03/14 19:21:11 L6YmRqFT
あれー、今は知らないけど
当時のseagateって、RAIDには最悪って言われてなかったっけ？
ランダムに弱いからって。
922:login:Penguin
08/03/14 19:28:30 L6YmRqFT
あ、RAID1なら関係ないか。
923:login:Penguin
08/03/14 19:29:27 mUI1Nkxk
う、まじっすか。
今は低発熱が気に入って日立使ってますが、Seagateの5年保証が気に入って
日立が壊れるたびにSeagateに付け替えていこうと思ってんですが。
数年前に仕事で使ってたFCタイプのSeagateが呪われたように壊れつづけた
のでSeagateから逃げてましたが、もうそろそろいいかナ～なんて思ったり。
924:login:Penguin
08/03/15 01:48:28 dich6RrE
逆にIBM/HGST壊れまくって旧幕に逃げて、その流れで今海門
何年かのうちに旧IBM～HSGTの3.5inで通算5台くらい買ったけど、1年持ったのが1台か2台
旧幕の一年生存率は9/9、海門が11/12とかそんな感じ
まぁサンプル数が少ないんで参考にならんが
925:login:Penguin
08/03/15 01:58:42 g7/oypWn
漏れも海門いかれやすい気がす。むしよ日立より弱いような。3本ぐらいやられてる。
(最近の)WDは言われるほど悪くないというか安くて普通に使えてありがたス。
926:login:Penguin
08/03/15 03:00:11 dich6RrE
WDは可もなく不可もなくって感じかなぁ
メーカーからバラして同時故障のリスク分散するときには普通に入れてる
SamsungはSMART温度を詐称してるとしか考えられない実験結果が出たんでパス
927:login:Penguin
08/03/15 04:38:02 uTcCVxY6
WDはCP高いけど故障率も悪くないし意外と静かで重宝してる
928:login:Penguin
08/03/15 07:36:18 ZiFRW5ND
サムソンは某メーカーのデスクトップPCにPATA/SATA問わず入ってるけど
よく壊れた。
最初のうちは提供される保守部品もサムソンだったけど、あるタイミングから
Seagateに変更されました。
WDはCPがいいから気になるけど、発熱が心配。
ミドルケースに日立250GBを7本入れてもSMART読みで45度くらいなんで
問題ないけど、WD1TBを5本入れたらどういうことになるかが気になる～。
発熱が昔のままなら話にならんでしょうが。
929:login:Penguin
08/03/15 11:51:01 g7/oypWn
そんな熱くならん気がするよ。特に最近の低電力のグリーンマーク付きのやつは。
930:login:Penguin
08/03/15 13:05:25 eVRz8RhA
そうですか。
では値がもっと下がってお買得感が増したら候補の一つに入れることにします。
931:login:Penguin
08/03/15 13:05:58 H3jr+ZGF
WDの320GのRAID Edition使ってるけど日立の同じころのものより温度低いくらいだよ
932:login:Penguin
08/03/15 13:21:31 eVRz8RhA
日立より低発熱とはすごいですね。
RAID Editionというのが気になりますが。
日立よりも安いのかな？
実は入院中でzero3使って2ch見てるから情報集めがやりにくい。
おとなしく寝てろやって言われそうですがｗｗｗ
933:login:Penguin
08/03/15 18:40:38 Sv0ZIH8W
うちのやつが稼働中で、Seagate（たぶん旧Quantum系列）30度くらいに対して、日立20度くらいなんだよね。
日立のがあまりに低すぎて妙だな～って思ってた。
934:login:Penguin
08/03/15 21:07:16 AuqGP0Ji
昔DOS/V magazineで各メーカーのHDD温度をサーモグラフィーで調べる特集があって
WDが絶望的な温度(たしか60度超え)で、日立のみ圧倒的に温度が低かったという
調査結果がありましたよ。
935:login:Penguin
08/03/15 21:10:24 O5SPfuA3
つーかモデルによって差が大きい
936:login:Penguin
08/03/15 22:59:24 g7/oypWn
何年も昔の話したってしょうがないよ。
なくなったり身売りしたりブランドだけになったメーカーもあるしな。
937:login:Penguin
08/03/16 00:37:35 xHFK8htS
>>934
SMOOTH搭載の幕を忘れないでください(><).
938:login:Penguin
08/03/16 03:21:44 1URgJAVo
やっぱRAID組むなら5400rpmだな
939:login:Penguin
08/03/16 11:05:53 7whQNlrs
いやいや、ここはちきゃうにやさしい
２．５インチ３２００ｒｐｍあたりでどうでしょうか
もっと地球にやさしくなら3.5インチ ＦＤｘ4つでｒａｉｄ5ですかね
940:login:Penguin
08/03/16 11:41:19 d3YpNF0P
面白そうだけど、FDDを4つも用意できねえ。
941:login:Penguin
08/03/16 12:01:34 dbf3Oj3L
て言うか、容量あたりに換算したら全然地球に優しくないし (w
942:login:Penguin
08/03/16 22:39:15 Tp1q2oF/
>>939
これか？
URLﾘﾝｸ(ohlssonvox.8k.com)
943:login:Penguin
08/03/17 01:27:48 XekpUpM+
いつか125台のFDDで究極の……
って、すげーうるさそうw
944:login:Penguin
08/03/17 08:01:49 kAM4n2Ym
普通はカッカッカカッ
>>943はガッガッガガッ（+モーター音とシャーというディスクがこすれる音）
945:login:Penguin
08/03/17 16:21:26 nAdw/gKv
攻殻でＦＤＤを記憶ディスクにしてたやつが出てきたなあｗ
946:login:Penguin
08/03/17 20:15:17 f4VOYkBh
SuperDiskかもしれないよ！？ｗ
947:login:Penguin
08/03/17 23:52:26 oNOwBBIG
ホログラムディスクだろ
948:login:Penguin
08/03/20 09:40:04 s6kqo6k9
今はWD愛用中。
日立…静かで低発熱だが故障激しい
Seagate…故障しない。PATA品は低発熱、しかし要求電力が…
WD…安い。故障はいまのところなし。モデルにより発熱の差が大きい
幕…5400rpm品は低発熱低騒音高耐久
サム…怖くて買えない
Quantum…古すぎて今のHDDとの比較は無理
WDはAAKSシリーズは高発熱、低騒音
AACSは超低発熱、超低騒音
EACSは買ったこと内
AAJSは買ったこと内
JSは高発熱、騒音はやや大きい
JDは低発熱、騒音はやや大きい
SDは低発熱、騒音はやや大きい
949:login:Penguin
08/03/20 10:36:58 XA7/JhZN
誤爆のような予感はするが、一応
故障云々はメーカー差じゃなくて品番やロット差だろ
↓以下うちで使ってるメーカーは故障する/しないレス自重
950:login:Penguin
08/03/20 11:07:58 5VPVpAmd
でもこういう情報って参考になっていいよね。
故障うんぬんはおいといて。
951:login:Penguin
08/03/20 11:18:26 K3BE6E8F
昔から日立/IBMの指名買いです。
952:login:Penguin
08/03/20 12:36:58 XMoX7Had
HDD監視ソフトってフリーでも色々あるけど、あの情報を自動収集して
どこかのサイトで統計解析すればいいのに。
南にいくほど故障率があがるとか、使い方による変動はあっても
世界全体での故障率は○×社が一番低いとか、数を集めれば見えるものが
あるはずなんだよな。
953:login:Penguin
08/03/20 12:56:14 6MbzjmVx
送信するときは、csv形式で送信して欲しいな。
バイナリとかで何を送ってるかわからんのは怖い。
954:login:Penguin
08/03/20 12:58:28 pzu9e6El
Wii の「みんなの投票ちゃんねる」で「この一ヶ月で HDD が壊れたか」とか
やればいいのかな。(w
955:login:Penguin
08/03/20 13:58:30 t6Z+0hj9
>>948
ほぼ全て同意。
WDはサンプル数少なすぎてこちらでは何ともいえない
956:login:Penguin
08/03/20 16:26:47 9u/67UXJ
WDは老舗だしSCSI（FCは知らん）も作っている。けど、他より安めだよね。
QuantumはSeagate製品（型番も思いっきりFB***とかでｗ）として残っているよ。
957:login:Penguin
08/03/20 22:35:59 rCpV5oIH
WDはRAIDエディションが安いのがありがたい
958:login:Penguin
08/03/20 23:36:50 /epUW5RY
日立より海門のほが逝きやすいよ。俺だけ当たり悪いのかな。マザボとの相性とか、う～む。
959:login:Penguin
08/03/21 06:38:43 kgEyluf0
>>958
うちは主にサーバ用途（24h稼働）だけど、歴代日立が死にまくる…。
排熱とか電源品質とか、デスクトップなのかサーバなのか（→スピンアップ頻度）とか、
それぞれ条件は違うと思うから、自分の中で法則があるならそれを信じていいと思うけど。
960:login:Penguin
08/03/21 13:13:08 lObywIaC
>>958
海門なら保障へGo!
961:login:Penguin
08/03/21 13:34:27 5t0JGjyu
日立はRMAさえやってくれれば何も言うことはないのだが、
RMAをやってくれないからこそ怖くて買えない。
「日本でだけ」RMAをやってないんだよなHGST。。
殿様商売過ぎだろHGSTというか日立。。。
962:login:Penguin
08/03/21 13:45:10 9BZgu+km
>>959
どれくらいの使用で壊れるの？
HDD故障なんて、おいらはSMOOTH発火に遭遇したくらいだけど。
963:login:Penguin
08/03/21 13:57:35 ueJbWF8x
T7K250の250GB版を6本つかってて、1本だけ半年で壊れた。
症状はデバイスを認識するものの容量が0GBになる。
Twotopの領収証をなくしてしまって保障を受けられず orz
追加で同じHDDを買ってきてつけてるけど、それ以来全く壊れていない。
まぁ運が悪かったってレベル。
少なくともT7K250は低発熱だし不良は1回だけだし、問題ないと思う。
964:login:Penguin
08/03/21 18:29:48 ZDFs6Wnv
500GBx4→500GBx6に初めて追加するんだがraidreconf遅すぎる
1時間で2%・・・2日以上かかるぞ・・・orz
965:login:Penguin
08/03/21 18:37:38 9Hy0MzVw
途中で一本failになったら泣いてしまうね。
966:login:Penguin
08/03/21 19:14:40 ZDFs6Wnv
怖いからやめてくれよ（涙）
容量大きすぎてバックアップも取れない一発勝負なんだから。
967:login:Penguin
08/03/21 21:55:40 3Qn3ZmaY
RAID5か？6本なんて勇者だな。
968:login:Penguin
08/03/22 00:42:20 Dr8iGDBh
failのたびに750GBあたりに入れ替えて漸次容量アップとか思ってたんだけど、
今考えるとなんて無謀なんだ俺orz
今のところRAIDの整合性は問題ないけど、XFSが微妙に不整合してたんで今直したとこ。
969:login:Penguin
08/03/23 15:07:44 o237ZHcq
終わったぜ。全部で40時間くらいか。
>md3 : active raid5 sdi1[3] sdh1[2] sdg1[1] sdf1[0] sde1[5] sdd1[4]
>2441919680 blocks level 5, 32k chunk, algorithm 2 [6/6] [UUUUUU]
>/dev/md3 2.3T 1.9T 431G 82% /data2
終わったはずなのに残り18%・・・orz
970:login:Penguin
08/03/23 15:12:25 UE8bvDeb
HDD増設を前提に考えると
syncする間にHDDにアクセスする回数と、
容量がいっぱいになるまでにアクセスする回数を比較すれば、
RAID5がいかに割に合わないかわかるものだが。
971:login:Penguin
08/03/23 15:40:41 o237ZHcq
>>970
他に何か方法あるの？
972:login:Penguin
08/03/23 15:50:53 UE8bvDeb
>>971
すれ違いだがLVM+別マシンでrsync
973:login:Penguin
08/03/23 15:58:40 o237ZHcq
>>972
それだと容量効率はRAID1と同じ50%の希ガス・・・（解釈あってる？）
RAID5なら6台なら75%なので最終的には8台（87.5%）かなと思ってたんだ。
974:login:Penguin
08/03/23 15:59:46 o237ZHcq
ミスった75%→83.3%
975:login:Penguin
08/03/23 16:20:09 UE8bvDeb
>>973
RAIDはバックアップじゃないよ。
972の方法ならLVMで壊れかけたディスクをpvmoveで
入れ替えたり、死んだらミラーに入れ替えてダウンタイム０
で、ゆっくりと復旧させればよいし。
976:login:Penguin
08/03/23 16:43:15 o237ZHcq
俺は容量のほうが欲しいからミラーはちょっと・・・
同じ構成で今より1TB少なくなるのは痛い、というかハミ出るｗ
977:login:Penguin
08/03/23 16:45:54 UE8bvDeb
>>976
つまり、データの値段＜HDDの値段なのですね。
それもまた人それぞれ。
978:login:Penguin
08/03/23 19:12:52 VGBC95Bv
消えるとまずいデータだけバックアップする方法も有効だろうね。
次に作るとき、例えば同じ筐体にmd0:D4+P1@RAID5とmd1:D4@JBOD/LVMっていう
構成にして、cronでrsyncっていう運用を考えてるんだけど、どうかな。
最低限の可用性確保(個人なら十分)＋バックアップっていう。
素直に別マシンにした方がいいのかな……
979:login:Penguin
08/03/23 19:37:46 UE8bvDeb
>>978
似たような構成をしたことがあるよ。
メインをSCSI-HDD、バックアップをIDE-HDDで１台に押し込めてrsync。
さらにオフラインバックアップを定期的に。
まぁ色々試すのがいいんじゃない。
用途、手間、金、時間、それぞれに応じてやりかたは違うし、
実際に手を動かして得る経験だからね。
980:login:Penguin
08/03/23 21:05:46 4P4qMZhj
>>975
RAIDがバックアップなのじゃないのはわかるんだけど、
個人で使えるTape Libraryってないしなぁ。
LTOは個人では買えないぉ。
981:login:Penguin
08/03/23 21:08:16 4P4qMZhj
>>976
あでも、おれは本当に困るもの(DBとか Systemとか作り込んだアプリのレポジトリとか）は
HW－RAID1のとこに入れてるよ。
そうでもない、まあ消えてもあちゃーで済むくらいのものをSW-RAID5+LVMにしてるな。
982:login:Penguin
08/03/23 21:16:34 UE8bvDeb
>>980
そんなん、リムーバルドック+1TB-HDDでいいじゃん。
983:login:Penguin
08/03/23 21:24:01 4P4qMZhj
>>982
HDDは常時回してないと逆に不安にならない？
984:login:Penguin
08/03/23 21:31:15 UE8bvDeb
たまに電源を落とすと、二度と上がってこなくてねぇ～、
って脅された口？ それとも脅してる方かな。
985:login:Penguin
08/03/23 21:33:15 tWPz9AaR
経験した方なんだが...。
986:login:Penguin
08/03/23 21:49:10 UE8bvDeb
経験したのなら考察せよ
987:login:Penguin
08/03/23 23:16:51 4P4qMZhj
>>986
考察してよ。
騙すとか言ってる位だから、なにか持論をお持ちなんでしょ？
988:login:Penguin
08/03/24 12:21:20 mEYAGIln
データを保存して、2年保管していたHDDが回らなかったことがある。
モーターが固着したものと思われる。
なぜ固着したと判断したかというと、叩いたら直った（w。
さすがに叩いたものなので、動いているうちに違うディスクに保存し直した。
989:login:Penguin
08/03/24 12:42:34 C9S6Ufb7
長期保存向けのdiskとかあればいいのにね。
非常時には556を吹き込む穴があいてるとかw
990:login:Penguin
08/03/24 12:44:43 yZnzLC1x
7980円だったWDの500GBを10台買ってきた
991:login:Penguin
08/03/24 12:45:32 xCc6BPh+
>>983
なるなる！ もう買ってきたら1秒を争って電源入れるね。製造年月日が新しいものを選んで購入するのは基本だよね。
テープも冷暗所に保管するし、地理的にも100km以上は離れた場所に移送してるよ。だって不安になるでしょ？
まぁここまでやってる俺も保守には入ってないんだけどね
992:login:Penguin
08/03/24 13:45:22 rIFf8QUl
保守って何？
993:login:Penguin
08/03/24 14:21:02 oUo/WqjD
壊れた部品をタダでその日のうちに持ってきてくれる、
もしくは次の日に送ってくれる。くらいかな。
994:login:Penguin
08/03/24 15:29:35 rIFf8QUl
>>993
なるほど、サポートですね。
サーバはほとんどアレに金取られている気がする。
995:login:Penguin
08/03/24 16:03:19 jnJzVx7W
>>994
というか、サーバーで大切なのはそこだけだから。
というか結構職人芸が必要だったりする。
けちって文句垂れてる所多いけどね。