12/05/24 20:15:23.58 wAhufKkb
>>502 MDだとネックになってZFSだとならないというのはなぜ？ むしろ遅くなりそうだけど。
505:不明なデバイスさん
12/05/24 21:09:32.33 Xusbc39/
>>504
根拠はありません。ごめんなさい。
読み直して文章になっていませんでしたね。ボトルネックの意は、
同じCPU,メモリーリソースを使った場合、ZFSの方がパフォーマンス
が出たからです。自宅SANで使ってますが、OpenSolarisやFreeNAS
のiscsi targetが速くててOpenfilerが少し遅くてという経験をしているから
かな。
最近CPU,メモリの性能が良くなって、さらにinfinibandでネットワーク
が速くなると最終的にはストレージがボトルネックになるという意味で
す。
506:不明なデバイスさん
12/05/28 01:21:19.81 KBcRq2Nc
Ubuntu10.04でもInfinibandは動くんだな。
OpenSMも入ったし、疎通確認もおｋ。
12.04だと
aptitude install opensm
だけですんだけど、10.04はソースからもってこないといけなかったのがめんどくさかった。
507:不明なデバイスさん
12/05/28 23:05:43.73 2mmlACH9
NexentaStor Version 3.1.3リリースされたけど、これってinfiniband使えるかな。
memory付きのHCA( Infinhost )をさしてCDブートすると、logに
unknown tavor MT25208 Infinihost Ⅲ Exみたいに表示される。カーネルは認
識しているようです。esxi4のiscsi targetにできるでしょうか。ipoibまたはsrpの
どちらでもいいんですが。もちろんopensmも必要です。
web guiではinfinibandの設定画面はなかったような。コマンドラインでできる？
508:不明なデバイスさん
12/05/31 10:17:31.07 H0mjsk4S
NexentaStorとかお手軽にNAS化するのが目的なんだから、コマンドラインから無理して設定するようなものではないように思う。
509:不明なデバイスさん
12/06/01 15:05:31.41 131eRlN4
>507
対応する気はあるみたいだけど、そこまでリソース裂けてない状態。
InfiniBandのIPoIBとかSRPとiSERとかは使えるけど、Webとか管理コンソールからはほぼ触れない。
サポート外のシェルに落ちれば設定可能だけど、WebUIとかに不具合でたりするかも。
個人的にはOpneIndianaなりつっこんで、comstar回りをnapp-itでってのでも十分楽なんだけどなー。
しかし、6月になったのにMellanoxからはESX5用のドライバが出ないわけで・・・。
日本語のページのプレスリリースは嘘なんだろうかｗ
510:不明なデバイスさん
12/06/01 21:36:58.41 V7n/ScAJ
508さん、509さん、ありがとうございます。
IBってコストパフォーマンスあるのでFreeNASやNexentaStoｒに
導入してほしいもんです。Web GUIで操作できると普及すると
思うけどなー。
自分は前に書いたように、FreeBSD + ZFS + IPoIBな環境で落ち着き
ました。FreeBSDの情報が少ないのが困りものですが、いずれSRP
対応するだろうと楽観しています。
511:不明なデバイスさん
12/06/01 21:57:11.28 V7n/ScAJ
つづけて、ESXi4.1 のiscsi targetとしてFreeBSD + ZFS + IPoIBでの
簡単なベンチです。
ESXi4.1( Intel 9550, 8GB RAM, InfninHost ), iscsit target (Celeron E3400,
6GB RAM, InfiniHost, RAID10 by ZFS, HDD x 6個）で対向接続して、
ゲストOS（CentOS6.2, 2CPU, 2048K RAM、32GB HDD)上で、
[root@localhost ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.0149464 s, 702 MB/s
[root@localhost ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.724387 s, 145 MB/s
root@localhost ~]# hdparm -t /dev/sda1
/dev/sda1:
Timing buffered disk reads: 500 MB in 1.17 seconds = 426.33 MB/sec
のような結果でした。ネットワークの速度だけではなくゲストOSとしての総合
的な評価としてみますと大変満足できるものでした。
512:不明なデバイスさん
12/06/02 13:46:39.44 f9oYZ7yH
509だけど、SRPは廃れていく気がするのよね。
iSERで良いじゃんって方向で。
MellanoxのWindows用のSRPドライバでは削除されてるしね。
ちなみにnapp-itはWebGUIね。
EON + napp-itって構成ってFreeNAS使える人ならいけると思うんだけど。
ちなみに、FreeBSDってSolaris系のCOMSTARとかLinuxのSCST的なSCSIの抽象レイヤってあったっけ？
青山さん(isgtdの作者)が、その辺のレイヤ部分が無いので、自前で色々実装してから、SRPもisgtdの
フロントエンド部分を何とかすれば対応出来そうだけど。
513:不明なデバイスさん
12/06/02 21:05:00.98 IN4s7gXA
>>512さん レベル高すぎです。:-)
FreeBSDでってのも、ユーザが少なそうなので試してみようって
ことで。FreeBSＤではSRP target無理だと思います。今のところ
Linux系とSolaris系だけですよね。
LinuxのSRP targetも試してみましたが理解不明なログがでてき
てこれは自分には無理と思いました。
結局TCPのオーバーヘッドありますが、IPoIBに落ち着きました。
IPoIBがおちてもGbEで救済ができるからです。本当はSRPとか
iSERのほうが性能が発揮できそうですが、このあたりはネットで
検索してもなかなか情報が得られない、、。たぶんこれは「飯の
たね」なので表にでてこないのじゃないかな。
Opensolarisのiscsi target(by GbE)は経験ありますが、COMSTAR
は抽象化っですかね。難しそう。しかし、憧れはありますね。はい。
ＮＥＣの安サーバーがありますのでいろいろいじっています。
Linux + SRP target + flashcache インストール中です。
514:不明なデバイスさん
12/06/02 21:44:47.35 IN4s7gXA
連続で申し訳ない。騒ぎすぎならごめんなさい。
ESXi4.1( Intel 870, 16GB RAM, InfninHost ), SRP target (Celeron G1101,
CentOS6.2 3GB RAM, InfiniHost, RAID1 by mdadm, HDD x 2個）で対向
接続して、ゲストOS（CentOS6.2, 2CPU, 2048K RAM、32GB HDD)上で、
[root@ns2 ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.010086 s, 1.0 GB/s
[root@ns2 ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.287052 s, 365 MB/s
[root@ns2 ~]# hdparm -t /dev/sda1
/dev/sda1:
Timing buffered disk reads: 500 MB in 1.11 seconds = 451.71 MB/sec
でした。RAID1にもかかわらず、SRPですので速いです。これからflashcache
追加します。
515:不明なデバイスさん
12/06/02 21:52:28.61 ZLJdsOyr
>>509
6月の第1週にダウンロード可能になるらしいよ、サポート曰く。
それにしても遅いけど。。。
516:不明なデバイスさん
12/06/02 22:26:08.93 IN4s7gXA
>>514
連投です。514にSSDを追加した条件です。
# flashcache_create -p thru -b 1024k cachedev /dev/sdc1 /dev/md127
でSSD (crucial M4 SSD 128GB)を/dev/sdc1, Seagate 2TB 7200rpm のmirror
で再検。
[root@ns2 ~]# dd if=/dev/zero of=/dev/testimg bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.00695022 s, 1.5 GB/s
[root@ns2 ~]# dd if=/dev/zero of=/dev/testimg bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.0679549 s, 1.5 GB/s
[root@ns2 ~]# dd if=/dev/zero of=/dev/testimg bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 0.642254 s, 1.6 GB/s
キャッシュにのるのか１GBの書き込みでの速度が落ちないです。
測定値のばらつきもないので安定しているようです。
[root@ns2 ~]# hdparm -t /dev/sda1
/dev/sda1:
Timing buffered disk reads: 500 MB in 1.00 seconds = 500.93 MB/sec
さすがSRP + flashcacheです。
NEC GT110bに2GB RAM 、 HDD x 2、 ＳＳＤ x 1、IB HCA追加した結果でした。
517:不明なデバイスさん
12/06/02 22:27:52.10 Y5VXD1jR
6月の第1週ならむしろ来週だろ・・・
ホビイスト向けじゃないんだから週末以外の方が時期として適切そうだし
518:不明なデバイスさん
12/06/03 00:34:34.05 PV55ZIYd
winOFED v3.1でてたね
519:不明なデバイスさん
12/06/03 00:35:05.77 PV55ZIYd
先月にwinOFED v3.1でてたのね
520:不明なデバイスさん
12/06/04 09:26:04.33 0fb4fhOO
Infinihostもこれで打ち止めか・・・
521:不明なデバイスさん
12/06/04 16:40:51.06 acnTPI48
>>516
flashcacheって知らなかったけど、zfsのzil diskとかl2arcのような物なのね。
シーケンシャルだと速度は出るけど、実際ストレージサーバとして使うならRandomの方を計測することをお勧めする。
ぶっちゃけシーケンシャルで速度でてもランダムだと酷い値になることが多々あるからね。
あと、メモリキャッシュに乗らない状態で計測してみるのと、fioとか使って、一回Randomの速度を測ってみたら？
522:不明なデバイスさん
12/06/04 16:43:07.23 acnTPI48
>>515,517
元々、本国の方のサポートに問合せしたときは、3月中って話だったんだけどね。
523:不明なデバイスさん
12/06/05 15:48:55.45 PhIJ7Tdi
flashcacheの人はwritethroughでやっぱり使ってるの？
writeback関係は機能とかあんまり汎用じゃないよね>flashcache
524:不明なデバイスさん
12/06/05 20:10:10.25 GQ/lU+Y/
>>523
そうです。writeback、writethrough、writearoundのモードがありますね。
2TBに128GBのSSDですので容量が少し足りないかもしれません。
>>532
助言ありがとうございます。SRP targetの目的がESXi4.1のゲストOS用
です。fioについては前述のSRP targetはしばらく使えないので測定でき
ないのですが、511は手元にありますので試してみました( by IPoIB)
量が多いので抜粋しています。
randread512k: (g=0): rw=randread, bs=512K-512K/512K-512K, ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) : avg=83805.35 iops=163 clat (usec): avg=6104.13
Run status group 0 (all jobs):
READ: io=5120.0MB, aggrb=83741KB/s
randwrite512k: (g=0): rw=randwrite, bs=512K-512K/512K-512K, ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) : avg=120376.88 iops=153 clat (usec): avg=6468.37
Run status group 0 (all jobs):
WRITE: io=5120.0MB, aggrb=78562KB/s
525:不明なデバイスさん
12/06/10 00:24:42.69 +c6ECaom
Windows7 の SRP Boot がうまくいきました。
Target : CentOS6.2 + SCST2.2.0 (Xeon E5-2609 2.4GHz)
Initiator : Windows7 + winOFED3.1 (Xeon E5-2650L 1.8GHz)
・HCA は双方 eBay で落札した Mellanox の MCX353A-FCAT です。
・BootROM について、iPXE はこの HCA に未対応ですが FlexBoot3.3.420 で大丈夫でした。
・Target 側で ISC DHCP 4.1.0p1 に InfiniBand パッチを当てたものを立ち上げ、
その root-path の指定だけで tftp は使わずにすみました。
・tmpfs に置いた60GBのイメージファイルから起動して、速度は下のとおりです。
URLﾘﾝｸ(kie.nu)
・このスレはいつも大変参考にさせていただいています。
あまりお役に立てませんが、ご質問等があれば遠慮なくおっしゃってください。
526:不明なデバイスさん
12/06/10 03:15:30.36 INBxKVA+
おー、速いなあ。
527:不明なデバイスさん
12/06/11 18:31:15.36 HX2YKslR
>>525
FDRうらやましいですｗ
ちなみにインストールからSRP使ってされたんでしょうか？
(iSCSIとかのインストールと同様に)
AIKでイメージ弄らないと駄目なのが面倒で試してないのですが。
あと、iPXEの自前でコンパイルしたBootROMで、InfiniHost系でも同様にSRP Boot可能
だと思います。ただし、メモリ有りのInfiniHostはiPXEのコンパイルが通りませんでしたが。
ネタとしてこの辺を投下しておこう。
URLﾘﾝｸ(blogs.technet.com)
SMB2.2は結局SMB3になったのね。
528:不明なデバイスさん
12/06/11 23:30:12.24 6MJGGMHq
>>527
FDR、恥ずかしながら使いこなせていません。
一つには PCIe Gen3で動作していない可能性があり、M/B(Rampage IV Extreme)は
Gen3対応のはずですが、3.4GB/sで頭打ちします。
（PCIeの動作状況をリアルタイムに確認する方法はないものでしょうか）
iSCSIのようにWindowsAIKでカスタムメディアを作る方法は、dismでOFEDのドライバを統合する
あたりまでうまくいったのですが、imagexによるイメージキャプチャの段階でつまずきました。
そこで無骨ですが、いったんローカルのSSDにOFEDとsanbootconfを含めてインストールし、
そのダンプイメージをddでTargetに転送する方式をとりました。
iPXEは残念ながら、15B3:1003ではコンパイルが通りませんでした。
529:不明なデバイスさん
12/06/11 23:51:21.74 6MJGGMHq
SMBはかなり良くなるようですね。
Windows Server 2012 Betaには最小限のドライバが入っていますが、新しいものをここから落とせます。
URLﾘﾝｸ(www.mellanox.com)
（これを入れるとFirmwareが2.10.2280に更新されますが、Flexboot3.3.420とは相性が悪いです。）
MellanoxのTwitterによるとServer同士の場合にのみ有効とのことなので、
Server同士でramdiskを共有フォルダにして計測してみました。
Sequential Read : 642.313 MB/s
Sequential Write : 825.390 MB/s
Random Read 512KB : 593.501 MB/s
Random Write 512KB : 721.289 MB/s
Random Read 4KB (QD=1) : 35.011 MB/s [ 8547.6 IOPS]
Random Write 4KB (QD=1) : 36.585 MB/s [ 8931.8 IOPS]
Random Read 4KB (QD=32) : 286.451 MB/s [ 69934.3 IOPS]
Random Write 4KB (QD=32) : 206.025 MB/s [ 50299.1 IOPS]
530:不明なデバイスさん
12/06/14 21:04:34.78 8PFnQGbi
QLE7240がebayで安く購入できたので、一応DDRなので期待して
２台のCentOS6.2-x86_64を対向接続してiperf測定してみました。
hostA
# iperf -s
hostB
# iperf -c 192.168.x.x
IPoIBな環境ですが、以下のファイルから構築しました。
1) OFED-1.5.4.1.tgz
2) QLogicIB-Basic.RHEL6-x86_64.7.1.0.0.58.tgz
いずれの場合でも1.3~1.5Gbit/secの結果でした。DDRなのでもうちょっと
出ないかなと思うのですが、こんなもんですかね。tipsなどありましたら
助言をお願いいたします。
# Mellanoxがdefact standard ? 中古探しは慎重に。
531:不明なデバイスさん
12/06/15 21:02:04.57 q/rNE5N6
>>528
なんだかパフォーマンスでてないですね。
うちで過去に計測したSDRのSRP Targetとの接続と速度が変わらないくらいってのが謎。
iPXEにMellanoxが独自に手を入れてるので、新しいカードだと無理なんでしょうね。
>>530
QLE7240あるからテストしてみようか？
買ったはよいものの、開封すらしてなかったので。
直結とスイッチかましてのテストでよいかな？
532:不明なデバイスさん
12/06/15 21:35:08.07 KzEphqui
>>516
fioでベンチとってみました。
randread512k: (g=0): rw=randread, bs=512K-512K/512K-512K,
ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) : avg=48377.22, iops=94,
Run status group 0 (all jobs):
READ: io=5120.0MB, aggrb=48378KB/s,
randwrite512k: (g=0): rw=randwrite, bs=512K-512K/512K-512K,
ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) :avg=81036.99, iops=157
Run status group 0 (all jobs):
WRITE: io=5120.0MB, aggrb=80703KB/s
な結果でした。
# 相変わらず、わからんログがでています。ＳＲＰ targetですが、
111e5ed30 (tag 21, op 17): blocking further cmds on dev disk0 due to serialized cmd
Jun 15 21:28:06 localhost kernel: [0]: scst_block_dev:6662:Device BLOCK (new count 1), dev disk0
Jun 15 21:28:06 localhost kernel: [0]: scst_check_unblock_dev:160:cmd ffff880111e5ed30 (tag 21): unblocking dev disk0
Jun 15 21:28:06 localhost kernel: [0]: scst_unblock_dev:6739:Device UNBLOCK(new 0), dev disk0
533:不明なデバイスさん
12/06/15 23:05:37.12 qHSnoPHJ
>>531
単位勘違いしてない？
どう考えてもSDRであの速度は出ないでしょ。
534:不明なデバイスさん
12/06/16 06:39:06.53 grmbXKUG
>>531
おお、直結でテストしていただけたらありがたい。4枚買ってすこし
へこんでいるところです。QLE7240カード表面にPilotと印刷されて
いてESみたいなものかと懸念しております。自分の直結環境は
AMD Athron64 +5200, 2GB RAM
Pentium G6950, 13GB RAM です。
535:不明なデバイスさん
12/06/17 14:18:56.56 diRcmTfD
>>533
ごめん、書き方悪かった。
SRP接続だとパフォーマンスでてるけど、Windows 2012のSMB3.0だと思ったほどパフォーマンスが出てないって意味でした。
>>534
Qlogicの新しめ(QLE72x0以降)のは、Linuxしか対応してないことになってるけど、
Windowsでも動くか知りたくて買ったヤツだけど。
Linuxで直結対向はWindowsのConnectXで試してみるよ。
とりあえず、すぐに構築出来る環境がそれしかないのでｗ
536:不明なデバイスさん
12/06/22 01:19:26.44 Ascd2CcI
Mellanox の vSphere 5.0 用ドライバ出てた。
Supported HCA が ConnectX-2 以降...。
537:不明なデバイスさん
12/06/22 06:33:04.21 nZTXIgHq
>>536
しかも
SRP is not part of the ESXi 5.x driver package
538:不明なデバイスさん
12/06/22 12:07:55.12 57jxKXOd
>>534
環境作るのに手間取って遅くなって申し訳ない。
QLE7240(CentOS 6.2 + Qlogicのドライバ) - ConnectX(Windows7 WinOF 3.1)でiperfしてみた。
とりあえず、チューニング無しでやったら言ってたみたいに2Gb/s位しかでなかったけど、Windows側を
ConnectModeに変更して、iperfのバッファサイズを両方1MBに上げたら、8Gb/s位まで上がった。
しかし、何故かLinkが10Gでしてて弄ってもLink速度上がらなかったので、MellaoxとQlogicの直接
接続だと何かまずい事があるのかも
>>536,537
出る出る詐欺はやっと終わったのかｗ
うへ、サポートのHCAがConnectX-2以降の上に、SRPサポートが無くなったって使うメリットが
全くないじゃないか。つか、うちはSRPで構築してるから洒落にならん orz
539:不明なデバイスさん
12/06/22 12:16:38.71 wrRXh6HP
>>536-537
( ﾟДﾟ)
ESXiで楽してたけど、まじめにKVMへ移行するかなぁ
ちょっくら週末に試してから決めよう
540:不明なデバイスさん
12/06/22 17:14:29.75 57jxKXOd
ESX5用の環境作ってInfiniBandのカードが動くか調べてみた。
ConnectX(MHQH19-XTC)は一応動作したね。
追試で、ConnectXのMHGH28-XTCとかを、動作確認してみるわ。
ただ、InfiniHostIII(MHES18-XTC)は認識すらされない orz
完全にInfiniHostは切られたと思って間違いないかと。
541:不明なデバイスさん
12/06/23 21:25:15.76 lOpklH/j
>>538
追試ありがとうございました。チューニングすれば8Gb/secまで上がるので希望が
持てました。:-)
あれから施行したこと、1)ケーブルの交換2)ifcfg-ib0にCONNECTED_MODE=yesと
MTU=65520を追加。3)/etc/infiniband/openib.confのIPOIB_LOAD=yes,
SET_IPOIB_CM=yesなどの設定をしていますが、相変わらず1.5Gb/secの状態です。
ibdiagnet, ibv_devinfoなどでみているところです。CPUがpoorなんで、それが原因か
もしれませんがもうちょっと粘ってみます。
/etc/modprobe.d/のib_qib.confとかib_ipoibあたりが関与しないかなー。根本的な
ところで間違っているような気がします。
542:不明なデバイスさん
12/06/24 00:37:21.03 A42m4GH2
>>540
公式な supported じゃないとはいえ、Connect-X が動く報告があって安心した。。
自分の環境(MHRH19-XTC)でも試してみます。
543:不明なデバイスさん
12/06/24 21:08:34.05 xvp4a6QH
>>541
やっと解決しました。538さんができているので自分もきっと解決できると
信じて（ちょっと大げさかな）、ユーザーマニュアル、インストールマニュ
アルを読んでいました。ipath_pkt_testなるコマンドがあって、
[root@centos62641 ~]# ipath_pkt_test -B
Buffer Copy test: 1487 MB/s
対向のホストは
[root@centos62643 ~]# ipath_pkt_test -B
Buffer Copy test: 168 MB/s
と異なる値。箱をあけてみると、なんとPCI-Eのx2レーンのスロットに
さしていました。差し替えて、iperfしてみたら、7.78 Gbits/sec。ヤタ。
なおQLE7240のMTUは4096、connected modeがデフォルトです。
マニュアルにはBIOSなど細かい調整方法が書いてあって必読です。
544:不明なデバイスさん
12/06/24 23:40:29.31 gJDfEebJ
>>542
ちょっと色々追試してたんだけど、結局ESX5でConnectXは駄目だった。
540で試してたときは、スタンドアロンで認識してたのでいけたと思ったんだけど、
実環境へもっていって、スイッチをかました状態でテストしたら下記のような状態で動かず。
ログを確認するとドライバ認識してるんだけど、SMへ登録できないみたい。
SM動かしてるサーバ上で、iblinkinfoで確認したところInitialiseで止まってて、
そこからSM再起動したりしてみたけど、LinkUpしないですわ。
予想だけど、ConnectXで動かないからここまでドライバ出すの引っぱったのかなーと勘ぐってみたり。
545:不明なデバイスさん
12/06/24 23:55:55.67 gJDfEebJ
544へ追加
ConnectX2だと、普通に認識してLinkUpするところまで確認。
>>543
原因がわかってよかった。
ちゃんとパフォーマンスでてるみたいですね。
あと、ibstatでRateが幾つで繋がってるか確認してみるのがよろしいかと。
うちのテスト環境だと10だったのでDDRでは繋がってないんです。
追試で、DDRのスイッチへ接続してちゃんとDDRで接続できるか確認してみます。
おまけ
ESX5のドライバが残念な事になってるので、XenServer 6.0.2で使えるか試してみた。
OFED 1.5.4.1をXenServerのDDK上でコンパイルしたら普通に認識してくれた。
OFED 3.2RC1だと、BackPortの部分でこけてしまいコンパイルできなかった。
XenServer自体がRHEL5.5のi386がベースらしく、必要なパッケージをいくつか入れてやらないと
駄目なんでちょっと手間かかるけど動作しますよって事で。
546:不明なデバイスさん
12/06/25 21:54:45.24 kgWeFQp8
>>545
基本的なところで間違ってお恥ずかしい。おかげさまでSDRなみの速度はでる
ようになりました。ibstatでは、Rate: 20とでるので一応DDRで接続できているの
でしょう。 しかし# ibdiagnetでは、
抜粋
-I---------------------------------------------------
-I- IPoIB Subnets Check
-I---------------------------------------------------
-I- Subnet: IPv4 PKey:0x7fff QKey:0x00000b1b MTU:2048Byte rate:10Gbps SL:0x00
-W- Suboptimal rate for group. Lowest member rate:20Gbps > group-rate:10Gbps
と、10Gbpsに落ちていました。MTUも2048Byte。 (・o・)
DDRスイッチにつながないとDDRの速度がでないとか説明があったけど、あれはSDR
のスイッチにつなぐとSDRに律速するという意味だと思った。しかし、ひょっとするとこの
HCAにはDDRのスイッチがないとDDRの速度がでないのだろうか。悩みは続く。
547:不明なデバイスさん
12/06/26 13:01:30.60 b2yhPPEO
さくらのクラウドはInfiniBandの問題っつーよりSun ZFS Storage Applianceの問題だったみだいね
URLﾘﾝｸ(www.publickey1.jp)
URLﾘﾝｸ(www.publickey1.jp)
URLﾘﾝｸ(www.publickey1.jp)
OpenIndianaでストレージ鯖立ててる身としてはZFS自体の問題なのかSolarisの問題なのかを
はっきりして欲しいところだけどまあスレチなのでこの辺で・・・
548:不明なデバイスさん
12/06/26 16:08:26.95 IYxmqvLg
やっぱりZFS Storage Applianceの問題だったのか
先行事例なさそうだし日本ボラクルが窓口で問題解決できるの？
とか悪い予想してたら当たってしまったｗ
549:不明なデバイスさん
12/06/27 14:26:02.26 V2ojzOad
NFS over IP over Infiniband、って時点で突っ込みたくなった。
素のSRPはともかく、FCoIBとかじゃないんだ。
550:不明なデバイスさん
12/06/27 14:35:26.55 V2ojzOad
ICMP pingについて。IPoIBはSMでdiscoveryして経路設定するから、ICMPとか都度コネクション生成するようなのは
負荷高くなるんじゃないかな。
＃discoveryや経路設定の中央集権（通常のetherはARPで分散型）は最近の流れだけど、スケーリング的には善し悪しですね。
551:不明なデバイスさん
12/07/01 14:40:27.07 aLEvyHdV
Infinibandの値段もずいぶん下がっていたんですね。このスレではじめて知りました。
ところで、Server(Windows)側にRAMDiskを構築し、10GbEのIntelNIC経由でiSCSI Bootを使ってClient側のOSを
RAMDiskから立ち上げようと思っているのですが、IBでも同様にBootさせることは可能なのですか？
552: ◆GHONBEsd/2
12/07/01 15:36:04.50 zbHO4m5t
>>551
Client側のOSがなんであるかにもよりますが、
MellanoxWinOFでは、IPoIBでのiSCSI bootは相変わらず非サポートみたいです。
URLﾘﾝｸ(www.mellanox.com)の
10ページ目にnot functionalと記述されています。
WinOF3.0で検証したときはIPoIB経由のブート中にBSODでした。
553:不明なデバイスさん
12/07/01 16:02:19.09 aLEvyHdV
>>552
早速のレスありがとうございます。
ClientもWindowsを検討しております。
Server側OSをlinuxにすれば解決する？かもしれませんね。
一度、メーカーなどにも問い合わせてみようと思います。貴重なご意見ありがとうございました。
554:不明なデバイスさん
12/07/05 20:08:14.02 LvUxr5Qr
>>553
Server側がLinuxで良ければ、おっしゃるようなWindowsのramdiskからのBoot over IBが可能です。
RDMAが効けば、速度面も10GbEでの一般的なiSCSIより期待できます。
1) Server側にIBドライバ（例：Mellanox OFED）をインストール
2) Server側にSRP Target（例：SCST）をインストール、ramdiskをTargetに設定
3) Server側でDHCPサーバ（例：ISC DHCP）を立てる
4) Client側にIBドライバ（例：OFED for Windows）をインストール
5) ClientのWindowsイメージをServer側のramdiskへ転写、HCAのromをブート用に構成
簡単にやるならこんな手順でしょうか。詳細が必要でしたら追記します。
555:不明なデバイスさん
12/07/06 13:30:31.55 RczeAfjz
>>554 横からすみません。
私もWin7Pro 64bitをSRP Target(SuSE or CentOS)から起動させようとしています。
参照する環境は>>525,528でよいですか？
ClientからSRP TargetへのOSインストールは失敗するので、
先にHDD/SSDにインストール->イメージをddという流れだと予想していますが、
以下を教えていただけないでしょうか。
・ディスクからブートしている時点で入れておくべきソフトとバージョン、設定(IPoIB等)
・鯖のdhcp.confの具体的設定(ib_srp以外にもkeep-sanいるのか等)
・WindowsのディスクイメージのSRP Targetファイル化方法
(HDDの方が大きいので、単純なddだとRAMディスクに収まらない)
556:不明なデバイスさん
12/07/06 20:27:50.97 47Kop7m/
>>555
環境は>>525,528のとおりです（正確にはCPUをCore i7-3930Kに変更しました）。
>・ディスクからブートしている時点で入れておくべきソフトとバージョン、設定(IPoIB等)
(1)OFED for Windows 3.1 （Setup時にSRP install を選択）
(2)sanbootconf 1.1.1
の２点です。IPoIBはconnected modeを有効にした以外は変更していません。
URLﾘﾝｸ(www.openfabrics.org)
URLﾘﾝｸ(git.ipxe.org)
>・WindowsのディスクイメージのSRP Targetファイル化方法
自分は60GBのSSDにWindowsをインストール後、その全体をddでイメージ化しましたので
あいにく実体験ではありませんが、下記を参考に、Windowsインストール時に例えば30GBの
パーティションをHDDから切り出しておく方法でいかがでしょうか。
URLﾘﾝｸ(etherboot.org)
URLﾘﾝｸ(etherboot.org)
・dhcp.confの件はレスを分けます。
557:556
12/07/06 22:55:45.80 47Kop7m/
・dhcp-client-identifierの末尾を、Initiator側のGUIDに置き換えてください。
・root-pathは"ib_srp::::dgid::service_id::id_ext:ioc_guid"で、それぞれTarget側のibsrpdmの結果と置き換えてください。
#cat /etc/dhcp/dhcpd.conf
ddns-update-style none;
ddns-updates off;
allow booting;
allow bootp;
option space ipxe;
option ipxe.keep-san code 8 = unsigned integer 8;
option ipxe.no-pxedhcp code 176 = unsigned integer 8;
shared-network "flexboot_network" {
subnet 192.168.0.0 netmask 255.255.255.0 {
option dhcp-client-identifier = option dhcp-client-identifier;
option subnet-mask 255.255.255.0;
next-server 192.168.0.50;
always-broadcast on;
range dynamic-bootp 192.168.0.51 192.168.0.52;
}
}
host host1 {
fixed-address 192.168.0.51; # the IP address to be assigned to the client
filename "";
option dhcp-client-identifier = ff:00:00:00:00:00:02:00:00:02:c9:00:00:02:c9:03:00:2f:XX:XX;
option root-path "ib_srp::::fe800000000000000002c903002fXXXX::0002c903002fXXXX::0002c903002fXXXX:0002c903002fXXXX";
option ipxe.keep-san 1;
option ipxe.no-pxedhcp 1;
}
558:556
12/07/06 23:06:45.52 47Kop7m/
・念のため、SCSTの設定です。
・TARGETの部分は、scstadmin -list_targetのib_srptの結果と置き換えてください。
#cat /etc/scst.conf
HANDLER vdisk_fileio {
DEVICE disk0 {
filename /tmp/windows7.img
}
}
TARGET_DRIVER ib_srpt {
TARGET 0002:c903:002f:XXXX {
LUN 0 disk0
enabled 1
}
}
少しでもご参考になれば良いのですが。
559:不明なデバイスさん
12/07/06 23:32:48.64 RczeAfjz
>>556-558
設定丸々ありがとうございます。
wikiも参考にしつつ、休日使って構築してみます。
560:555
12/07/08 16:35:29.53 TBXlFj1L
>>556
おかげさまでRAM上のSRP TargetからWin7がbootできました！
ありがとうございました。
ほとんどつまづくところはありませんでした。
強いて書くとしたら、SCST(srpt)のmake前に、
きちんとREADME.ofedを読んでおくくらいでしょうか。
561:556
12/07/09 20:07:38.07 bKS71sXG
>>560
うまくいったようで何よりです。
もし良かったら、逆にIB StackとSCSTの導入について教えてください。
自分自身、Mellanox OFEDを使わないで素のOSの状態から最新のOFA OFEDとSCSTを
導入する手順を詰めきれずにいます。
562:555
12/07/09 22:31:21.71 thMTPY1W
>>561 私の手順です。参考になれば。
OSはCentOS6.2のDesktopインストールからスタート。
基本的にSCSTのsrptディレクトリの中のREADME.ofedに従っています。
・準備
rm -rf /lib/modules/$(uname -r)/kernel/drivers/infiniband (怖いのでmvで逃がした)
rm -rf /lib/modules/$(uname -r)/kernel/drivers/net/mlx4 (そもそも存在しなかった)
cd /lib/modules/$(uname -r)/build
patch -p1 < ${SCST_DIR}/srpt/patches/kernel-${KV}-pre-cflags.patch (kernelバージョンに合わせて指定)
・OFED(1.5.4.1)
srpt=nを書いたconfファイル(その他y/nはREADME.ofed参照)を作り、./install.pl -c ofed.conf
足りないと言われるパッケージはyumで追加
・SCST
make scst iscsi srpt scstadm; make scst_install iscsi_install srpt_install scstadm_install
こんな感じでmake/installは終了。後はscst.confとか書けば動きました。
README.ofedに従うとibstat等のツールは作られないので、
後からOFED展開した中にあるsrpm使って作ってやらないとならない(rpmbuild --rebuild)と思います。
他のコマンドでも最低限のチェックはできるため、まだ試していませんが。
563:不明なデバイスさん
12/07/10 16:48:35.44 PMbc7shq
tmpfs(ramdisk)並のスピード、でもディスクにも保存、とかいうのを実現したい場合、
仮想ディスクより多くのメモリを積んでおいて、起動時にddで空読みしてキャッシュさせればOK？
それともそれ目的のfs/moduleがある？
564:483
12/07/10 21:19:06.34 hak1uTFD
483でSRPの紹介してからの経過ですが、いまのところ順調です。
ESXi 4.1 u1: Intel 9550, 8GB DIMMからIntel i7 2600、DIMM 32GBへ変更
して、SRP targetで試験運用しています。IPoIBよりサクサク、機敏で気分
いいです。調子にのってもう一台SRP targetを接続しました。しかしESXi側
で認識しません。追加のdatastoreが作れません。これって仕様？
ESXI4.1u1のホストにHCAを2枚さしてそれぞれをCentOS6.2ベースのSRP
targetへつないでいます。これができるとdatastore間のファイル転送が早
くなるのでうれしい。
565:556
12/07/11 19:46:37.39 Fjsb51m4
>>562
大変ありがとうございます。詳細に助かります。
週末にもCentOSインストール後、素の状態から始めてみます。
566:不明なデバイスさん
12/07/11 20:55:53.80 eMf5rRgh
0Gのスイッチを探している人がいるかどうかわからないけど
個人輸入で安く買えそうなので、現状を参考までに
Mellanoxの8PortQDRスイッチが国内ではあまりに高いので、海外で
探していたところ、代理店の直販サイトが国内の半額くらいだったので
日本への発送が可能か聞いてみたところ可能とのことだった。
IS5022が国内だと27～8万のところ14万くらい、関税は0なので国内の税金5%&がかかる
送料はものによるが3kgで大体2万くらい？（FEDEX）
SMはついてないのでなんか別の小型サーバか接続するサーバに
立てる必要ありだけどスイッチがあるので適当な小型サーバで立ててもOK
やり取りはすべて英語ですが、翻訳サイト活用でなんとかやり取りは
できています。
非常に丁寧に対応いただいています。
（時差があるので、夜中に送るとすぐ返信がくる）
ちなみに最初に英語あんまり得意じゃないです！って伝えた
詳細は次レスで
567:566
12/07/11 20:58:34.04 eMf5rRgh
やり取り詳細箇条書きで
Colfax Direct
URLﾘﾝｸ(www.colfaxdirect.com)
・サイトでユーザー登録することをおすすめ。
・カートに商品いれて注文するところは、普通の通販と同様
・支払いはクレジット可能
・住所の書き方は適当にぐぐれ
・FEDEXアカウントを取得しておく必要あり（DHL,UPSも可能だが高い）
・FEDEXアカウントは電話でカスタマーに電話して申込書を
送ってもらう、それを送り返せば即日作ってくれる。
・クレジットカードが必要
・FEDEXアカウントナンバーを先方に伝える、これで送料関税等は代引での
取引が可能
・そこまで進むとINVOICEとクレジットカード情報を記入するPDFが送られてくるので
PDFを編集できるソフトなんかを使って内容を記述して送り返す。
・手書き署名が必要
今のところここまで進んでいます。ものが届いたらまた詳細報告します。
支払い情報を送ってから少し時間がかかっています。
ケーブルとか、カードもソコソコ安いのでおすすめかと、国内でもおそらく
企業向けの仕切りは安いのかもしれませんが、個人ではなかなかディスカウントは
効きませんから・・・
これでいけるかどうかはまだわからないので、続報をお待ちください。
質問あればどうぞ～
568:566
12/07/11 21:12:40.28 eMf5rRgh
Mellanox製品はグローバルでの保守契約ができるようで、RMAも行える
みたいなので、一番下の保守契約のブロンズも発注しました。
登録もJapanで可能となってるのでおそらくRMAは英語で自分で送る必要が
あるので手間ですが、Ⅰ年保証+延長4年で1万7千円くらい、国内だと年額
5万近く取られます・・・
こちらについても詳細わかったら追記しますね。
個人使用ならブロンズで十分でしょう。
569:不明なデバイスさん
12/07/11 22:06:21.75 Fjsb51m4
>>568
Colfax Direct で先々月にケーブルの買い物しました。トラブル無しでちゃんと届きましたよ。
納期が少しかかりましたが、当然ながら在庫状況によるのでしょう。
保守契約には興味あります。詳細また教えてください。
570:566
12/07/12 04:04:03.06 AYAPwKwU
>>568
おお、先にもうされてる人がいましたか、状況にもよると思いますが、
支払い情報送ってからどれくらいで発送されたか覚えておられますか？
一週間くらいは見たほうがいいですかね？
保守契約はちょっと不安ですが、Mellanoxはグローバルでのサポート
を行なっているというのを売りにしているみたいで、日本法人のサイトにも
そのような記載があります。
IBMやHPと同様保守パックという形で販売されているので、おそらく
証書をおもとに登録することで有効になるものと思われます。
対応は日本法人ではなくアメリカサイトでのオンラインでのRMA受付
もいけるようなので、おそらくは問題ないと踏んでいます。
どちらにせよ1万5千円足らずなので、ダメでもそこまで痛くないかなぁと
国内でも同じレベルでのサポートを受けていますが、ボリすぎですね・・・
ブロンズが年間5万近くかかりとなると5年で25万・・・1台保守用が買えるレベル。
経験上結局こういうベンダーは、最終的にメーカに丸投げにするので、
自分である程度出来る人は自分で問い合わせたほうが早いことが多いです。
むしろここで聞いたほうが早かったり・・・
571:sage
12/07/12 13:38:17.58 il6QXaq1
お前いらない
572:不明なデバイスさん
12/07/12 19:05:43.12 AYAPwKwU
>>571
わかった
573:不明なデバイスさん
12/07/12 19:18:34.58 AYAPwKwU
sage忘れてた
574:不明なデバイスさん
12/07/12 19:23:59.85 JHFRU+6f
>>570
> 支払い情報送ってからどれくらいで発送されたか覚えておられますか？
２週間かかりました。
１週間経過時点で問い合わせたところ「メラノックスに確認してみる」と
返信がありましたから、在庫は持っていなかったようです。
575:不明なデバイスさん
12/07/26 12:33:35.97 uLURu+/D
XenServerでOFED動くか試してたのの結果報告。
結果から言うと、OFED 1.5.4.1をコンパイルしてやればSRP Initiatorまでは動きました。
XenServer用のDDK落としてきてインストールしてやり、その上でOFEDをコンパイル。
コンパイル用にいくつか足らないパッケージがあるので、それをCentOS5 i386のRepoから拝借してきてインストール。
できたパッケージを、XenServerのコンソールでインストールしてやればOK。
OpenSMとSRP Initiatorの動作は確認。SRP使ってSR作成できるところまでは確認した。
あと、Ubuntu12.04でOpen-iscsi使ってiSER接続も確認。
こっちはKVMのテストがてらやってみたんだけど。
debian OFEDから1.5.4のパッケージのソース取ってきてインストールしてやったらiSERは一応動作した。
iSER動作させるだけなら、特にOFEDのパッケージインストールする必要はないかも。
IPoIBでTCP接続に比べて、300MB/s -> 600MB/sくらいに速度が上がった。
どちらも、ストレージ側のOpenIndianaのpoolがボトルネックになってるので、そこを速度アップしないと
これ以上の速度アップは望めない状態。
576:不明なデバイスさん
12/07/26 12:45:00.10 uLURu+/D
上のに追記。
なんでテストしたかってと、ESXi5だとInfiniHost系が切られちゃってるので、他の仮想化環境で使えるか
試してみたかったからやってみたんだけど。
少なくとも、Linuxがベースの物はmthcaが動作するのでそれを使ってやれるってのが今回の実験結果でした。
次はWindows 2012でConnectX使ってHyper-Vのテストやってみます。
RDMA CIFSで共有かけてLiveMigrationとか試してみたいのでｗ
577:不明なデバイスさん
12/07/26 12:51:09.22 uLURu+/D
566さんの直接購入って方法もあるけど、英語でやりとりするのが面倒って人は個人輸入代行使うってのもありかな。
大体手数料として10%くらい上乗せ+送料って感じでいけるかと。
輸入代行だと、国内までの送料が大分安くあげれるので、トータルだとあんまり金額は変わらないと思う。
ただ、保守が乗っけられるかがわからんけど。
578:不明なデバイスさん
12/07/26 21:22:31.80 WGcIiuKZ
>>576
MLNX OFED for server2012はやっぱりInfiniHostはちっとも認識されなかったです←あたりまえ
ESXiとかxenはPCIe passthruがあるから親が対応してなくても対応してる仮想OS持ってくれば動かせる可能性あるけど、
server2012は対応してないからなー。
579:不明なデバイスさん
12/07/27 00:14:19.53 pEcPiSZa
>>578
でも、IBなんて広帯域のバスを使いたいのはホストのIOだから、
VM上だけで動いてもなんも嬉しくないというか、
ほとんどんの場合意味が・・・
2012の方は、SR-IOVに対応してきたから、
HBAが対応してくれば、複数のVMからほぼネイティブな性能を得られるから、
その点は、現状のESXiより優れてると思う。
580:不明なデバイスさん
12/07/27 12:52:27.83 3UadAdS1
SMB over RDMAがどの程度出るか遊んでみたかったんだけどね＞MLNX OFED
rdma前提ならInfinihostで動いてくれたっていいのに。
581:不明なデバイスさん
12/07/27 19:54:43.49 QmjfUt90
>>575
凄いですね。なんて濃いスレでありがたいことでしょう。
iSERのTargetは、tgtとMellanox VSAくらいしかないのかな。
某勉強会でVSAの管理画面だけ見せてもらったが個人には雲の上そうで。
582:不明なデバイスさん
12/07/27 21:19:48.85 tEeC1KCT
>>578
InfiniHostはEOLになっちゃいましたからね。
ConnectX以降って制限が意外ときついです。
ESXi5でConnectX-2以降って制限がかかってるので、ConnectXも何時までサポートしてくれるのか不安ではありますね。
>>579
Windows Server 2012もSR-IOV対応ですけど、Linuxでもサポート進んでるみたいで、Kernel 3.5でサポートが入るんじゃないかと。
linux-rdmaのMLを見てたら大量にパッチがでてましたので。KVMとかXenでもいけるようになると思います。
>>580
環境用意するのが大変なのが。
InfiniHostがいければ、イニシャルコスト落とせてありがたいんですけどね。
>>581
Mellanoxが前からSRPのサポートは止めるって公言してたので、仕方無く移行先の環境の検証をしてみた感じです。
うちのiSERのTargetはOpenIndianaです。
Linuxだとtgtになっちゃうんですか。MellanoxのVSAはtgt使ってるんじゃないかと思います。
VSAはFastcache + DRDB + tgtのカスタマイズ品に、Utility載っけてる感じなのかな～と思ってますが。
個人で触ってるだけなので、VSAなんてとてもとてもｗ
FreeBSDも9.1でCTLってレイヤが出来たので、iSCSIとかSRPのサポートが比較的楽に出来そうな環境になりつつありますけど、
もう少し時間がかかるのかなー。
FCoEの環境も構築できたのでそっちも試してみたいんですが時間がｗ
583:不明なデバイスさん
12/07/29 22:14:05.29 tItsHmBE
＞FCoEの環境も構築できた
mjd? すごすぎ。
584:不明なデバイスさん
12/07/30 19:58:26.40 2Ff7vY1X
>>582
Mellanox VSAってそういう構成なんですね。
ちなみにRisingTide SystemsのRTS OSというのが中々使いやすくて
InfiniBand SRPのほかiSCSI、FC、FCoEのTargetになるんですが
中身はSLES11sp2＋lio でした。
585:不明なデバイスさん
12/07/31 10:13:56.54 Y6zS0eYl
OFED3.1の配布msiをorcaでいじってチェックはずしてServer2012bに入れてIPoIB程度は使えることを確認しました＞InfiniHost
SMBoRDMAは、うーん、無理だろうなあ。
586:不明なデバイスさん
12/08/09 00:53:49.32 MkoNp0NV
すみません。教えてください。
>>463>>464を参考にOpenindianaへOpenSMをインストールしようとしているんですが
どのバージョンのSunStudio12.1を入れればいいのでしょうか？
587:不明なデバイスさん
12/08/19 08:44:19.02 uUyPva8e
>>586
>463さんの方法でできませんか。