12/06/05 15:48:55.45 PhIJ7Tdi.net
flashcacheの人はwritethroughでやっぱり使ってるの？
writeback関係は機能とかあんまり汎用じゃないよね>flashcache
551:不明なデバイスさん
12/06/05 20:10:10.25 GQ/lU+Y/.net
>>523
そうです。writeback、writethrough、writearoundのモードがありますね。
2TBに128GBのSSDですので容量が少し足りないかもしれません。
>>532
助言ありがとうございます。SRP targetの目的がESXi4.1のゲストOS用
です。fioについては前述のSRP targetはしばらく使えないので測定でき
ないのですが、511は手元にありますので試してみました( by IPoIB)
量が多いので抜粋しています。
randread512k: (g=0): rw=randread, bs=512K-512K/512K-512K, ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) : avg=83805.35 iops=163 clat (usec): avg=6104.13
Run status group 0 (all jobs):
READ: io=5120.0MB, aggrb=83741KB/s
randwrite512k: (g=0): rw=randwrite, bs=512K-512K/512K-512K, ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) : avg=120376.88 iops=153 clat (usec): avg=6468.37
Run status group 0 (all jobs):
WRITE: io=5120.0MB, aggrb=78
552:562KB/s
553:不明なデバイスさん
12/06/10 00:24:42.69 +c6ECaom.net
Windows7 の SRP Boot がうまくいきました。
Target : CentOS6.2 + SCST2.2.0 (Xeon E5-2609 2.4GHz)
Initiator : Windows7 + winOFED3.1 (Xeon E5-2650L 1.8GHz)
・HCA は双方 eBay で落札した Mellanox の MCX353A-FCAT です。
・BootROM について、iPXE はこの HCA に未対応ですが FlexBoot3.3.420 で大丈夫でした。
・Target 側で ISC DHCP 4.1.0p1 に InfiniBand パッチを当てたものを立ち上げ、
その root-path の指定だけで tftp は使わずにすみました。
・tmpfs に置いた60GBのイメージファイルから起動して、速度は下のとおりです。
URLﾘﾝｸ(kie.nu)
・このスレはいつも大変参考にさせていただいています。
あまりお役に立てませんが、ご質問等があれば遠慮なくおっしゃってください。
554:不明なデバイスさん
12/06/10 03:15:30.36 INBxKVA+.net
おー、速いなあ。
555:不明なデバイスさん
12/06/11 18:31:15.36 HX2YKslR.net
>>525
FDRうらやましいですｗ
ちなみにインストールからSRP使ってされたんでしょうか？
(iSCSIとかのインストールと同様に)
AIKでイメージ弄らないと駄目なのが面倒で試してないのですが。
あと、iPXEの自前でコンパイルしたBootROMで、InfiniHost系でも同様にSRP Boot可能
だと思います。ただし、メモリ有りのInfiniHostはiPXEのコンパイルが通りませんでしたが。
ネタとしてこの辺を投下しておこう。
URLﾘﾝｸ(blogs.technet.com)
SMB2.2は結局SMB3になったのね。
556:不明なデバイスさん
12/06/11 23:30:12.24 6MJGGMHq.net
>>527
FDR、恥ずかしながら使いこなせていません。
一つには PCIe Gen3で動作していない可能性があり、M/B(Rampage IV Extreme)は
Gen3対応のはずですが、3.4GB/sで頭打ちします。
（PCIeの動作状況をリアルタイムに確認する方法はないものでしょうか）
iSCSIのようにWindowsAIKでカスタムメディアを作る方法は、dismでOFEDのドライバを統合する
あたりまでうまくいったのですが、imagexによるイメージキャプチャの段階でつまずきました。
そこで無骨ですが、いったんローカルのSSDにOFEDとsanbootconfを含めてインストールし、
そのダンプイメージをddでTargetに転送する方式をとりました。
iPXEは残念ながら、15B3:1003ではコンパイルが通りませんでした。
557:不明なデバイスさん
12/06/11 23:51:21.74 6MJGGMHq.net
SMBはかなり良くなるようですね。
Windows Server 2012 Betaには最小限のドライバが入っていますが、新しいものをここから落とせます。
URLﾘﾝｸ(www.mellanox.com)
（これを入れるとFirmwareが2.10.2280に更新されますが、Flexboot3.3.420とは相性が悪いです。）
MellanoxのTwitterによるとServer同士の場合にのみ有効とのことなので、
Server同士でramdiskを共有フォルダにして計測してみました。
Sequential Read : 642.313 MB/s
Sequential Write : 825.390 MB/s
Random Read 512KB : 593.501 MB/s
Random Write 512KB : 721.289 MB/s
Random Read 4KB (QD=1) : 35.011 MB/s [ 8547.6 IOPS
558:] Random Write 4KB (QD=1) : 36.585 MB/s [ 8931.8 IOPS] Random Read 4KB (QD=32) : 286.451 MB/s [ 69934.3 IOPS] Random Write 4KB (QD=32) : 206.025 MB/s [ 50299.1 IOPS]
559:不明なデバイスさん
12/06/14 21:04:34.78 8PFnQGbi.net
QLE7240がebayで安く購入できたので、一応DDRなので期待して
２台のCentOS6.2-x86_64を対向接続してiperf測定してみました。
hostA
# iperf -s
hostB
# iperf -c 192.168.x.x
IPoIBな環境ですが、以下のファイルから構築しました。
1) OFED-1.5.4.1.tgz
2) QLogicIB-Basic.RHEL6-x86_64.7.1.0.0.58.tgz
いずれの場合でも1.3~1.5Gbit/secの結果でした。DDRなのでもうちょっと
出ないかなと思うのですが、こんなもんですかね。tipsなどありましたら
助言をお願いいたします。
# Mellanoxがdefact standard ? 中古探しは慎重に。
560:不明なデバイスさん
12/06/15 21:02:04.57 q/rNE5N6.net
>>528
なんだかパフォーマンスでてないですね。
うちで過去に計測したSDRのSRP Targetとの接続と速度が変わらないくらいってのが謎。
iPXEにMellanoxが独自に手を入れてるので、新しいカードだと無理なんでしょうね。
>>530
QLE7240あるからテストしてみようか？
買ったはよいものの、開封すらしてなかったので。
直結とスイッチかましてのテストでよいかな？
561:不明なデバイスさん
12/06/15 21:35:08.07 KzEphqui.net
>>516
fioでベンチとってみました。
randread512k: (g=0): rw=randread, bs=512K-512K/512K-512K,
ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) : avg=48377.22, iops=94,
Run status group 0 (all jobs):
READ: io=5120.0MB, aggrb=48378KB/s,
randwrite512k: (g=0): rw=randwrite, bs=512K-512K/512K-512K,
ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) :avg=81036.99, iops=157
Run status group 0 (all jobs):
WRITE: io=5120.0MB, aggrb=80703KB/s
な結果でした。
# 相変わらず、わからんログがでています。ＳＲＰ targetですが、
111e5ed30 (tag 21, op 17): blocking further cmds on dev disk0 due to serialized cmd
Jun 15 21:28:06 localhost kernel: [0]: scst_block_dev:6662:Device BLOCK (new count 1), dev disk0
Jun 15 21:28:06 localhost kernel: [0]: scst_check_unblock_dev:160:cmd ffff880111e5ed30 (tag 21): unblocking dev disk0
Jun 15 21:28:06 localhost kernel: [0]: scst_unblock_dev:6739:Device UNBLOCK(new 0), dev disk0
562:不明なデバイスさん
12/06/15 23:05:37.12 qHSnoPHJ.net
>>531
単位勘違いしてない？
どう考えてもSDRであの速度は出ないでしょ。
563:不明なデバイスさん
12/06/16 06:39:06.53 grmbXKUG.net
>>531
おお、直結でテストしていただけたらありがたい。4枚買ってすこし
へこんでいるところです。QLE7240カード表面にPilotと印刷されて
いてESみたいなものかと懸念しております。自分の直結環境は
AMD Athron64 +5200, 2GB RAM
Pentium G6950, 13GB RAM です。
564:不明なデバイスさん
12/06/17 14:18:56.56 diRcmTfD.net
>>533
ごめん、書き方悪かった。
SRP接続だとパフォーマンスでてるけど、Windows 2012のSMB3.0だと思ったほどパフォーマンスが出てないって意味でした。
>>534
Qlogicの新しめ(QLE72x0以降)のは、Linuxしか対応してないことになってるけど、
Windowsでも動くか知りたくて買ったヤツだけど。
Linuxで直結対向はWindowsのConnectXで試してみるよ。
とりあえず、すぐに構築出来る環境がそれしかないのでｗ
565:不明なデバイスさん
12/06/22 01:19:26.44 Ascd2CcI.net
Mellanox の vSphere 5.0 用ドライバ出てた。
Supported HCA が ConnectX-2 以降...。
566:不明なデバイスさん
12/06/22 06:33:04.21 nZTXIg
567:Hq.net
568:不明なデバイスさん
12/06/22 12:07:55.12 57jxKXOd.net
>>534
環境作るのに手間取って遅くなって申し訳ない。
QLE7240(CentOS 6.2 + Qlogicのドライバ) - ConnectX(Windows7 WinOF 3.1)でiperfしてみた。
とりあえず、チューニング無しでやったら言ってたみたいに2Gb/s位しかでなかったけど、Windows側を
ConnectModeに変更して、iperfのバッファサイズを両方1MBに上げたら、8Gb/s位まで上がった。
しかし、何故かLinkが10Gでしてて弄ってもLink速度上がらなかったので、MellaoxとQlogicの直接
接続だと何かまずい事があるのかも
>>536,537
出る出る詐欺はやっと終わったのかｗ
うへ、サポートのHCAがConnectX-2以降の上に、SRPサポートが無くなったって使うメリットが
全くないじゃないか。つか、うちはSRPで構築してるから洒落にならん orz
569:不明なデバイスさん
12/06/22 12:16:38.71 wrRXh6HP.net
>>536-537
( ﾟДﾟ)
ESXiで楽してたけど、まじめにKVMへ移行するかなぁ
ちょっくら週末に試してから決めよう
570:不明なデバイスさん
12/06/22 17:14:29.75 57jxKXOd.net
ESX5用の環境作ってInfiniBandのカードが動くか調べてみた。
ConnectX(MHQH19-XTC)は一応動作したね。
追試で、ConnectXのMHGH28-XTCとかを、動作確認してみるわ。
ただ、InfiniHostIII(MHES18-XTC)は認識すらされない orz
完全にInfiniHostは切られたと思って間違いないかと。
571:不明なデバイスさん
12/06/23 21:25:15.76 lOpklH/j.net
>>538
追試ありがとうございました。チューニングすれば8Gb/secまで上がるので希望が
持てました。:-)
あれから施行したこと、1)ケーブルの交換2)ifcfg-ib0にCONNECTED_MODE=yesと
MTU=65520を追加。3)/etc/infiniband/openib.confのIPOIB_LOAD=yes,
SET_IPOIB_CM=yesなどの設定をしていますが、相変わらず1.5Gb/secの状態です。
ibdiagnet, ibv_devinfoなどでみているところです。CPUがpoorなんで、それが原因か
もしれませんがもうちょっと粘ってみます。
/etc/modprobe.d/のib_qib.confとかib_ipoibあたりが関与しないかなー。根本的な
ところで間違っているような気がします。
572:不明なデバイスさん
12/06/24 00:37:21.03 A42m4GH2.net
>>540
公式な supported じゃないとはいえ、Connect-X が動く報告があって安心した。。
自分の環境(MHRH19-XTC)でも試してみます。
573:不明なデバイスさん
12/06/24 21:08:34.05 xvp4a6QH.net
>>541
やっと解決しました。538さんができているので自分もきっと解決できると
信じて（ちょっと大げさかな）、ユーザーマニュアル、インストールマニュ
アルを読んでいました。ipath_pkt_testなるコマンドがあって、
[root@centos62641 ~]# ipath_pkt_test -B
Buffer Copy test: 1487 MB/s
対向のホストは
[root@centos62643 ~]# ipath_pkt_test -B
Buffer Copy test: 168 MB/s
と異なる値。箱をあけてみると、なんとPCI-Eのx2レーンのスロットに
さしていました。差し替えて、iperfしてみたら、7.78 Gbits/sec。ヤタ。
なおQLE7240のMTUは4096、connected modeがデフォルトです。
マニュアルにはBIOSなど細かい調整方法が書いてあって必読です。
574:不明なデバイスさん
12/06/24 23:40:29.31 gJDfEebJ.net
>>542
ちょっと色々追試してたんだけど、結局ESX5でConnectXは駄目だった。
540で試してたときは、スタンドアロンで認識してたので
575:いけたと思ったんだけど、 実環境へもっていって、スイッチをかました状態でテストしたら下記のような状態で動かず。 ログを確認するとドライバ認識してるんだけど、SMへ登録できないみたい。 SM動かしてるサーバ上で、iblinkinfoで確認したところInitialiseで止まってて、 そこからSM再起動したりしてみたけど、LinkUpしないですわ。 予想だけど、ConnectXで動かないからここまでドライバ出すの引っぱったのかなーと勘ぐってみたり。
576:不明なデバイスさん
12/06/24 23:55:55.67 gJDfEebJ.net
544へ追加
ConnectX2だと、普通に認識してLinkUpするところまで確認。
>>543
原因がわかってよかった。
ちゃんとパフォーマンスでてるみたいですね。
あと、ibstatでRateが幾つで繋がってるか確認してみるのがよろしいかと。
うちのテスト環境だと10だったのでDDRでは繋がってないんです。
追試で、DDRのスイッチへ接続してちゃんとDDRで接続できるか確認してみます。
おまけ
ESX5のドライバが残念な事になってるので、XenServer 6.0.2で使えるか試してみた。
OFED 1.5.4.1をXenServerのDDK上でコンパイルしたら普通に認識してくれた。
OFED 3.2RC1だと、BackPortの部分でこけてしまいコンパイルできなかった。
XenServer自体がRHEL5.5のi386がベースらしく、必要なパッケージをいくつか入れてやらないと
駄目なんでちょっと手間かかるけど動作しますよって事で。
577:不明なデバイスさん
12/06/25 21:54:45.24 kgWeFQp8.net
>>545
基本的なところで間違ってお恥ずかしい。おかげさまでSDRなみの速度はでる
ようになりました。ibstatでは、Rate: 20とでるので一応DDRで接続できているの
でしょう。 しかし# ibdiagnetでは、
抜粋
-I---------------------------------------------------
-I- IPoIB Subnets Check
-I---------------------------------------------------
-I- Subnet: IPv4 PKey:0x7fff QKey:0x00000b1b MTU:2048Byte rate:10Gbps SL:0x00
-W- Suboptimal rate for group. Lowest member rate:20Gbps > group-rate:10Gbps
と、10Gbpsに落ちていました。MTUも2048Byte。 (・o・)
DDRスイッチにつながないとDDRの速度がでないとか説明があったけど、あれはSDR
のスイッチにつなぐとSDRに律速するという意味だと思った。しかし、ひょっとするとこの
HCAにはDDRのスイッチがないとDDRの速度がでないのだろうか。悩みは続く。
578:不明なデバイスさん
12/06/26 13:01:30.60 b2yhPPEO.net
さくらのクラウドはInfiniBandの問題っつーよりSun ZFS Storage Applianceの問題だったみだいね
URLﾘﾝｸ(www.publickey1.jp)
URLﾘﾝｸ(www.publickey1.jp)
URLﾘﾝｸ(www.publickey1.jp)
OpenIndianaでストレージ鯖立ててる身としてはZFS自体の問題なのかSolarisの問題なのかを
はっきりして欲しいところだけどまあスレチなのでこの辺で・・・
579:不明なデバイスさん
12/06/26 16:08:26.95 IYxmqvLg.net
やっぱりZFS Storage Applianceの問題だったのか
先行事例なさそうだし日本ボラクルが窓口で問題解決できるの？
とか悪い予想してたら当たってしまったｗ
580:不明なデバイスさん
12/06/27 14:26:02.26 V2ojzOad.net
NFS over IP over Infiniband、って時点で突っ込みたくなった。
素のSRPはともかく、FCoIBとかじゃないんだ。
581:不明なデバイスさん
12/06/27 14:35:26.55 V2ojzOad.net
ICMP pingについて。IPoIBはSMでdiscoveryして経路設定するから、ICMPとか都度コネクション生成するようなのは
負荷高くなるんじゃないかな。
＃discoveryや経路設定の中央集権（通常のetherはARPで分散型）は最近の流れだけど、スケーリング的には善し悪しですね。
582:不明なデバイスさん
12/07/01 14:40:27.07 aLEvyHdV.net
Infinibandの値段もずいぶん下がって�
583:｢たんですね。このスレではじめて知りました。 ところで、Server(Windows)側にRAMDiskを構築し、10GbEのIntelNIC経由でiSCSI Bootを使ってClient側のOSを RAMDiskから立ち上げようと思っているのですが、IBでも同様にBootさせることは可能なのですか？
584: ◆GHONBEsd/2
12/07/01 15:36:04.50 zbHO4m5t.net
>>551
Client側のOSがなんであるかにもよりますが、
MellanoxWinOFでは、IPoIBでのiSCSI bootは相変わらず非サポートみたいです。
URLﾘﾝｸ(www.mellanox.com)の
10ページ目にnot functionalと記述されています。
WinOF3.0で検証したときはIPoIB経由のブート中にBSODでした。
585:不明なデバイスさん
12/07/01 16:02:19.09 aLEvyHdV.net
>>552
早速のレスありがとうございます。
ClientもWindowsを検討しております。
Server側OSをlinuxにすれば解決する？かもしれませんね。
一度、メーカーなどにも問い合わせてみようと思います。貴重なご意見ありがとうございました。
586:不明なデバイスさん
12/07/05 20:08:14.02 LvUxr5Qr.net
>>553
Server側がLinuxで良ければ、おっしゃるようなWindowsのramdiskからのBoot over IBが可能です。
RDMAが効けば、速度面も10GbEでの一般的なiSCSIより期待できます。
1) Server側にIBドライバ（例：Mellanox OFED）をインストール
2) Server側にSRP Target（例：SCST）をインストール、ramdiskをTargetに設定
3) Server側でDHCPサーバ（例：ISC DHCP）を立てる
4) Client側にIBドライバ（例：OFED for Windows）をインストール
5) ClientのWindowsイメージをServer側のramdiskへ転写、HCAのromをブート用に構成
簡単にやるならこんな手順でしょうか。詳細が必要でしたら追記します。
587:不明なデバイスさん
12/07/06 13:30:31.55 RczeAfjz.net
>>554 横からすみません。
私もWin7Pro 64bitをSRP Target(SuSE or CentOS)から起動させようとしています。
参照する環境は>>525,528でよいですか？
ClientからSRP TargetへのOSインストールは失敗するので、
先にHDD/SSDにインストール->イメージをddという流れだと予想していますが、
以下を教えていただけないでしょうか。
・ディスクからブートしている時点で入れておくべきソフトとバージョン、設定(IPoIB等)
・鯖のdhcp.confの具体的設定(ib_srp以外にもkeep-sanいるのか等)
・WindowsのディスクイメージのSRP Targetファイル化方法
(HDDの方が大きいので、単純なddだとRAMディスクに収まらない)
588:不明なデバイスさん
12/07/06 20:27:50.97 47Kop7m/.net
>>555
環境は>>525,528のとおりです（正確にはCPUをCore i7-3930Kに変更しました）。
>・ディスクからブートしている時点で入れておくべきソフトとバージョン、設定(IPoIB等)
(1)OFED for Windows 3.1 （Setup時にSRP install を選択）
(2)sanbootconf 1.1.1
の２点です。IPoIBはconnected modeを有効にした以外は変更していません。
URLﾘﾝｸ(www.openfabrics.org)
URLﾘﾝｸ(git.ipxe.org)
>・WindowsのディスクイメージのSRP Targetファイル化方法
自分は60GBのSSDにWindowsをインストール後、その全体をddでイメージ化しましたので
あいにく実体験ではありませんが、下記を参考に、Windowsインストール時に例えば30GBの
パーティションをHDDから切り出しておく方法でいかがでしょうか。
URLﾘﾝｸ(etherboot.org)
URLﾘﾝｸ(etherboot.org)
・dhcp.confの件はレスを分けます。
589:556
12/07/06 22:55:45.80 47Kop7m/.net
・dhcp-client-identifierの末尾を、Initiator側のGUIDに置き換えてください。
・root-pathは"ib_srp::::dgid::service_id::id_ext:ioc_guid"で、それぞれTarget側のibsrpdmの結果と置き換えてください。
#cat /etc/dhcp/dhcpd.conf
ddns-update-style none;
ddns-updates off;
allow booting;
allow bootp;
option space ipxe;
option ipxe.keep-san code 8 = unsigned integer 8;
option ipxe.no-pxedhcp code 176 = unsigned integer 8;
shared-network "flexboot_network" {
subnet 192.168.0.0 netmask 255.255.255.0 {
option dhcp-client-identifier = option dhcp-client-identifier;
option subnet-mask 255.255.255.0;
next-server 192.168.0.50;
always-broadcast on;
range dynamic-bootp 192.168.0.51 192.168.0.52;
}
}
host host1 {
fixed-address 192.168.0.51; # the IP address to be assigned to the client
filename "";
option dhcp-client-identifier = ff:00:00:00:00:00:02:00:00:02:c9:00:00:02:c9:03:00:2f:XX:XX;
option root-path "ib_srp::::fe800000000000000002c903002fXXXX::0002c903002fXXXX::0002c903002fXXXX:0002c903002fXXXX";
option ipxe.keep-san 1;
option ipxe.no-pxedhcp 1;
}
590:556
12/07/06 23:06:45.52 47Kop7m/.net
・念のため、SCSTの設定です。
・TARGETの部分は、scstadmin -list_targetのib_srptの結果と置き換えてください。
#cat /etc/scst.conf
HANDLER vdisk_fileio {
DEVICE disk0 {
filename /tmp/windows7.img
}
}
TARGET_DRIVER ib_srpt {
TARGET 0002:c903:002f:XXXX {
LUN 0 disk0
enabled 1
}
}
少しでもご参考になれば良いのですが。
591:不明なデバイスさん
12/07/06 23:32:48.64 RczeAfjz.net
>>556-558
設定丸々ありがとうございます。
wikiも参考にしつつ、休日使って構築してみます。
592:555
12/07/08 16:35:29.53 TBXlFj1L.net
>>556
おかげさまでRAM上のSRP TargetからWin7がbootできました！
ありがとうございました。
ほとんどつまづくところはありませんでした。
強いて書くとしたら、SCST(srpt)のmake前に、
きちんとREADME.ofedを読んでおくくらいでしょうか。
593:556
12/07/09 20:07:38.07 bKS71sXG.net
>>560
うまくいったようで何よりです。
もし良かったら、逆にIB StackとSCSTの導入について教えてください。
自分自身、Mellanox OFEDを使わないで素のOSの状態から最新のOFA OFEDとSCSTを
導入する手順を詰めきれずにいます。
594:555
12/07/09 22:31:21.71 thMTPY1W.net
>>561 私の手順です。参考になれば。
OSはCentOS6.2のDesktopインストールからスタート。
基本的にSCSTのsrptディレクトリの中のREADME.ofedに従っています。
・準備
rm -rf /lib/modules/$(uname -r)/kernel/drivers/infiniband (怖いのでmvで逃がした)
rm -rf /lib/modules/$(uname -r)/kernel/drivers/net/mlx4 (そもそも存在しなかった)
cd /lib/modules/$(uname -r)/build
patch -p1 < ${SCST_DIR}/srpt/patches/kernel-${KV}-pre-cflags.patch (kernelバージョンに合わせて指定)
・OFED(1.5.4.1)
srpt=nを書いたconfファイル(その他y/nはREADME.ofed参照)を作り、./install.pl -c ofed.conf
足りないと言われるパッケージはyumで追加
・SCST
make scst iscsi srpt scstadm; make scst_install iscsi_install srpt_install scstadm_install
こんな感じでmake/installは終了。後はscst.confとか書けば動きました。
README.ofedに従うとibstat等のツールは作られないので、
後からOFED展開した中にあるsrpm使って作ってやらないとならない(rpmbuild --rebuild)と思います。
他
595:のコマンドでも最低限のチェックはできるため、まだ試していませんが。
596:不明なデバイスさん
12/07/10 16:48:35.44 PMbc7shq.net
tmpfs(ramdisk)並のスピード、でもディスクにも保存、とかいうのを実現したい場合、
仮想ディスクより多くのメモリを積んでおいて、起動時にddで空読みしてキャッシュさせればOK？
それともそれ目的のfs/moduleがある？
597:483
12/07/10 21:19:06.34 hak1uTFD.net
483でSRPの紹介してからの経過ですが、いまのところ順調です。
ESXi 4.1 u1: Intel 9550, 8GB DIMMからIntel i7 2600、DIMM 32GBへ変更
して、SRP targetで試験運用しています。IPoIBよりサクサク、機敏で気分
いいです。調子にのってもう一台SRP targetを接続しました。しかしESXi側
で認識しません。追加のdatastoreが作れません。これって仕様？
ESXI4.1u1のホストにHCAを2枚さしてそれぞれをCentOS6.2ベースのSRP
targetへつないでいます。これができるとdatastore間のファイル転送が早
くなるのでうれしい。
598:556
12/07/11 19:46:37.39 Fjsb51m4.net
>>562
大変ありがとうございます。詳細に助かります。
週末にもCentOSインストール後、素の状態から始めてみます。
599:不明なデバイスさん
12/07/11 20:55:53.80 eMf5rRgh.net
0Gのスイッチを探している人がいるかどうかわからないけど
個人輸入で安く買えそうなので、現状を参考までに
Mellanoxの8PortQDRスイッチが国内ではあまりに高いので、海外で
探していたところ、代理店の直販サイトが国内の半額くらいだったので
日本への発送が可能か聞いてみたところ可能とのことだった。
IS5022が国内だと27～8万のところ14万くらい、関税は0なので国内の税金5%&がかかる
送料はものによるが3kgで大体2万くらい？（FEDEX）
SMはついてないのでなんか別の小型サーバか接続するサーバに
立てる必要ありだけどスイッチがあるので適当な小型サーバで立ててもOK
やり取りはすべて英語ですが、翻訳サイト活用でなんとかやり取りは
できています。
非常に丁寧に対応いただいています。
（時差があるので、夜中に送るとすぐ返信がくる）
ちなみに最初に英語あんまり得意じゃないです！って伝えた
詳細は次レスで
600:566
12/07/11 20:58:34.04 eMf5rRgh.net
やり取り詳細箇条書きで
Colfax Direct
URLﾘﾝｸ(www.colfaxdirect.com)
・サイトでユーザー登録することをおすすめ。
・カートに商品いれて注文するところは、普通の通販と同様
・支払いはクレジット可能
・住所の書き方は適当にぐぐれ
・FEDEXアカウントを取得しておく必要あり（DHL,UPSも可能だが高い）
・FEDEXアカウントは電話でカスタマーに電話して申込書を
送ってもらう、それを送り返せば即日作ってくれる。
・クレジットカードが必要
・FEDEXアカウントナンバーを先方に伝える、これで送料関税等は代引での
取引が可能
・そこまで進むとINVOICEとクレジットカード情報を記入するPDFが送られてくるので
PDFを編集できるソフトなんかを使って内容を記述して送り返す。
・手書き署名が必要
今のところここまで進んでいます。ものが届いたらまた詳細報告します。
支払い情報を送ってから少し時間がかかっています。
ケーブルとか、
601:カードもソコソコ安いのでおすすめかと、国内でもおそらく 企業向けの仕切りは安いのかもしれませんが、個人ではなかなかディスカウントは 効きませんから・・・ これでいけるかどうかはまだわからないので、続報をお待ちください。 質問あればどうぞ～
602:566
12/07/11 21:12:40.28 eMf5rRgh.net
Mellanox製品はグローバルでの保守契約ができるようで、RMAも行える
みたいなので、一番下の保守契約のブロンズも発注しました。
登録もJapanで可能となってるのでおそらくRMAは英語で自分で送る必要が
あるので手間ですが、Ⅰ年保証+延長4年で1万7千円くらい、国内だと年額
5万近く取られます・・・
こちらについても詳細わかったら追記しますね。
個人使用ならブロンズで十分でしょう。
603:不明なデバイスさん
12/07/11 22:06:21.75 Fjsb51m4.net
>>568
Colfax Direct で先々月にケーブルの買い物しました。トラブル無しでちゃんと届きましたよ。
納期が少しかかりましたが、当然ながら在庫状況によるのでしょう。
保守契約には興味あります。詳細また教えてください。
604:566
12/07/12 04:04:03.06 AYAPwKwU.net
>>568
おお、先にもうされてる人がいましたか、状況にもよると思いますが、
支払い情報送ってからどれくらいで発送されたか覚えておられますか？
一週間くらいは見たほうがいいですかね？
保守契約はちょっと不安ですが、Mellanoxはグローバルでのサポート
を行なっているというのを売りにしているみたいで、日本法人のサイトにも
そのような記載があります。
IBMやHPと同様保守パックという形で販売されているので、おそらく
証書をおもとに登録することで有効になるものと思われます。
対応は日本法人ではなくアメリカサイトでのオンラインでのRMA受付
もいけるようなので、おそらくは問題ないと踏んでいます。
どちらにせよ1万5千円足らずなので、ダメでもそこまで痛くないかなぁと
国内でも同じレベルでのサポートを受けていますが、ボリすぎですね・・・
ブロンズが年間5万近くかかりとなると5年で25万・・・1台保守用が買えるレベル。
経験上結局こういうベンダーは、最終的にメーカに丸投げにするので、
自分である程度出来る人は自分で問い合わせたほうが早いことが多いです。
むしろここで聞いたほうが早かったり・・・
605:sage
12/07/12 13:38:17.58 il6QXaq1.net
お前いらない
606:不明なデバイスさん
12/07/12 19:05:43.12 AYAPwKwU.net
>>571
わかった
607:不明なデバイスさん
12/07/12 19:18:34.58 AYAPwKwU.net
sage忘れてた
608:不明なデバイスさん
12/07/12 19:23:59.85 JHFRU+6f.net
>>570
> 支払い情報送ってからどれくらいで発送されたか覚えておられますか？
２週間かかりました。
１週間経過時点で問い合わせたところ「メラノックスに確認してみる」と
返信がありましたから、在庫は持っていなかったようです。
609:不明なデバイスさん
12/07/26 12:33:35.97 uLURu+/D.net
XenServerでOFED動くか試してたのの結果報告。
結果から言うと、OFED 1.5.4.1をコンパイルしてやればSRP Initiatorまでは動きました。
XenServer用のDDK落としてきてインストールしてやり、その上でOFEDをコンパイル。
コンパイル用にいくつか足らないパッケージがあるので、それをCentOS5 i386のRepoから拝借してきてインストール。
できたパッケージを、XenServerのコンソールでインストールしてやればOK。
OpenSMとSRP Initiatorの動作は確認。SRP使ってSR作成できるところまでは確認した。
あと、Ubuntu12.04でOpen-iscsi使ってiSER接続も確認。
こっちはKVMのテストがてらやってみたんだけど。
debian OFEDから1.5.4のパッケージのソース取ってきてインストールしてやったらiSERは一応動作した。
iSER動作させるだけなら、特にOFEDのパッケージインストールする必要はないかも。
IPoIBでTCP接続に比べて、
610:300MB/s -> 600MB/sくらいに速度が上がった。 どちらも、ストレージ側のOpenIndianaのpoolがボトルネックになってるので、そこを速度アップしないと これ以上の速度アップは望めない状態。
611:不明なデバイスさん
12/07/26 12:45:00.10 uLURu+/D.net
上のに追記。
なんでテストしたかってと、ESXi5だとInfiniHost系が切られちゃってるので、他の仮想化環境で使えるか
試してみたかったからやってみたんだけど。
少なくとも、Linuxがベースの物はmthcaが動作するのでそれを使ってやれるってのが今回の実験結果でした。
次はWindows 2012でConnectX使ってHyper-Vのテストやってみます。
RDMA CIFSで共有かけてLiveMigrationとか試してみたいのでｗ
612:不明なデバイスさん
12/07/26 12:51:09.22 uLURu+/D.net
566さんの直接購入って方法もあるけど、英語でやりとりするのが面倒って人は個人輸入代行使うってのもありかな。
大体手数料として10%くらい上乗せ+送料って感じでいけるかと。
輸入代行だと、国内までの送料が大分安くあげれるので、トータルだとあんまり金額は変わらないと思う。
ただ、保守が乗っけられるかがわからんけど。
613:不明なデバイスさん
12/07/26 21:22:31.80 WGcIiuKZ.net
>>576
MLNX OFED for server2012はやっぱりInfiniHostはちっとも認識されなかったです←あたりまえ
ESXiとかxenはPCIe passthruがあるから親が対応してなくても対応してる仮想OS持ってくれば動かせる可能性あるけど、
server2012は対応してないからなー。
614:不明なデバイスさん
12/07/27 00:14:19.53 pEcPiSZa.net
>>578
でも、IBなんて広帯域のバスを使いたいのはホストのIOだから、
VM上だけで動いてもなんも嬉しくないというか、
ほとんどんの場合意味が・・・
2012の方は、SR-IOVに対応してきたから、
HBAが対応してくれば、複数のVMからほぼネイティブな性能を得られるから、
その点は、現状のESXiより優れてると思う。
615:不明なデバイスさん
12/07/27 12:52:27.83 3UadAdS1.net
SMB over RDMAがどの程度出るか遊んでみたかったんだけどね＞MLNX OFED
rdma前提ならInfinihostで動いてくれたっていいのに。
616:不明なデバイスさん
12/07/27 19:54:43.49 QmjfUt90.net
>>575
凄いですね。なんて濃いスレでありがたいことでしょう。
iSERのTargetは、tgtとMellanox VSAくらいしかないのかな。
某勉強会でVSAの管理画面だけ見せてもらったが個人には雲の上そうで。
617:不明なデバイスさん
12/07/27 21:19:48.85 tEeC1KCT.net
>>578
InfiniHostはEOLになっちゃいましたからね。
ConnectX以降って制限が意外ときついです。
ESXi5でConnectX-2以降って制限がかかってるので、ConnectXも何時までサポートしてくれるのか不安ではありますね。
>>579
Windows Server 2012もSR-IOV対応ですけど、Linuxでもサポート進んでるみたいで、Kernel 3.5でサポートが入るんじゃないかと。
linux-rdmaのMLを見てたら大量にパッチがでてましたので。KVMとかXenでもいけるようになると思います。
>>580
環境用意するのが大変なのが。
InfiniHostがいければ、イニシャルコスト落とせてありがたいんですけどね。
>>581
Mellanoxが前からSRPのサポートは止めるって公言してたので、仕方無く移行先の環境の検証をしてみた感じです。
うちのiSERのTargetはOpenIndianaです。
Linuxだとtgtになっちゃうんですか。MellanoxのVSAはtgt使ってるんじゃないかと思います。
VSAはFastcache + DRDB + tgtのカスタマイズ品に、Utility載っけてる感じなのかな～と思ってますが。
個人で触ってるだけなので、VSAなんてとてもとてもｗ
FreeBSDも9.1でCTLってレイヤが出来
618:たので、iSCSIとかSRPのサポートが比較的楽に出来そうな環境になりつつありますけど、 もう少し時間がかかるのかなー。 FCoEの環境も構築できたのでそっちも試してみたいんですが時間がｗ
619:不明なデバイスさん
12/07/29 22:14:05.29 tItsHmBE.net
＞FCoEの環境も構築できた
mjd? すごすぎ。
620:不明なデバイスさん
12/07/30 19:58:26.40 2Ff7vY1X.net
>>582
Mellanox VSAってそういう構成なんですね。
ちなみにRisingTide SystemsのRTS OSというのが中々使いやすくて
InfiniBand SRPのほかiSCSI、FC、FCoEのTargetになるんですが
中身はSLES11sp2＋lio でした。
621:不明なデバイスさん
12/07/31 10:13:56.54 Y6zS0eYl.net
OFED3.1の配布msiをorcaでいじってチェックはずしてServer2012bに入れてIPoIB程度は使えることを確認しました＞InfiniHost
SMBoRDMAは、うーん、無理だろうなあ。
622:不明なデバイスさん
12/08/09 00:53:49.32 MkoNp0NV.net
すみません。教えてください。
>>463>>464を参考にOpenindianaへOpenSMをインストールしようとしているんですが
どのバージョンのSunStudio12.1を入れればいいのでしょうか？
623:不明なデバイスさん
12/08/19 08:44:19.02 uUyPva8e.net
>>586
>463さんの方法でできませんか。
624:不明なデバイスさん
12/08/31 13:54:40.29 rKTiRpiU.net
ヤフオクのいつもお世話になってる人がSFS7000D売りに出してるなあ。もうSFF8470は見切ってしまわれたのか。
625:不明なデバイスさん
12/09/02 13:19:23.27 fRMkSfMZ.net
海の外から700Ex2-Q-1（ConnectX-2 MHQH29B-XTRのOEM品）2枚を3万ちょいでゲット。
Solaris系だとまだOFED周りの準備が面倒そうなので、
半人柱方向で、FreeBSDのIBoIP上のiSCSIでESXiと繋げられるかどうか、
頑張ってみる。
626:不明なデバイスさん
12/09/02 21:15:53.78 fRMkSfMZ.net
一応FreeBSD 9-STABLE+istgtでESXi5.0のiSCSIソフトウェアアダプタと接続出来た。
ESXi上のVMからRDMでBSDのmd0をistgtで公開してるターゲットへ繋げてCDMをテストした。
Readはともかく、なんかWriteが寂しいことに。
SRP使えないのが痛いぜ・・・
OIにOpenSM入れてテストしたいけど、コンパイルからっつーのが面倒だな。
-----------------------------------------------------------------------
CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo
Crystal Dew World : URLﾘﾝｸ(crystalmark.info)
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]
Sequential Read : 930.964 MB/s
Sequential Write : 159.334 MB/s
Random Read 512KB : 448.169 MB/s
Random Write 512KB : 278.414 MB/s
Random Read 4KB (QD=1) : 24.913 MB/s [ 6082.3 IOPS]
Random Write 4KB (QD=1) : 23.375 MB/s [ 5706.7 IOPS]
Random Read 4KB (QD=32) : 299.353 MB/s [ 73084.2 IOPS]
Random Write 4KB (QD=32) : 245.707 MB/s [ 59987.0 IOPS]
Test : 2000 MB [G: 0.8% (68.9/8189.0 MB)] (x5) <All 0x00, 0Fill>
Date : 2012/09/02 19:49:20
OS : Windows Server 2008 R2 Enterprise Edition (Full installation) SP1 [6.1 Build 7601] (x64)
627:不明なデバイスさん
12/09/02 21:21:40.40 fRMkSfMZ.net
ちなみに同じVMから今使ってるFC targetへのテストだとこんな感じ。
targetはSoraris11 MEM 32G 接続は4Gb FC
ん～・・・IBのWriteがもうちょい速くならないと、
FC 4Gbの方が、楽に性能出せるって事に
628:。 こっち繋ぐだけで済むからなー。 ----------------------------------------------------------------------- CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo Crystal Dew World : http://crystalmark.info/ ----------------------------------------------------------------------- * MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s] Sequential Read : 368.957 MB/s Sequential Write : 303.013 MB/s Random Read 512KB : 339.040 MB/s Random Write 512KB : 270.316 MB/s Random Read 4KB (QD=1) : 33.117 MB/s [ 8085.1 IOPS] Random Write 4KB (QD=1) : 19.863 MB/s [ 4849.3 IOPS] Random Read 4KB (QD=32) : 370.564 MB/s [ 90469.6 IOPS] Random Write 4KB (QD=32) : 18.663 MB/s [ 4556.5 IOPS] Test : 2000 MB [E: 57.4% (6168.7/10751.9 GB)] (x5) <All 0x00, 0Fill> Date : 2012/09/02 21:15:05 OS : Windows Server 2008 R2 Enterprise Edition (Full installation) SP1 [6.1 Build 7601] (x64)
629:不明なデバイスさん
12/09/07 00:00:29.31 c+Jir48n.net
>>590
ちなみにHCAはなんですか？
630:不明なデバイスさん
12/09/07 07:51:43.59 DS6LYi1Z.net
>>592
>>589に書いてあるけど、MellanoxのOEM品。
631:不明なデバイスさん
12/09/13 06:17:42.83 pnSIRLf4.net
>>590
ストレージネックじゃないの？
何やってるか分からないのでは。。
632:不明なデバイスさん
12/09/13 07:15:04.34 2Ed8aOAj.net
>>594
先週は時間切れで、ざっくりそのあたりまでしか検証出来なかった。
BSDとESXiを直結してるんで、netperfも取りようがなかったし。
BSD機のスペック書いてなかったな。
HPのG7にE3-1240/MEM 16GiB
ここからメモリー8GiBをmd0で切り出して、テストした結果が>>594
ただ、iSCSI経由とはいえ、md0に対して>>594この値はちょっとね、
リードはそこそこいい値出てるんだけど。。。
istgt自体は10GbEでRW600MBを超えられる位の能力は有るはずなんで。
Conectx-2のファームもBSD側は古いまま(2.7.0)なんで、offloadは恐らく動いてないし、
今週末もうちょっと色々弄ってみる。
でも、BSD側のIBはぶっちゃけパラメーターほとんど弄れない？んで、
チューニングのしようも無いかも。
キャプって無かったけどATTOでもベンチは取ってみてて、
こっちだとMAX Readで1.5GiB writeで800MiB位は出てた気がする。
633:不明なデバイスさん
12/09/13 10:18:12.01 j2tnsU52.net
>>595
ESXi5だから、IPoIBでConnectModeが使えるのでそれを使って、FreeBSD側もConnectModeを有効にしてやれば
もう少しパフォーマンス出ると思う。自分はFreeBSDでIB使ってないから何とも言えないんだけど。
FreeBSDのistgtが、CTL対応してiSER対応になるか、もしくはNFSがRDMA NFS対応になるとパフォーマンス上がると思う。
うちだと、DDR接続のiscsiでOpenIndianaをTarget(RAM Disk)でLinux InitiatorでiSERつかって2GB/s近くでたような。
ESXi5だと、SRP削除されてるからRDMA NFS使うしかないんだけど、そっちは測ってないから何とも言えないんだよなー。
つか、ESXiは色々と微妙になってきてるので、IB使いたいから他のHypervisorに移行するつもりなので。
634:不明なデバイスさん
12/09/13 17:15:16.99 2Ed8aOAj.net
>>596
あれ、ESXi5のIPoIBドライバー Connected Mode対応してたっけ？
Release NoteにはCMはむりーって書いてあった気がしたけど。。。
後で読み直してみるか。
RDMA NFSはまともに動いてる報告をみた記憶が。。。
今回のvSphere5.1 vs 2012 Hyper-V見るに、勢いはHyper-Vかなぁ、とは思う。
SMB Directも試してみるかなー。
635:不明なデバイスさん
12/09/13 20:19:35.10 j2tnsU52.net
>>597
ごめん、ManualみたらUDのみサポートって書いてた。
どこで勘違いしたことやら…。
Hyper-V Server 2012は、もう出てるね。
日本語のサイトはエラーになるけど、英語サイトだとページがちゃんとあるし。
コンソールで管理か、Win8か、Win2012で管理ってのは仰々しいので、5nineのツールでいいかなと思ってる。
636:不明なデバイスさん
12/09/16 08:58:36.08 TrRscT1e.net
SMB direct、Infinihost系でも使えんかなー。SOFS(SMB 3.0)上のvhdも試してみたいのに。
637:不明なデバイスさん
12/09/16 10:06:22.19 hOa0Gxe5.net
SMB Directテストしようと思ってたけど、テスト出来るまともなストレージが無いので、おあずけ。
記憶域プールでお試しだけでもと思ったけど、パフォーマンスがあまりにもあれすぎて、
辞めた。
正直これから出てくる新しい事やろうと思うと、最低ConnectX-2以上を
持つしか無いかもねぇ、高いけど。
ConnectXですら、怪しいラインになっちゃってるし。
カード自体はebayで1port $150位？ただ・・・
スイッチは諦めざるを得ないかも。。。
638:不明なデバイスさん
12/09/16 11:49:23.78 TrRscT1e.net
スイッチはいいけど、カードも1万超えると個人実験用にはなかなか、ねぇ。
639:不明なデバイスさん
12/09/16 16:56:09.15 hOa0Gxe5.net
>>591こいつのOSをFreeBSD 9-PRに換えて、同じテストやってみた。
-----------------------------------------------------------------------
CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo
Crystal Dew World : URLﾘﾝｸ(crystalmark.info)
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]
Sequential Read : 745.893 MB/s
Sequential Write : 202.174 MB/s
Random Read 512KB : 642.518 MB/s
Random Write 512KB : 268.240 MB/s
Random Read 4KB (QD=1) : 22.020 MB/s [ 5375.9 IOPS]
Random Write 4KB (QD=1) : 19.750 MB/s [ 4821.8 IOPS]
Random Read 4KB (QD=32) : 192.159 MB/s [ 46913.9 IOPS]
Random Write 4KB (QD=32) : 22.640 MB/s [ 5527.4 IOPS]
Test : 1000 MB [E: 0.0% (0.7/10751.9 GB)] (x5)
Date : 2012/09/16 16:15:26
OS : Windows NT 6.2 Server Standard Edition (full installation) [6.2 Build 9200] (x64)
WriteはOSの特性かもなー。FC targetはOI使ってるけど、あっちは処理Kernelだし。
せめて4kmtuでも使えれば、もうちょっと良いのかもしれないけど、BSD側がなぁ。
OI上にSM立ててやった方が、速いかな・・・
OI上でのSubnetManagerコンパイルってどっかにまとまった情報ないかな？
640:不明なデバイスさん
12/09/17 15:00:31.14 Lg7nOABX.net
SMってどこにあってもスピードにはほぼ影響しないと思う。
641:不明なデバイスさん
12/09/17 23:16:28.85 /2xVCzNo.net
>>603
いやSMの場所じゃなくて、
OIのIBスタック+stmfのiSCSIの方が、恐らく速いかなと。
直結で相手がESXiだから、OIでSM動かさないと、リンクしてくれないじゃん。
642:不明なデバイスさん
12/09/18 12:27:07.15 5/s2fFRK.net
>>600
Windows Server 2012はConnectXのドライバが標準で入ってた筈。
今検証環境がないから、試せないけど。
ただ、IPoIBだけでしか動かないじゃなかったかな？
Mellanoxが出してるドライバは、Ethも動くようにしてるドライバ+SR-IOV対応だと思う。
あと、スイッチはDDRだったらebayで24ポートのものが$500で出てるのがあるよ。
CiscoとFlextronicsの2種類でてる。ただ、CX4だから、QSFPのカードだとCX4-QSFPのケーブルが必要になるけど
643:不明なデバイスさん
12/09/20 21:18:09.53 nyzewu3I.net
ありゃ？
644:不明なデバイスさん
12/09/20 21:49:59.60 nyzewu3I.net
ConnectXもすぐdisconになりそうで手が出せないんだよなあ。やっぱりX2？
DDRのスイッチは持ってるのでCX4-QSFPのケーブルとあわせてポート単価最低2万円かあ。
今持ってるのが比較的安く手に入れられたものだし、２万も出すとE55xxの鯖買えちゃうから考えちゃうな。
645:不明なデバイスさん
12/09/20 23:32:43.44 XdMXsCpD.net
>>607
SMB Directとか新しい事で遊ばないならXでもまだいけるんじゃないかな？ただ、QSFPモデルのが良いと思うけど。
Mellanoxドライバで切られても、OFEDに入っていれば使えるし。
これから出てくる新しい事で色々と遊ぶこと考えてるなら、
X2以上のが良いかなぁ。
ドライバで何とかなるレベルの違いじゃなさそうだしXとX2の差が。
646:不明なデバイスさん
12/09/21 13:42:00.45 Sxg5Fch7.net
でも使われているチップってConnectXでもX2でも同じ、なんでしょ？（MHQAは除く）
X2は10GbeのSFP+DAをサポート、みたいに読める。
X3は明らかに違うチップみたいだけど。
647:不明なデバイスさん
12/09/21 16:09:13.28 F953lT9P.net
>>609
基本設計は同じようだけど、チップそのものは別かな。
XとX2だと消費電力自体が変わってる。
シュリンクしたのか、物理設計を弄ったのかどっちかは知らないけど。
機能自体も、XだとUDPオフロードが出来なかったり、
X2はDCBに対応出来るけど、XはDCEだけだったりと、
細かいところで仕様に違いが有って、これがどうもチップの違いみたい。
というか、UDPのオフロードが出来ないから、それに関連するところで
違いが出てるんじゃ無いかと。
なので、XとX2見た目的にはほとんど変わらないけど、
製品としてははっきりとした違いがあるね。
648:不明なデバイスさん
12/09/21 16:31:08.91 9/GU1DUz.net
メラのfirm downloadのページにPCI devidがあるんだけど、connectXとX2のQDR品比べると26428で同じだったりするんだよね。
だから同じなのかなあ、と。
もちろんブランドで機能に何らかの制限かけてあることに関しては異存はないんですけど。
649:不明なデバイスさん
12/09/21 17:25:41.87 vuWYjKbs.net
>>611
CPUで言うところの、ステッピング変更みたいな感じかと。
デバイスIDは同じだけど、リビジョンまで一緒だったっけ？
650:不明なデバイスさん
12/09/21 17:33:34.75 vuWYjKbs.net
あれだPSIDが違うわ。
ファームとかドライバは多分、こいつもこいつ見てる。
651:不明なデバイスさん
12/09/21 22:47:43.34 /5pAb0UF.net
>>612
linuxでlspciするとわかるけど、RevAがConnectXでRevBがConnectX2だったはず。
652:不明なデバイスさん
12/09/23 03:00:16.85 CfX7KLcy.net
やっとWindows Server 2012の検証環境できたので、ConnectX系のカードがどれだけ使えるか調べられる。
手持ちのMHGH28-XTCは、OS標準のドライバでIPoIBが動いた。
こいつが動くってことは、多分他のConnectX系のカードも動くと思われ。
653:不明なデバイスさん
12/09/23 07:32:47.61 95xPUAUY.net
というころはSMBoRDMAを使うためにはIPoIBが必須(discoveryはIPoIBのIPアドレス経由)ということかな。
654:不明なデバイスさん
12/09/23 09:56:29.61 QAjq1N6b.net
OI 151a5でopen-fabricsのコンパイルを試してるんだが、
どうもうまくいかない。
コンパイル自体は全部出来てるんだけど、
gmake publishだと最後にリポジトリエラー出るし、
installのみだと>>470と同じ状況で
components/open-fabrics/prototype/i386にインストールされちゃう。
componentsのビルドシステムと設定方法が理解出来ん。
何か設定が抜けてると思うんだけど、何が抜けてるのか、どこから調べりゃいいのか。。。
むーん。
これどーやったら、うまくいくの・・・・（泣
>>615
どっかに書かれてたけど、IPoIBだけなら、InfiniHostでも動いてたはず。
当然SMB Directはダメだったみたいだけど。
655:不明なデバイスさん
12/09/23 10:36:48.08 CfX7KLcy.net
>>616
SMB over RDMA 試せる様にもう一台実験マシン用意するつもりなので、結果をお待ちを。
多分、その認識であってると思います。
>>617
その辺で参考になるのはilliumosのページかなー。
URLﾘﾝｸ(wiki.illumos.org)
この辺参考にやってみるとか。すでに見てたらごめん。
MS標準のドライバでSMB over RDMAが動作するかチェックしたいんですよ。
InfiniHostは駄目なのはスレのちょっと前に出てたので、ConnectXの安いやつでどうなるか試してみようと。
656:不明なデバイスさん
12/09/23 11:45:20.19 95xPUAUY.net
>>617
orcaでごにょってinfinihostにofedの入れたけど、SMBoRDMAは動かないと思って試してないというか、
RDMA経由でSMBが使われてるかどうかわからない、んだよね。
そういう意味でconnectxでの挙動がわかるとありがたい。
657:不明なデバイスさん
12/09/23 14:07:57.62 95xPUAUY.net
メモ：ofed3.1を展開してmsiファイルをorcaで開いてlaunchconditionの該当行をdrop row。
なんとなくだけどWindows2012がRDMAで使うapiはDAPLなような気がするから、DAPLとIPoIBが入ってれば
実は動くのかもしれないです。
658:不明なデバイスさん
12/09/23 14:11:00.66 95xPUAUY.net
Windows2012じゃねーよ。Server2012だよ。おっさん乙＞おれ
659:不明なデバイスさん
12/09/23 14:45:41.77 95xPUAUY.net
メモ：www.openfabrics.org/resources/document-downloads/presentations/doc_download/222-microsoft-overview-of-rdma-on-windows.html
SMBDirectされるかどうかはnicドライバがNDKPIをサポートしてるかどうかか。
660:不明なデバイスさん
12/09/24 20:03:23.89 UUPLKt8g.net
>>618
おー、ありがとー。
OIやillumosのコンパイル方法は結構出てくるんだけど、
componentの個別コンパイルの方法が、なかなか出てこなくて。
OI151a6上で、Open-fabricコンパイルとインストールまで出来たわー。
まだカード付けてないので、テストまでは出来てないけど、動きそう。
Kernel ABI Versionがあわねーぞ！とかエラー出てるけど、
これはカード付けてないせいだな、多分。
今度の週末にカード付けて、テストしてみるー。
ってのは良いけど、このパッチ、manifestにOpenSMの設定がなーい。
ので、自前で追加するか、マニュアルでinstallしないと。
後は、init.d周りも自前で準備しないとなのかな。
FreeBSD+IBの単純なパフォーマンスは悪くはないけど、
ZFSの読み書きが重なって負荷がかかったときの反応は、まだOIのが上だなー、さすがに。
OI+FCの時より、レスポンスが悪い。BSDのほうも10辺りでこの辺改善が入るらしいけど、
10-RELEASEなんて、まだ先出し、さすがにストレージにCURRENTは使えないｗ
後は、FreeBSDのOFEDがちゃんとメンテされていくかが不安なところかなぁ。
現状OFEDを力業で動くようにしましたって感じがするし。
IBのチューニングしようにも、インターフェースが無いというｗ
661:不明なデバイスさん
12/09/25 21:02:33.50 nbxX8hZI.net
・・・QSFPって線引っ張ると抜けちゃうね。ラッチの意味ないような。うちの子だけ？
662:不明なデバイスさん
12/09/25 22:26:24.66 q7HjFOrR.net
>>624
うまく刺さってないんじゃないかと。
ラッチがちゃんと引っかかってれば
引っ張ったくらいじゃ、あれは抜けない気が。
663:不明なデバイスさん
12/09/26 09:17:09.47 TSa2aNpM.net
機構そのものは10gbe XFPと全く同じだね。ケーブル変えても同じだから本体側かあ。中古だけど安価に手に入れたからよし。
QSFPのケーブル、I2C付きとI2Cなしがあるね。なしでも問題なくリンクするけど。
664:不明なデバイスさん
12/09/26 09:26:13.73 TSa2aNpM.net
メモ：members.infinibandta.org/kwspub/resources/QSFP-Cable-Implementation-Common-Mistakes-final.pdf
665:不明なデバイスさん
12/09/26 09:50:41.38 TSa2aNpM.net
でコネクタ部よくみたら、ラッチ破損してた（w
666:不明なデバイスさん
12/09/26 09:53:07.19 QTmfJO/d.net
>>626
前使ってた環境で、ラッチが中途半端にかかった状態で力任せに抜いたのかもね。
で、メス側の引っかかる部分なめたのかも。
667:不明なデバイスさん
12/09/26 11:38:41.73 6yCGUHQy.net
SFPとかXFPとかファイバ付きのやつはファイバ抜かないとラッチはずせないの多いから破損わかるんだけど、
QSFPはわかりやすいタプついてるのになあ。まあ撤去屋さんにとっては抜ければどうでもいいのか。
668:不明なデバイスさん
12/09/28 11:25:06.79 NkU1Rp1m.net
ConnectX[2,3]、QSFPケーブルが使われていくとして、InfiniHost
CX4ケーブルは廃棄されていくのかな。ebay半年みていると品数
が減ってきたように思う。
669:不明なデバイスさん
12/09/28 12:42:38.20 vhd3R4KF.net
>>610
F
670:irmのRelaseNote読んでて気づいたんだけど、ConnectX-2以降はSR-IOVに対応してたりで、 書かれてるようにConnectXとはチップ内部をかなり弄ってる気がする。 >>619 実験しようとしたら、実験マシン1のメモリが死亡してていまだ実験できず orz 直結でやろうとしてるんだけど、実験マシン2でRAM Diskのパフォーマンスが全く出なくてそっちの原因も追っかけ中です。 Xeon E5-2620+DDR3 1333だから、30GB/sくらいメモリの速度は出る筈なのにMemtest86+でメモリの速度みると 10GB/sくらいしか出てないのですよね。確かにRAMDISK作って実験したら、2GB/sとかしか出てないので。 あと、無印ConnectX使ってWindows Server 2012でOpenSM動かそうと思い、MellanoxのWindows Server 2012用の ドライバ類をインストールしたら、途中でエラーでこけるという症状が。 そんな状況なので前途多難です orz >>631 CX4のケーブルのebayでの流通が大分減ってますね。 あと、ConnectX(1,2)系が大分安くなってきてる気が。 気になるのが、WIN_OFED 3.2でConnectXでもSMB over RDMA使えるようになるんだろうか？
671:不明なデバイスさん
12/09/28 20:40:41.47 yJEos/vJ.net
CX4(SFF-8470)は10gbeでもSASでも使われるし、淘汰まではいかないと思う。(SASはねじ式がほとんどだけど)
この前某オクで3mだが2000円で大量に出てたしね。
672:623
12/09/29 11:36:45.37 5OlnIMzE.net
カード差してopensm叩いたら、core吐いてオチタorz
Solaris系でのSMはやはり敷居が高い・・・
コンパイルは出来てるんだけどなぁ。。。
673:623
12/09/29 15:09:26.31 5OlnIMzE.net
出てたエラーはこんなの
>libibverbs: Warning: no userspace device-specific driver found for /sys/class/infiniband_verbs/uverbs0
OIなら"/devices/ib"を見に行かなきゃなのに、なんで"/sys"見に行っちゃってんだ・・・？
ソース見てもパッチはちゃんと当たってるんだが。。。
cなんて学生時代に基礎さらっとやっただけで、その後使ってないから、覚えてないよ！
てか、このスレに他に何人かOIでコンパイル試してた人いたよーな気がするけど、
動いてるんだろうか・・・
674:470
12/09/29 23:17:08.11 t7QARQO2.net
>>635
こんばんは470です。いや、もしコンパイルできたとしても障害対策できない
と判断してOIはやめました。ほんとはOIで行きたかったです。泣き、、。463さ
んには助言を頂いてありがとうございました。結局ZFS on Linuxで様子見て
います。これはこれでいいと思うのです。OIで挫折して、FreeBSDとLinuxを
比較するとLinuxの方がまだ、篤いようです。FreeBSDは疎な印象で、current
は追っかけていませんが、10系を待たないと実用にならないかも。
ESXi4.1のSANとして使っていますが、HCAはInfiniHostです。SSDをいれて
補強していますのでしばらくはいけるでしょ。
675:不明なデバイスさん
12/09/30 00:35:44.60 s4yf0m3y.net
>>636
なるほど。
こっちも、OIでSM建てるのはかなりあきらめ気味。。。
ただ、ESXiもストレージシステムとしては、FC or FCoEがメインで
IBはあまり力を入れてない＆今後のライセンスがちょっと。。。
ってのが有るので、Hyper-V他への乗り換えもまじめに検討しようかと。
ESXiがIBに力を入れられないのは、ベースになるOFEDがLinuxカーネルに
依存しすぎてて、コアに組み込むのが大変だからじゃないかと・・・
（せっかくESXiでLinuxの
676:ユーザーランド消したのにってところで） OIやBSDへの移植でも、結局苦労してるのは、カーネルインターフェース周りっぽいですし。
677:不明なデバイスさん
12/09/30 00:47:55.41 s4yf0m3y.net
MellanoxがESXi5.1の発表後すぐにIBIFのSR-IOV対応の発表をしたのも、
結局ESXi自体ではIBをまともに使えないからじゃ ないかと。
Mellanoxとしては、VM上で使ってももらえないと、
対ESXiでの商売がやりにくいんだろうなぁと、発表みて思ってみたり。
（あくまで個人的意見ですがｗ）
10GbEやCNA系のIFも当然SR-IOVに対応してる＆するでしょうけど、
すぐに大々的な発表したところは無かったとおもうし。
678:不明なデバイスさん
12/09/30 16:56:16.85 q1AgKrFW.net
SR-IOVってNICとかIBAとかでは負荷低減需要＜仮想スイッチ需要、で流行らないような。
679:不明なデバイスさん
12/10/01 09:43:42.36 xg1W/DsN.net
>>639
ESXi上で直接DCBとか、動かせないからじゃないかなぁ。
なので、SR-IOVで、VMから直接使ってもらうつもりなんじゃないかと。
ESXiのインフラとして、ENモードの10 or 40GbEだけじゃ、推しが弱いとか。
680:不明なデバイスさん
12/10/01 13:28:22.93 egqmwt5p.net
10GBeだとSR-IOVは仮想スイッチと相反するし、いまひとつ利点が感じられないけど、
IBだともともとスイッチはおばかさん（w なんでSR-IOVでも十分利点があるか。
スイッチ、進化ないなあと思ってたらFabric Collective Acceleratorとかあるみたいだけどよーわからん。
681:不明なデバイスさん
12/10/04 09:34:30.70 q8KSh1WI.net
OI上でOpenSMがうまく動かない事にカッとなって、vSphereからHyper-V 2012へ移行した、反省はしてない。
で、>>602と同じ事をやってみた。今回すでにデータが入っちゃってるので、全く一緒では無いけれど。
大分良い感じになってきた。てか、Hyper-VもVMがWindowsならかなり良い仕事するな。
WS2012のメラOFEDだとCMが使えない＆targetのFreeBSD側がUD modeで4k mtuを
使えないのでmtuは2044。これでtargetをOIに戻して、4k mtuで接続出来れば、Random 4KB辺りは
もうちょっと改善するかも？ZFS自体の能力はもうちょっと余裕有りそうなので。
シーケンシャルはそんなに変わらないかなぁ、多分。
今週末、試してみよう。
ちなみにHyper-VホストとiSCSIターゲットの間でiperfやってみたら、TCP Window 2MiBの状態で、10Gpbs弱だった。
もうちょっと出てほしいなぁ。
Sequential Read : 697.423 MB/s
Sequential Write : 406.635 MB/s
Random Read 512KB : 580.026 MB/s
Random Write 512KB : 393.651 MB/s
Random Read 4KB (QD=1) : 24.180 MB/s [ 5903.3 IOPS]
Random Write 4KB (QD=1) : 27.052 MB/s [ 6604.5 IOPS]
Random Read 4KB (QD=32) : 203.598 MB/s [ 49706.6 IOPS]
Random Write 4KB (QD=32) : 52.651 MB/s [ 12854.3 IOPS]
Test : 1000 MB [E: 45.9% (4932.4/10751.9 GB)] (x5)
Date : 2012/10/03 16:51:20
OS : Windows NT 6.2 Server Standard Edition (full installation) [6.2 Build 9200] (x64)
682:不明なデバイスさん
12/10/04 10:11:30.18 cZXIsbOX.net
UDでmtu 2044なのはInfinihostIIIとかの制限じゃないの？（彼らはIBパケット2Kまで）
connectx系なら4Kまで設定できちゃうんじゃ？
683:不明なデバイスさん
12/10/04 11:36:27.21 q8KSh1WI.net
>>643
FreeBSDにマージされてるOFEDは一応1.5.3ベースらしいから、
ConnectXで4k mtuを扱えるはずなんだけど、そのままifconfig ib0 mtu 4092とやっても
エラーで弾かれる。
で、色々調べていくと、どうもmlx4_coreに4k mtu使うぞってフラグをセットしてあげなきゃ
ダメみたいなんだけど・・・
FreeBSD側にそのフラグをセットする方法が、現状無いという。。。
Linuxで/etc/modprobe.conf辺りを使ってセットするパラメーターを
FreeBSDじゃ今のところ弄る方法がなさそうなんだよねぇ。
で、お手上げ状態。
FreeBSDのInfinibandは、とりあえず
684:動くようになりました－！って感じかな、今は。
685:不明なデバイスさん
12/10/04 12:27:36.46 cZXIsbOX.net
なるほど。sysctlでもだめそうですね。
686:不明なデバイスさん
12/10/04 12:31:42.39 Bv7qllnj.net
>>645
ソースを見ると sysctl で設定できるように、変換のレイヤーがあるにはあるんだけど、上手く動いてないっぽい。
687:不明なデバイスさん
12/10/04 12:50:05.17 cZXIsbOX.net
はー、msのセミナ用に時間あけてあったのに対応待ちで出かけられず、おじちゃんIBのスイッチに火いれちゃうぞ。
688:不明なデバイスさん
12/10/04 15:15:55.18 3db+5b01.net
>>645
なので、ソースのデフォ値を弄って、
カーネルリコンパイルしてどうなるか、
試してみようかと。
上手くいったらラッキー、駄目だと完全に、お手上げ、開発の修正待ちかなぁと。
689:不明なデバイスさん
12/10/05 09:02:26.62 kI4XMrAH.net
デフォ値修正を試したけど、ブートでカーネルが転ける。
やっぱBSDで4kは、まだ無理ぽいねぇ。
690:不明なデバイスさん
12/10/05 16:13:24.75 qtgdw3kY.net
そうなんだ、残念。
しかしQDRの試験とかしようと思うとストレージのスピードとかいろいろ気になって出費がすごいな。
691:不明なデバイスさん
12/10/05 17:01:52.61 XSHaOL9o.net
>>650
テストだけなら6GpbのSSDでRAID0組める環境あれば、まぁ、何とかなると思う。
もっと限定すれば、４GB位のRAMディスク作れれば。
そしてOI入れてみた。
#dladm show-linkprop
LINK PROPERTY PERM VALUE DEFAULT POSSIBLE
pFFFF.ibp0 linkmode rw ud cm cm,ud
pFFFF.ibp0 autopush rw -- -- --
pFFFF.ibp0 zone rw -- -- --
pFFFF.ibp0 state r- up up up,down
pFFFF.ibp0 mtu r- 2044 2044 2044
( ﾟдﾟ) ・・・(つд⊂)ｺﾞｼｺﾞｼ
(；ﾟдﾟ) ・・・(つд⊂)ｺﾞｼｺﾞｼｺﾞｼ
（；ﾟДﾟ） …！？
おぃ、Solaris 10から4k mtu使えるんじゃなかったのかYo！？
ぅー、どうしたものか。。。
692:不明なデバイスさん
12/10/05 17:36:54.84 qtgdw3kY.net
RAMディスクでいくか・・・でも肝心のボードを手に入れないとなあ。
connectX:10GBASE-CX4にもなる。
connectX2:10GBASE-CX4の他、QSA利用等で10GBASE-SFP+にも対応。
connectX3:PCIe GEN3、40GBASE-QSFP+に対応。
693:不明なデバイスさん
12/10/06 01:22:43.93 R47V3Mle.net
>>651
うちだとこうなってるけど、
pFFFF.ibp0 mtu r- 65520 65520 65520
OIのIBスタックって作りかけだから、試すならSolaris11の方がいいかも。
前にsunsolveで見たときに、Solaris11になるまでに相当IB回りに手が入ってた記憶が。
WindowsのOFEDでiSERのminiportドライバ用意してくれれば、iSCSIで十分パフォーマンス出るんだけどね。
うちは実験で、OIでRAMDSIK作ってそれをiSCSI iSERのTargetにし、
Linuxをinitiatorの環境作ってddでテストしたら800MB/s位で頭打ちになった
ddを4つ走らせると、3GB/s位まででたけど。
>>652
LinuxのKVMとXenで行くならInfiniHostでも十分いけるんだけどね。
WindowsやVMWareだと、ConnectX以降じゃないと駄目だからなー。
694:不明なデバイスさん
12/10/06 02:31:58.17 YO6CoMgL.net
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
695:不明なデバイスさん
12/10/06 03:31:10.73 6h7fbKug.net
>>653
それ、CM modeだね。
うち、対向がWin Srv 2012で、まだCM対応してないんだ。
なので、UD modeなんだけど・・・
Solaris 10 10/9でUD modeの4k mtu対応って情報は見つかるんだけど、
設定方法が見つからない(´・ω・｀)
さくっとテストした感じだとやっぱ、iSCSIはカーネル処理してるSolaris系のが
良いね、特に小
696:さアクセスは。 CDMの4kランダムQ32で、BSDだと200M位で頭打ちのところ、OIだと400M超えた。 まぁ、現状でもストレージの性能からすれば、悪くない値出てるし、不都合は無いんだけど。 やっぱ11かぁ・・・けどパッチは有償だし、常用の鯖としては、 あんま使いたくないなぁ・・・
697:不明なデバイスさん
12/10/15 13:05:22.10 PlTz/tmm.net
やっぱりlinux+ZFSになるんじゃ（w
server2012の3-way mirror、5台以上なんていう奇妙な制限あるから実はraid6か、と思って試したけど、
やっぱり容量1/3になった。いらねー。
698:不明なデバイスさん
12/10/15 13:27:42.72 zycq5SmK.net
split-brainを防ぐためにメンバの過半数が生きてないといかんからね
699:不明なデバイスさん
12/10/15 13:42:07.40 PlTz/tmm.net
なるほど、そーいうことね。一旦死亡フラグ立ったら復活しないのかと思ってた。
700:不明なデバイスさん
12/10/20 22:45:37.89 JpS8HpXc.net
結局、Solaris 11ではOpenSM動くのかな。
URLﾘﾝｸ(syoyo.wordpress.com)
っていう報告があるみたいだけど、スレでは盛り上がってないよね。
701:不明なデバイスさん
12/10/20 22:47:06.44 2C+57N3U.net
>>659
Unfortunately, running opensm on OpenIndiana(Illumos) is not possible since there is no corresponding kernel driver(kernel component of OFED 1.5.3 Solaris port) on it at this time.
Oiで動き出せば多少状況が変わるんじゃね？
702:不明なデバイスさん
12/10/25 13:50:46.18 BwYCFKPN.net
つーかスイッチが高すぎる現状ではQDRはなんとも。
connectX(2)をDDRで使う、というのが実用解としてはありなのかも。
703:不明なデバイスさん
12/10/25 14:51:26.41 RXPxgTMt.net
>>661
8protなら個人でも手を出せない額じゃ無いけどな。
その金額をかけるかどうかは、別の話だけど。
704:不明なデバイスさん
12/10/28 20:30:57.41 m4SqO96l.net
URLﾘﾝｸ(shop.maxserve.co.jp)
在庫あるみたいです。
705:不明なデバイスさん
12/10/29 17:03:24.76 +zaSs0jL.net
メモ：powershellから、get-smbservernetworkinterface、get-smbclientnetworkinterface。
706:不明なデバイスさん
12/11/05 13:25:04.79 0k23buvP.net
server2012対向でRAMディスクの速度テスト。
サーバクライアントともdual X5570、Infinihost LX, DDR。(単位 MB/秒)
==CrystalDiskmark4000M====SR==SW===RR==RW==QD1=====QD32===
starwind ramdiskローカル直 3102 4211 3046 4152 902 851 826 790
CM, mtu=65520
iSCSI vhd 671 853 560 605 23 24 147 163
親iSCSI vhdをhyper-vで 659 851 551 605 21 22 148 124
SMBアクセス 694 708 625 631 32 32 433 345
hyper-vでSMB経由vhd 653 678 575 582 23 22 114 112
UD, mtu=2044
iSCSI vhd 500 583 453 446 25 25 123 141
親iSCSI vhdをhyper-vで 505 541 443 436 22 22 128 141
SMBアクセス 467 456 447 422 31 33 261 265
hyper-vでSMB経由vhd 474 443 414 402 22 23 95 92
メモ
・winofed3.1入れるにはmsiファイルをorcaで開いてlaunchconditionの該当行をdrop row。
・IPoIBにエラーが出ているときは、ドライバの更新でmellanox版ではなくofed版を選ぶ。
・hyper-vでディスクに\\server\share\disk.vhd形式のファイルが指定できるようになったが、
基本的にはマシン認証が行える場合、つまりActiveDirectory環境じゃないとだめ。
・AD面倒な向きは、サーバ側ローカルセキュリティオプションのセキュリティオプションで
Everyoneのアクセス許可を匿名ユーザに適用 と 匿名でアクセスできる共有にshare名、
でEveryoneにフルコントロール与えておけばとりあえず動く。
考察
・iSCSIはIPoIB層があるためDDRのスピードは出ない。InfinihostではSDRで十分。
・SMBでもInfinihostではRDMAが使えないため遅い。InfinihostにこそRDMAほしいぞ。
・一番の問題はIPoIBをhyper-vの仮想スイッチに入れても、hyper-vマシンから
外にアクセスできない点。いわゆる「L3互換モード」になってない。
昔はできてたような・・・
707:不明なデバイスさん
12/11/06 10:13:38.28 rPx8QAOD.net
ちょっとつづきメモ。
・ちなみに素のスピードは、ibv_send_bw -aで測ると1463MB/秒、ibv_rdma_bw -c で測ろうとするとDPC_WATCHDOG_VIOLATION 。
・IPoIBスピードは、ttcp -n1048576で測るとCMで1082MB/秒、UDで777MB/秒。
708:不明なデバイスさん
12/11/06 15:42:16.01 f7sLwn6+.net
>>665
検証乙。
sambaでSMB Direct使えるようになるともう少し変わるのかな。
それだったらvhdを置くHostに、InfiniHostが使えてもう少し幸せになれそうけど。
どちらにしろ、Hyper-V動かすサーバにはConnectX-2以降が必要って事にはなるけどね。
709:不明なデバイスさん
12/11/08 09:20:22.99 7vwB2PNX.net
MSはSMBを他でやられるのをあまり快く思ってないからsambaでSMB Directは望み薄じゃないかなー。
winofedのドライバソースを眺めてみようと思ったらsvn反応ないんだよな。gitか何かに移行したのか？
いずれにせよメーリングリスト入らないとだめか。
710:不明なデバイスさん
12/11/10 14:52:54.56 5Y/dAD0a.net
>>655
何が何でも無償じゃないとダメなら犬しかないんじゃね
711:不明なデバイスさん
12/12/06 14:49:24.61 7PH1mk5l.net
Solaris 11.1 でtavorもEoFなのね。
まぁ、そもそもがメモリー付き限定だから、基本そんなに影響はないか。
712:不明なデバイスさん
12/12/07 10:28:01.11 kCyuxBQ4.net
winofedマダー？ 4Q終わっちゃうよん。
713:不明なデバイスさん
12/12/10 10:00:55.65 J0/vhk1O.net
UDしかできなくてQDRとかFDR使いきれるかな？
送る方はいいにしても、受信側がとんでもなくキツそうだけど。
Mellanoxのカード、Adaptive RX機能とかあるんだけど、手元のは
ENモードじゃないと有効にできないぽいんだよね。Connect-X3とかなら
できるんだろうか。
あと、Connect-Xだと割り込みラインが複数のCompletion Queueに別々に
あるんだけど、これは要するにSENDとRECVが干渉しないようにするだけで、
マルチコアでのマルチキュー受信機能はMellanoxのHCAにはないのかな？
やっぱりConnect-X3買え？
714:不明なデバイスさん
12/12/11 02:11:58.38 upAyFH7G.net
Mellanoxの最新ファームって、ユーザ登録しないと落とせなくなってる？
Windows Server 2012用のMLX_OFED落として、ReleaseNote見るとConnectX-2の最新のファームと
普通に落とせるファームのバージョンが違うんで気づいたんだけど。
>>670
SunSolve見てたら、途中でtavorはEoFって書いてあったからねー。
tavor使いたい人はOpenIndiana使えば何とかなるけど、Oracle(DB)使いたいだと使えないし。
>>671
禿同。MLもなんか全然情報流れてないし、どうなってるんだろう？？
715:不明なデバイスさん
12/12/11 08:09:39.73 AlR+xlwD.net
>>673
ファームはまだ2012専用みたいな位置付けだからじゃないかなぁ。
OFEDまだ来てないし。
716:不明なデバイスさん
12/12/12 13:19:28.24 WKe0e4EG.net
やっぱりInfiniband、はじまる前に終わっちゃったか。
717:不明なデパイスさん
12/12/12 18:35:15.40 9tRJe1BT.net
インフィニットバンドって今買うならConnect-X3のほうがいいの？
718:不明なデバイスさん
12/12/13 00:37:57.66 W0GIvmba.net
>>675
始まってないから、終われない。
まぁ、そんな言葉遊びはともかく、
始まってないのは確かかも？始まりそうな気配は結構してるんだけど。
ただ、インフラとして、どこへ転ぶかは読めないなぁ。
IB or 10/40GbE・CNA or FC
どこへ転ぶにしても、更新時に総取っ替えにはなるから、
なんだかんだ言って、クライアントのサポート状況は多分10/40GbEが一番な気がする。
スイッチが高いけど。
IBはスイッチ含めコスト的には勝負出来るんだけど、クライアントサポートが
ネックになりそうな気がするんだよなぁ。
QlogicのIB資産買い取ったIntelがどこまで頑張るか。
FCはまぁ、無いと思うけど。
>>676
前半にはあえて突っ込まないが、X3買えるなら良いんじゃね？
719:不明なデバイスさん
12/12/13 10:06:14.86 xEMo83SK.net
IBが技術的には一番いいと思うんだけど、旧製品をすぐに切ってしまったり、
openっぽいことをいいながらそうでなくなって来ている気がするんだよなあ。
720:不明なデバイスさん
12/12/14 19:00:14.68 fdXpRevh.net
現状スパコン屋さんに売ってるものだから古い規格に価値なんてないんだろう
721:不明なデバイスさん
12/12/14 19:15:25.04 SImd51iX.net
インフィニバンド の検索結果 約 20,800 件
インフィニットバンド の検索結果 約 570,000 件
722:不明なデバイスさん
12/12/14 22:20:45.24 bP9BN4sb.net
世の中にどれだけアホが多いのかよく分かるな
723:不明なデバイスさん
12/12/20 09:11:41.25 +xCiFrFi.net
☆ ﾁﾝ ﾏﾁｸﾀﾋﾞﾚﾀ～
ﾏﾁｸﾀﾋﾞﾚﾀ～
☆ ﾁﾝ 〃 ∧＿∧ ／￣￣￣￣￣￣￣￣￣￣￣￣￣
ヽ ＿＿_＼（＼・∀・） ＜ まだ～？
＼＿／⊂ ⊂＿ ) ＼＿＿＿＿＿＿＿＿＿＿＿＿＿
／￣￣￣￣￣￣ ／|
|￣￣￣￣￣￣￣| |
| 愛媛みかん |／
724:不明なデバイスさん
12/12/20 12:14:48.55 ECJee4kH.net
>>681
いや、アフォはお前だからｗ
アフォはお前だからｗ
725:不明なデバイスさん
13/01/09 02:47:58.95 JOHwlJgh.net
うーん、Q4,2012すぎちゃったけど、WinOFEDでてこないなー。
Betaすら出てこないとは。
WinOFEDで、ConnectXがサポートされるんなら待てるけど、サポート切られたな泣ける
726:不明なデバイスさん
13/01/09 10:59:14.70 JcAsz2sX.net
NDKPIを入れ込むのに難航してるのかな。infiniband dayのほうが早かったりして。
727:不明なデバイスさん
13/01/13 22:53:07.78 iEFbuR9c.net
OpenFabrics AllianceがForum以外に飛べないのはなんでだぜ
728:不明なデバイスさん
13/01/13 23:46:54.64 DYaNkQQg.net
昨日ぐらいから。更新中？ と思ったけど 飛んだ？ というのもありがち。
729:不明なデバイスさん
13/01/14 23:23:53.36 59silHaj.net
ConnectX-2のfirmwareは、Windows Server 2012のMLNX_WinOFインストール時に勝手に更新されるのね。
先にMLNX_WinOF入れてからカード差してたから気がつかなかった orz
あとうちであった事例だけど、
730:PCIe Gen3のポートにConnectX-2のfirmware 2.9.100のカード差したら認識しなかった。 なので、PCIe Gen2のあるPCへ差し直して、2.9.1200へ更新してやったら認識した。 で、上記Windows Server 2012がPCIe Gen3だったのでドハマりしたよ。 前にあったのは、AMDのチップセットでFirmが2.6.0とか古いのだったときに同じような事あったから気づいたんだけど。
731:不明なデバイスさん
13/01/20 10:29:59.56 7re8D9jW.net
ConnectX2同士を直結した場合は10G NICとしては使えないんですか？
732:不明なデバイスさん
13/01/20 16:13:32.20 Y3VAJlZs.net
connectX2は10GBeに切り替えられるから10GBe NICの代わりになるけど、直結は動かないんじゃなかったかな。
理由はシラネ。
733:不明なデバイスさん
13/01/20 23:51:30.57 DsuTrtDK.net
>>689
過去に試したとき(Firm 2.9.100)は駄目だった。
最新のFirmだとLinkUpするかもしれないけど、試せる環境がすぐにないので何とも。
ConnectX-2 ENでWindows Server 2012直結・Linux直結は動いたけど、これは参考にならんね。
734:不明なデバイスさん
13/01/21 00:41:34.06 UrDtl6ha.net
直結問題ないよ
735:不明なデバイスさん
13/01/31 23:08:22.09 DoQvcRsv.net
hyper-vホスト二台と共有ストレージ infinihost III二口をそれぞれに刺して三角形にしてlive migrationすると必ず失敗するな
736:不明なデバイスさん
13/02/01 21:13:26.42 K+UhZ7GP.net
infinihostIIIだと別々のセグメントになるからじゃ？
なんとなくだけどIPoIBのインターフェースをbridge設定して、force compatibilityにして同じセグメントに入れれば
動くかも。
#infiniband day 06、面白かった。
737:不明なデバイスさん
13/02/04 14:51:04.30 GrufH4Gk.net
メラノックスのIS5022で遊ぼうと思っているのだが、
こいつのPartitionKeyの最大数わかる人いますか。
HPの右にあるUserManyual読んだけどわからんかった。
VLAN関連がIBのPartitionKey使っているからSWのPartitionKeyの最大数
調べろみたいな記述を読んで探しているのですが、、、
738:不明なデバイスさん
13/02/05 20:03:01.27 8Jhn9ai/.net
最近Infinibandを研究室に導入しようと調べてるんだけど、ちょっと動かしたとか性能測ったってネットでドヤ顔して晒してる自己顕示欲のかたまりみたいな方々が多いのな… 驚きました
739:不明なデバイスさん
13/02/05 20:13:36.68 XQfGgpDR.net
人柱様になんて口の聞き方だ
740:不明なデバイスさん
13/02/05 20:29:59.38 nzuj5V7j.net
だって他にやることないし
741:不明なデバイスさん
13/02/05 21:12:13.25 YgPup+1D.net
ネットワークなんてそんなもんでしょ。
で、あなたは何をしてくれるの？
742:不明なデバイスさん
13/02/05 22:35:38.30 xdIRjWYy.net
他人の趣味を否定するアホが涌いてるけど
自己顕示欲のカタマリってこういうアホのことだと思うんだｗ
743:不明なデバイスさん
13/02/05 22:45:07.54 fvhdz1AM.net
やり方ググったけどまともに説明してるサイトなくて困ってます＞＜ってことでしょ
744:不明なデバイスさん
13/02/05 22:47:39.74 JQpfxhN8.net
そんなレベルで研究室に導入とか大丈夫かな
745:不明なデバイスさん
13/02/05 23:27:08.32 alkVnItT.net
>>696息してないwww
フルボッコ過ぎてワロタ
746:不明なデバイスさん
13/02/06 01:41:38.25 yg8658Ol.net
それ以上書いて貰っても、専門的すぎて役に立たんと思うんだが
HPCでのベンチ結果なんて個人には意味が無い
747:不明なデバイスさん
13/02/06 09:32:26.20 /8MaX4ao.net
個人だとSAN位にしか使い道ないしね
748:不明なデバイスさん
13/02/06 10:03:27.74 ldvzEUoF.net
業務の結果公開しても、他にあてはまらないこと多いからねぇ。
>>705
業務でもほぼSANかバックアップ用回線では。結局、発見プロトコルにブロードキャストが必須なTCP/IPと
スイッチングファブリックは相性よくないんで、IPoIBで何でも置き換えられますよー、とはいかぬ。
749:不明なデバイスさん
13/02/06 10:34:58.77 JCcsM2kr.net
研究室に導入しようとして２ちゃんに来るとはｗ
にわか管理者は研究室でドヤ顔してるんだろうな…
750:不明なデバイスさん
13/02/06 12:43:42.65 ldvzEUoF.net
>>693
バックアップ待ちで時間あったからちと実験してみた。Infinihost Exと2つのInfinihost Lx、
Ex上で2つのIPoIBをブリッジしておくと、Lx同士でもIPで通信できた＠ws2012。
forcecompatibilityはONにするとかえってだめ。
なおsubnet managerはEx上に1つだけだと片側しか掴んでくれなかったので（設定だろうけど）、Lxそれぞれで起動。
751:不明なデバイスさん
13/02/07 16:06:44.94 2ikPv26v.net
winof、でないねー。
レポジトリ覗いてみたけど、SMB directっぽいのが1月末でrevertされていたり、一体何があった？
752:不明なデバイスさん
13/02/21 10:42:02.12 jWFPHK9p.net
mellanoxのESXi 5.x用スタックがSRPをサポートした見たいだけど、
試してみた人いるー
うち、今ESXiの環境無くて、テスト出来ないんだ。
>>709
ほんとどーなってるのかねぇ・・・
753:不明なデバイスさん
13/02/23 13:17:22.39 LTxRMd12.net
>>710
情報Thx
今晩ESXi 5.1用ドライバで、SRP試してみるよ。結果わかり次第書き込むね。
1.8.1でにConnectXで動作するかも確認してみる。
754:711
13/03/09 12:46:41.97 sdwFqXYW.net
遅くなったけど、Mellanox Driver 1.8.1 + ConnectX-2を使ってESXi 5.1でSRPは使えた。
Target側はLinux+ SCSTで動作確認。
RAMDISK作って試したけど、RAMDISKの速度が1.5GB/s位だったのでQDRのフルスピード使えなくて泣いた orz
755:不明なデバイスさん
13/03/12 09:00:14.46 DGsD1O+p.net
ESXi 5.xでSRP使えるようになったかぁ。
Windows 2012系はOFEDの3.2待ちなんだよな・・・てか、Q4'12どころか
Q1'13終わるんですけど！？
OFEDさん、どうなってんの！
まぁ、OFED3.1に細工して入れるのも有りだけど・・・
あれ、OpenSM動いてたっけ・・・
756:不明なデバイスさん
13/03/12 21:21:37.46 32YU15EY.net
OpenSM動くよ＞orca細工なofed3.1
そろそろconnectx2あたりが欲しいなあ。オクにx3まで出てるけど、さすがにFDRはスイッチがねー。
757:不明なデバイスさん
13/03/13 00:04:17.29 fBwf9jjF.net
WinSrv 2012でOFED3.1試したら、OpenSMが固まる・・・
というか、OSごと落としてくれやがる。
休みに時間取ってやってどうなるかだが、期待は出来んなぁ。
Hyper-VでSRPを試してみたかったんだが。
758:不明なデバイスさん
13/03/13 11:28:35.39 7w2Ov2mt.net
うちでは落ちたことはないなあ。infinihost lxだし、
必要最低限のものしか入れてない(srpもなし)からかも。
759:不明なデバイスさん
13/03/13 13:01:20.03 fBwf9jjF.net
ConnectX-2でMLNX_OFED使ってたから、libかドライバ周りで
なんかゴミが残ってるかなぁ。
OpenSM、起動はするんだけど、SUBNET UPにならずに
Entering DISCOVERING stateで止まっちゃうんだよね。
で、Ctrl-Cで、終了出来ずに、最悪OSリセットがかかるｗ
エラーも出さずにOSまで落としてくれるので、ドライバ周りが非常に怪しい・・・
760:不明なデバイスさん
13/03/14 16:07:53.04 wsagZer1.net
とりあえずデバイスマネージャからconnectx-2を右クリック→ドライバの更新→選択、して、
ofedの奴を選んでみるといいかも。ip
761:oibのドライバも。 でもMLNX_OFEDで十分だとおもうお。
762:不明なデバイスさん
13/03/14 16:56:23.57 ffxYB2J8.net
>>718
もち試したお！
クリーンインストールした環境でやっても、症状変わらなかった・・・
とりあえずMLNX_OFEDでもうちょっと使ってます。
Hyper-Vとストレージの間に使ってるラインなので、
CM&SRPには惹かれるんですけどねぇ。
763:不明なデバイスさん
13/04/18 10:14:37.50 v9DBPrUz.net
www.openfabrics.org/downloads/Windows/v3.2/
あらでてたのね。
764:不明なデバイスさん
13/04/18 13:17:21.98 VJt2xmB1.net
Release Noteはまだか。
765:不明なデバイスさん
13/04/18 19:12:17.00 VJt2xmB1.net
Release Noteはzipの中に入ってた。そしてWindows8/2012は
OFED3.3で対応、Q4'2013だよ！って、遅すぎだろ・・・orz
やる気ねーなぁ、1年待てってか。。。
766:不明なデバイスさん
13/04/18 19:36:20.14 twxr0sKj.net
Q4'2013なら2013/10～2013/12じゃねぇの
そういうのに出てくる四半期は1月から数え始めるのが普通だと思うが
まあ遅すぎるのには同意だけどね
767:不明なデバイスさん
13/04/18 20:16:08.46 VJt2xmB1.net
>>723
いやぁ、確かにその通り、ちゃんとQ4'2013なら、1年は無いんだけど・・・
でも、今回の3.2もOFEDはQ4'2012に出す予定って言ってた訳ですよ。
結果はご覧の通り、Q2'2013になった訳でｗ
で、出るのはQ1～Q2'2014と勝手に予想した訳なんです。
768:不明なデバイスさん
13/04/19 18:00:15.95 eaHEHXX7.net
次からやる気出す。
769:不明なデバイスさん
13/05/11 15:00:10.45 teRxuveD.net
Connect-IBも１年近く経つけれど出てきませんね。
770:不明なデバイスさん
13/05/12 23:16:35.01 alu7WM/E.net
久々にMellanoxのサイトチェックしたら、Linux用のMLNX_OFEDが3月に2.0にバージョンアップしてたのね。
ubuntu 12.04のサポートが新規に入ったみたいだったので、試しに入れてみた。
12.04の環境だと思って入れた環境が13.04て、opensmの起動スクリプトでエラーが出たが、
他は問題なく動いてる。
入ってるソフトのバージョン見てたら、opensmが4.0になってたけど何が変わったか調べないと。
771:不明なデバイスさん
13/05/21 14:27:59.20 UufHEn4y.net
connectx-2が1万切っていたのでひさびざにIB関連を購入、我ながら貧乏だね。
PSIDはFJT0D90200009、ファームアップデートしてWindowsServer2012の標準ドライバでsmb-directしてみたけど、
大してスピードかわらねー。(crystaldiskmark4000M,starwind ramdisk直だとリード3191MB/s ライト3776MB/s)
smb-direct無効 リード1022MB/s ライト1040MB/s
smb-direct有効 リード1281MB/s ライト1166MB/s
MLNX-OFEDでもいろいろ試してみよっと。
772:不明なデバイスさん
13/05/22 12:12:09.76 hoqDTY4/.net
server2012対向でRAMディスクの速度テスト for ConnectX-2。
サーバクライアントともdual X5570、ConnectX-2(富士通OEM), QDR。(単位 MB/秒)
==CrystalDiskmark4000M====SR==SW===RR==RW==QD1======QD32===
starwind ramdiskローカル直 3191 3776 3159 3952 1224 1227 1008 1102
MLNX_OFED4.2,直結,チューニングなし
ibv_send_bw -a 2935
SMBアクセス direct無効 1001 1044 907 912 35 37 389 309
SMBアクセス direct有効 1258 1168 1068 1000 58 42 439 390
hyper-vでSMB経由vhd 1219 1371 970 1035 31 33 160 153
single_portでチューニング(IPoIBデバイスのプロパティで)
ibv_send_bw -a 2938
SMBアクセス direct無効 1093 1121 961 936 49 50 480 272
SMBアクセス direct有効 1279 1164 1088 1001 57 42 434 381
hyper-vでSMB経由vhd 1245 1337 962 1027 32 34 161 155
IPoIBを仮想ネットワークに入れる
SMBアクセス 734 991 657 862 40 50 254 297
メモ
・PSIDはFJT0D90200009、ファームは手動で2.9.8350に更新。
・flint dcで書き出したiniはメモ帳等でANSIで再保存するとmlxburnでエラーが出ない。
・Windows8の標準ドライバ(SMは4036)でもスピードはチューニングなしの場合と同じ。
・SMB directが使えるかはPowerShellからGet-SmbServerNetworkInterface等で表示、
directの無効化はSet-NetOffloadGlobalSetting -NetworkDirect disable。
・ConnectX-2は元からIPoIBのオフロードがあり、SMB directでも20%程度しか向上しない。
・single_portのチューニングはIPoIBが10%程度向上、directやIB自体には効果なし。
・IPoIBを仮想化して仮想マシンから外にアクセスできるようになったが、
これをするとSMB directは無効（当然)になる上、仮想スイッチ層が入るため遅い。
・仮想マシンからのtcpスピードは6000Mbps程度だがスピードは安定しない。
・10GbEに切り替えたらQSFP直結でも動作した。
概ねInfinihost LX(DDR)の倍出てるけど、常用するにはいろいろ考えねば。
773:不明なデバイスさん
13/05/22 18:15:42.74 N1gX5Of3.net
>>729
CM使えれば、もう一伸びしそうだけどねー。
OFEDが為体な、おっと誰か来たようだ。
774:不明なデバイスさん
13/05/23 10:01:32.73 zKOtwrc8.net
> ・ConnectX-2は元からIPoIBのオフロードがあり、SMB directでも20%程度しか向上しない。
参考になったわー。
775:不明なデバイスさん
13/06/08 08:50:06.89 9flVJQJb.net
>>730
互換性がないのは通信インフラとしての評価だと最低だから、UDで統一したほうが幸せな気がする。
もちろんオフロードでそこそこのスピードが出るconnect-x以降が前提になっちゃうけど。
776:不明なデバイスさん
13/06/08 11:09:44.53 C18/AcS8.net
>>732
UDだとフレームサイズが2kまでってのがちょっとね。。。
Windows同士なら4kまでいけるんだが、Windows以外での
UDモードが4kサポートしきれてない感が。
777:不明なデバイスさん
13/06/20 22:21:33.24 9CZUAJ+r.net
>>732
CMってもしかしてベンダ独自拡張なの？
778:不明なデバイスさん
13/06/24 12:39:47.07 A3iC9EkU.net
ofed独自拡張、かな。
CMを張れる総数がカードで決まっている現状では、その上にIPを載せるなんて危険すぎるでしょ。
（対地数がCM本数に制限される）
779:不明なデバイスさん
13/06/25 14:53:26.29 pjtmxEE8.net
>>735
それって net.rdma_ucm.max_backlog のこと？
それともハードウェア的な別の上限がある？
スパコンや不特定多数から直接叩かれる公開サーバじゃなければ困らないような気がする。
780:不明なデバイスさん
13/07/18 NY:AN:NY.AN H2OZ26G8.net
>OFED for Windows (WinOFED) Roadmap
>-----------------------------------
>[ Last updated: 06-25-2013 ]
>
>WinOFED 3.2 GA released June 25, 2013
>OFED for Windows 3.3 release on hold (lack of IHV participation).
一応、3.2はreleaseされた様だが、なんか雲行きがあやすぃ、3.3がholdされちゃってるよー。
ってか、そこまで影響及ぼすIHVって、Mellanox以外思い当たらないんだがｗ
781:不明なデバイスさん
13/07/26 NY:AN:NY.AN xT/zoNDp.net
Intelだったりして。
782:不明なデバイスさん
13/07/26 NY:AN:NY.AN pwjnYFIr.net
>>738
その可能性もなきにしもあらずだが・・・
FDRはまだ手出してないし、市場に流れてる量から見ると、
そこまで影響力はない気がするんだよなぁ。
783:不明なデバイスさん
13/08/02 NY:AN:NY.AN YJjex9m4.net
CPUから直出ししようとしてるから、プロトコルに関してなんらかのプランがあるんじゃない？
もちろん邪推だ。
784:不明なデバイスさん
13/08/20 NY:AN:NY.AN D4PWX8S4.net
うちのDDR様が規格16Gbpsなのに実力12Gbpsしか出ない。
10GEより「高速」な時代
785:が長かった割には中々普及しなかった理由が判る気がする。 最新のでも54.4Gbpsだっけ？が上限なのに、49Gbps位しか出ない。 いや速いんだけど、チャンピオンデータでも10%も落っこちるのは何が原因なんだろ？ RDMAは特にサイズがデカいREAD/WRITEならバス位しか制約要因なさそうなのに。
786:不明なデバイスさん
13/08/20 NY:AN:NY.AN Uz1xe9E0.net
もともとスループットよりもレイテンシ縮小に振ったプロトコルだからそんなものなのかも。
経路上にバッファを置かないから、経路できたよー、の確認にそれなりに喰われるんじゃないのかな。
787:不明なデバイスさん
13/08/20 NY:AN:NY.AN 6+IBr9LC.net
>>741
元々Infiniband自体、ハードウェアでのアクセラレートは全くなく、
マシンパワーで安く速度だそうぜってのが最初。
そして、>>742も書いてるが、ノード間のlatencyを極小にするのが第一目的。
さすがに、QDRでIPoIB、FCoIBとか、いろんなプロトコル扱うようになって、
辛くなってきたから、コントローラーへ処理をオフロードするようになってきた。
それがMellanoxで言えば、ConnectX/X2世代。
ConnectXなら、DDR/RDMAで15Gbps弱までは出てるぞ、ベンチでは。
同じ環境で、Infinihostだと12Gbps弱。
間にスイッチ入ると、latencyが延びるから、どうしても直結よりかは遅くなるが。
理論値54.4Gbpsに対して、実効値で49Gbps出てるなら、
製品としては結構良い線行ってる気がするけど。
788:不明なデバイスさん
13/08/21 NY:AN:NY.AN OQx+Fe9U.net
IPoIBとかFCoIBはコントローラに支援機能がなければCPU処理が必要で遅くなるのは判るけど、
RDMAネイティブならキュー処理とイベントのACK以外、つまりデータ転送部分はハードウェア処理だから性能が出しやすいかと思ってた。
一応、出しやすいことは出しやすいのだけど、フル性能には中々迫れず、20Gbps, 40Gbpsともなると、データ転送部分以外の軽度の処理負担ですら馬鹿にならないんだなと。
あと、脱線だけどRoCEでパケット流してる時に、これをモニタできるツールありませんか？どこにカウンタがあるんだろう。
789:不明なデバイスさん
13/08/21 NY:AN:NY.AN +BYZcZot.net
Server2012だとパフォーマンスモニタのカウンタ値にまさにRDMA Activityの大項目があるね。
あとSMB Direct Connection大項目の中にもRDMA関連のがいくつか。
実際に試してはないのでこれかどうかはわからん。
790:不明なデバイスさん
13/08/22 NY:AN:NY.AN 7HvQV/+r.net
なんかChelsioがRoCEをかなりdisった資料を出してるんですが、
結局RoCEとiWARPはどちらに目があるんですかね？
→ URLﾘﾝｸ(www.chelsio.com)
歴史理解が甘いので誤解してるかもしれませんが
1.IB-RDMAを他の技術、特に10+GEで使えるようにしたいというニーズ・思惑があった
- 思惑：IB界としてはIB Verbs互換で提唱することで、IB利用の敷居を下げたい
- ニーズ：RDMAの効果は著しいので使いたいが、IBそのものの採用は腰が引ける
2.旦那、10+GEなんてこと言わずにIPベースで標準化しましょうよ、という流れに
- IETFでiWARPが規格化された
3.でもiWARPはTCPを処理してRDMAしないといけないので、大変
- チップ設計がTCP offload機能どころじゃなく大変
- 他のTCP通信と共存とか頭がおかしくなりそうに大変
- IBにも10+GEにも依存しないかもしれないが、そもそも他にあるのか？誰得？
4.なのでRoCEを作ってみた
- Ethernet
791:のフレーム処理だけでいいので安くて速くてうまい - でも、RFCがあるような標準規格ではない って流れでよい？ でも結局10GEならRDMAしなくてもなんとかなるし、10>GEは作っている 会社が少なすぎるので、結局RoCEもiWARPも本当に相互運用するのか わからんような、実質ベンダ依存みたいになってる？10>GE HCAの 設計元っていま何社あって、各社どれに対応しているんだろう。
792:不明なデバイスさん
13/08/23 NY:AN:NY.AN /pgL/8FP.net
単純にiWARPはRDMA over TCP(L3)、RoCEはRDMA over Ethernet(L2)だと思ってたけど違うんかな。
ConvergedということはL2でなくてL1(実用上は他のether trafficと同時に流せない)なんで、IBと差がないような。
793:不明なデバイスさん
13/08/23 NY:AN:NY.AN Y0fXD8OV.net
いやそれであってない？＞iWARP/RoCE
なんでChelsioがそんなにRoCE disなのかは不明だけど。
794:不明なデバイスさん
13/08/23 NY:AN:NY.AN /pgL/8FP.net
個人的にはmyricomがさっくり性能でたんでchelsioより好きだったけど、myricom変な方向行ってるなあ。
ってそういう話は10gbeスレか。
795:不明なデバイスさん
13/08/24 NY:AN:NY.AN E8oOqddF.net
このクラスのストレージへをL3でルーター超えでやりたいことってあるのかなぁ
むしろあらゆるオーバーヘッドは可能な限り取り除いてやりたいと考えることのほうが多いような気が
796:不明なデバイスさん
13/08/24 NY:AN:NY.AN Bu+9d+Ke.net
大陸間InfiniBandとか・・・
797:不明なデバイスさん
13/09/28 00:26:13.05 7tm4A4WS.net
FreeBSD 10.0-ALPHA2にkernel mode iscsi targetがマージされたみたい。
実装するって話が出たのが、今年の5月ぐらいだった気がするから、結構早く出来たもんだ。
iSCSIだけかと思ったらiSERまで実装されてた。
とりあえず、1GbEでWindowsから繋いでみたけど、普通に動いてるっぽい。
1GbEを超える負荷をかけたときにどうなるか試したいけど、
今IBでテスト出来る環境が無いorz
でも、これがまともに使えるようになれば、
Solaris/COMSTARの置き換えもいけるかなぁ。
798:不明なデバイスさん
13/09/28 01:35:14.90 WfgUmsKd.net
さすがNSAパワー
IT不況なんて関係ないぜ
799:不明なデバイスさん
13/10/01 09:42:02.49 salaZhdx.net
windowsイニシエータってiSER使うの？NDISがRDMA enableになってれば勝手に使うのか。
800:不明なデバイスさん
13/10/02 00:49:49.14 v83BN4ma.net
>>751
PCI-E over Ether ですら商品化されてるし、そのうち出てくるんじゃないか
URLﾘﾝｸ(cloud.watch.impress.co.jp)
801:不明なデバイスさん
13/10/02 19:51:03.44 yRp/rhU3.net
まぁディザスタリカバリ用途の遠隔バックアップとか遠隔ストレージマイグレーションなんかかね
802:不明なデバイスさん
13/10/06 02:37:25.49 DPX4vgjE.net
すみません、自宅マシンにインフィニットバンドを導入しようと思ってるん
んですが、メラノックスのコネクトＸ２について教えてください
双方、シングルポートのアダプタで直結した場合でも、ＩＢも１０ＧＢＥも
普通に使えますでしょうか？（ハブを経由しなくても）
なんか直結だと１０ＧＢＥは使えない、みたいな話もあるので
あと、１０ＧｂＥのファームで使うのと、ＩＢのファームでＩＰｏＩＢで
使うのはどっちが早いんでしょうか？
803:不明なデバイスさん
13/10/06 09:59:32.80 1bXX/518.net
>>757
SM立てれば、IBの直結はOK。ConnectX-2はEthの直結は×。
ベンチマーク上では10GbEよりIBのが速い。
実際にどうかは、環境次第。
2GiB/sを常時出せる足回りなら、IBの
804:が速いんじゃねーかな。 一般的なPCじゃ10GbE/IBの帯域に、ストレージの帯域が追いつかない。 1行目は、あえてスルー。
805:不明なデバイスさん
13/10/06 13:47:05.30 xpoqKciM.net
>>758
Ethでも直結できるよ
806:不明なデバイスさん
13/10/07 02:29:15.89 8g6dRzUw.net
>>759
スクリーンショットうｐ
807:不明なデバイスさん
13/10/07 08:20:13.94 4Vk4WpC4.net
やってみたけど直結できたよ。
808:不明なデバイスさん
13/10/07 16:31:31.65 M3vxO/fF.net
X-3なんとちゃうのん
809:不明なデバイスさん
13/10/07 20:45:47.57 J9BH2yQn.net
シングルポートのX2-VPIだができないモデルもあるの？
それとも製品が違うのかな
810:不明なデバイスさん
13/10/07 23:26:15.82 GUmHVZpH.net
2ポートのMHQH29Bでも出来た。
ConnectX-3の40GbEでもできた。
無印ConnectXは持ってないから不明
811:不明なデバイスさん
13/10/08 02:36:19.42 wLK6UswA.net
出来たとか抜かしてる奴、Mellanoxのページで出来ませんって書かれてるのに
どんな魔法使ってんの？ｗ
812:不明なデバイスさん
13/10/08 08:12:13.12 Ka7Yi7Bq.net
まさかIPoIBでした、なんて事はないよな・・・
813:不明なデバイスさん
13/10/08 17:57:17.01 cnFJ3Kk6.net
>>689-692
>>729
上にも、できる派とできない派
814:729
13/10/09 12:25:54.98 mr6nSZiq.net
ケーブルによるのかも。QSFPは中にI2Cのチップ持ってて諸元書いてあるので、それでできたりできなかったりなのかも。推測だけど。
うちで出来たのはJESS-LINKの03M-26AWG P3002TG03000-0ってやつ。
815:不明なデバイスさん
13/10/09 20:45:55.18 J08WR+1a.net
だから、出来るとかウソ書いてる奴はスクショ貼れよ
816:不明なデバイスさん
13/10/09 21:46:48.12 dmBhmSjZ.net
ながれをよまずかきこみ
>>708
> なおsubnet managerはEx上に1つだけだと片側しか掴んでくれなかったので（設定だろうけど）、Lxそれぞれで起動。
ネット検索中に上記のようなIBの両腕持つホストでのSM設定法を見つけたのでメモ
www.mellanox.com/pdf/whitepapers/WP_Deploying_Windows_Server_IB.pdf
blogs.technet.com/b/josebda/archive/2012/07/31/deploying-windows-server-2012-with-smb-direct-smb-over-rdma-and-the-mellanox-connectx-2-connectx-3-using-infiniband-step-by-step.aspx
上記4.3 Using OpenSM with two unmanaged switches参照