12/09/21 17:33:34.75 vuWYjKbs.net
あれだPSIDが違うわ。
ファームとかドライバは多分、こいつもこいつ見てる。
651:不明なデバイスさん
12/09/21 22:47:43.34 /5pAb0UF.net
>>612
linuxでlspciするとわかるけど、RevAがConnectXでRevBがConnectX2だったはず。
652:不明なデバイスさん
12/09/23 03:00:16.85 CfX7KLcy.net
やっとWindows Server 2012の検証環境できたので、ConnectX系のカードがどれだけ使えるか調べられる。
手持ちのMHGH28-XTCは、OS標準のドライバでIPoIBが動いた。
こいつが動くってことは、多分他のConnectX系のカードも動くと思われ。
653:不明なデバイスさん
12/09/23 07:32:47.61 95xPUAUY.net
というころはSMBoRDMAを使うためにはIPoIBが必須(discoveryはIPoIBのIPアドレス経由)ということかな。
654:不明なデバイスさん
12/09/23 09:56:29.61 QAjq1N6b.net
OI 151a5でopen-fabricsのコンパイルを試してるんだが、
どうもうまくいかない。
コンパイル自体は全部出来てるんだけど、
gmake publishだと最後にリポジトリエラー出るし、
installのみだと>>470と同じ状況で
components/open-fabrics/prototype/i386にインストールされちゃう。
componentsのビルドシステムと設定方法が理解出来ん。
何か設定が抜けてると思うんだけど、何が抜けてるのか、どこから調べりゃいいのか。。。
むーん。
これどーやったら、うまくいくの・・・・（泣
>>615
どっかに書かれてたけど、IPoIBだけなら、InfiniHostでも動いてたはず。
当然SMB Directはダメだったみたいだけど。
655:不明なデバイスさん
12/09/23 10:36:48.08 CfX7KLcy.net
>>616
SMB over RDMA 試せる様にもう一台実験マシン用意するつもりなので、結果をお待ちを。
多分、その認識であってると思います。
>>617
その辺で参考になるのはilliumosのページかなー。
URLﾘﾝｸ(wiki.illumos.org)
この辺参考にやってみるとか。すでに見てたらごめん。
MS標準のドライバでSMB over RDMAが動作するかチェックしたいんですよ。
InfiniHostは駄目なのはスレのちょっと前に出てたので、ConnectXの安いやつでどうなるか試してみようと。
656:不明なデバイスさん
12/09/23 11:45:20.19 95xPUAUY.net
>>617
orcaでごにょってinfinihostにofedの入れたけど、SMBoRDMAは動かないと思って試してないというか、
RDMA経由でSMBが使われてるかどうかわからない、んだよね。
そういう意味でconnectxでの挙動がわかるとありがたい。
657:不明なデバイスさん
12/09/23 14:07:57.62 95xPUAUY.net
メモ：ofed3.1を展開してmsiファイルをorcaで開いてlaunchconditionの該当行をdrop row。
なんとなくだけどWindows2012がRDMAで使うapiはDAPLなような気がするから、DAPLとIPoIBが入ってれば
実は動くのかもしれないです。
658:不明なデバイスさん
12/09/23 14:11:00.66 95xPUAUY.net
Windows2012じゃねーよ。Server2012だよ。おっさん乙＞おれ
659:不明なデバイスさん
12/09/23 14:45:41.77 95xPUAUY.net
メモ：www.openfabrics.org/resources/document-downloads/presentations/doc_download/222-microsoft-overview-of-rdma-on-windows.html
SMBDirectされるかどうかはnicドライバがNDKPIをサポートしてるかどうかか。
660:不明なデバイスさん
12/09/24 20:03:23.89 UUPLKt8g.net
>>618
おー、ありがとー。
OIやillumosのコンパイル方法は結構出てくるんだけど、
componentの個別コンパイルの方法が、なかなか出てこなくて。
OI151a6上で、Open-fabricコンパイルとインストールまで出来たわー。
まだカード付けてないので、テストまでは出来てないけど、動きそう。
Kernel ABI Versionがあわねーぞ！とかエラー出てるけど、
これはカード付けてないせいだな、多分。
今度の週末にカード付けて、テストしてみるー。
ってのは良いけど、このパッチ、manifestにOpenSMの設定がなーい。
ので、自前で追加するか、マニュアルでinstallしないと。
後は、init.d周りも自前で準備しないとなのかな。
FreeBSD+IBの単純なパフォーマンスは悪くはないけど、
ZFSの読み書きが重なって負荷がかかったときの反応は、まだOIのが上だなー、さすがに。
OI+FCの時より、レスポンスが悪い。BSDのほうも10辺りでこの辺改善が入るらしいけど、
10-RELEASEなんて、まだ先出し、さすがにストレージにCURRENTは使えないｗ
後は、FreeBSDのOFEDがちゃんとメンテされていくかが不安なところかなぁ。
現状OFEDを力業で動くようにしましたって感じがするし。
IBのチューニングしようにも、インターフェースが無いというｗ
661:不明なデバイスさん
12/09/25 21:02:33.50 nbxX8hZI.net
・・・QSFPって線引っ張ると抜けちゃうね。ラッチの意味ないような。うちの子だけ？
662:不明なデバイスさん
12/09/25 22:26:24.66 q7HjFOrR.net
>>624
うまく刺さってないんじゃないかと。
ラッチがちゃんと引っかかってれば
引っ張ったくらいじゃ、あれは抜けない気が。
663:不明なデバイスさん
12/09/26 09:17:09.47 TSa2aNpM.net
機構そのものは10gbe XFPと全く同じだね。ケーブル変えても同じだから本体側かあ。中古だけど安価に手に入れたからよし。
QSFPのケーブル、I2C付きとI2Cなしがあるね。なしでも問題なくリンクするけど。
664:不明なデバイスさん
12/09/26 09:26:13.73 TSa2aNpM.net
メモ：members.infinibandta.org/kwspub/resources/QSFP-Cable-Implementation-Common-Mistakes-final.pdf
665:不明なデバイスさん
12/09/26 09:50:41.38 TSa2aNpM.net
でコネクタ部よくみたら、ラッチ破損してた（w
666:不明なデバイスさん
12/09/26 09:53:07.19 QTmfJO/d.net
>>626
前使ってた環境で、ラッチが中途半端にかかった状態で力任せに抜いたのかもね。
で、メス側の引っかかる部分なめたのかも。
667:不明なデバイスさん
12/09/26 11:38:41.73 6yCGUHQy.net
SFPとかXFPとかファイバ付きのやつはファイバ抜かないとラッチはずせないの多いから破損わかるんだけど、
QSFPはわかりやすいタプついてるのになあ。まあ撤去屋さんにとっては抜ければどうでもいいのか。
668:不明なデバイスさん
12/09/28 11:25:06.79 NkU1Rp1m.net
ConnectX[2,3]、QSFPケーブルが使われていくとして、InfiniHost
CX4ケーブルは廃棄されていくのかな。ebay半年みていると品数
が減ってきたように思う。
669:不明なデバイスさん
12/09/28 12:42:38.20 vhd3R4KF.net
>>610
F
670:irmのRelaseNote読んでて気づいたんだけど、ConnectX-2以降はSR-IOVに対応してたりで、 書かれてるようにConnectXとはチップ内部をかなり弄ってる気がする。 >>619 実験しようとしたら、実験マシン1のメモリが死亡してていまだ実験できず orz 直結でやろうとしてるんだけど、実験マシン2でRAM Diskのパフォーマンスが全く出なくてそっちの原因も追っかけ中です。 Xeon E5-2620+DDR3 1333だから、30GB/sくらいメモリの速度は出る筈なのにMemtest86+でメモリの速度みると 10GB/sくらいしか出てないのですよね。確かにRAMDISK作って実験したら、2GB/sとかしか出てないので。 あと、無印ConnectX使ってWindows Server 2012でOpenSM動かそうと思い、MellanoxのWindows Server 2012用の ドライバ類をインストールしたら、途中でエラーでこけるという症状が。 そんな状況なので前途多難です orz >>631 CX4のケーブルのebayでの流通が大分減ってますね。 あと、ConnectX(1,2)系が大分安くなってきてる気が。 気になるのが、WIN_OFED 3.2でConnectXでもSMB over RDMA使えるようになるんだろうか？
671:不明なデバイスさん
12/09/28 20:40:41.47 yJEos/vJ.net
CX4(SFF-8470)は10gbeでもSASでも使われるし、淘汰まではいかないと思う。(SASはねじ式がほとんどだけど)
この前某オクで3mだが2000円で大量に出てたしね。
672:623
12/09/29 11:36:45.37 5OlnIMzE.net
カード差してopensm叩いたら、core吐いてオチタorz
Solaris系でのSMはやはり敷居が高い・・・
コンパイルは出来てるんだけどなぁ。。。
673:623
12/09/29 15:09:26.31 5OlnIMzE.net
出てたエラーはこんなの
>libibverbs: Warning: no userspace device-specific driver found for /sys/class/infiniband_verbs/uverbs0
OIなら"/devices/ib"を見に行かなきゃなのに、なんで"/sys"見に行っちゃってんだ・・・？
ソース見てもパッチはちゃんと当たってるんだが。。。
cなんて学生時代に基礎さらっとやっただけで、その後使ってないから、覚えてないよ！
てか、このスレに他に何人かOIでコンパイル試してた人いたよーな気がするけど、
動いてるんだろうか・・・
674:470
12/09/29 23:17:08.11 t7QARQO2.net
>>635
こんばんは470です。いや、もしコンパイルできたとしても障害対策できない
と判断してOIはやめました。ほんとはOIで行きたかったです。泣き、、。463さ
んには助言を頂いてありがとうございました。結局ZFS on Linuxで様子見て
います。これはこれでいいと思うのです。OIで挫折して、FreeBSDとLinuxを
比較するとLinuxの方がまだ、篤いようです。FreeBSDは疎な印象で、current
は追っかけていませんが、10系を待たないと実用にならないかも。
ESXi4.1のSANとして使っていますが、HCAはInfiniHostです。SSDをいれて
補強していますのでしばらくはいけるでしょ。
675:不明なデバイスさん
12/09/30 00:35:44.60 s4yf0m3y.net
>>636
なるほど。
こっちも、OIでSM建てるのはかなりあきらめ気味。。。
ただ、ESXiもストレージシステムとしては、FC or FCoEがメインで
IBはあまり力を入れてない＆今後のライセンスがちょっと。。。
ってのが有るので、Hyper-V他への乗り換えもまじめに検討しようかと。
ESXiがIBに力を入れられないのは、ベースになるOFEDがLinuxカーネルに
依存しすぎてて、コアに組み込むのが大変だからじゃないかと・・・
（せっかくESXiでLinuxの
676:ユーザーランド消したのにってところで） OIやBSDへの移植でも、結局苦労してるのは、カーネルインターフェース周りっぽいですし。
677:不明なデバイスさん
12/09/30 00:47:55.41 s4yf0m3y.net
MellanoxがESXi5.1の発表後すぐにIBIFのSR-IOV対応の発表をしたのも、
結局ESXi自体ではIBをまともに使えないからじゃ ないかと。
Mellanoxとしては、VM上で使ってももらえないと、
対ESXiでの商売がやりにくいんだろうなぁと、発表みて思ってみたり。
（あくまで個人的意見ですがｗ）
10GbEやCNA系のIFも当然SR-IOVに対応してる＆するでしょうけど、
すぐに大々的な発表したところは無かったとおもうし。
678:不明なデバイスさん
12/09/30 16:56:16.85 q1AgKrFW.net
SR-IOVってNICとかIBAとかでは負荷低減需要＜仮想スイッチ需要、で流行らないような。
679:不明なデバイスさん
12/10/01 09:43:42.36 xg1W/DsN.net
>>639
ESXi上で直接DCBとか、動かせないからじゃないかなぁ。
なので、SR-IOVで、VMから直接使ってもらうつもりなんじゃないかと。
ESXiのインフラとして、ENモードの10 or 40GbEだけじゃ、推しが弱いとか。
680:不明なデバイスさん
12/10/01 13:28:22.93 egqmwt5p.net
10GBeだとSR-IOVは仮想スイッチと相反するし、いまひとつ利点が感じられないけど、
IBだともともとスイッチはおばかさん（w なんでSR-IOVでも十分利点があるか。
スイッチ、進化ないなあと思ってたらFabric Collective Acceleratorとかあるみたいだけどよーわからん。
681:不明なデバイスさん
12/10/04 09:34:30.70 q8KSh1WI.net
OI上でOpenSMがうまく動かない事にカッとなって、vSphereからHyper-V 2012へ移行した、反省はしてない。
で、>>602と同じ事をやってみた。今回すでにデータが入っちゃってるので、全く一緒では無いけれど。
大分良い感じになってきた。てか、Hyper-VもVMがWindowsならかなり良い仕事するな。
WS2012のメラOFEDだとCMが使えない＆targetのFreeBSD側がUD modeで4k mtuを
使えないのでmtuは2044。これでtargetをOIに戻して、4k mtuで接続出来れば、Random 4KB辺りは
もうちょっと改善するかも？ZFS自体の能力はもうちょっと余裕有りそうなので。
シーケンシャルはそんなに変わらないかなぁ、多分。
今週末、試してみよう。
ちなみにHyper-VホストとiSCSIターゲットの間でiperfやってみたら、TCP Window 2MiBの状態で、10Gpbs弱だった。
もうちょっと出てほしいなぁ。
Sequential Read : 697.423 MB/s
Sequential Write : 406.635 MB/s
Random Read 512KB : 580.026 MB/s
Random Write 512KB : 393.651 MB/s
Random Read 4KB (QD=1) : 24.180 MB/s [ 5903.3 IOPS]
Random Write 4KB (QD=1) : 27.052 MB/s [ 6604.5 IOPS]
Random Read 4KB (QD=32) : 203.598 MB/s [ 49706.6 IOPS]
Random Write 4KB (QD=32) : 52.651 MB/s [ 12854.3 IOPS]
Test : 1000 MB [E: 45.9% (4932.4/10751.9 GB)] (x5)
Date : 2012/10/03 16:51:20
OS : Windows NT 6.2 Server Standard Edition (full installation) [6.2 Build 9200] (x64)
682:不明なデバイスさん
12/10/04 10:11:30.18 cZXIsbOX.net
UDでmtu 2044なのはInfinihostIIIとかの制限じゃないの？（彼らはIBパケット2Kまで）
connectx系なら4Kまで設定できちゃうんじゃ？
683:不明なデバイスさん
12/10/04 11:36:27.21 q8KSh1WI.net
>>643
FreeBSDにマージされてるOFEDは一応1.5.3ベースらしいから、
ConnectXで4k mtuを扱えるはずなんだけど、そのままifconfig ib0 mtu 4092とやっても
エラーで弾かれる。
で、色々調べていくと、どうもmlx4_coreに4k mtu使うぞってフラグをセットしてあげなきゃ
ダメみたいなんだけど・・・
FreeBSD側にそのフラグをセットする方法が、現状無いという。。。
Linuxで/etc/modprobe.conf辺りを使ってセットするパラメーターを
FreeBSDじゃ今のところ弄る方法がなさそうなんだよねぇ。
で、お手上げ状態。
FreeBSDのInfinibandは、とりあえず
684:動くようになりました－！って感じかな、今は。
685:不明なデバイスさん
12/10/04 12:27:36.46 cZXIsbOX.net
なるほど。sysctlでもだめそうですね。
686:不明なデバイスさん
12/10/04 12:31:42.39 Bv7qllnj.net
>>645
ソースを見ると sysctl で設定できるように、変換のレイヤーがあるにはあるんだけど、上手く動いてないっぽい。
687:不明なデバイスさん
12/10/04 12:50:05.17 cZXIsbOX.net
はー、msのセミナ用に時間あけてあったのに対応待ちで出かけられず、おじちゃんIBのスイッチに火いれちゃうぞ。
688:不明なデバイスさん
12/10/04 15:15:55.18 3db+5b01.net
>>645
なので、ソースのデフォ値を弄って、
カーネルリコンパイルしてどうなるか、
試してみようかと。
上手くいったらラッキー、駄目だと完全に、お手上げ、開発の修正待ちかなぁと。
689:不明なデバイスさん
12/10/05 09:02:26.62 kI4XMrAH.net
デフォ値修正を試したけど、ブートでカーネルが転ける。
やっぱBSDで4kは、まだ無理ぽいねぇ。
690:不明なデバイスさん
12/10/05 16:13:24.75 qtgdw3kY.net
そうなんだ、残念。
しかしQDRの試験とかしようと思うとストレージのスピードとかいろいろ気になって出費がすごいな。
691:不明なデバイスさん
12/10/05 17:01:52.61 XSHaOL9o.net
>>650
テストだけなら6GpbのSSDでRAID0組める環境あれば、まぁ、何とかなると思う。
もっと限定すれば、４GB位のRAMディスク作れれば。
そしてOI入れてみた。
#dladm show-linkprop
LINK PROPERTY PERM VALUE DEFAULT POSSIBLE
pFFFF.ibp0 linkmode rw ud cm cm,ud
pFFFF.ibp0 autopush rw -- -- --
pFFFF.ibp0 zone rw -- -- --
pFFFF.ibp0 state r- up up up,down
pFFFF.ibp0 mtu r- 2044 2044 2044
( ﾟдﾟ) ・・・(つд⊂)ｺﾞｼｺﾞｼ
(；ﾟдﾟ) ・・・(つд⊂)ｺﾞｼｺﾞｼｺﾞｼ
（；ﾟДﾟ） …！？
おぃ、Solaris 10から4k mtu使えるんじゃなかったのかYo！？
ぅー、どうしたものか。。。
692:不明なデバイスさん
12/10/05 17:36:54.84 qtgdw3kY.net
RAMディスクでいくか・・・でも肝心のボードを手に入れないとなあ。
connectX:10GBASE-CX4にもなる。
connectX2:10GBASE-CX4の他、QSA利用等で10GBASE-SFP+にも対応。
connectX3:PCIe GEN3、40GBASE-QSFP+に対応。
693:不明なデバイスさん
12/10/06 01:22:43.93 R47V3Mle.net
>>651
うちだとこうなってるけど、
pFFFF.ibp0 mtu r- 65520 65520 65520
OIのIBスタックって作りかけだから、試すならSolaris11の方がいいかも。
前にsunsolveで見たときに、Solaris11になるまでに相当IB回りに手が入ってた記憶が。
WindowsのOFEDでiSERのminiportドライバ用意してくれれば、iSCSIで十分パフォーマンス出るんだけどね。
うちは実験で、OIでRAMDSIK作ってそれをiSCSI iSERのTargetにし、
Linuxをinitiatorの環境作ってddでテストしたら800MB/s位で頭打ちになった
ddを4つ走らせると、3GB/s位まででたけど。
>>652
LinuxのKVMとXenで行くならInfiniHostでも十分いけるんだけどね。
WindowsやVMWareだと、ConnectX以降じゃないと駄目だからなー。
694:不明なデバイスさん
12/10/06 02:31:58.17 YO6CoMgL.net
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
695:不明なデバイスさん
12/10/06 03:31:10.73 6h7fbKug.net
>>653
それ、CM modeだね。
うち、対向がWin Srv 2012で、まだCM対応してないんだ。
なので、UD modeなんだけど・・・
Solaris 10 10/9でUD modeの4k mtu対応って情報は見つかるんだけど、
設定方法が見つからない(´・ω・｀)
さくっとテストした感じだとやっぱ、iSCSIはカーネル処理してるSolaris系のが
良いね、特に小
696:さアクセスは。 CDMの4kランダムQ32で、BSDだと200M位で頭打ちのところ、OIだと400M超えた。 まぁ、現状でもストレージの性能からすれば、悪くない値出てるし、不都合は無いんだけど。 やっぱ11かぁ・・・けどパッチは有償だし、常用の鯖としては、 あんま使いたくないなぁ・・・
697:不明なデバイスさん
12/10/15 13:05:22.10 PlTz/tmm.net
やっぱりlinux+ZFSになるんじゃ（w
server2012の3-way mirror、5台以上なんていう奇妙な制限あるから実はraid6か、と思って試したけど、
やっぱり容量1/3になった。いらねー。
698:不明なデバイスさん
12/10/15 13:27:42.72 zycq5SmK.net
split-brainを防ぐためにメンバの過半数が生きてないといかんからね
699:不明なデバイスさん
12/10/15 13:42:07.40 PlTz/tmm.net
なるほど、そーいうことね。一旦死亡フラグ立ったら復活しないのかと思ってた。
700:不明なデバイスさん
12/10/20 22:45:37.89 JpS8HpXc.net
結局、Solaris 11ではOpenSM動くのかな。
URLﾘﾝｸ(syoyo.wordpress.com)
っていう報告があるみたいだけど、スレでは盛り上がってないよね。
701:不明なデバイスさん
12/10/20 22:47:06.44 2C+57N3U.net
>>659
Unfortunately, running opensm on OpenIndiana(Illumos) is not possible since there is no corresponding kernel driver(kernel component of OFED 1.5.3 Solaris port) on it at this time.
Oiで動き出せば多少状況が変わるんじゃね？
702:不明なデバイスさん
12/10/25 13:50:46.18 BwYCFKPN.net
つーかスイッチが高すぎる現状ではQDRはなんとも。
connectX(2)をDDRで使う、というのが実用解としてはありなのかも。
703:不明なデバイスさん
12/10/25 14:51:26.41 RXPxgTMt.net
>>661
8protなら個人でも手を出せない額じゃ無いけどな。
その金額をかけるかどうかは、別の話だけど。
704:不明なデバイスさん
12/10/28 20:30:57.41 m4SqO96l.net
URLﾘﾝｸ(shop.maxserve.co.jp)
在庫あるみたいです。
705:不明なデバイスさん
12/10/29 17:03:24.76 +zaSs0jL.net
メモ：powershellから、get-smbservernetworkinterface、get-smbclientnetworkinterface。
706:不明なデバイスさん
12/11/05 13:25:04.79 0k23buvP.net
server2012対向でRAMディスクの速度テスト。
サーバクライアントともdual X5570、Infinihost LX, DDR。(単位 MB/秒)
==CrystalDiskmark4000M====SR==SW===RR==RW==QD1=====QD32===
starwind ramdiskローカル直 3102 4211 3046 4152 902 851 826 790
CM, mtu=65520
iSCSI vhd 671 853 560 605 23 24 147 163
親iSCSI vhdをhyper-vで 659 851 551 605 21 22 148 124
SMBアクセス 694 708 625 631 32 32 433 345
hyper-vでSMB経由vhd 653 678 575 582 23 22 114 112
UD, mtu=2044
iSCSI vhd 500 583 453 446 25 25 123 141
親iSCSI vhdをhyper-vで 505 541 443 436 22 22 128 141
SMBアクセス 467 456 447 422 31 33 261 265
hyper-vでSMB経由vhd 474 443 414 402 22 23 95 92
メモ
・winofed3.1入れるにはmsiファイルをorcaで開いてlaunchconditionの該当行をdrop row。
・IPoIBにエラーが出ているときは、ドライバの更新でmellanox版ではなくofed版を選ぶ。
・hyper-vでディスクに\\server\share\disk.vhd形式のファイルが指定できるようになったが、
基本的にはマシン認証が行える場合、つまりActiveDirectory環境じゃないとだめ。
・AD面倒な向きは、サーバ側ローカルセキュリティオプションのセキュリティオプションで
Everyoneのアクセス許可を匿名ユーザに適用 と 匿名でアクセスできる共有にshare名、
でEveryoneにフルコントロール与えておけばとりあえず動く。
考察
・iSCSIはIPoIB層があるためDDRのスピードは出ない。InfinihostではSDRで十分。
・SMBでもInfinihostではRDMAが使えないため遅い。InfinihostにこそRDMAほしいぞ。
・一番の問題はIPoIBをhyper-vの仮想スイッチに入れても、hyper-vマシンから
外にアクセスできない点。いわゆる「L3互換モード」になってない。
昔はできてたような・・・
707:不明なデバイスさん
12/11/06 10:13:38.28 rPx8QAOD.net
ちょっとつづきメモ。
・ちなみに素のスピードは、ibv_send_bw -aで測ると1463MB/秒、ibv_rdma_bw -c で測ろうとするとDPC_WATCHDOG_VIOLATION 。
・IPoIBスピードは、ttcp -n1048576で測るとCMで1082MB/秒、UDで777MB/秒。
708:不明なデバイスさん
12/11/06 15:42:16.01 f7sLwn6+.net
>>665
検証乙。
sambaでSMB Direct使えるようになるともう少し変わるのかな。
それだったらvhdを置くHostに、InfiniHostが使えてもう少し幸せになれそうけど。
どちらにしろ、Hyper-V動かすサーバにはConnectX-2以降が必要って事にはなるけどね。
709:不明なデバイスさん
12/11/08 09:20:22.99 7vwB2PNX.net
MSはSMBを他でやられるのをあまり快く思ってないからsambaでSMB Directは望み薄じゃないかなー。
winofedのドライバソースを眺めてみようと思ったらsvn反応ないんだよな。gitか何かに移行したのか？
いずれにせよメーリングリスト入らないとだめか。
710:不明なデバイスさん
12/11/10 14:52:54.56 5Y/dAD0a.net
>>655
何が何でも無償じゃないとダメなら犬しかないんじゃね
711:不明なデバイスさん
12/12/06 14:49:24.61 7PH1mk5l.net
Solaris 11.1 でtavorもEoFなのね。
まぁ、そもそもがメモリー付き限定だから、基本そんなに影響はないか。
712:不明なデバイスさん
12/12/07 10:28:01.11 kCyuxBQ4.net
winofedマダー？ 4Q終わっちゃうよん。
713:不明なデバイスさん
12/12/10 10:00:55.65 J0/vhk1O.net
UDしかできなくてQDRとかFDR使いきれるかな？
送る方はいいにしても、受信側がとんでもなくキツそうだけど。
Mellanoxのカード、Adaptive RX機能とかあるんだけど、手元のは
ENモードじゃないと有効にできないぽいんだよね。Connect-X3とかなら
できるんだろうか。
あと、Connect-Xだと割り込みラインが複数のCompletion Queueに別々に
あるんだけど、これは要するにSENDとRECVが干渉しないようにするだけで、
マルチコアでのマルチキュー受信機能はMellanoxのHCAにはないのかな？
やっぱりConnect-X3買え？
714:不明なデバイスさん
12/12/11 02:11:58.38 upAyFH7G.net
Mellanoxの最新ファームって、ユーザ登録しないと落とせなくなってる？
Windows Server 2012用のMLX_OFED落として、ReleaseNote見るとConnectX-2の最新のファームと
普通に落とせるファームのバージョンが違うんで気づいたんだけど。
>>670
SunSolve見てたら、途中でtavorはEoFって書いてあったからねー。
tavor使いたい人はOpenIndiana使えば何とかなるけど、Oracle(DB)使いたいだと使えないし。
>>671
禿同。MLもなんか全然情報流れてないし、どうなってるんだろう？？
715:不明なデバイスさん
12/12/11 08:09:39.73 AlR+xlwD.net
>>673
ファームはまだ2012専用みたいな位置付けだからじゃないかなぁ。
OFEDまだ来てないし。
716:不明なデバイスさん
12/12/12 13:19:28.24 WKe0e4EG.net
やっぱりInfiniband、はじまる前に終わっちゃったか。
717:不明なデパイスさん
12/12/12 18:35:15.40 9tRJe1BT.net
インフィニットバンドって今買うならConnect-X3のほうがいいの？
718:不明なデバイスさん
12/12/13 00:37:57.66 W0GIvmba.net
>>675
始まってないから、終われない。
まぁ、そんな言葉遊びはともかく、
始まってないのは確かかも？始まりそうな気配は結構してるんだけど。
ただ、インフラとして、どこへ転ぶかは読めないなぁ。
IB or 10/40GbE・CNA or FC
どこへ転ぶにしても、更新時に総取っ替えにはなるから、
なんだかんだ言って、クライアントのサポート状況は多分10/40GbEが一番な気がする。
スイッチが高いけど。
IBはスイッチ含めコスト的には勝負出来るんだけど、クライアントサポートが
ネックになりそうな気がするんだよなぁ。
QlogicのIB資産買い取ったIntelがどこまで頑張るか。
FCはまぁ、無いと思うけど。
>>676
前半にはあえて突っ込まないが、X3買えるなら良いんじゃね？
719:不明なデバイスさん
12/12/13 10:06:14.86 xEMo83SK.net
IBが技術的には一番いいと思うんだけど、旧製品をすぐに切ってしまったり、
openっぽいことをいいながらそうでなくなって来ている気がするんだよなあ。
720:不明なデバイスさん
12/12/14 19:00:14.68 fdXpRevh.net
現状スパコン屋さんに売ってるものだから古い規格に価値なんてないんだろう
721:不明なデバイスさん
12/12/14 19:15:25.04 SImd51iX.net
インフィニバンド の検索結果 約 20,800 件
インフィニットバンド の検索結果 約 570,000 件
722:不明なデバイスさん
12/12/14 22:20:45.24 bP9BN4sb.net
世の中にどれだけアホが多いのかよく分かるな
723:不明なデバイスさん
12/12/20 09:11:41.25 +xCiFrFi.net
☆ ﾁﾝ ﾏﾁｸﾀﾋﾞﾚﾀ～
ﾏﾁｸﾀﾋﾞﾚﾀ～
☆ ﾁﾝ 〃 ∧＿∧ ／￣￣￣￣￣￣￣￣￣￣￣￣￣
ヽ ＿＿_＼（＼・∀・） ＜ まだ～？
＼＿／⊂ ⊂＿ ) ＼＿＿＿＿＿＿＿＿＿＿＿＿＿
／￣￣￣￣￣￣ ／|
|￣￣￣￣￣￣￣| |
| 愛媛みかん |／
724:不明なデバイスさん
12/12/20 12:14:48.55 ECJee4kH.net
>>681
いや、アフォはお前だからｗ
アフォはお前だからｗ
725:不明なデバイスさん
13/01/09 02:47:58.95 JOHwlJgh.net
うーん、Q4,2012すぎちゃったけど、WinOFEDでてこないなー。
Betaすら出てこないとは。
WinOFEDで、ConnectXがサポートされるんなら待てるけど、サポート切られたな泣ける
726:不明なデバイスさん
13/01/09 10:59:14.70 JcAsz2sX.net
NDKPIを入れ込むのに難航してるのかな。infiniband dayのほうが早かったりして。
727:不明なデバイスさん
13/01/13 22:53:07.78 iEFbuR9c.net
OpenFabrics AllianceがForum以外に飛べないのはなんでだぜ
728:不明なデバイスさん
13/01/13 23:46:54.64 DYaNkQQg.net
昨日ぐらいから。更新中？ と思ったけど 飛んだ？ というのもありがち。
729:不明なデバイスさん
13/01/14 23:23:53.36 59silHaj.net
ConnectX-2のfirmwareは、Windows Server 2012のMLNX_WinOFインストール時に勝手に更新されるのね。
先にMLNX_WinOF入れてからカード差してたから気がつかなかった orz
あとうちであった事例だけど、
730:PCIe Gen3のポートにConnectX-2のfirmware 2.9.100のカード差したら認識しなかった。 なので、PCIe Gen2のあるPCへ差し直して、2.9.1200へ更新してやったら認識した。 で、上記Windows Server 2012がPCIe Gen3だったのでドハマりしたよ。 前にあったのは、AMDのチップセットでFirmが2.6.0とか古いのだったときに同じような事あったから気づいたんだけど。
731:不明なデバイスさん
13/01/20 10:29:59.56 7re8D9jW.net
ConnectX2同士を直結した場合は10G NICとしては使えないんですか？
732:不明なデバイスさん
13/01/20 16:13:32.20 Y3VAJlZs.net
connectX2は10GBeに切り替えられるから10GBe NICの代わりになるけど、直結は動かないんじゃなかったかな。
理由はシラネ。
733:不明なデバイスさん
13/01/20 23:51:30.57 DsuTrtDK.net
>>689
過去に試したとき(Firm 2.9.100)は駄目だった。
最新のFirmだとLinkUpするかもしれないけど、試せる環境がすぐにないので何とも。
ConnectX-2 ENでWindows Server 2012直結・Linux直結は動いたけど、これは参考にならんね。
734:不明なデバイスさん
13/01/21 00:41:34.06 UrDtl6ha.net
直結問題ないよ
735:不明なデバイスさん
13/01/31 23:08:22.09 DoQvcRsv.net
hyper-vホスト二台と共有ストレージ infinihost III二口をそれぞれに刺して三角形にしてlive migrationすると必ず失敗するな
736:不明なデバイスさん
13/02/01 21:13:26.42 K+UhZ7GP.net
infinihostIIIだと別々のセグメントになるからじゃ？
なんとなくだけどIPoIBのインターフェースをbridge設定して、force compatibilityにして同じセグメントに入れれば
動くかも。
#infiniband day 06、面白かった。
737:不明なデバイスさん
13/02/04 14:51:04.30 GrufH4Gk.net
メラノックスのIS5022で遊ぼうと思っているのだが、
こいつのPartitionKeyの最大数わかる人いますか。
HPの右にあるUserManyual読んだけどわからんかった。
VLAN関連がIBのPartitionKey使っているからSWのPartitionKeyの最大数
調べろみたいな記述を読んで探しているのですが、、、
738:不明なデバイスさん
13/02/05 20:03:01.27 8Jhn9ai/.net
最近Infinibandを研究室に導入しようと調べてるんだけど、ちょっと動かしたとか性能測ったってネットでドヤ顔して晒してる自己顕示欲のかたまりみたいな方々が多いのな… 驚きました
739:不明なデバイスさん
13/02/05 20:13:36.68 XQfGgpDR.net
人柱様になんて口の聞き方だ
740:不明なデバイスさん
13/02/05 20:29:59.38 nzuj5V7j.net
だって他にやることないし
741:不明なデバイスさん
13/02/05 21:12:13.25 YgPup+1D.net
ネットワークなんてそんなもんでしょ。
で、あなたは何をしてくれるの？
742:不明なデバイスさん
13/02/05 22:35:38.30 xdIRjWYy.net
他人の趣味を否定するアホが涌いてるけど
自己顕示欲のカタマリってこういうアホのことだと思うんだｗ
743:不明なデバイスさん
13/02/05 22:45:07.54 fvhdz1AM.net
やり方ググったけどまともに説明してるサイトなくて困ってます＞＜ってことでしょ
744:不明なデバイスさん
13/02/05 22:47:39.74 JQpfxhN8.net
そんなレベルで研究室に導入とか大丈夫かな
745:不明なデバイスさん
13/02/05 23:27:08.32 alkVnItT.net
>>696息してないwww
フルボッコ過ぎてワロタ
746:不明なデバイスさん
13/02/06 01:41:38.25 yg8658Ol.net
それ以上書いて貰っても、専門的すぎて役に立たんと思うんだが
HPCでのベンチ結果なんて個人には意味が無い
747:不明なデバイスさん
13/02/06 09:32:26.20 /8MaX4ao.net
個人だとSAN位にしか使い道ないしね
748:不明なデバイスさん
13/02/06 10:03:27.74 ldvzEUoF.net
業務の結果公開しても、他にあてはまらないこと多いからねぇ。
>>705
業務でもほぼSANかバックアップ用回線では。結局、発見プロトコルにブロードキャストが必須なTCP/IPと
スイッチングファブリックは相性よくないんで、IPoIBで何でも置き換えられますよー、とはいかぬ。
749:不明なデバイスさん
13/02/06 10:34:58.77 JCcsM2kr.net
研究室に導入しようとして２ちゃんに来るとはｗ
にわか管理者は研究室でドヤ顔してるんだろうな…
750:不明なデバイスさん
13/02/06 12:43:42.65 ldvzEUoF.net
>>693
バックアップ待ちで時間あったからちと実験してみた。Infinihost Exと2つのInfinihost Lx、
Ex上で2つのIPoIBをブリッジしておくと、Lx同士でもIPで通信できた＠ws2012。
forcecompatibilityはONにするとかえってだめ。
なおsubnet managerはEx上に1つだけだと片側しか掴んでくれなかったので（設定だろうけど）、Lxそれぞれで起動。
751:不明なデバイスさん
13/02/07 16:06:44.94 2ikPv26v.net
winof、でないねー。
レポジトリ覗いてみたけど、SMB directっぽいのが1月末でrevertされていたり、一体何があった？
752:不明なデバイスさん
13/02/21 10:42:02.12 jWFPHK9p.net
mellanoxのESXi 5.x用スタックがSRPをサポートした見たいだけど、
試してみた人いるー
うち、今ESXiの環境無くて、テスト出来ないんだ。
>>709
ほんとどーなってるのかねぇ・・・
753:不明なデバイスさん
13/02/23 13:17:22.39 LTxRMd12.net
>>710
情報Thx
今晩ESXi 5.1用ドライバで、SRP試してみるよ。結果わかり次第書き込むね。
1.8.1でにConnectXで動作するかも確認してみる。
754:711
13/03/09 12:46:41.97 sdwFqXYW.net
遅くなったけど、Mellanox Driver 1.8.1 + ConnectX-2を使ってESXi 5.1でSRPは使えた。
Target側はLinux+ SCSTで動作確認。
RAMDISK作って試したけど、RAMDISKの速度が1.5GB/s位だったのでQDRのフルスピード使えなくて泣いた orz
755:不明なデバイスさん
13/03/12 09:00:14.46 DGsD1O+p.net
ESXi 5.xでSRP使えるようになったかぁ。
Windows 2012系はOFEDの3.2待ちなんだよな・・・てか、Q4'12どころか
Q1'13終わるんですけど！？
OFEDさん、どうなってんの！
まぁ、OFED3.1に細工して入れるのも有りだけど・・・
あれ、OpenSM動いてたっけ・・・
756:不明なデバイスさん
13/03/12 21:21:37.46 32YU15EY.net
OpenSM動くよ＞orca細工なofed3.1
そろそろconnectx2あたりが欲しいなあ。オクにx3まで出てるけど、さすがにFDRはスイッチがねー。
757:不明なデバイスさん
13/03/13 00:04:17.29 fBwf9jjF.net
WinSrv 2012でOFED3.1試したら、OpenSMが固まる・・・
というか、OSごと落としてくれやがる。
休みに時間取ってやってどうなるかだが、期待は出来んなぁ。
Hyper-VでSRPを試してみたかったんだが。
758:不明なデバイスさん
13/03/13 11:28:35.39 7w2Ov2mt.net
うちでは落ちたことはないなあ。infinihost lxだし、
必要最低限のものしか入れてない(srpもなし)からかも。
759:不明なデバイスさん
13/03/13 13:01:20.03 fBwf9jjF.net
ConnectX-2でMLNX_OFED使ってたから、libかドライバ周りで
なんかゴミが残ってるかなぁ。
OpenSM、起動はするんだけど、SUBNET UPにならずに
Entering DISCOVERING stateで止まっちゃうんだよね。
で、Ctrl-Cで、終了出来ずに、最悪OSリセットがかかるｗ
エラーも出さずにOSまで落としてくれるので、ドライバ周りが非常に怪しい・・・
760:不明なデバイスさん
13/03/14 16:07:53.04 wsagZer1.net
とりあえずデバイスマネージャからconnectx-2を右クリック→ドライバの更新→選択、して、
ofedの奴を選んでみるといいかも。ip
761:oibのドライバも。 でもMLNX_OFEDで十分だとおもうお。
762:不明なデバイスさん
13/03/14 16:56:23.57 ffxYB2J8.net
>>718
もち試したお！
クリーンインストールした環境でやっても、症状変わらなかった・・・
とりあえずMLNX_OFEDでもうちょっと使ってます。
Hyper-Vとストレージの間に使ってるラインなので、
CM&SRPには惹かれるんですけどねぇ。
763:不明なデバイスさん
13/04/18 10:14:37.50 v9DBPrUz.net
www.openfabrics.org/downloads/Windows/v3.2/
あらでてたのね。
764:不明なデバイスさん
13/04/18 13:17:21.98 VJt2xmB1.net
Release Noteはまだか。
765:不明なデバイスさん
13/04/18 19:12:17.00 VJt2xmB1.net
Release Noteはzipの中に入ってた。そしてWindows8/2012は
OFED3.3で対応、Q4'2013だよ！って、遅すぎだろ・・・orz
やる気ねーなぁ、1年待てってか。。。
766:不明なデバイスさん
13/04/18 19:36:20.14 twxr0sKj.net
Q4'2013なら2013/10～2013/12じゃねぇの
そういうのに出てくる四半期は1月から数え始めるのが普通だと思うが
まあ遅すぎるのには同意だけどね
767:不明なデバイスさん
13/04/18 20:16:08.46 VJt2xmB1.net
>>723
いやぁ、確かにその通り、ちゃんとQ4'2013なら、1年は無いんだけど・・・
でも、今回の3.2もOFEDはQ4'2012に出す予定って言ってた訳ですよ。
結果はご覧の通り、Q2'2013になった訳でｗ
で、出るのはQ1～Q2'2014と勝手に予想した訳なんです。
768:不明なデバイスさん
13/04/19 18:00:15.95 eaHEHXX7.net
次からやる気出す。
769:不明なデバイスさん
13/05/11 15:00:10.45 teRxuveD.net
Connect-IBも１年近く経つけれど出てきませんね。
770:不明なデバイスさん
13/05/12 23:16:35.01 alu7WM/E.net
久々にMellanoxのサイトチェックしたら、Linux用のMLNX_OFEDが3月に2.0にバージョンアップしてたのね。
ubuntu 12.04のサポートが新規に入ったみたいだったので、試しに入れてみた。
12.04の環境だと思って入れた環境が13.04て、opensmの起動スクリプトでエラーが出たが、
他は問題なく動いてる。
入ってるソフトのバージョン見てたら、opensmが4.0になってたけど何が変わったか調べないと。
771:不明なデバイスさん
13/05/21 14:27:59.20 UufHEn4y.net
connectx-2が1万切っていたのでひさびざにIB関連を購入、我ながら貧乏だね。
PSIDはFJT0D90200009、ファームアップデートしてWindowsServer2012の標準ドライバでsmb-directしてみたけど、
大してスピードかわらねー。(crystaldiskmark4000M,starwind ramdisk直だとリード3191MB/s ライト3776MB/s)
smb-direct無効 リード1022MB/s ライト1040MB/s
smb-direct有効 リード1281MB/s ライト1166MB/s
MLNX-OFEDでもいろいろ試してみよっと。
772:不明なデバイスさん
13/05/22 12:12:09.76 hoqDTY4/.net
server2012対向でRAMディスクの速度テスト for ConnectX-2。
サーバクライアントともdual X5570、ConnectX-2(富士通OEM), QDR。(単位 MB/秒)
==CrystalDiskmark4000M====SR==SW===RR==RW==QD1======QD32===
starwind ramdiskローカル直 3191 3776 3159 3952 1224 1227 1008 1102
MLNX_OFED4.2,直結,チューニングなし
ibv_send_bw -a 2935
SMBアクセス direct無効 1001 1044 907 912 35 37 389 309
SMBアクセス direct有効 1258 1168 1068 1000 58 42 439 390
hyper-vでSMB経由vhd 1219 1371 970 1035 31 33 160 153
single_portでチューニング(IPoIBデバイスのプロパティで)
ibv_send_bw -a 2938
SMBアクセス direct無効 1093 1121 961 936 49 50 480 272
SMBアクセス direct有効 1279 1164 1088 1001 57 42 434 381
hyper-vでSMB経由vhd 1245 1337 962 1027 32 34 161 155
IPoIBを仮想ネットワークに入れる
SMBアクセス 734 991 657 862 40 50 254 297
メモ
・PSIDはFJT0D90200009、ファームは手動で2.9.8350に更新。
・flint dcで書き出したiniはメモ帳等でANSIで再保存するとmlxburnでエラーが出ない。
・Windows8の標準ドライバ(SMは4036)でもスピードはチューニングなしの場合と同じ。
・SMB directが使えるかはPowerShellからGet-SmbServerNetworkInterface等で表示、
directの無効化はSet-NetOffloadGlobalSetting -NetworkDirect disable。
・ConnectX-2は元からIPoIBのオフロードがあり、SMB directでも20%程度しか向上しない。
・single_portのチューニングはIPoIBが10%程度向上、directやIB自体には効果なし。
・IPoIBを仮想化して仮想マシンから外にアクセスできるようになったが、
これをするとSMB directは無効（当然)になる上、仮想スイッチ層が入るため遅い。
・仮想マシンからのtcpスピードは6000Mbps程度だがスピードは安定しない。
・10GbEに切り替えたらQSFP直結でも動作した。
概ねInfinihost LX(DDR)の倍出てるけど、常用するにはいろいろ考えねば。
773:不明なデバイスさん
13/05/22 18:15:42.74 N1gX5Of3.net
>>729
CM使えれば、もう一伸びしそうだけどねー。
OFEDが為体な、おっと誰か来たようだ。
774:不明なデバイスさん
13/05/23 10:01:32.73 zKOtwrc8.net
> ・ConnectX-2は元からIPoIBのオフロードがあり、SMB directでも20%程度しか向上しない。
参考になったわー。
775:不明なデバイスさん
13/06/08 08:50:06.89 9flVJQJb.net
>>730
互換性がないのは通信インフラとしての評価だと最低だから、UDで統一したほうが幸せな気がする。
もちろんオフロードでそこそこのスピードが出るconnect-x以降が前提になっちゃうけど。
776:不明なデバイスさん
13/06/08 11:09:44.53 C18/AcS8.net
>>732
UDだとフレームサイズが2kまでってのがちょっとね。。。
Windows同士なら4kまでいけるんだが、Windows以外での
UDモードが4kサポートしきれてない感が。
777:不明なデバイスさん
13/06/20 22:21:33.24 9CZUAJ+r.net
>>732
CMってもしかしてベンダ独自拡張なの？
778:不明なデバイスさん
13/06/24 12:39:47.07 A3iC9EkU.net
ofed独自拡張、かな。
CMを張れる総数がカードで決まっている現状では、その上にIPを載せるなんて危険すぎるでしょ。
（対地数がCM本数に制限される）
779:不明なデバイスさん
13/06/25 14:53:26.29 pjtmxEE8.net
>>735
それって net.rdma_ucm.max_backlog のこと？
それともハードウェア的な別の上限がある？
スパコンや不特定多数から直接叩かれる公開サーバじゃなければ困らないような気がする。
780:不明なデバイスさん
13/07/18 NY:AN:NY.AN H2OZ26G8.net
>OFED for Windows (WinOFED) Roadmap
>-----------------------------------
>[ Last updated: 06-25-2013 ]
>
>WinOFED 3.2 GA released June 25, 2013
>OFED for Windows 3.3 release on hold (lack of IHV participation).
一応、3.2はreleaseされた様だが、なんか雲行きがあやすぃ、3.3がholdされちゃってるよー。
ってか、そこまで影響及ぼすIHVって、Mellanox以外思い当たらないんだがｗ
781:不明なデバイスさん
13/07/26 NY:AN:NY.AN xT/zoNDp.net
Intelだったりして。
782:不明なデバイスさん
13/07/26 NY:AN:NY.AN pwjnYFIr.net
>>738
その可能性もなきにしもあらずだが・・・
FDRはまだ手出してないし、市場に流れてる量から見ると、
そこまで影響力はない気がするんだよなぁ。
783:不明なデバイスさん
13/08/02 NY:AN:NY.AN YJjex9m4.net
CPUから直出ししようとしてるから、プロトコルに関してなんらかのプランがあるんじゃない？
もちろん邪推だ。
784:不明なデバイスさん
13/08/20 NY:AN:NY.AN D4PWX8S4.net
うちのDDR様が規格16Gbpsなのに実力12Gbpsしか出ない。
10GEより「高速」な時代
785:が長かった割には中々普及しなかった理由が判る気がする。 最新のでも54.4Gbpsだっけ？が上限なのに、49Gbps位しか出ない。 いや速いんだけど、チャンピオンデータでも10%も落っこちるのは何が原因なんだろ？ RDMAは特にサイズがデカいREAD/WRITEならバス位しか制約要因なさそうなのに。
786:不明なデバイスさん
13/08/20 NY:AN:NY.AN Uz1xe9E0.net
もともとスループットよりもレイテンシ縮小に振ったプロトコルだからそんなものなのかも。
経路上にバッファを置かないから、経路できたよー、の確認にそれなりに喰われるんじゃないのかな。
787:不明なデバイスさん
13/08/20 NY:AN:NY.AN 6+IBr9LC.net
>>741
元々Infiniband自体、ハードウェアでのアクセラレートは全くなく、
マシンパワーで安く速度だそうぜってのが最初。
そして、>>742も書いてるが、ノード間のlatencyを極小にするのが第一目的。
さすがに、QDRでIPoIB、FCoIBとか、いろんなプロトコル扱うようになって、
辛くなってきたから、コントローラーへ処理をオフロードするようになってきた。
それがMellanoxで言えば、ConnectX/X2世代。
ConnectXなら、DDR/RDMAで15Gbps弱までは出てるぞ、ベンチでは。
同じ環境で、Infinihostだと12Gbps弱。
間にスイッチ入ると、latencyが延びるから、どうしても直結よりかは遅くなるが。
理論値54.4Gbpsに対して、実効値で49Gbps出てるなら、
製品としては結構良い線行ってる気がするけど。
788:不明なデバイスさん
13/08/21 NY:AN:NY.AN OQx+Fe9U.net
IPoIBとかFCoIBはコントローラに支援機能がなければCPU処理が必要で遅くなるのは判るけど、
RDMAネイティブならキュー処理とイベントのACK以外、つまりデータ転送部分はハードウェア処理だから性能が出しやすいかと思ってた。
一応、出しやすいことは出しやすいのだけど、フル性能には中々迫れず、20Gbps, 40Gbpsともなると、データ転送部分以外の軽度の処理負担ですら馬鹿にならないんだなと。
あと、脱線だけどRoCEでパケット流してる時に、これをモニタできるツールありませんか？どこにカウンタがあるんだろう。
789:不明なデバイスさん
13/08/21 NY:AN:NY.AN +BYZcZot.net
Server2012だとパフォーマンスモニタのカウンタ値にまさにRDMA Activityの大項目があるね。
あとSMB Direct Connection大項目の中にもRDMA関連のがいくつか。
実際に試してはないのでこれかどうかはわからん。
790:不明なデバイスさん
13/08/22 NY:AN:NY.AN 7HvQV/+r.net
なんかChelsioがRoCEをかなりdisった資料を出してるんですが、
結局RoCEとiWARPはどちらに目があるんですかね？
→ URLﾘﾝｸ(www.chelsio.com)
歴史理解が甘いので誤解してるかもしれませんが
1.IB-RDMAを他の技術、特に10+GEで使えるようにしたいというニーズ・思惑があった
- 思惑：IB界としてはIB Verbs互換で提唱することで、IB利用の敷居を下げたい
- ニーズ：RDMAの効果は著しいので使いたいが、IBそのものの採用は腰が引ける
2.旦那、10+GEなんてこと言わずにIPベースで標準化しましょうよ、という流れに
- IETFでiWARPが規格化された
3.でもiWARPはTCPを処理してRDMAしないといけないので、大変
- チップ設計がTCP offload機能どころじゃなく大変
- 他のTCP通信と共存とか頭がおかしくなりそうに大変
- IBにも10+GEにも依存しないかもしれないが、そもそも他にあるのか？誰得？
4.なのでRoCEを作ってみた
- Ethernet
791:のフレーム処理だけでいいので安くて速くてうまい - でも、RFCがあるような標準規格ではない って流れでよい？ でも結局10GEならRDMAしなくてもなんとかなるし、10>GEは作っている 会社が少なすぎるので、結局RoCEもiWARPも本当に相互運用するのか わからんような、実質ベンダ依存みたいになってる？10>GE HCAの 設計元っていま何社あって、各社どれに対応しているんだろう。
792:不明なデバイスさん
13/08/23 NY:AN:NY.AN /pgL/8FP.net
単純にiWARPはRDMA over TCP(L3)、RoCEはRDMA over Ethernet(L2)だと思ってたけど違うんかな。
ConvergedということはL2でなくてL1(実用上は他のether trafficと同時に流せない)なんで、IBと差がないような。
793:不明なデバイスさん
13/08/23 NY:AN:NY.AN Y0fXD8OV.net
いやそれであってない？＞iWARP/RoCE
なんでChelsioがそんなにRoCE disなのかは不明だけど。
794:不明なデバイスさん
13/08/23 NY:AN:NY.AN /pgL/8FP.net
個人的にはmyricomがさっくり性能でたんでchelsioより好きだったけど、myricom変な方向行ってるなあ。
ってそういう話は10gbeスレか。
795:不明なデバイスさん
13/08/24 NY:AN:NY.AN E8oOqddF.net
このクラスのストレージへをL3でルーター超えでやりたいことってあるのかなぁ
むしろあらゆるオーバーヘッドは可能な限り取り除いてやりたいと考えることのほうが多いような気が
796:不明なデバイスさん
13/08/24 NY:AN:NY.AN Bu+9d+Ke.net
大陸間InfiniBandとか・・・
797:不明なデバイスさん
13/09/28 00:26:13.05 7tm4A4WS.net
FreeBSD 10.0-ALPHA2にkernel mode iscsi targetがマージされたみたい。
実装するって話が出たのが、今年の5月ぐらいだった気がするから、結構早く出来たもんだ。
iSCSIだけかと思ったらiSERまで実装されてた。
とりあえず、1GbEでWindowsから繋いでみたけど、普通に動いてるっぽい。
1GbEを超える負荷をかけたときにどうなるか試したいけど、
今IBでテスト出来る環境が無いorz
でも、これがまともに使えるようになれば、
Solaris/COMSTARの置き換えもいけるかなぁ。
798:不明なデバイスさん
13/09/28 01:35:14.90 WfgUmsKd.net
さすがNSAパワー
IT不況なんて関係ないぜ
799:不明なデバイスさん
13/10/01 09:42:02.49 salaZhdx.net
windowsイニシエータってiSER使うの？NDISがRDMA enableになってれば勝手に使うのか。
800:不明なデバイスさん
13/10/02 00:49:49.14 v83BN4ma.net
>>751
PCI-E over Ether ですら商品化されてるし、そのうち出てくるんじゃないか
URLﾘﾝｸ(cloud.watch.impress.co.jp)
801:不明なデバイスさん
13/10/02 19:51:03.44 yRp/rhU3.net
まぁディザスタリカバリ用途の遠隔バックアップとか遠隔ストレージマイグレーションなんかかね
802:不明なデバイスさん
13/10/06 02:37:25.49 DPX4vgjE.net
すみません、自宅マシンにインフィニットバンドを導入しようと思ってるん
んですが、メラノックスのコネクトＸ２について教えてください
双方、シングルポートのアダプタで直結した場合でも、ＩＢも１０ＧＢＥも
普通に使えますでしょうか？（ハブを経由しなくても）
なんか直結だと１０ＧＢＥは使えない、みたいな話もあるので
あと、１０ＧｂＥのファームで使うのと、ＩＢのファームでＩＰｏＩＢで
使うのはどっちが早いんでしょうか？
803:不明なデバイスさん
13/10/06 09:59:32.80 1bXX/518.net
>>757
SM立てれば、IBの直結はOK。ConnectX-2はEthの直結は×。
ベンチマーク上では10GbEよりIBのが速い。
実際にどうかは、環境次第。
2GiB/sを常時出せる足回りなら、IBの
804:が速いんじゃねーかな。 一般的なPCじゃ10GbE/IBの帯域に、ストレージの帯域が追いつかない。 1行目は、あえてスルー。
805:不明なデバイスさん
13/10/06 13:47:05.30 xpoqKciM.net
>>758
Ethでも直結できるよ
806:不明なデバイスさん
13/10/07 02:29:15.89 8g6dRzUw.net
>>759
スクリーンショットうｐ
807:不明なデバイスさん
13/10/07 08:20:13.94 4Vk4WpC4.net
やってみたけど直結できたよ。
808:不明なデバイスさん
13/10/07 16:31:31.65 M3vxO/fF.net
X-3なんとちゃうのん
809:不明なデバイスさん
13/10/07 20:45:47.57 J9BH2yQn.net
シングルポートのX2-VPIだができないモデルもあるの？
それとも製品が違うのかな
810:不明なデバイスさん
13/10/07 23:26:15.82 GUmHVZpH.net
2ポートのMHQH29Bでも出来た。
ConnectX-3の40GbEでもできた。
無印ConnectXは持ってないから不明
811:不明なデバイスさん
13/10/08 02:36:19.42 wLK6UswA.net
出来たとか抜かしてる奴、Mellanoxのページで出来ませんって書かれてるのに
どんな魔法使ってんの？ｗ
812:不明なデバイスさん
13/10/08 08:12:13.12 Ka7Yi7Bq.net
まさかIPoIBでした、なんて事はないよな・・・
813:不明なデバイスさん
13/10/08 17:57:17.01 cnFJ3Kk6.net
>>689-692
>>729
上にも、できる派とできない派
814:729
13/10/09 12:25:54.98 mr6nSZiq.net
ケーブルによるのかも。QSFPは中にI2Cのチップ持ってて諸元書いてあるので、それでできたりできなかったりなのかも。推測だけど。
うちで出来たのはJESS-LINKの03M-26AWG P3002TG03000-0ってやつ。
815:不明なデバイスさん
13/10/09 20:45:55.18 J08WR+1a.net
だから、出来るとかウソ書いてる奴はスクショ貼れよ
816:不明なデバイスさん
13/10/09 21:46:48.12 dmBhmSjZ.net
ながれをよまずかきこみ
>>708
> なおsubnet managerはEx上に1つだけだと片側しか掴んでくれなかったので（設定だろうけど）、Lxそれぞれで起動。
ネット検索中に上記のようなIBの両腕持つホストでのSM設定法を見つけたのでメモ
www.mellanox.com/pdf/whitepapers/WP_Deploying_Windows_Server_IB.pdf
blogs.technet.com/b/josebda/archive/2012/07/31/deploying-windows-server-2012-with-smb-direct-smb-over-rdma-and-the-mellanox-connectx-2-connectx-3-using-infiniband-step-by-step.aspx
上記4.3 Using OpenSM with two unmanaged switches参照
817:770
13/10/09 21:49:02.36 dmBhmSjZ.net
・SMは(名前通り)IB subnetを管理し、ひとつのIB subnet毎に対しひとつ(以上)のSMを必要とする
・複数のIB subnetに対し同一ホスト上にSMを配置する場合、当ホストで管理するIB subnet数分のSM(SMopensm.exe)を動かす
・各opensm.exeには個々のSMの管理対象IB subnetを--guidオプションでHCA portにより指定する
的な感じ。opensm.exeのオプションはWinOFユーザーズガイドとかには直接は書かれてないけど
opensm.exe /?でオンラインマニュアルで詳細が判る
# うちは環境無いので試せてないけど
これならinitiator 3ホスト程度をLinux targetにスター接続なんてのもいけるかも
818:不明なデバイスさん
13/10/09 21:54:44.63 mr6nSZiq.net
>>769 スクリーンショットだけで10GbEスイッチ経由とどうやって区別するんだい？
>>770 サンクス。今常用はIBスイッチ経由だけど、今度実験君するときに試してみる。
でも2012R2はいまいちテストする気もおきず・・・何か変わったんだっけ？
819:770
13/10/09 23:03:54.19 dmBhmSjZ.net
>>772
Infinibad関係しそうなとこだとlive migration with RDMAとか?
download.microsoft.com/download/0/2/
820:1/021BE527-A882-41E6-A83B-8072BF58721E/Windows_Server_2012_R2_Overview_White_Paper.pdf
821:770
13/10/09 23:09:07.05 dmBhmSjZ.net
それとopensm複数起動自体は2012R2固有とは限らない気がする
822:不明なデバイスさん
13/10/10 08:21:48.61 ch6HFIwI.net
>>774
登録時のサービス名を変えれば、いくつでも登録は出来るね。
それぞれのオプションで、読み込むconfを指定しておけば、
複数の設定で起動出来る。>>772
>>772
簡単な所で言えば、ローカルエリアの状態を表示すれば、リンク速度が表示される。
デバマネのシステムデバイス＞IB開いて、port protocolがどうなってるか、
辺りじゃない？
823:不明なデバイスさん
13/10/10 09:20:52.26 F3+BFDUG.net
あれ、Live migrationって元からRDMA使ってなかったのか。それは実験君のいいネタだな。
＃live migrationの実験ってめんどいんだよなあ。独立ネットで組むと3台は必要になるし。
>>775
10GbEに設定したなら、直結でもスイッチ経由でも速度同じでは？
824:不明なデバイスさん
13/10/10 20:30:22.08 W76s+PON.net
777 get !
825:不明なデバイスさん
13/10/12 00:41:09.17 9KR+44B2.net
connectx-3で、centos6.4 kvm + sr-iovがmlnx_ofed 2.0-3.0.0で動いた。
ゲストで、centos 6.4とubuntu 12.04とfreebsd 10.0 alpha5を動かしたけど、freebsdは、ドライバの認識でこける。
Linux系では、標準のドライバだと、freebsdとはちがって、認識するけど動かなかった。
Windowsはまだテストしてないけど、多分駄目だろ～な。
826:不明なデバイスさん
13/10/23 00:31:26.94 msCiN1aa.net
>>765
>Mellanoxのページで出来ませんって書かれてるのに
ちなみにどこに書いてある？
827:不明なデバイスさん
13/10/24 01:08:57.49 sc4VcQAo.net
逆に10GbEのできない環境が気になる。
828:不明なデバイスさん
13/10/29 10:07:49.22 N/nv4CpL.net
でもできない理由もなんとなく想像できるんだよね。
ConnectX-2以降のQDR対応のやつだと、ケーブルによって10GBASE-CX(4P)と10GBASE-SFP+(1P)の両方に対応してるんで、
それを識別できないとだめなんじゃない？
mellanoxの昔のQSFP-QSFPケーブルだとケーブル内にI2Cチップ持ってない奴があったんで、そういう奴だと直結動作しないかも、
と想像はしている。
829:不明なデバイスさん
13/10/29 20:24:36.99 iT4/lznk.net
いや、直結問題ないですよ。
10G/40Gはコネクタ違うし。
830:不明なデバイスさん
13/10/30 14:55:17.46 ZBkm5E8V.net
I2C内蔵してない＝パッシブケーブルてことでいいの？
むしろ識別されない方がケーブル長が短いなら上位規格まで実力で通せる可能性があるからうれしいかと思ってた。
ええ、ファイバのQDRケーブル投資がFDRになって無駄になって涙目ですよ。FDR10は使えるけど・・・
831:不明なデバイスさん
13/10/31 11:32:27.76 skDphSFW.net
I2C内蔵してないのがパッシブ、ではなくて、どっちかというと「初期にあった変なケーブル」です。
パッシブでもQSFPはケーブル緒元をI2Cで書くことが決まっているはず（ここらへんはSFP+からの流れ）で、
その値を見てこのケーブルにはQDR流せる、DDRまでだ、とか機器が判断するはずです。
FDRに投資できるだけすげーとか思う。
832:不明なデバイスさん
13/10/31 22:13:40.11 skDphSFW.net
環境を入れ替える前に10GBetherでのQSFP直結試験してみた。
・ConnectX-2、PSIDはFJT0D90200009、ファームは2.9.8350。
・Server2012R2previewにMLNX WinOF 4.55。
・インストール時にファームアップできなかったとか言われるが無視。まFJTだし。
・デバイスマネージャからMellanox VPI(MT26428)をAuto→Ethernetに切り替え。
・ケーブルJESS-LINK 03M-26AWG→
833:リンクアップ、ping OK。 ・ケーブルmlnx MCC4Q30C-001（これ確かI2Cチップなし）→やっぱりOK。 ・QSFP-CX4ケーブルでスイッチへ接続→OK。 うちの環境では直結でも全く問題ない模様。ってIB関係ないスマン。
834:不明なデバイスさん
13/11/01 11:26:36.99 DLqhGswM.net
QSFP-CX4ケーブルでスイッチに接続、てのはHCA側はQSFPで、スイッチ側はCX4を4口消費ってことなの？
分岐ケーブルでの接続だとどういう風にLIDの割当とかが見えてるんだろう。
スイッチ側にCX4x4を1ポート扱いするような設定ができる機能があるのかな？
835:不明なデバイスさん
13/11/01 12:23:11.05 32zDHkE1.net
QSFPは4対、CX4も4対だからふつうに1対1ですよ。規格としてはSFF8436-SFF8470。
ケーブル内には片方向より線4対を個別シールド、行き帰りなんで信号線としては16本ね。
836:不明なデバイスさん
13/11/01 12:28:37.38 32zDHkE1.net
ちなみにQSFP-SFP+というケーブルや、QSFPに刺さるSFP+アダプタ（10GBASE-SR等用だと思う）もあるみたいだけど、
こちらは中の1対だけ利用していると思われます。
837:不明なデバイスさん
13/11/01 12:30:53.63 32zDHkE1.net
…mellanoxから分岐ケーブルも出てるね。対応ボードが何か、とかはシラネ。
www.mellanox.com/pdf/prod_cables/Hybrid_Passive_QSFP_4x_SFP_10Gbs_Cables.pdf
838:不明なデバイスさん
13/11/02 17:32:34.45 ZaaUa7Fr.net
IBじゃなくてイーサネット用のブレークアウトケーブルじゃないかな
839:不明なデバイスさん
13/11/04 01:16:48.38 PQe92NjE.net
7104-HCA-LPX1P-DDRを使いたいのですが、必要機材として
銅線ケーブルともうひとつのHCAがあればいいのですか？
840:不明なデバイスさん
13/11/13 09:15:01.90 +IpwTW7o.net
>>791
OS何使うん？SMさえ解決出来れば、ハード的には、それで行けると思うけど。
そうそう、FreeBSD 10のmlx4ドライバ周りが、Mellanoxからのサブミットで、
最新のVerに更新された。Linux 3.7 Base見たいなんで、OFED 3.5 Baseより、さらに新しいかも？
ま、libは今まで通りOFEDの1.5.2ベースのままなんで、出来る事に替わりは無いけれど、
ipoib使用時のmtuが2044→4092(4k)に変わってるとか、若干の変化がある。
物が無いんで、確認出来無いけど、これで、ConnectX-3も行けるんかな？
と、思って調べたら、ConnectX-3は、まだ動かないっぽいな。
でも、まぁ、iscsiのkernel targetも実装されたし、IB周りもぼちぼち手が入ってるし、
OFED周りのメンテさえして行ってくれるなら、Solaris系から乗り換えてもいいなぁ。
841:不明なデバイスさん
13/11/13 14:58:56.97 XATodvRG.net
>>792
OSはLinuxとWindows、LinuxとLinuxのどちらかを使用しようと思うので大丈夫だと思います。
7104-HCA-LPX1P-DDRを2つ使用する場合
ケーブルのコネクトタイプはCX4？4X？どれなのでしょうか？
842:不明なデバイスさん
13/11/13 15:48:36.47 +IpwTW7o.net
>>793
CX4-CX4のLatchタイプで良いんじゃね。
843:不明なデバイスさん
13/11/13 16:07:08.54 9xQWn75V.net
でもconnect-X2 QDRがオクで1万切ってコンスタントに出てるのに、いまさらその世代もなあ、とは思う。
844:不明なデバイスさん
13/11/13 16:48:47.51 +IpwTW7o.net
それは、俺も思うが、すでに7104-HCA-LPX1P-DDRが有る状態っぽいし、
とりあえず、これで動くところから始めても良いんじゃねーかなと。
ま、はまる可能性もあるけどな、マイナーなQlogic品だし。
同世代でも、MellanoxのInfiniHostの方が、まだ情報多くて楽なのは確か。
845:不明なデバイスさん
13/11/13 19:37:00.47 YpJwUzmc.net
windows server 2012R2でinfinihost III認識したよ＼(^o^)／
846:不明なデバイスさん
13/11/13 19:54:53.64 0ifyM4d7.net
顔文字見て、脳内で勝手に認識しないオワタに読み変えていた
鬱だ・・・
847:不明なデバイスさん
13/11/14 21:47:55.78 lFT49gB5.net
voltaire 4036が出てるな・・・
848:不明なデバイスさん
13/11/15 18:06:48.07 ur+1LvbX.net
さくらが クラウドで頑張って使ってたけどやめちゃったんだね...
849:不明なデバイスさん
13/11/15 23:38:18.03 cjY+h1jG.net
かといって今更10GbEも割高感がすごくて買う気になれん。
はやく100GbEをくれー
本気を出したイーサネット先生の怒涛の値下がりはまだかー
850:不明なデバイスさん
13/11/16 08:36:50.40 LTSXzmOQ.net
copperで通せるのが15～20Gbitがほぼ限界、だとするとx4でも100Gbitは出せなくてたとえ近距離でも光必須になってしまう
（ここでいう近距離とはKRなどの内部規格を含む）から、40GbEでほぼ限界なんじゃない？
あとは40GbEのボンディングでうまいことやっていくしかないような。
851:不明なデバイスさん
13/11/20 10:42:00.89 duywLFUQ.net
さくらが放出したのなら4036、そこそこ出回るかな？ 糞うるさいからうちでは常用してないけど（ｗ
＃個人的には4036Eキボンヌ。
閑話休題。IBのスイッチってバッファなくて（本当にないわけではなくて、バッファ用のトランクは必要）
クロスバスイッチそのもので、PCIeのチップセットもそうだよなあ、と。
そう考えると最近のブレードサーバやマイクロサーバでIBを出してそれを筐体内部のIBスイッチで集約＆外部出し、って
かなり無駄っぽいというか、ブレードの内部でPCIeのレベルでスイッチングしてくれれば少なくともハードウェアレベルでは
かなり安くなるんじゃないかと。
Dellのvikingとか(c5000)、微妙にそういう設計になってるんだよなあ。対応ソフトがゼロだから製品としては出せないだろうけど。
852:不明なデバイスさん
13/11/20 13:46:24.66 OO9EhThE.net
Bonet思い出した
www.akibnetworks.com
www.akibnet.com
旧サイトでは本社ダイビルとあるけど現サイトには台湾支社の住所しか載ってないね
www.atmarkit.co.jp/ait/articles/1303/18/news004.html
www.geekpage.jp/blog/?id=2012/6/13/3
スイッチレスお試し直結セットが予価10万とか
Let's IYH!!
853:不明なデバイスさん
13/11/20 17:07:28.84 duywLFUQ.net
Bonetはもちろん、前からそういう試みはあるし、pci-eの規格書にもseparate refclock archが最初から定義されてるんだけど、
問題はソフトウェア、というか標準化で、どっかで旗振らないと筐体の外部に出ないものだから
各メーカが個別開発→結局安くも安定したりもしない、という気が。
854:不明なデバイスさん
13/11/20 19:43:21.43 VLj1wHFV.net
Cabled PCIeになってもツリートポロジ前提のままだから
多対多のFabricを想定するならseparate refclkだけでどうこうってものでもないが
まぁ標準化してくれないとってのには同意
855:不明なデバイスさん
13/11/20 20:22:21.72 aapU07US.net
元はといえば、そもそも次世代PCI競争の中で出てきたNGIO/3GIOがベースだからな、それぞれ。
Intelは一時期両方に首突っ込んでたし。（あ、Qlogic買ったから、今もか）
時代背景やら、隣の庭見ながら、規格化進めてた訳で、当然、基本的な考え方は
似てて当然って所かと。
PCIeも規格的には一応、外部へ引っ張り出せるようになってはいるけど、
どちらかと言えば、やっぱオンボード上の利用を�
856:�心に置いて機能実装してるから、 ほいほいと外へ出して、ネットワーク化するのは、面倒なんだろう、標準化するにも。 現状は、餅は餅屋に任せて、次の世代で、一緒に出来るかどうかって所じゃないかなぁ。
857:不明なデバイスさん
13/11/20 20:40:29.16 HW5sxrZY.net
ネットワーク化の障害要素としてはroot complexとend pointで機能非対称なアーキテクチャが一因かと
858:不明なデバイスさん
13/11/21 09:17:37.33 6Wj9sThJ.net
外部引き出しを考えるならoculinkが本命だろうけど、
thunderboltにしろpci-e直結にしろ、IPが標準的に載らない＆互換性がないことには如何ともし難いわけで。
頼むからIP(&rdma)を標準化してくれ＞oculink。ブレード筐体内部接続もそれで。
859:不明なデバイスさん
13/11/23 11:40:54.47 1RyY+XMl.net
752でFreeBSD 10.0で、ctlでiSERが使用可能にと書いてあったから調べてみたが、対応途中みたいね。
Makefileでコメントになってたから、コメントアウトしてからコンパイルしてみたけど、ctlのモジュールのコンパイルで
こけるのと、あと存在しないファイルがあったりしたから、正式対応はもう少し先になるのかな。
とりあえず、手持ちのカードでFreeBSDで使えるIBカードの一覧作成しておく。
ConnectXで、OS起動後にポートの種類をethに変更しようとすると、上手く動いてないような。
ConnectX-2だと問題ないけど。
860:不明なデバイスさん
13/12/30 04:56:28.54 Hks1mtvT.net
外部PCIeしたことあるけど相性問題が。
やっぱ外に出していいもんじゃないな。
861:不明なデバイスさん
13/12/30 15:50:29.62 Wcur1aep.net
>>809
そういやIP over thunderboltってあるけど
あれってなにがしかの標準があるのかな?
それともOSX独自実装とかそんなかんじ?
862:不明なデバイスさん
14/02/11 14:18:51.83 6kYD/Iqv.net
ここで触発されて最近IB始めました。先輩方よろしくお願いします。
PC1: Lenovo TS130 + ConnectX無印 + ESXi 5.1u2 + OFED 1.8.2.0 + ib-opensm
PC2: ストレージ機 富士通 TX100S3 + InfinihostIII + OI151a9
の直結。
テスト機でうまくいったのに本番PC1では Initializing から進まず悩みましたが、
BIOS で VT-d 無効にしたら Active になりました。
ストレージは Giga接続のNFSから、IPoIBのNFSにそのまま移行。
サクサク感に満足です。これでまだSDRなんて。
ESXi 上の opensm の partitions.conf で切った 0x8001～ が 、
vswitch で VLAN 1～ として使えています。
OI 側は
dladm create-part -l ibp1 -P 0x8001 p8001.ibp1 ← PKEY が存在しているので、-f 不要。
ipadm create-if p8001.ibp1
ipadm create-addr -T static -a 169.254.1.1/24 p8001.ibp1/ipv4
こんな感じ。IPoIBで複数IP VLANを扱えるとこまでは来れました。
次に目指すのは Ether over IPoIB っていうんでしょうか、
物理界dot1q trunk--PC1--(IB上に何語かでトンネル)
--PC2--vSwitch1--△--vSwitch2--VSTで仮想世界へ を実現したいです。
△はトンネル終端・ブリッジ用ゲスト。たぶん必要になるのでしょう。
トンネル両側 Linux なら何とかできそうな気はしてますが (GREとか?)
物理Solaris で対向に何置いて何語喋ればいいのか。調べはじめたばかりです。
863:不明なデバイスさん
14/02/11 22:19:02.55 6kYD/Iqv.net
TAP driver for Solaris used for OpenVPN and any other virtual network solution.
URLﾘﾝｸ(www.whiteboard.ne.jp)
のおかげで、
物理 -- OI --openvpn over IPoIB-- Linux(VyOS) -- 仮想
L2ブリッジできそうな気がしてきました。
864:不明なデバイスさん
14/02/18 16:53:23.82 MzJMGXZ0.net
素人童貞がふと思ったんだけど。
ConnectX-2とかはfirmでIBにも10GbEにもなれるけど、最初から10GbEカードと
して売られているConnectX-2はファームを入れ替えてIBとして使うことは出来
出来ないんでしょうか？
865:不明なデバイスさん
14/02/18 20:40:00.17 pnrZNLtY.net
ConnectX-2 EN は IB にはなれない。
866:不明なデバイスさん
14/02/18 21:15:28.27 MzJMGXZ0.net
ありがとうございます
逆は出来るのに、商品の差別化の一環ですかね。
867:不明なデバイスさん
14/02/19 20:01:33.64 AZn/ZBMf.net
>815
ConnectX-2 ENはコネクタ形状がSFP+固定だから物理的に無理かと。
ConnectX-3 ENの40GbEだと形状一緒(QSFP)だけど、多分書換は無理じゃないかなー？
868:不明なデバイスさん
14/03/01 02:59:43.63 rZOCEjvv.net
Windows Azure の中でも動いている InfiniBand って何?
URLﾘﾝｸ(www.slideshare.net)
さくらはやめたけど、MS は使ってるのね
869:不明なデバイスさん
14/03/01 03:42:35.41 d5GA9cBD.net
さくらがインフィニットバンドを止めた理由ってなんでしょうか？
あと、やめたって事は代わりになる代替技術（テクノロジー）があるからだと
おもうんですが、今はインフィニットバンドの代わりに何を使ってるんでしょ
うか？１０ＧＢＥ？
870:不明なデバイスさん
14/03/01 04:30:46.58 rZOCEjvv.net
>>820
クラウド事業者から見た課題と今後
～さくらのクラウド編～
URLﾘﾝｸ(mpls.jp)
上の資料から
理由：シンプルにしたい？SDN入れたい？（同じことのような逆のことのような）
代わりの技術： 10GbE
871:不明なデバイスさん
14/03/01 05:44:02.55 d5GA9cBD.net
速度面では圧倒的にインフィニットバンドが圧倒的に有利な気がするんですが
それを考慮しても１０ＧＢＥに全面移行したほうがメリットがある、と思わせる
程にインフィニットバンドの運用には面倒な点があったってことですかね。
872:不明なデバイスさん
14/03/02 16:23:29.74 7V4/sAp7.net
Windows Server 2012 R2 のネットワークの注意事項 - InfiniBand - 仮想化でプリセールスしてるSEの一日
URLﾘﾝｸ(d.hatena.ne.jp)
VLAN ないのはやっぱキツイよな～
873:不明なデバイスさん
14/03/02 19:00:56.96 QvwDzZnA.net
Mellanox OFED Driver for VMware ESXi Server
URLﾘﾝｸ(www.mellanox.com)
5.2.3
Virtual Local Area Network (VLAN) Support
To support VLAN for VMware ESXi Server users, one of the elements on the virtual or physical
network must tag the Ethernet frames with an 802.1Q tag.
(略)
Ethernet VLANs are implemented on InfiniBand using Partition Keys (See RFC 4392 for informa-
tion). Thus, the InfiniBand network must be configured first. This can be done by configuring the
Subnet Manager (SM) on your subnet. Note that this configuration is needed for both VLAN configu-
ration modes, VGT and VST.
874:不明なデバイスさん
14/03/02 19:25:45
875:.58 ID:QvwDzZnA.net
876:不明なデバイスさん
14/03/03 00:12:25.48 /wfnPDwi.net
さくらがIBやめたのはオラクルのストレージで障害おこしたからだろ
原因追究するのに時間がかかるようなのはやめたと
URLﾘﾝｸ(www.publickey1.jp)
877:不明なデバイスさん
14/03/03 00:35:21.50 fmOlB6ex.net
結局NECのストレージに替えたんだよな
あっちはデフォで10GbEついてんだろうか
878:不明なデバイスさん
14/03/03 06:31:06.06 Sxf2gndm.net
ストレージのトラブルは大変だよ。
Infinibandに関係ないチラ裏だけど、某大手DCで冗長構成の片方が死んで、
片肺運転＆リビルド中にもう負荷かけたら片方も死んで、顧客に「データが
復旧できなければ会社を畳む」とまで言わせたことがあるしなーｗ
ストレージベンダごと乗り換えて対応したけど。
879:不明なデバイスさん
14/03/03 06:43:01.40 6pVSWXUZ.net
URLﾘﾝｸ(research.sakura.ad.jp)
という話のようです。
880:不明なデバイスさん
14/03/03 12:15:30.58 MSvSRMc4.net
リビルド中に負荷かけるのって場合によっては完全死亡フラグだよねｗ
壊れないはずだからと重要データのバックアップ取らないのもどうかしてる
881:不明なデバイスさん
14/03/06 06:56:41.27 Lj6DTPus.net
ありがちな死亡フラグ��
① 「この戦争が終わったら、俺、結婚するんだ」��
② 「いいか、俺が帰ってくるまでここを動くんじゃないぞ」��
③ セックスする前のシャワー��
④ いわく付きの場所で若者がいい雰囲気��
⑤ 「必ず戻ってくるから」「必ず迎えに来るから」��
⑥ 「この中に犯罪者がいるかもしれないのに一緒に寝れるか！俺は自分の部屋に戻るぞ！」��
⑦ 「明日は娘の誕生日なんだ」��
⑧ この最後の仕事を終えたら足を洗うと決意してる状態��
⑨ 「この仕事が終わったら２人で暮らそう」��
⑩ 「××様が出るまでもありませんよ。ここは私めにお任せを…」��
⑪ 今まで目立たなかった脇役が急に目立つ��
⑫ 「今度の仕事でまとまったカネが入るんだ」��
⑬ 「おのれ～！ええぃ、出合え！出合えーぃっ！！ 」��
⑭ 「おいガキ！足手まといになる様なら、容赦なく置いていくからな！」��
⑮��「私に構わず早く行って！…アナタは私達みんなの希望なの！こんなところで死なせはしない！」��
⑯ 今まで苦労ばかりかけて泣かせてきた家族や恋人宛にプレゼントを買いに行く��
⑰ 「父さんにもしもの事があったら…その時はお前が母さんや妹を守るんだ…いいな？」��
⑱リビルド中の高負荷
882:不明なデバイスさん
14/03/06 08:04:15.39 FK0qU1cf.net
リビルド中の高負荷つーか、リビルドそのものが高負荷なわけでｗ
RAID6のHDDが1台死亡→交換してリビルド→リビルド中に別のHDDが死亡
ていう事が某データセンターで実際に発生した事がｗｗｗｗ
別媒体へのバックアップ�
883:Hやってるわけ無いｗｗｗ
884:不明なデバイスさん
14/03/06 12:39:43.95 9YLLT/2p.net
そんな想定内の珍しくない話をされましてもｗ
885:不明なデバイスさん
14/03/06 13:28:30.64 cmlje4xd.net
RAID6なら2台死んでも想定内ダロ
886:不明なデバイスさん
14/03/06 13:40:15.49 9YLLT/2p.net
同様にヘタってた別のHDDが連鎖的に壊れたとか
ファームウェアやハードウェアが悪くて過負荷でクラッシュとか
887:不明なデバイスさん
14/03/31 13:45:21.99 eMNfTyiN.net
InfiniBand プログラムに必要な基本的な概念
www.nminoru.jp/~nminoru/network/infiniband/iba-concept.html
素晴らしい資料
888:不明なデバイスさん
14/04/01 10:41:15.94 ix6eFyEm.net
おお、すばらしいね。あと標準的なコマンド群（含ベンチマーク用）の解説がちょろっとあれば完璧。
889:不明なデバイスさん
14/06/30 16:38:40.11 HTq8FnrA.net
www.geocities.jp/andosprocinfo/wadai14/20140628.htm
IntelがやっぱりCPUにInfiniband(互換)を集積してきたね。コンシューマ向けは来ないだろうけど。
890:不明なデバイスさん
14/06/30 18:50:24.97 I7xk59oh.net
CPUって言うけどXeon Phiじゃん
891:不明なデバイスさん
14/07/02 08:14:11.42 h1B780ZY.net
>ファブリックを集積するのは当然の方向ですが，InfiniBandの雄のMellanoxにとっては憂慮すべき事態で，どのような対応を取るのかも興味が持たれます。
NVIDIAとAMDにIPライセンス提供でグラボにIB載せる方針でｗ
892:不明なデバイスさん
14/07/02 09:37:27.93 bfXeq1ok.net
グラボにIBとか、って思ったけどtesla用にhicとか必要だしアリなのかも。
893:不明なデバイスさん
14/07/02 11:46:30.68 nxMwd+7u.net
>>840
NVLinkってのが発表されてた
894:不明なデバイスさん
14/07/08 14:01:47.39 BqRXsEpS.net
NVLinkより半2重、というのが興味深いよね。実質通信なんて片方向にしか１度には起きないわけで、
全2重は無駄といえば無駄だし。だけどクロックどうしてんだろ。embedにしたら同期するまで時間かかるし、
下手に分離とかするとどこかの特許にひっかかりそうだし。あと光との相性が悪いか。
895:不明なデバイスさん
14/09/05 19:18:07.16 k09LHYvu.net
過疎スレにメモ：
FJT0D90200009（富士通OEMのMHQH19B）、CX4にしたときにリンクアップするのに疎通しない相手先があって、
IBでは使えるんで放ってあったんだけど原因判明。flint dcのeth_rx_lane_polarity_port1=0x1を0x0にしたらOK。
896:不明なデバイスさん
14/09/17 08:59:10.61 1H23Fgmb.net
富士通oemのsdr Dualport HCA買いました
初inifinibandなんでドライバー入れて認識させるまでドキドキです
897:不明なデバイスさん
14/09/17 14:19:56.49 +sQpF3OO.net
>>845 オメ。でも >>795 だと思う。
まあいろんなボードやケーブルあったほうが楽しいし（ｗ
898:不明なデバイスさん
14/09/18 03:23:02.02 SRR2mtLN.net
>>846
スイッチ込みなのでsdrがお財布の限界でした…
なお、esxi5.5にinfinihost IIIを認識させる方法が見つからず、詰んでおります…
899:不明なデバイスさん
14/09/18 09:03:58.25 6FOrdwju.net
>>847
ESXiだと、5.0以上はConnect-X2以降じゃ無いと、使えなかったような。
InfiniHost系は認識すらされず、Connect-Xは、認識されてドライバも入るけど、疎通不可だったような・・・
ここの過去スレか、ソフトウェア板のESXiの過去スレか、どっかにあったはず。
5.0未満
900:なら、使えるはず。 Windows系も含めて、もうConnect-X以下のサポートバンバン切られてるから、 >>795こういう意見になるのかと。 別にQDRとして使わなくても、SDRでリンクするから、あえて古い世代選ぶ必要、無いんだよね。 ここの所の雰囲気だと、Connect-X2系も、そろそろヤバメではあるんだけど。。。
901:不明なデバイスさん
14/09/18 09:17:59.38 onvUpuGz.net
ConnectX-2よりもInfiniband自体がヤバメ、というか（笑）
CX4-QDRケーブルでSDRスイッチとつないでリンクアップもできるんで、ConnectX-2系に乗り換えるのもいいかと。
902:不明なデバイスさん
14/09/18 09:21:20.35 SRR2mtLN.net
>>848
理解しました。
スピードネゴしてくれるの完全に頭から抜けてたんで、qsfp to sff8470とかで対応しようと思います。
connectx2探してきます
ありがとうございます！
903:不明なデバイスさん
14/09/19 00:05:00.21 pbkgkNXa.net
3年使ってたConnectX2-VPIが突然死した
eBayでまた調達しないと…
904:不明なデバイスさん
14/09/19 11:00:10.29 G2l4CI/c.net
円安だしヤフオクの方が安いんじゃない？
無くなったけどMHQH29CがeBayでも見たことない値段だった。
905:不明なデバイスさん
14/09/19 15:30:33.80 P4zDC9lb.net
mellanoxで検索すると出るよ。ロープロファイルが欲しいなら9000円ので、フルがいいのならこれかな。
906:不明なデバイスさん
14/09/19 16:34:52.85 G2l4CI/c.net
でも3年後を考えるとConnectX-3ってことなのかな？
ebay調べたら
ConnectX3 $400
ConnectIB $800
ぐらいだった。ConnectIBはまだ落ちてきてないみたい。
907:不明なデバイスさん
14/09/19 17:14:54.26 G2l4CI/c.net
値段調べてたらConnectX-3が欲しくなってしまった
ConnectX-3 VPI
PCIe3.0 x8
QDR,FDR10,FDR14,40GigE,10GigEタイプが混在
ConnectX-3 Pro
PCIe3.0 x8
FDR14,40GigE,56GigE
Connect-IB
PCIe2.0 x16,PCIe3.0 x8,PCIe3.0 x16
FDR14のみ？
908:不明なデバイスさん
14/09/20 16:04:37.33 mUO+8D0f.net
CoonectX-3、ヤフオクでいつもの人がもっと安く出してるよ。
909:不明なデバイスさん
14/09/20 18:25:44.90 WWvD/IAs.net
ENだから違う
910:不明なデバイスさん
14/09/21 17:38:34.24 lJzeNqTb.net
あ、本当だ。すいません。
911:不明なデバイスさん
14/09/24 10:01:33.72 w6r/KawC.net
mellanox QSAを調達したのでSFP+の試験。といっても
MHQH19B(FJT0D90200009、polarity_port1変更済)およびMHQH29C(MT_0FC0110009)で
問題なくSFP+DAおよびLR(Brocade 57-0000076-01)で動作した。つまらん（ｗ
QSA、構造のわりに値段が高いけど、これがあるとConnectX-2のつぶしが効く(IB-QDRでも
10GBe-SFP+でも10GBe-CX4でも使える）のでなかなか良いかも。
912:不明なデバイスさん
14/09/24 10:12:40.15 w6r/KawC.net
あ、一応、QSAはopticsを刺すと放熱的に問題ありそうなので、たぶんメラ的にはDAしか薦めてないと思う。
913:不明なデバイスさん
14/10/13 11:07:26.40 0GTHmU44.net
(ESXi5.5 + ConnectX-2 + OFED 1.9.10)*2台直結 10GbE にしてみた。
ゲストOmniOS同士、vmxnet3s だと IPoIB でも 10GbE でも大差ない。
iperf 60秒平均で6Gbpsほど。EnableLRO=0 にしないと安定しない。
ESXi上にはストレージアダプタでiSERが出てくるけど、
ゲスト視点ではNIC vmxnet3sだけなので、遊べない。
SR-IOV動く使えるマシンならゲストからでもiSER提供できるんでしょうか?
914:不明なデバイスさん
15/02/04 09:14:02.60 kOADHgCC.net
Mellanox WinOF Rev 4.90.50000が出てたけど、
ついにConnectX-2 adapter cards Unsupportedｷﾀｰ。
まぁ、雰囲気そんな感じはしてたけど。
次期Windowsからは、10GbEカードとして使うしか、
無くなるかなー、I
915:nboxドライバが入ればだけど。。。
916:不明なデバイスさん
15/02/08 16:19:54.99 KXDz9QA/.net
IBよりもEtherがメインになっちゃってるから仕方ないかもね。IB関連で何か新機能あるんだっけ？
でも次期windowsでもorcaでごにょればきっと前のWinOFが入るから気にしない。
917:不明なデバイスさん
15/02/09 01:58:26.02 CMw06GPO.net
次期Windowsの頃には10GBase-T環境がもうちょっと手が出る値段で買えるといいなあ
InfiniBandスレで言うことじゃないことかもしれんけどさｗ
918:不明なデバイスさん
15/02/09 09:15:26.95 Xf/nI/nG.net
10GBase-Tはカード側はオクで1万～2万程度で出物があるけど、ハブ側がねぇ。
消費電力もばかにならないし。個人でやるのならSFP+が正解だと思う。
919:不明なデバイスさん
15/02/16 00:53:24.30 ERIY5h4U.net
遅ればせながら家庭内IB環境作りたいなと物色中です
やりたいのは
ESXi<--OmniOS-->Linux(Xen)
での2vs1の接続なんですが
今だとお手軽に始めようと思うとConnectX-2あたりをオクで仕入れるのが無難でしょうか？
(新しい世代に越したこたないのは確かですが、ConnectX-3はさすがにお小遣い的に手が出ない）
この場合、仕入れるのはDualPort1枚+SinglePort2枚、SFP+ケーブル２本、で良いですよね？
また、上記構成の場合、SMはOmniOSに入れる必要がありますか？Linux側でも良いでしょうか？
920:不明なデバイスさん
15/02/16 08:34:34.50 0fwP0lw8.net
ConnectX2 の IB なカードは、QSFP。
SMは2つ必要。(1) ESXiかOmni (2) OmniかLinux
でもOmni用のOpenSMは見つからないと思うので
必然的にESXiとLinux上に。
921:不明なデバイスさん
15/02/16 17:18:03.55 gIkxzs3r.net
ん？ESXiでOpenSM動くんだっけ？
ESXで動く物は有ったけど、ESXiで動くものは無かったような？少なくとも公式では。
Solaris系をストレージにする限り、ESXiは無理な気がする。
ZFSでストレージ作りたい＆IB使いたいなら、Linux+ZFS on Linuxか、
FreeBSDで作るしか無いんじゃない？
後は、OpenSM積んだ、マネージドスイッチを使うか。
922:不明なデバイスさん
15/02/16 21:33:04.10 J9FERcLf.net
SolarisとESXi両方で動かしてるよ
923:不明なデバイスさん
15/02/16 21:44:02.59 0fwP0lw8.net
>>868
もちろん公式ではありませんが
URLﾘﾝｸ(www.bussink.ch)
で。
924:不明なデバイスさん
15/02/16 22:42:16.26 gIkxzs3r.net
へー、ビルドしてくれてる人居るんだ。
まぁそれならそれ使っても良いかもね。
うちは、随分前にHyper-V+FreeBSD ctldに乗り換えちゃったんで、
ESXiでIBの情報はそんなに追っかけてなかった。
最近FreeBSDのtargetの開発著しいんで、Solarisに戻る事はないかなぁ。
925:不明なデバイスさん
15/02/17 10:33:41.61 j2sNM51B.net
>>869
情報ありがとうございます
商用利用でもない自宅環境ので、野良ビルドでもいいのでESXiにopensm突っ込もうと思います
napp-itの楽ちんさに慣れてしまったので、FreeBSDに乗り換えるのが億劫なのでｗ
926:不明なデバイスさん
15/02/20 17:35:45.08 CtH6X0qi.net
ちなみにConnectX2の2ポート品だとPCIe側の帯域が足らないよ。同時にがっつり使わなければ大丈夫、
というかがっつり使うと他の部分がどうせ間に合わないけど。
927:不明なデバイスさん
15/02/20 19:21:19.60 FZXM01WY.net
まぁ大丈夫っしょ。
がっつり使わなくても、ストレージが最初に根を上げる（SSDのRAIDじゃ無い限り）、多分。
928:不明なデバイスさん
15/02/26 09:21:37.99 k99ZkXqy.net
すまん、教えてください。
QDRのHCAとケーブル使って、DDRのスイッチ利用して通信って可能なのだろうか？もちろん、速度は落ちることはわかってるけど、ネットワークハブみたいに互換性ってあるのかどうか�
929:墲ｩらずで、、、。 どなたか教えて下さい！！
930:不明なデバイスさん
15/02/26 13:22:10.37 z0y2CIH/.net
>>875
スイッチがDDRなら、DDRでリンクするよ。
931:不明なデバイスさん
15/02/26 21:47:44.95 6opmRDu2.net
ありがとです！！早速購入しますっ！！
932:不明なデバイスさん
15/03/18 06:10:13.75 O5cA0c/Y.net
再び、教えて下さい！！
ConnectX2のQDRで二台のPCを繋いでいるが、どうしても速度がでない。iperfで6Gくらいしかでない、、、。リンクは40Gだし、ケーブルも中華な人からebayで購入したけどQDR対応。
二つのマシンは片方がAMDのAPU A-3650でメモリ8G、もう一方がi7の4790でメモリ32G。両方ともcentos6.6でドライバーはmellanoxのです。ファームも2.9にしてる。
マシンの差によって速度がこんなに変わるかな？？
933:不明なデバイスさん
15/03/18 08:10:28.01 7MrWvc0/.net
>>878
ドライバーのバージョンとか構成とかなしでは何とも。
単にTCP的に頭うちしてるのかも。
iperf -w を送受両端で十分に大きくする。
iperfを複数同時実行して、TCP本数増やしてみる。
934:不明なデバイスさん
15/03/19 16:40:54.75 5P/PZ0rn.net
>>878
とりあえずCnQとC3～C7ステートoffってからだな。
後はネットワーク周りのチューニングがどうなってるか。
935:不明なデバイスさん
15/03/21 09:51:46.51 BDCv4bg/.net
すんません、情報不足で、、、。
以下、ibstatの内容です。GUIDは削ってます。
CA 'mlx4_0'
CA type: MT26428
Number of ports: 1
Firmware version: 2.9.1000
Hardware version: b0
Port 1:
State: Active
Physical state: LinkUp
Rate: 40
Base lid: 1
LMC: 0
SM lid: 1
Capability mask: 0x0251086a
Link layer: InfiniBand
まずは、上記でいただいたことを試してみます。
936:不明なデバイスさん
15/03/21 11:30:48.21 BDCv4bg/.net
iperf3 -c DestinationIP -P 4 -w 1M
とかにしてみましたが、変わらずでした。。。Windowを大きくしたり、本数換えてみたりしましたが、最終的には、こんな感じになってしまいます。。。
TCPの頭打ちってどうやって調べるんでしょうか？
ちょっと調べて見たんですがわからなくて。。。
念のため、iperfの結果を。。。
―――――――――
Connecting to host 192.168.2.10, port 5201
[ 4] local 192.168.2.1 port 37266 connected to 192.168.2.10 port 5201
[ ID] Interval Transfer Bandwidth Retr Cwnd
[ 4] 0.00-1.00 sec 699 MBytes 5.86 Gbits/sec 0 424 KBytes
[ 4] 1.00-2.00 sec 698 MBytes 5.86 Gbits/sec 0 424 KBytes
[ 4] 2.00-3.00 sec 700 MBytes 5.87 Gbits/sec 0 424 KBytes
[ 4] 3.00-4.00 sec 696 MBytes 5.84 Gbits/sec 0 424 KBytes
[ 4] 4.00-5.00 sec 698 MBytes 5.86 Gbits/sec 0 424 KBytes
[ 4] 5.00-6.00 sec 696 MBytes 5.83 Gbits/sec 0 424 KBytes
[ 4] 6.00-7.00 sec 695 MBytes 5.83 Gbits/sec 0 424 KBytes
[ 4] 7.00-8.00 sec 698 MBytes 5.86 Gbits/sec 0 424 KBytes
[ 4] 8.00-9.00 sec 698 MBytes 5.84 Gbits/sec 0 424 KBytes
[ 4] 9.00-10.00 sec 698 MBytes 5.86 Gbits/sec 0 424 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-10.00 sec 6.81 GBytes 5.85 Gbits/sec 0 sender
[ 4] 0.00-10.00 sec 6.81 GBytes 5.85 Gbits/sec receiver
937:不明なデバイスさん
15/03/21 15:45:03.02 eLWTIgqq.net
-P 4 での Sum は?
938:不明なデバイスさん
15/03/21 15:59:53.86 eLWTIgqq.net
URLﾘﾝｸ(fasterdata.es.net)
URLﾘﾝｸ(fasterdata.es.net)
他、勉強になりますね。
939:不明なデバイスさん
15/03/21 16:01:28.74 eLWTIgqq.net
つけわすれ
URLﾘﾝｸ(fasterdata.es.net)
940:不明なデバイスさん
15/03/21 16:06:51.59 BDCv4bg/.net
sumも単独時と同じでした。なので、一本は1.4g程度でした、、、。
941:不明なデバイスさん
15/03/21 17:35:41.82 Dz/qw046.net
AMD APUだとそんなも
942:んかもしれんけど。linuxってvstatとか叩けないんだっけ？
943:不明なデバイスさん
15/03/21 17:59:05.57 eLWTIgqq.net
cwnd 424KB までしかいってないってことは、
TCP 周り全然チューンしてないんと違いますか。
944:不明なデバイスさん
15/03/22 06:31:31.56 ogMIGPMc.net
亀レスですみません、、、。
で、、、TCP周りとかちゃんと知っていなくて、色々調べましたが、いまいちよくわからなくて。。。
（ipコマンドなんかで設定変えてみたけど）
Connecting to host 192.168.2.10, port 5201
[ 4] local 192.168.2.1 port 37352 connected to 192.168.2.10 port 5201
[ ID] Interval Transfer Bandwidth Retr Cwnd
[ 4] 0.00-1.00 sec 727 MBytes 6.09 Gbits/sec 0 2.94 MBytes
[ 4] 1.00-2.00 sec 725 MBytes 6.08 Gbits/sec 0 2.97 MBytes
[ 4] 2.00-3.00 sec 728 MBytes 6.11 Gbits/sec 0 2.97 MBytes
[ 4] 3.00-4.00 sec 728 MBytes 6.10 Gbits/sec 0 2.97 MBytes
[ 4] 4.00-5.00 sec 726 MBytes 6.10 Gbits/sec 0 2.97 MBytes
[ 4] 5.00-6.00 sec 726 MBytes 6.09 Gbits/sec 0 2.97 MBytes
[ 4] 6.00-7.00 sec 726 MBytes 6.09 Gbits/sec 0 2.97 MBytes
[ 4] 7.00-8.00 sec 728 MBytes 6.10 Gbits/sec 0 2.97 MBytes
[ 4] 8.00-9.00 sec 726 MBytes 6.10 Gbits/sec 0 2.97 MBytes
[ 4] 9.00-10.00 sec 728 MBytes 6.10 Gbits/sec 0 2.97 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-10.00 sec 7.10 GBytes 6.10 Gbits/sec 0 sender
[ 4] 0.00-10.00 sec 7.10 GBytes 6.10 Gbits/sec receiver
>884,>885がくれたページでちょっと勉強してみます。
945:不明なデバイスさん
15/03/23 15:14:55.24 nuvPBkz+.net
voltaire 2036(?)がオクに出てるな。不思議な型番になってるけど。
946:不明なデバイスさん
15/04/17 14:55:15.56 F7lqCgBH.net
Omni-Pathって何なん？
タダでさえ限られたハイエンドインターコネクト市場を分断する意味あんのかな？
947:不明なデバイスさん
15/04/21 09:22:30.29 pSon0oem.net
ハイエンドインターコネクト自体がローカルなものだからねぇ。
自社→ラック借り→クラウド借り、という流れの中ではなかなかInfinibandの出番はない、というか、
表面上には見えてこないから、スループットさえ出てれば中身はIBでも40GBeでもOmni-Pathでも
気にしなくなってるような。
＃という流れではやはりさくらの件は痛いな。
948:不明なデバイスさん
15/04/21 22:39:21.81 iWzGX2cJ.net
世の中ビッグデータだー、データマイニングだー
なってるけど、そういう大量データが全部AWSやAzure上に集約されてクラウド上で機械学習なんかをするって
そりゃーそういうの可能なモノもあるだろうけど
やっぱりローカルでデータ溜め込んで、自社のクラスタPCで処理するってほうが
少なくともあと10年位は主じゃないかと思う
だからInfinibandでもOmni-Pathでもいいけど
今後も高速インターコネクトは中規模程度の会社でも導入できる値段であって欲しい
949:不明なデバイスさん
15/04/22 00:20:16.96 Gwr1nSro.net
>>893
置くスペース的な問題があるんだよね
どうしても
自社にデータセンターもってても何百台となればね
950:不明なデバイスさん
15/04/24 13:22:48.91 RxYa96i/.net
＞やっぱりローカルでデータ溜め込んで、自社のクラスタPCで処理する
「それはコストはどうなのかね？ クラウドと比較して理由書をうんぬん」
と言われてセキュリティがどうだとか言い訳沢山書かされる、と。
というかそういうのがない会社はうらやましー。
951:不明なデバイスさん
15/04/24 22:46:20.81 Ak3kF0Xo.net
ビッグデータと言える程度のサイズのログデータなりをクラウドに溜め込んで
マトモな統計解析をHadoopなり何なりでやるなんてのを
日常的にパブリッククラウドサービスでやったら無茶苦茶な金かかるよ。
あれは、数回やったらそれでおしまいって案件に設備投資をしないためのもの。
952:不明なデバイスさん
15/04/25 01:06:04.41 lNiI/PyI.net
えっ
953:不明なデバイスさん
15/04/27 10:03:11.28 C+GaPeWE.net
HPCな需要�
954:ﾍ昔から計算機センタ、という名前で共用するのが当たり前だったような。
955:不明なデバイスさん
15/05/27 00:13:37.11 mv49rLKq.net
Voltaire 4036 ジャンク
956:不明なデバイスさん
15/05/27 13:26:59.21 clQxb9CN.net
filesystemエラー出まくってるね。さすがにこれを復旧するのは無理な気が。
957:不明なデバイスさん
15/06/10 11:20:24.83 h6pT4NRM.net
sriovでinfinibandを複数のゲストに割り当てると外からどう見えるんだろうか
仮想的にポートが複数あるデバイスとして使われるのかな
958:不明なデバイスさん
15/06/26 14:48:47.24 uWdZ5LtI.net
亀レス。
Server2012R2/HyperV/ConnectX2-2.9.8350/WinOF-4.80ではGet-VMSwitch | fl では
IovSupportReasons : {このネットワーク アダプターは SR-IOV をサポートしません。}
というか原理的にIPoIBではsriovはサポートできない気がする。
959:不明なデバイスさん
15/06/27 00:51:27.33 FPduUtAE.net
SR-IOVに対応するのはConnectX-3からでは？
960:不明なデバイスさん
15/06/28 17:42:08.34 vIotSRNf.net
そうなんだ。connectx-3が手に入ったらやってみるね。
961:不明なデバイスさん
15/07/19 23:02:49.38 jVKNgeMQ.net
InfinibandドライバがWindows 10でインボックスに
まあインボックスドライバで使う奴はいないと思うけど
962:不明なデバイスさん
15/07/31 09:48:49.89 q1uIFkS9.net
でもおかげでconnectX-2でibとethを切り替える時にいちいちwinofドライバ指定しなきゃならなくて面倒。
963:不明なデバイスさん
15/08/28 18:29:06.86 SJXUDahv.net
URLﾘﾝｸ(technet.microsoft.com)
＞Hyper-V Virtual Switch only supports Ethernet, and does not support any other wired local area network (LAN) technologies, such as Infiniband and Fibre Channel.
964:不明なデバイスさん
15/08/29 02:30:27.89 h27M2kQ/.net
Infinibandは時代の徒花って事？
965:不明なデバイスさん
15/08/29 04:00:45.47 RIMY7upc.net
Hyper-Vがゴミって事です
966:不明なデバイスさん
15/08/29 23:41:10.65 WOfna8H4.net
それな
967:不明なデバイスさん
15/08/30 09:19:15.51 JYL2bnBD.net
簡易システムであり続けることを選択したという。
968:不明なデバイスさん
15/09/04 09:12:33.65 289s5xbk.net
Hyper-Vの仮想スイッチ機能っていわゆるアプライアンス（ファイアウォール、負荷分散、DPI等々）を仮想化するためのものだから、
Etherだけで十分、という判断では？
969:不明なデバイスさん
15/09/04 10:18:24.63 lZozm7dD.net
Azureで必要になれば実装される
970:不明なデバイスさん
15/09/05 00:25:12.70 Ed7YdjKB.net
>>912
L2が必要なのにIPoIBが使用できるわけねえだろ
971:不明なデバイスさん
15/10/23 21:32:01.76 eTneqIQD.net
2年ぶりにきました。ESXi4.1でとまっていますが、これはinifibandのしばりで
仕方ないかなと思っています。最近5.5系あるいは6.0系でmlx4が使えるとの
報告をみて、ちょっと気になっています。当方はconnect-X以前のinfinihost
なので、mthcaドライバが使えないと意味ないですが、5.5系か6.0系でmthca
使えている方いませんか？
972:不明なデバイスさん
15/10/24 00:04:35.33 XgTR0J0W.net
正直mthcaをプロプラ環境で使うのは、もう諦めた方が良い。Connect-X 2ですら、怪しくなってきてる。
Connect-X 2ももう十分安くなってるから、これを機に、
買い換えること考えた方が良いかと。
973:不明なデバイスさん
15/10/24 15:43:24.87 OWK97stD.net
ebayみてきたらConnectX-2が50ドルぐらいでありますね。再度
infinibandで組んでみようと思います。情報ありがとうございました。
974:不明なデバイスさん
15/10/29 14:25:4
975:7.35 ID:L5J4H9FD.net
976:915
15/11/07 22:59:22.13 DrUaCq0/.net
ebayからHCAが届きました。ConnectX-2の2ポートですが、一枚42ドルでした。yahooの方が
安く購入できたみたい。low profile bracketだったのはショック。ブラケットを再度購入するもの
面倒なので、ブラケットの詰めを伸ばして、適当に補強を入れて固定しました。MHQH29C相当の
OEMです。
以前はInfinihostでしたが、今度はQDRでオフロードもしてくれます。
Esxi5.5 update2 + SRP + Ubuntu14.04( ZFS + LIO )な設定ですが、このサイトの情報のおか
げで設定できました。
ネットワークアダプタのところが、速度10000から40000に変化して大変気持ちがいい。ESXi5.xが
2018年、VMのCentOS6.xが2020年までのサポートですので、あと数年はこれでいけるでしょう。
977:不明なデバイスさん
15/11/10 10:19:40.98 uQBRpujo.net
おめ。ヤフオクのconnect-X2の1ポート品はある意味値崩れしてるよなあ。
connect-X2はQSAアダプタ使うと10GBase-SFPにもなるから、Infinibandやめてもそこそこ使えるのがいいね。
978:915
15/11/11 07:04:08.29 G0b7/m4V.net
ありがとうございます。利用目的がESXiのＶＭでたいしたことやってないので、
環境的には過剰でしょう。まあ手段が目的なところもあります。
アダプタの件は、.>652、>859でも見ていて気になっていました。Ｉｎｆｉｎｉｂａｎｄの
終焉後も、2次利用できそうですね。だれか徒花って書いていましたが、技術的
に発展性がないからでしょうかね。個人的には10GbEよりいいものだと思います。
979:不明なデバイスさん
16/01/20 21:39:03.60 j2YsH0vL.net
こんなスレがあったとは。もっと早く知ってれば…
最近IBを調べ始めました。1対1で直結するESXi用のZFSストレージを安く作りたく、
Primergy TX1310 M1とWDの4TBの赤4個を買いました。SANネットワークは8Gbpsの
FCかQDRのIBで迷ってます。
・中古価格は、HBA (HCA) はだいたい同じくらい、ケーブルはFCが安い
・簡単でトラブル起きにくそうなのはFC
・スイッチはどちらも高いので買わないけどIBの方は将来手が届きそう
・OSは、FCだとLinuxもSolarisもOK、IBだとLinux一択（OpenSMがSolarisで動かないため）
・速度は（カタログ数値なら）圧倒的にQDR IB
こんな認識で合ってますか？
980:不明なデバイスさん
16/01/20 23:18:38.61 1LOmrt6V.net
頭痛が痛い
981:不明なデバイスさん
16/01/21 02:14:54.01 oaSW0jRp.net
関係無いけどちなみにメモリはいくら？
982:922
16/01/21 02:43:37.88 jb96ISIz.net
TX1310のメモリは8GB
983:不明なデバイスさん
16/01/21 03:09:53.08 GXgdraJH.net
スイッチはFCの中古が安いかもナ。
984:不明なデバイスさん
16/01/21 11:44:25.52 LEArpA3a.net
>>922
【SAN,NAS】ストレージ鯖総合【iSCSI,FC,IB,10GbE】
ｽﾚﾘﾝｸ(hard板)
こっちでも良さそうな内容ではあるが、多分見てる人は同じだな（笑
4Gまでならスイッチ考えても、恐らくFCが一番安くて手っ取り早い、
直結なら８Gもあり、スイッチはどうだったか・・・中古の玉が少ないかも。
IBスイッチは、まぁDDRまでならともかく、QDRは絶望的かな。有ってもFC程安くない。
latency
985:は圧倒的にFC、SRP/iWARPが使えれば、IBでも？ IPoIBでiSCSIだと多分勝負にならない。 targetはFreeBSDでもいけるけど、IBだと一手間かかる、FCはwwnのアクセス制御が まだ実装されてない。 FCならQlogic鉄板、間違ってもEmulexは買わないように。targetとして使えん。少なくともSolaris系とFreeBSDは。 Linuxは知らん。（知ってる範囲で、出来たって情報見た記憶が無い） Initiatorならありだけど、あえて選ぶ必要は多分無い。
986:不明なデバイスさん
16/02/03 01:23:04.51 yTeaPjWA.net
ConnectX-2を入手しました。最終的にはWindows10でSRPをしたいんですが
WinOF-3.2が入りません。このスレの上の方に出てくるorcaってなんですか？
987:不明なデバイスさん
16/02/03 01:59:56.68 yTeaPjWA.net
レイテンシーはFCとSRPで比較してFCのがいいんですか？SRPだと思ってました。
なんとなく。
FCは自分もCOMSTARでかなり苦労しました。emulexとqlogicで4G，8G，合計4パターン
全部試してqlogicは全勝，emulexは全負でした。oracleの公式サイトではemulexも
行けそうなふうに読めるんだけど…