13/10/12 00:41:09.17 9KR+44B2.net
connectx-3で、centos6.4 kvm + sr-iovがmlnx_ofed 2.0-3.0.0で動いた。
ゲストで、centos 6.4とubuntu 12.04とfreebsd 10.0 alpha5を動かしたけど、freebsdは、ドライバの認識でこける。
Linux系では、標準のドライバだと、freebsdとはちがって、認識するけど動かなかった。
Windowsはまだテストしてないけど、多分駄目だろ～な。
826:不明なデバイスさん
13/10/23 00:31:26.94 msCiN1aa.net
>>765
>Mellanoxのページで出来ませんって書かれてるのに
ちなみにどこに書いてある？
827:不明なデバイスさん
13/10/24 01:08:57.49 sc4VcQAo.net
逆に10GbEのできない環境が気になる。
828:不明なデバイスさん
13/10/29 10:07:49.22 N/nv4CpL.net
でもできない理由もなんとなく想像できるんだよね。
ConnectX-2以降のQDR対応のやつだと、ケーブルによって10GBASE-CX(4P)と10GBASE-SFP+(1P)の両方に対応してるんで、
それを識別できないとだめなんじゃない？
mellanoxの昔のQSFP-QSFPケーブルだとケーブル内にI2Cチップ持ってない奴があったんで、そういう奴だと直結動作しないかも、
と想像はしている。
829:不明なデバイスさん
13/10/29 20:24:36.99 iT4/lznk.net
いや、直結問題ないですよ。
10G/40Gはコネクタ違うし。
830:不明なデバイスさん
13/10/30 14:55:17.46 ZBkm5E8V.net
I2C内蔵してない＝パッシブケーブルてことでいいの？
むしろ識別されない方がケーブル長が短いなら上位規格まで実力で通せる可能性があるからうれしいかと思ってた。
ええ、ファイバのQDRケーブル投資がFDRになって無駄になって涙目ですよ。FDR10は使えるけど・・・
831:不明なデバイスさん
13/10/31 11:32:27.76 skDphSFW.net
I2C内蔵してないのがパッシブ、ではなくて、どっちかというと「初期にあった変なケーブル」です。
パッシブでもQSFPはケーブル緒元をI2Cで書くことが決まっているはず（ここらへんはSFP+からの流れ）で、
その値を見てこのケーブルにはQDR流せる、DDRまでだ、とか機器が判断するはずです。
FDRに投資できるだけすげーとか思う。
832:不明なデバイスさん
13/10/31 22:13:40.11 skDphSFW.net
環境を入れ替える前に10GBetherでのQSFP直結試験してみた。
・ConnectX-2、PSIDはFJT0D90200009、ファームは2.9.8350。
・Server2012R2previewにMLNX WinOF 4.55。
・インストール時にファームアップできなかったとか言われるが無視。まFJTだし。
・デバイスマネージャからMellanox VPI(MT26428)をAuto→Ethernetに切り替え。
・ケーブルJESS-LINK 03M-26AWG→
833:リンクアップ、ping OK。 ・ケーブルmlnx MCC4Q30C-001（これ確かI2Cチップなし）→やっぱりOK。 ・QSFP-CX4ケーブルでスイッチへ接続→OK。 うちの環境では直結でも全く問題ない模様。ってIB関係ないスマン。
834:不明なデバイスさん
13/11/01 11:26:36.99 DLqhGswM.net
QSFP-CX4ケーブルでスイッチに接続、てのはHCA側はQSFPで、スイッチ側はCX4を4口消費ってことなの？
分岐ケーブルでの接続だとどういう風にLIDの割当とかが見えてるんだろう。
スイッチ側にCX4x4を1ポート扱いするような設定ができる機能があるのかな？
835:不明なデバイスさん
13/11/01 12:23:11.05 32zDHkE1.net
QSFPは4対、CX4も4対だからふつうに1対1ですよ。規格としてはSFF8436-SFF8470。
ケーブル内には片方向より線4対を個別シールド、行き帰りなんで信号線としては16本ね。
836:不明なデバイスさん
13/11/01 12:28:37.38 32zDHkE1.net
ちなみにQSFP-SFP+というケーブルや、QSFPに刺さるSFP+アダプタ（10GBASE-SR等用だと思う）もあるみたいだけど、
こちらは中の1対だけ利用していると思われます。
837:不明なデバイスさん
13/11/01 12:30:53.63 32zDHkE1.net
…mellanoxから分岐ケーブルも出てるね。対応ボードが何か、とかはシラネ。
www.mellanox.com/pdf/prod_cables/Hybrid_Passive_QSFP_4x_SFP_10Gbs_Cables.pdf
838:不明なデバイスさん
13/11/02 17:32:34.45 ZaaUa7Fr.net
IBじゃなくてイーサネット用のブレークアウトケーブルじゃないかな
839:不明なデバイスさん
13/11/04 01:16:48.38 PQe92NjE.net
7104-HCA-LPX1P-DDRを使いたいのですが、必要機材として
銅線ケーブルともうひとつのHCAがあればいいのですか？
840:不明なデバイスさん
13/11/13 09:15:01.90 +IpwTW7o.net
>>791
OS何使うん？SMさえ解決出来れば、ハード的には、それで行けると思うけど。
そうそう、FreeBSD 10のmlx4ドライバ周りが、Mellanoxからのサブミットで、
最新のVerに更新された。Linux 3.7 Base見たいなんで、OFED 3.5 Baseより、さらに新しいかも？
ま、libは今まで通りOFEDの1.5.2ベースのままなんで、出来る事に替わりは無いけれど、
ipoib使用時のmtuが2044→4092(4k)に変わってるとか、若干の変化がある。
物が無いんで、確認出来無いけど、これで、ConnectX-3も行けるんかな？
と、思って調べたら、ConnectX-3は、まだ動かないっぽいな。
でも、まぁ、iscsiのkernel targetも実装されたし、IB周りもぼちぼち手が入ってるし、
OFED周りのメンテさえして行ってくれるなら、Solaris系から乗り換えてもいいなぁ。
841:不明なデバイスさん
13/11/13 14:58:56.97 XATodvRG.net
>>792
OSはLinuxとWindows、LinuxとLinuxのどちらかを使用しようと思うので大丈夫だと思います。
7104-HCA-LPX1P-DDRを2つ使用する場合
ケーブルのコネクトタイプはCX4？4X？どれなのでしょうか？
842:不明なデバイスさん
13/11/13 15:48:36.47 +IpwTW7o.net
>>793
CX4-CX4のLatchタイプで良いんじゃね。
843:不明なデバイスさん
13/11/13 16:07:08.54 9xQWn75V.net
でもconnect-X2 QDRがオクで1万切ってコンスタントに出てるのに、いまさらその世代もなあ、とは思う。
844:不明なデバイスさん
13/11/13 16:48:47.51 +IpwTW7o.net
それは、俺も思うが、すでに7104-HCA-LPX1P-DDRが有る状態っぽいし、
とりあえず、これで動くところから始めても良いんじゃねーかなと。
ま、はまる可能性もあるけどな、マイナーなQlogic品だし。
同世代でも、MellanoxのInfiniHostの方が、まだ情報多くて楽なのは確か。
845:不明なデバイスさん
13/11/13 19:37:00.47 YpJwUzmc.net
windows server 2012R2でinfinihost III認識したよ＼(^o^)／
846:不明なデバイスさん
13/11/13 19:54:53.64 0ifyM4d7.net
顔文字見て、脳内で勝手に認識しないオワタに読み変えていた
鬱だ・・・
847:不明なデバイスさん
13/11/14 21:47:55.78 lFT49gB5.net
voltaire 4036が出てるな・・・
848:不明なデバイスさん
13/11/15 18:06:48.07 ur+1LvbX.net
さくらが クラウドで頑張って使ってたけどやめちゃったんだね...
849:不明なデバイスさん
13/11/15 23:38:18.03 cjY+h1jG.net
かといって今更10GbEも割高感がすごくて買う気になれん。
はやく100GbEをくれー
本気を出したイーサネット先生の怒涛の値下がりはまだかー
850:不明なデバイスさん
13/11/16 08:36:50.40 LTSXzmOQ.net
copperで通せるのが15～20Gbitがほぼ限界、だとするとx4でも100Gbitは出せなくてたとえ近距離でも光必須になってしまう
（ここでいう近距離とはKRなどの内部規格を含む）から、40GbEでほぼ限界なんじゃない？
あとは40GbEのボンディングでうまいことやっていくしかないような。
851:不明なデバイスさん
13/11/20 10:42:00.89 duywLFUQ.net
さくらが放出したのなら4036、そこそこ出回るかな？ 糞うるさいからうちでは常用してないけど（ｗ
＃個人的には4036Eキボンヌ。
閑話休題。IBのスイッチってバッファなくて（本当にないわけではなくて、バッファ用のトランクは必要）
クロスバスイッチそのもので、PCIeのチップセットもそうだよなあ、と。
そう考えると最近のブレードサーバやマイクロサーバでIBを出してそれを筐体内部のIBスイッチで集約＆外部出し、って
かなり無駄っぽいというか、ブレードの内部でPCIeのレベルでスイッチングしてくれれば少なくともハードウェアレベルでは
かなり安くなるんじゃないかと。
Dellのvikingとか(c5000)、微妙にそういう設計になってるんだよなあ。対応ソフトがゼロだから製品としては出せないだろうけど。
852:不明なデバイスさん
13/11/20 13:46:24.66 OO9EhThE.net
Bonet思い出した
www.akibnetworks.com
www.akibnet.com
旧サイトでは本社ダイビルとあるけど現サイトには台湾支社の住所しか載ってないね
www.atmarkit.co.jp/ait/articles/1303/18/news004.html
www.geekpage.jp/blog/?id=2012/6/13/3
スイッチレスお試し直結セットが予価10万とか
Let's IYH!!
853:不明なデバイスさん
13/11/20 17:07:28.84 duywLFUQ.net
Bonetはもちろん、前からそういう試みはあるし、pci-eの規格書にもseparate refclock archが最初から定義されてるんだけど、
問題はソフトウェア、というか標準化で、どっかで旗振らないと筐体の外部に出ないものだから
各メーカが個別開発→結局安くも安定したりもしない、という気が。
854:不明なデバイスさん
13/11/20 19:43:21.43 VLj1wHFV.net
Cabled PCIeになってもツリートポロジ前提のままだから
多対多のFabricを想定するならseparate refclkだけでどうこうってものでもないが
まぁ標準化してくれないとってのには同意
855:不明なデバイスさん
13/11/20 20:22:21.72 aapU07US.net
元はといえば、そもそも次世代PCI競争の中で出てきたNGIO/3GIOがベースだからな、それぞれ。
Intelは一時期両方に首突っ込んでたし。（あ、Qlogic買ったから、今もか）
時代背景やら、隣の庭見ながら、規格化進めてた訳で、当然、基本的な考え方は
似てて当然って所かと。
PCIeも規格的には一応、外部へ引っ張り出せるようになってはいるけど、
どちらかと言えば、やっぱオンボード上の利用を�
856:�心に置いて機能実装してるから、 ほいほいと外へ出して、ネットワーク化するのは、面倒なんだろう、標準化するにも。 現状は、餅は餅屋に任せて、次の世代で、一緒に出来るかどうかって所じゃないかなぁ。
857:不明なデバイスさん
13/11/20 20:40:29.16 HW5sxrZY.net
ネットワーク化の障害要素としてはroot complexとend pointで機能非対称なアーキテクチャが一因かと
858:不明なデバイスさん
13/11/21 09:17:37.33 6Wj9sThJ.net
外部引き出しを考えるならoculinkが本命だろうけど、
thunderboltにしろpci-e直結にしろ、IPが標準的に載らない＆互換性がないことには如何ともし難いわけで。
頼むからIP(&rdma)を標準化してくれ＞oculink。ブレード筐体内部接続もそれで。
859:不明なデバイスさん
13/11/23 11:40:54.47 1RyY+XMl.net
752でFreeBSD 10.0で、ctlでiSERが使用可能にと書いてあったから調べてみたが、対応途中みたいね。
Makefileでコメントになってたから、コメントアウトしてからコンパイルしてみたけど、ctlのモジュールのコンパイルで
こけるのと、あと存在しないファイルがあったりしたから、正式対応はもう少し先になるのかな。
とりあえず、手持ちのカードでFreeBSDで使えるIBカードの一覧作成しておく。
ConnectXで、OS起動後にポートの種類をethに変更しようとすると、上手く動いてないような。
ConnectX-2だと問題ないけど。
860:不明なデバイスさん
13/12/30 04:56:28.54 Hks1mtvT.net
外部PCIeしたことあるけど相性問題が。
やっぱ外に出していいもんじゃないな。
861:不明なデバイスさん
13/12/30 15:50:29.62 Wcur1aep.net
>>809
そういやIP over thunderboltってあるけど
あれってなにがしかの標準があるのかな?
それともOSX独自実装とかそんなかんじ?
862:不明なデバイスさん
14/02/11 14:18:51.83 6kYD/Iqv.net
ここで触発されて最近IB始めました。先輩方よろしくお願いします。
PC1: Lenovo TS130 + ConnectX無印 + ESXi 5.1u2 + OFED 1.8.2.0 + ib-opensm
PC2: ストレージ機 富士通 TX100S3 + InfinihostIII + OI151a9
の直結。
テスト機でうまくいったのに本番PC1では Initializing から進まず悩みましたが、
BIOS で VT-d 無効にしたら Active になりました。
ストレージは Giga接続のNFSから、IPoIBのNFSにそのまま移行。
サクサク感に満足です。これでまだSDRなんて。
ESXi 上の opensm の partitions.conf で切った 0x8001～ が 、
vswitch で VLAN 1～ として使えています。
OI 側は
dladm create-part -l ibp1 -P 0x8001 p8001.ibp1 ← PKEY が存在しているので、-f 不要。
ipadm create-if p8001.ibp1
ipadm create-addr -T static -a 169.254.1.1/24 p8001.ibp1/ipv4
こんな感じ。IPoIBで複数IP VLANを扱えるとこまでは来れました。
次に目指すのは Ether over IPoIB っていうんでしょうか、
物理界dot1q trunk--PC1--(IB上に何語かでトンネル)
--PC2--vSwitch1--△--vSwitch2--VSTで仮想世界へ を実現したいです。
△はトンネル終端・ブリッジ用ゲスト。たぶん必要になるのでしょう。
トンネル両側 Linux なら何とかできそうな気はしてますが (GREとか?)
物理Solaris で対向に何置いて何語喋ればいいのか。調べはじめたばかりです。
863:不明なデバイスさん
14/02/11 22:19:02.55 6kYD/Iqv.net
TAP driver for Solaris used for OpenVPN and any other virtual network solution.
URLﾘﾝｸ(www.whiteboard.ne.jp)
のおかげで、
物理 -- OI --openvpn over IPoIB-- Linux(VyOS) -- 仮想
L2ブリッジできそうな気がしてきました。
864:不明なデバイスさん
14/02/18 16:53:23.82 MzJMGXZ0.net
素人童貞がふと思ったんだけど。
ConnectX-2とかはfirmでIBにも10GbEにもなれるけど、最初から10GbEカードと
して売られているConnectX-2はファームを入れ替えてIBとして使うことは出来
出来ないんでしょうか？
865:不明なデバイスさん
14/02/18 20:40:00.17 pnrZNLtY.net
ConnectX-2 EN は IB にはなれない。
866:不明なデバイスさん
14/02/18 21:15:28.27 MzJMGXZ0.net
ありがとうございます
逆は出来るのに、商品の差別化の一環ですかね。
867:不明なデバイスさん
14/02/19 20:01:33.64 AZn/ZBMf.net
>815
ConnectX-2 ENはコネクタ形状がSFP+固定だから物理的に無理かと。
ConnectX-3 ENの40GbEだと形状一緒(QSFP)だけど、多分書換は無理じゃないかなー？
868:不明なデバイスさん
14/03/01 02:59:43.63 rZOCEjvv.net
Windows Azure の中でも動いている InfiniBand って何?
URLﾘﾝｸ(www.slideshare.net)
さくらはやめたけど、MS は使ってるのね
869:不明なデバイスさん
14/03/01 03:42:35.41 d5GA9cBD.net
さくらがインフィニットバンドを止めた理由ってなんでしょうか？
あと、やめたって事は代わりになる代替技術（テクノロジー）があるからだと
おもうんですが、今はインフィニットバンドの代わりに何を使ってるんでしょ
うか？１０ＧＢＥ？
870:不明なデバイスさん
14/03/01 04:30:46.58 rZOCEjvv.net
>>820
クラウド事業者から見た課題と今後
～さくらのクラウド編～
URLﾘﾝｸ(mpls.jp)
上の資料から
理由：シンプルにしたい？SDN入れたい？（同じことのような逆のことのような）
代わりの技術： 10GbE
871:不明なデバイスさん
14/03/01 05:44:02.55 d5GA9cBD.net
速度面では圧倒的にインフィニットバンドが圧倒的に有利な気がするんですが
それを考慮しても１０ＧＢＥに全面移行したほうがメリットがある、と思わせる
程にインフィニットバンドの運用には面倒な点があったってことですかね。
872:不明なデバイスさん
14/03/02 16:23:29.74 7V4/sAp7.net
Windows Server 2012 R2 のネットワークの注意事項 - InfiniBand - 仮想化でプリセールスしてるSEの一日
URLﾘﾝｸ(d.hatena.ne.jp)
VLAN ないのはやっぱキツイよな～
873:不明なデバイスさん
14/03/02 19:00:56.96 QvwDzZnA.net
Mellanox OFED Driver for VMware ESXi Server
URLﾘﾝｸ(www.mellanox.com)
5.2.3
Virtual Local Area Network (VLAN) Support
To support VLAN for VMware ESXi Server users, one of the elements on the virtual or physical
network must tag the Ethernet frames with an 802.1Q tag.
(略)
Ethernet VLANs are implemented on InfiniBand using Partition Keys (See RFC 4392 for informa-
tion). Thus, the InfiniBand network must be configured first. This can be done by configuring the
Subnet Manager (SM) on your subnet. Note that this configuration is needed for both VLAN configu-
ration modes, VGT and VST.
874:不明なデバイスさん
14/03/02 19:25:45
875:.58 ID:QvwDzZnA.net
876:不明なデバイスさん
14/03/03 00:12:25.48 /wfnPDwi.net
さくらがIBやめたのはオラクルのストレージで障害おこしたからだろ
原因追究するのに時間がかかるようなのはやめたと
URLﾘﾝｸ(www.publickey1.jp)
877:不明なデバイスさん
14/03/03 00:35:21.50 fmOlB6ex.net
結局NECのストレージに替えたんだよな
あっちはデフォで10GbEついてんだろうか
878:不明なデバイスさん
14/03/03 06:31:06.06 Sxf2gndm.net
ストレージのトラブルは大変だよ。
Infinibandに関係ないチラ裏だけど、某大手DCで冗長構成の片方が死んで、
片肺運転＆リビルド中にもう負荷かけたら片方も死んで、顧客に「データが
復旧できなければ会社を畳む」とまで言わせたことがあるしなーｗ
ストレージベンダごと乗り換えて対応したけど。
879:不明なデバイスさん
14/03/03 06:43:01.40 6pVSWXUZ.net
URLﾘﾝｸ(research.sakura.ad.jp)
という話のようです。
880:不明なデバイスさん
14/03/03 12:15:30.58 MSvSRMc4.net
リビルド中に負荷かけるのって場合によっては完全死亡フラグだよねｗ
壊れないはずだからと重要データのバックアップ取らないのもどうかしてる
881:不明なデバイスさん
14/03/06 06:56:41.27 Lj6DTPus.net
ありがちな死亡フラグ��
① 「この戦争が終わったら、俺、結婚するんだ」��
② 「いいか、俺が帰ってくるまでここを動くんじゃないぞ」��
③ セックスする前のシャワー��
④ いわく付きの場所で若者がいい雰囲気��
⑤ 「必ず戻ってくるから」「必ず迎えに来るから」��
⑥ 「この中に犯罪者がいるかもしれないのに一緒に寝れるか！俺は自分の部屋に戻るぞ！」��
⑦ 「明日は娘の誕生日なんだ」��
⑧ この最後の仕事を終えたら足を洗うと決意してる状態��
⑨ 「この仕事が終わったら２人で暮らそう」��
⑩ 「××様が出るまでもありませんよ。ここは私めにお任せを…」��
⑪ 今まで目立たなかった脇役が急に目立つ��
⑫ 「今度の仕事でまとまったカネが入るんだ」��
⑬ 「おのれ～！ええぃ、出合え！出合えーぃっ！！ 」��
⑭ 「おいガキ！足手まといになる様なら、容赦なく置いていくからな！」��
⑮��「私に構わず早く行って！…アナタは私達みんなの希望なの！こんなところで死なせはしない！」��
⑯ 今まで苦労ばかりかけて泣かせてきた家族や恋人宛にプレゼントを買いに行く��
⑰ 「父さんにもしもの事があったら…その時はお前が母さんや妹を守るんだ…いいな？」��
⑱リビルド中の高負荷
882:不明なデバイスさん
14/03/06 08:04:15.39 FK0qU1cf.net
リビルド中の高負荷つーか、リビルドそのものが高負荷なわけでｗ
RAID6のHDDが1台死亡→交換してリビルド→リビルド中に別のHDDが死亡
ていう事が某データセンターで実際に発生した事がｗｗｗｗ
別媒体へのバックアップ�
883:Hやってるわけ無いｗｗｗ
884:不明なデバイスさん
14/03/06 12:39:43.95 9YLLT/2p.net
そんな想定内の珍しくない話をされましてもｗ
885:不明なデバイスさん
14/03/06 13:28:30.64 cmlje4xd.net
RAID6なら2台死んでも想定内ダロ
886:不明なデバイスさん
14/03/06 13:40:15.49 9YLLT/2p.net
同様にヘタってた別のHDDが連鎖的に壊れたとか
ファームウェアやハードウェアが悪くて過負荷でクラッシュとか
887:不明なデバイスさん
14/03/31 13:45:21.99 eMNfTyiN.net
InfiniBand プログラムに必要な基本的な概念
www.nminoru.jp/~nminoru/network/infiniband/iba-concept.html
素晴らしい資料
888:不明なデバイスさん
14/04/01 10:41:15.94 ix6eFyEm.net
おお、すばらしいね。あと標準的なコマンド群（含ベンチマーク用）の解説がちょろっとあれば完璧。
889:不明なデバイスさん
14/06/30 16:38:40.11 HTq8FnrA.net
www.geocities.jp/andosprocinfo/wadai14/20140628.htm
IntelがやっぱりCPUにInfiniband(互換)を集積してきたね。コンシューマ向けは来ないだろうけど。
890:不明なデバイスさん
14/06/30 18:50:24.97 I7xk59oh.net
CPUって言うけどXeon Phiじゃん
891:不明なデバイスさん
14/07/02 08:14:11.42 h1B780ZY.net
>ファブリックを集積するのは当然の方向ですが，InfiniBandの雄のMellanoxにとっては憂慮すべき事態で，どのような対応を取るのかも興味が持たれます。
NVIDIAとAMDにIPライセンス提供でグラボにIB載せる方針でｗ
892:不明なデバイスさん
14/07/02 09:37:27.93 bfXeq1ok.net
グラボにIBとか、って思ったけどtesla用にhicとか必要だしアリなのかも。
893:不明なデバイスさん
14/07/02 11:46:30.68 nxMwd+7u.net
>>840
NVLinkってのが発表されてた
894:不明なデバイスさん
14/07/08 14:01:47.39 BqRXsEpS.net
NVLinkより半2重、というのが興味深いよね。実質通信なんて片方向にしか１度には起きないわけで、
全2重は無駄といえば無駄だし。だけどクロックどうしてんだろ。embedにしたら同期するまで時間かかるし、
下手に分離とかするとどこかの特許にひっかかりそうだし。あと光との相性が悪いか。
895:不明なデバイスさん
14/09/05 19:18:07.16 k09LHYvu.net
過疎スレにメモ：
FJT0D90200009（富士通OEMのMHQH19B）、CX4にしたときにリンクアップするのに疎通しない相手先があって、
IBでは使えるんで放ってあったんだけど原因判明。flint dcのeth_rx_lane_polarity_port1=0x1を0x0にしたらOK。
896:不明なデバイスさん
14/09/17 08:59:10.61 1H23Fgmb.net
富士通oemのsdr Dualport HCA買いました
初inifinibandなんでドライバー入れて認識させるまでドキドキです
897:不明なデバイスさん
14/09/17 14:19:56.49 +sQpF3OO.net
>>845 オメ。でも >>795 だと思う。
まあいろんなボードやケーブルあったほうが楽しいし（ｗ
898:不明なデバイスさん
14/09/18 03:23:02.02 SRR2mtLN.net
>>846
スイッチ込みなのでsdrがお財布の限界でした…
なお、esxi5.5にinfinihost IIIを認識させる方法が見つからず、詰んでおります…
899:不明なデバイスさん
14/09/18 09:03:58.25 6FOrdwju.net
>>847
ESXiだと、5.0以上はConnect-X2以降じゃ無いと、使えなかったような。
InfiniHost系は認識すらされず、Connect-Xは、認識されてドライバも入るけど、疎通不可だったような・・・
ここの過去スレか、ソフトウェア板のESXiの過去スレか、どっかにあったはず。
5.0未満
900:なら、使えるはず。 Windows系も含めて、もうConnect-X以下のサポートバンバン切られてるから、 >>795こういう意見になるのかと。 別にQDRとして使わなくても、SDRでリンクするから、あえて古い世代選ぶ必要、無いんだよね。 ここの所の雰囲気だと、Connect-X2系も、そろそろヤバメではあるんだけど。。。
901:不明なデバイスさん
14/09/18 09:17:59.38 onvUpuGz.net
ConnectX-2よりもInfiniband自体がヤバメ、というか（笑）
CX4-QDRケーブルでSDRスイッチとつないでリンクアップもできるんで、ConnectX-2系に乗り換えるのもいいかと。
902:不明なデバイスさん
14/09/18 09:21:20.35 SRR2mtLN.net
>>848
理解しました。
スピードネゴしてくれるの完全に頭から抜けてたんで、qsfp to sff8470とかで対応しようと思います。
connectx2探してきます
ありがとうございます！
903:不明なデバイスさん
14/09/19 00:05:00.21 pbkgkNXa.net
3年使ってたConnectX2-VPIが突然死した
eBayでまた調達しないと…
904:不明なデバイスさん
14/09/19 11:00:10.29 G2l4CI/c.net
円安だしヤフオクの方が安いんじゃない？
無くなったけどMHQH29CがeBayでも見たことない値段だった。
905:不明なデバイスさん
14/09/19 15:30:33.80 P4zDC9lb.net
mellanoxで検索すると出るよ。ロープロファイルが欲しいなら9000円ので、フルがいいのならこれかな。
906:不明なデバイスさん
14/09/19 16:34:52.85 G2l4CI/c.net
でも3年後を考えるとConnectX-3ってことなのかな？
ebay調べたら
ConnectX3 $400
ConnectIB $800
ぐらいだった。ConnectIBはまだ落ちてきてないみたい。
907:不明なデバイスさん
14/09/19 17:14:54.26 G2l4CI/c.net
値段調べてたらConnectX-3が欲しくなってしまった
ConnectX-3 VPI
PCIe3.0 x8
QDR,FDR10,FDR14,40GigE,10GigEタイプが混在
ConnectX-3 Pro
PCIe3.0 x8
FDR14,40GigE,56GigE
Connect-IB
PCIe2.0 x16,PCIe3.0 x8,PCIe3.0 x16
FDR14のみ？
908:不明なデバイスさん
14/09/20 16:04:37.33 mUO+8D0f.net
CoonectX-3、ヤフオクでいつもの人がもっと安く出してるよ。
909:不明なデバイスさん
14/09/20 18:25:44.90 WWvD/IAs.net
ENだから違う
910:不明なデバイスさん
14/09/21 17:38:34.24 lJzeNqTb.net
あ、本当だ。すいません。
911:不明なデバイスさん
14/09/24 10:01:33.72 w6r/KawC.net
mellanox QSAを調達したのでSFP+の試験。といっても
MHQH19B(FJT0D90200009、polarity_port1変更済)およびMHQH29C(MT_0FC0110009)で
問題なくSFP+DAおよびLR(Brocade 57-0000076-01)で動作した。つまらん（ｗ
QSA、構造のわりに値段が高いけど、これがあるとConnectX-2のつぶしが効く(IB-QDRでも
10GBe-SFP+でも10GBe-CX4でも使える）のでなかなか良いかも。
912:不明なデバイスさん
14/09/24 10:12:40.15 w6r/KawC.net
あ、一応、QSAはopticsを刺すと放熱的に問題ありそうなので、たぶんメラ的にはDAしか薦めてないと思う。
913:不明なデバイスさん
14/10/13 11:07:26.40 0GTHmU44.net
(ESXi5.5 + ConnectX-2 + OFED 1.9.10)*2台直結 10GbE にしてみた。
ゲストOmniOS同士、vmxnet3s だと IPoIB でも 10GbE でも大差ない。
iperf 60秒平均で6Gbpsほど。EnableLRO=0 にしないと安定しない。
ESXi上にはストレージアダプタでiSERが出てくるけど、
ゲスト視点ではNIC vmxnet3sだけなので、遊べない。
SR-IOV動く使えるマシンならゲストからでもiSER提供できるんでしょうか?
914:不明なデバイスさん
15/02/04 09:14:02.60 kOADHgCC.net
Mellanox WinOF Rev 4.90.50000が出てたけど、
ついにConnectX-2 adapter cards Unsupportedｷﾀｰ。
まぁ、雰囲気そんな感じはしてたけど。
次期Windowsからは、10GbEカードとして使うしか、
無くなるかなー、I
915:nboxドライバが入ればだけど。。。
916:不明なデバイスさん
15/02/08 16:19:54.99 KXDz9QA/.net
IBよりもEtherがメインになっちゃってるから仕方ないかもね。IB関連で何か新機能あるんだっけ？
でも次期windowsでもorcaでごにょればきっと前のWinOFが入るから気にしない。
917:不明なデバイスさん
15/02/09 01:58:26.02 CMw06GPO.net
次期Windowsの頃には10GBase-T環境がもうちょっと手が出る値段で買えるといいなあ
InfiniBandスレで言うことじゃないことかもしれんけどさｗ
918:不明なデバイスさん
15/02/09 09:15:26.95 Xf/nI/nG.net
10GBase-Tはカード側はオクで1万～2万程度で出物があるけど、ハブ側がねぇ。
消費電力もばかにならないし。個人でやるのならSFP+が正解だと思う。
919:不明なデバイスさん
15/02/16 00:53:24.30 ERIY5h4U.net
遅ればせながら家庭内IB環境作りたいなと物色中です
やりたいのは
ESXi<--OmniOS-->Linux(Xen)
での2vs1の接続なんですが
今だとお手軽に始めようと思うとConnectX-2あたりをオクで仕入れるのが無難でしょうか？
(新しい世代に越したこたないのは確かですが、ConnectX-3はさすがにお小遣い的に手が出ない）
この場合、仕入れるのはDualPort1枚+SinglePort2枚、SFP+ケーブル２本、で良いですよね？
また、上記構成の場合、SMはOmniOSに入れる必要がありますか？Linux側でも良いでしょうか？
920:不明なデバイスさん
15/02/16 08:34:34.50 0fwP0lw8.net
ConnectX2 の IB なカードは、QSFP。
SMは2つ必要。(1) ESXiかOmni (2) OmniかLinux
でもOmni用のOpenSMは見つからないと思うので
必然的にESXiとLinux上に。
921:不明なデバイスさん
15/02/16 17:18:03.55 gIkxzs3r.net
ん？ESXiでOpenSM動くんだっけ？
ESXで動く物は有ったけど、ESXiで動くものは無かったような？少なくとも公式では。
Solaris系をストレージにする限り、ESXiは無理な気がする。
ZFSでストレージ作りたい＆IB使いたいなら、Linux+ZFS on Linuxか、
FreeBSDで作るしか無いんじゃない？
後は、OpenSM積んだ、マネージドスイッチを使うか。
922:不明なデバイスさん
15/02/16 21:33:04.10 J9FERcLf.net
SolarisとESXi両方で動かしてるよ
923:不明なデバイスさん
15/02/16 21:44:02.59 0fwP0lw8.net
>>868
もちろん公式ではありませんが
URLﾘﾝｸ(www.bussink.ch)
で。
924:不明なデバイスさん
15/02/16 22:42:16.26 gIkxzs3r.net
へー、ビルドしてくれてる人居るんだ。
まぁそれならそれ使っても良いかもね。
うちは、随分前にHyper-V+FreeBSD ctldに乗り換えちゃったんで、
ESXiでIBの情報はそんなに追っかけてなかった。
最近FreeBSDのtargetの開発著しいんで、Solarisに戻る事はないかなぁ。
925:不明なデバイスさん
15/02/17 10:33:41.61 j2sNM51B.net
>>869
情報ありがとうございます
商用利用でもない自宅環境ので、野良ビルドでもいいのでESXiにopensm突っ込もうと思います
napp-itの楽ちんさに慣れてしまったので、FreeBSDに乗り換えるのが億劫なのでｗ
926:不明なデバイスさん
15/02/20 17:35:45.08 CtH6X0qi.net
ちなみにConnectX2の2ポート品だとPCIe側の帯域が足らないよ。同時にがっつり使わなければ大丈夫、
というかがっつり使うと他の部分がどうせ間に合わないけど。
927:不明なデバイスさん
15/02/20 19:21:19.60 FZXM01WY.net
まぁ大丈夫っしょ。
がっつり使わなくても、ストレージが最初に根を上げる（SSDのRAIDじゃ無い限り）、多分。
928:不明なデバイスさん
15/02/26 09:21:37.99 k99ZkXqy.net
すまん、教えてください。
QDRのHCAとケーブル使って、DDRのスイッチ利用して通信って可能なのだろうか？もちろん、速度は落ちることはわかってるけど、ネットワークハブみたいに互換性ってあるのかどうか�
929:墲ｩらずで、、、。 どなたか教えて下さい！！
930:不明なデバイスさん
15/02/26 13:22:10.37 z0y2CIH/.net
>>875
スイッチがDDRなら、DDRでリンクするよ。
931:不明なデバイスさん
15/02/26 21:47:44.95 6opmRDu2.net
ありがとです！！早速購入しますっ！！
932:不明なデバイスさん
15/03/18 06:10:13.75 O5cA0c/Y.net
再び、教えて下さい！！
ConnectX2のQDRで二台のPCを繋いでいるが、どうしても速度がでない。iperfで6Gくらいしかでない、、、。リンクは40Gだし、ケーブルも中華な人からebayで購入したけどQDR対応。
二つのマシンは片方がAMDのAPU A-3650でメモリ8G、もう一方がi7の4790でメモリ32G。両方ともcentos6.6でドライバーはmellanoxのです。ファームも2.9にしてる。
マシンの差によって速度がこんなに変わるかな？？
933:不明なデバイスさん
15/03/18 08:10:28.01 7MrWvc0/.net
>>878
ドライバーのバージョンとか構成とかなしでは何とも。
単にTCP的に頭うちしてるのかも。
iperf -w を送受両端で十分に大きくする。
iperfを複数同時実行して、TCP本数増やしてみる。
934:不明なデバイスさん
15/03/19 16:40:54.75 5P/PZ0rn.net
>>878
とりあえずCnQとC3～C7ステートoffってからだな。
後はネットワーク周りのチューニングがどうなってるか。
935:不明なデバイスさん
15/03/21 09:51:46.51 BDCv4bg/.net
すんません、情報不足で、、、。
以下、ibstatの内容です。GUIDは削ってます。
CA 'mlx4_0'
CA type: MT26428
Number of ports: 1
Firmware version: 2.9.1000
Hardware version: b0
Port 1:
State: Active
Physical state: LinkUp
Rate: 40
Base lid: 1
LMC: 0
SM lid: 1
Capability mask: 0x0251086a
Link layer: InfiniBand
まずは、上記でいただいたことを試してみます。
936:不明なデバイスさん
15/03/21 11:30:48.21 BDCv4bg/.net
iperf3 -c DestinationIP -P 4 -w 1M
とかにしてみましたが、変わらずでした。。。Windowを大きくしたり、本数換えてみたりしましたが、最終的には、こんな感じになってしまいます。。。
TCPの頭打ちってどうやって調べるんでしょうか？
ちょっと調べて見たんですがわからなくて。。。
念のため、iperfの結果を。。。
―――――――――
Connecting to host 192.168.2.10, port 5201
[ 4] local 192.168.2.1 port 37266 connected to 192.168.2.10 port 5201
[ ID] Interval Transfer Bandwidth Retr Cwnd
[ 4] 0.00-1.00 sec 699 MBytes 5.86 Gbits/sec 0 424 KBytes
[ 4] 1.00-2.00 sec 698 MBytes 5.86 Gbits/sec 0 424 KBytes
[ 4] 2.00-3.00 sec 700 MBytes 5.87 Gbits/sec 0 424 KBytes
[ 4] 3.00-4.00 sec 696 MBytes 5.84 Gbits/sec 0 424 KBytes
[ 4] 4.00-5.00 sec 698 MBytes 5.86 Gbits/sec 0 424 KBytes
[ 4] 5.00-6.00 sec 696 MBytes 5.83 Gbits/sec 0 424 KBytes
[ 4] 6.00-7.00 sec 695 MBytes 5.83 Gbits/sec 0 424 KBytes
[ 4] 7.00-8.00 sec 698 MBytes 5.86 Gbits/sec 0 424 KBytes
[ 4] 8.00-9.00 sec 698 MBytes 5.84 Gbits/sec 0 424 KBytes
[ 4] 9.00-10.00 sec 698 MBytes 5.86 Gbits/sec 0 424 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-10.00 sec 6.81 GBytes 5.85 Gbits/sec 0 sender
[ 4] 0.00-10.00 sec 6.81 GBytes 5.85 Gbits/sec receiver
937:不明なデバイスさん
15/03/21 15:45:03.02 eLWTIgqq.net
-P 4 での Sum は?
938:不明なデバイスさん
15/03/21 15:59:53.86 eLWTIgqq.net
URLﾘﾝｸ(fasterdata.es.net)
URLﾘﾝｸ(fasterdata.es.net)
他、勉強になりますね。
939:不明なデバイスさん
15/03/21 16:01:28.74 eLWTIgqq.net
つけわすれ
URLﾘﾝｸ(fasterdata.es.net)
940:不明なデバイスさん
15/03/21 16:06:51.59 BDCv4bg/.net
sumも単独時と同じでした。なので、一本は1.4g程度でした、、、。
941:不明なデバイスさん
15/03/21 17:35:41.82 Dz/qw046.net
AMD APUだとそんなも
942:んかもしれんけど。linuxってvstatとか叩けないんだっけ？
943:不明なデバイスさん
15/03/21 17:59:05.57 eLWTIgqq.net
cwnd 424KB までしかいってないってことは、
TCP 周り全然チューンしてないんと違いますか。
944:不明なデバイスさん
15/03/22 06:31:31.56 ogMIGPMc.net
亀レスですみません、、、。
で、、、TCP周りとかちゃんと知っていなくて、色々調べましたが、いまいちよくわからなくて。。。
（ipコマンドなんかで設定変えてみたけど）
Connecting to host 192.168.2.10, port 5201
[ 4] local 192.168.2.1 port 37352 connected to 192.168.2.10 port 5201
[ ID] Interval Transfer Bandwidth Retr Cwnd
[ 4] 0.00-1.00 sec 727 MBytes 6.09 Gbits/sec 0 2.94 MBytes
[ 4] 1.00-2.00 sec 725 MBytes 6.08 Gbits/sec 0 2.97 MBytes
[ 4] 2.00-3.00 sec 728 MBytes 6.11 Gbits/sec 0 2.97 MBytes
[ 4] 3.00-4.00 sec 728 MBytes 6.10 Gbits/sec 0 2.97 MBytes
[ 4] 4.00-5.00 sec 726 MBytes 6.10 Gbits/sec 0 2.97 MBytes
[ 4] 5.00-6.00 sec 726 MBytes 6.09 Gbits/sec 0 2.97 MBytes
[ 4] 6.00-7.00 sec 726 MBytes 6.09 Gbits/sec 0 2.97 MBytes
[ 4] 7.00-8.00 sec 728 MBytes 6.10 Gbits/sec 0 2.97 MBytes
[ 4] 8.00-9.00 sec 726 MBytes 6.10 Gbits/sec 0 2.97 MBytes
[ 4] 9.00-10.00 sec 728 MBytes 6.10 Gbits/sec 0 2.97 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-10.00 sec 7.10 GBytes 6.10 Gbits/sec 0 sender
[ 4] 0.00-10.00 sec 7.10 GBytes 6.10 Gbits/sec receiver
>884,>885がくれたページでちょっと勉強してみます。
945:不明なデバイスさん
15/03/23 15:14:55.24 nuvPBkz+.net
voltaire 2036(?)がオクに出てるな。不思議な型番になってるけど。
946:不明なデバイスさん
15/04/17 14:55:15.56 F7lqCgBH.net
Omni-Pathって何なん？
タダでさえ限られたハイエンドインターコネクト市場を分断する意味あんのかな？
947:不明なデバイスさん
15/04/21 09:22:30.29 pSon0oem.net
ハイエンドインターコネクト自体がローカルなものだからねぇ。
自社→ラック借り→クラウド借り、という流れの中ではなかなかInfinibandの出番はない、というか、
表面上には見えてこないから、スループットさえ出てれば中身はIBでも40GBeでもOmni-Pathでも
気にしなくなってるような。
＃という流れではやはりさくらの件は痛いな。
948:不明なデバイスさん
15/04/21 22:39:21.81 iWzGX2cJ.net
世の中ビッグデータだー、データマイニングだー
なってるけど、そういう大量データが全部AWSやAzure上に集約されてクラウド上で機械学習なんかをするって
そりゃーそういうの可能なモノもあるだろうけど
やっぱりローカルでデータ溜め込んで、自社のクラスタPCで処理するってほうが
少なくともあと10年位は主じゃないかと思う
だからInfinibandでもOmni-Pathでもいいけど
今後も高速インターコネクトは中規模程度の会社でも導入できる値段であって欲しい
949:不明なデバイスさん
15/04/22 00:20:16.96 Gwr1nSro.net
>>893
置くスペース的な問題があるんだよね
どうしても
自社にデータセンターもってても何百台となればね
950:不明なデバイスさん
15/04/24 13:22:48.91 RxYa96i/.net
＞やっぱりローカルでデータ溜め込んで、自社のクラスタPCで処理する
「それはコストはどうなのかね？ クラウドと比較して理由書をうんぬん」
と言われてセキュリティがどうだとか言い訳沢山書かされる、と。
というかそういうのがない会社はうらやましー。
951:不明なデバイスさん
15/04/24 22:46:20.81 Ak3kF0Xo.net
ビッグデータと言える程度のサイズのログデータなりをクラウドに溜め込んで
マトモな統計解析をHadoopなり何なりでやるなんてのを
日常的にパブリッククラウドサービスでやったら無茶苦茶な金かかるよ。
あれは、数回やったらそれでおしまいって案件に設備投資をしないためのもの。
952:不明なデバイスさん
15/04/25 01:06:04.41 lNiI/PyI.net
えっ
953:不明なデバイスさん
15/04/27 10:03:11.28 C+GaPeWE.net
HPCな需要�
954:ﾍ昔から計算機センタ、という名前で共用するのが当たり前だったような。
955:不明なデバイスさん
15/05/27 00:13:37.11 mv49rLKq.net
Voltaire 4036 ジャンク
956:不明なデバイスさん
15/05/27 13:26:59.21 clQxb9CN.net
filesystemエラー出まくってるね。さすがにこれを復旧するのは無理な気が。
957:不明なデバイスさん
15/06/10 11:20:24.83 h6pT4NRM.net
sriovでinfinibandを複数のゲストに割り当てると外からどう見えるんだろうか
仮想的にポートが複数あるデバイスとして使われるのかな
958:不明なデバイスさん
15/06/26 14:48:47.24 uWdZ5LtI.net
亀レス。
Server2012R2/HyperV/ConnectX2-2.9.8350/WinOF-4.80ではGet-VMSwitch | fl では
IovSupportReasons : {このネットワーク アダプターは SR-IOV をサポートしません。}
というか原理的にIPoIBではsriovはサポートできない気がする。
959:不明なデバイスさん
15/06/27 00:51:27.33 FPduUtAE.net
SR-IOVに対応するのはConnectX-3からでは？
960:不明なデバイスさん
15/06/28 17:42:08.34 vIotSRNf.net
そうなんだ。connectx-3が手に入ったらやってみるね。
961:不明なデバイスさん
15/07/19 23:02:49.38 jVKNgeMQ.net
InfinibandドライバがWindows 10でインボックスに
まあインボックスドライバで使う奴はいないと思うけど
962:不明なデバイスさん
15/07/31 09:48:49.89 q1uIFkS9.net
でもおかげでconnectX-2でibとethを切り替える時にいちいちwinofドライバ指定しなきゃならなくて面倒。
963:不明なデバイスさん
15/08/28 18:29:06.86 SJXUDahv.net
URLﾘﾝｸ(technet.microsoft.com)
＞Hyper-V Virtual Switch only supports Ethernet, and does not support any other wired local area network (LAN) technologies, such as Infiniband and Fibre Channel.
964:不明なデバイスさん
15/08/29 02:30:27.89 h27M2kQ/.net
Infinibandは時代の徒花って事？
965:不明なデバイスさん
15/08/29 04:00:45.47 RIMY7upc.net
Hyper-Vがゴミって事です
966:不明なデバイスさん
15/08/29 23:41:10.65 WOfna8H4.net
それな
967:不明なデバイスさん
15/08/30 09:19:15.51 JYL2bnBD.net
簡易システムであり続けることを選択したという。
968:不明なデバイスさん
15/09/04 09:12:33.65 289s5xbk.net
Hyper-Vの仮想スイッチ機能っていわゆるアプライアンス（ファイアウォール、負荷分散、DPI等々）を仮想化するためのものだから、
Etherだけで十分、という判断では？
969:不明なデバイスさん
15/09/04 10:18:24.63 lZozm7dD.net
Azureで必要になれば実装される
970:不明なデバイスさん
15/09/05 00:25:12.70 Ed7YdjKB.net
>>912
L2が必要なのにIPoIBが使用できるわけねえだろ
971:不明なデバイスさん
15/10/23 21:32:01.76 eTneqIQD.net
2年ぶりにきました。ESXi4.1でとまっていますが、これはinifibandのしばりで
仕方ないかなと思っています。最近5.5系あるいは6.0系でmlx4が使えるとの
報告をみて、ちょっと気になっています。当方はconnect-X以前のinfinihost
なので、mthcaドライバが使えないと意味ないですが、5.5系か6.0系でmthca
使えている方いませんか？
972:不明なデバイスさん
15/10/24 00:04:35.33 XgTR0J0W.net
正直mthcaをプロプラ環境で使うのは、もう諦めた方が良い。Connect-X 2ですら、怪しくなってきてる。
Connect-X 2ももう十分安くなってるから、これを機に、
買い換えること考えた方が良いかと。
973:不明なデバイスさん
15/10/24 15:43:24.87 OWK97stD.net
ebayみてきたらConnectX-2が50ドルぐらいでありますね。再度
infinibandで組んでみようと思います。情報ありがとうございました。
974:不明なデバイスさん
15/10/29 14:25:4
975:7.35 ID:L5J4H9FD.net
976:915
15/11/07 22:59:22.13 DrUaCq0/.net
ebayからHCAが届きました。ConnectX-2の2ポートですが、一枚42ドルでした。yahooの方が
安く購入できたみたい。low profile bracketだったのはショック。ブラケットを再度購入するもの
面倒なので、ブラケットの詰めを伸ばして、適当に補強を入れて固定しました。MHQH29C相当の
OEMです。
以前はInfinihostでしたが、今度はQDRでオフロードもしてくれます。
Esxi5.5 update2 + SRP + Ubuntu14.04( ZFS + LIO )な設定ですが、このサイトの情報のおか
げで設定できました。
ネットワークアダプタのところが、速度10000から40000に変化して大変気持ちがいい。ESXi5.xが
2018年、VMのCentOS6.xが2020年までのサポートですので、あと数年はこれでいけるでしょう。
977:不明なデバイスさん
15/11/10 10:19:40.98 uQBRpujo.net
おめ。ヤフオクのconnect-X2の1ポート品はある意味値崩れしてるよなあ。
connect-X2はQSAアダプタ使うと10GBase-SFPにもなるから、Infinibandやめてもそこそこ使えるのがいいね。
978:915
15/11/11 07:04:08.29 G0b7/m4V.net
ありがとうございます。利用目的がESXiのＶＭでたいしたことやってないので、
環境的には過剰でしょう。まあ手段が目的なところもあります。
アダプタの件は、.>652、>859でも見ていて気になっていました。Ｉｎｆｉｎｉｂａｎｄの
終焉後も、2次利用できそうですね。だれか徒花って書いていましたが、技術的
に発展性がないからでしょうかね。個人的には10GbEよりいいものだと思います。
979:不明なデバイスさん
16/01/20 21:39:03.60 j2YsH0vL.net
こんなスレがあったとは。もっと早く知ってれば…
最近IBを調べ始めました。1対1で直結するESXi用のZFSストレージを安く作りたく、
Primergy TX1310 M1とWDの4TBの赤4個を買いました。SANネットワークは8Gbpsの
FCかQDRのIBで迷ってます。
・中古価格は、HBA (HCA) はだいたい同じくらい、ケーブルはFCが安い
・簡単でトラブル起きにくそうなのはFC
・スイッチはどちらも高いので買わないけどIBの方は将来手が届きそう
・OSは、FCだとLinuxもSolarisもOK、IBだとLinux一択（OpenSMがSolarisで動かないため）
・速度は（カタログ数値なら）圧倒的にQDR IB
こんな認識で合ってますか？
980:不明なデバイスさん
16/01/20 23:18:38.61 1LOmrt6V.net
頭痛が痛い
981:不明なデバイスさん
16/01/21 02:14:54.01 oaSW0jRp.net
関係無いけどちなみにメモリはいくら？
982:922
16/01/21 02:43:37.88 jb96ISIz.net
TX1310のメモリは8GB
983:不明なデバイスさん
16/01/21 03:09:53.08 GXgdraJH.net
スイッチはFCの中古が安いかもナ。
984:不明なデバイスさん
16/01/21 11:44:25.52 LEArpA3a.net
>>922
【SAN,NAS】ストレージ鯖総合【iSCSI,FC,IB,10GbE】
ｽﾚﾘﾝｸ(hard板)
こっちでも良さそうな内容ではあるが、多分見てる人は同じだな（笑
4Gまでならスイッチ考えても、恐らくFCが一番安くて手っ取り早い、
直結なら８Gもあり、スイッチはどうだったか・・・中古の玉が少ないかも。
IBスイッチは、まぁDDRまでならともかく、QDRは絶望的かな。有ってもFC程安くない。
latency
985:は圧倒的にFC、SRP/iWARPが使えれば、IBでも？ IPoIBでiSCSIだと多分勝負にならない。 targetはFreeBSDでもいけるけど、IBだと一手間かかる、FCはwwnのアクセス制御が まだ実装されてない。 FCならQlogic鉄板、間違ってもEmulexは買わないように。targetとして使えん。少なくともSolaris系とFreeBSDは。 Linuxは知らん。（知ってる範囲で、出来たって情報見た記憶が無い） Initiatorならありだけど、あえて選ぶ必要は多分無い。
986:不明なデバイスさん
16/02/03 01:23:04.51 yTeaPjWA.net
ConnectX-2を入手しました。最終的にはWindows10でSRPをしたいんですが
WinOF-3.2が入りません。このスレの上の方に出てくるorcaってなんですか？
987:不明なデバイスさん
16/02/03 01:59:56.68 yTeaPjWA.net
レイテンシーはFCとSRPで比較してFCのがいいんですか？SRPだと思ってました。
なんとなく。
FCは自分もCOMSTARでかなり苦労しました。emulexとqlogicで4G，8G，合計4パターン
全部試してqlogicは全勝，emulexは全負でした。oracleの公式サイトではemulexも
行けそうなふうに読めるんだけど…
988:不明なデバイスさん
16/02/03 02:01:31.52 yTeaPjWA.net
>>929は>>927へのコメントです。
989:不明なデバイスさん
16/02/03 11:13:56.85 Ua3q8SeF.net
orcaはmsiをいじるツールで、orca msiで検索すればダウンロード先とかわかると思う。
ACT（互換性データベース）のほうを編集する手もあるけど、これもごにょり技だよなあ。
990:不明なデバイスさん
16/02/03 14:52:23.98 4ws8gJvv.net
>>929
Emulexでのtarget。確かに使えそうな書き方されてるけど、駄目なんだなーこれが。
どっかで試した人の情報見た気がするけど、成功した記録無し。
現行世代のLPe16xxx(一部LPe15xxx)に限っては、
URLﾘﾝｸ(www.emulex.com)
Emulexが公式でSDK出したので、多分targetとして使える。
ま、現行世代のカードなんて高くて使えんから、試せてないけど。
レイテンシーはSRP/iWARPの方が良いかも？
結構環境が限られるんで、自分もテストはしてない。
SRP/iWARPでまともなtargetってSolaris系一択？Linuxがよく分からん、使わないので。
Initiator側がOFEDポシャったおかげで、Windowsで使うのは面倒になったし。
仮想系のインフラ組んでる人が使うぐらい？
991:不明なデバイスさん
16/02/03 23:10:15.19 yTeaPjWA.net
>>931
ありがとう。しかしよくわからないのでVisual StudioとかWindows SDKとかたくさん
入れてみるもorcaが見当たらず。まだまだ先は長そうです。まさか
Windowsやinitiator側で苦労するとは思わなかった…
>>932
solarisはopensmが動かないのが痛恨。
992:不明なデバイスさん
16/02/04 18:16:28.89 KxpO74Mr.net
>>931
orcaでLaunchConditionの(VersionNT=601) [ProductName] requires Widnows 7 or Server 2008 R2 to install.をdrop row してインストール試みました。
Windows 7 or Windows 2012 R2うんぬんというエラーは出なくなりましたが
OpenFabrics Enterprise Distribution v3.2 (GA) x64 Setup Wizard ended prematurely
と出てインストール中断します。何を調べればいいですか？
993:不明なデバイスさん
16/02/06 14:18:24.04 Lzj5wgzL.net
だとするとWinOF-3.2とWin10ではだめなのかもしれん。
994:不明なデバイスさん
16/02/06 14:24:29.05 Lzj5wgzL.net
そういやConnectX-2ならMLNX_OFEDのちょい古い版とかでいいん�
995:ｶゃない？ SRPがだめなんだっけ？
996:不明なデバイスさん
16/02/07 22:50:56.47 SwdVZWY/.net
ConnectX-3をゲットした
SR-IOVを使ってみたけどゲストの2012R2で動かん
VirtualFunctionEthernetAdapterは認識はするけど
ドライバがだめっぽい
ちなみにホストはproxmox(debian8.3)なんだが
ゲストがdebian8.3なら動作した
WinOFの更新待ちかな
997:不明なデバイスさん
16/05/03 23:53:36.96 yTn19sKj.net
どっかに落ちてないかな
998:不明なデバイスさん
16/05/04 01:22:40.71 GYC3vzdJ.net
うーむ、やっぱりqdrケーブルだと56gbeでリンクしないか
あとConnectX3は公式ファームじゃないと56gbeでリンクしてくれない
しかしOEM用のファームはなぜ公式と設定が違うのだろうか
999:不明なデバイスさん
16/05/12 10:04:19.31 ESzPQ74C.net
gbeなのか？
FDRとかFDR10とかブランディングで制限かけてるだけだったり＆混乱してるからかもしれない。＞56Gbps
1000:不明なデバイスさん
16/11/11 17:32:42.02 hTPjvsQf.net
voltaire 4036がオクに出てる。なんかファンのところによごれ見えるけど。
ちなみにクソ五月蠅いよ。当たり前のことだけど書き込んでみました。
1001:不明なデバイスさん
16/11/13 21:10:04.80 rTm+feMM.net
KVM環境でSRIOVがまともに動くようになってるな
56GB x2 portのsmb directが物理仮想間でちゃんと動く
1002:不明なデバイスさん
16/11/25 10:21:22.45 +llrVi8C.net
URLﾘﾝｸ(itpro.nikkeibp.co.jp)
1003:不明なデバイスさん
17/04/01 23:48:24.97 iTocyRPe.net
うーん、OpenSM起動しない・・・
1004:不明なデバイスさん
17/04/15 12:31:50.40 OmvYEFzt.net
久々にやってきたけど、このスレまだ続いてたんだ。
うれしかったので、ネタ投下。
ConnextX-3のMCX354A-FCBTのOEM版使ってる人は自己責任だけど、Mellanox版のものに変更できるよ。
URLﾘﾝｸ(forums.servethehome.com)
OEM版だと40GbE制限あったけど、上記の書換した後は56GbEがちゃんと出てきた。
>942
見られてないと思うけど、56GBx2ってIBでしょうか?
自分のKVM環境だとWindows 2012R2 の仮想マシンのEtherでSMB Directが動かないっす。
IBの方だと、SMB Direct動いてるんですが。
>944
環境書いてくれたら、ヘルプできるならするよー
1005:不明なデバイスさん
17/04/15 19:48:11.64 OVyYBDwU.net
知人からコネクトx2を何枚かタダで貰ったんですけど（背面シールにはMHQH19B-XTR Rev.A1）
コネクトx2ってうるおぼえですがファームを入れ替えて10GbEとしても使えたように記憶しています
WIN-WIN間のファイル共有が高速になってくれれば十分なんですが、インフィニットバンドとして
使うのと10GbEで使うのはどっちがいいんでしょうか？
スイッチとかは無いので2台のマシンを直結の予定です
1006:不明なデバイスさん
17/04/15 20:58:35.12 OmvYEFzt.net
>946
その型番なら、ファーム入れ替えしなくても10GbEで使えるよ。
あと、使ってるWindowsがServer系か10とか8.1とかProとかHomeとかで違ってくるので、
いまの情報だと、どっちが良いかは言えないかな。
楽なのは、10GbEとして使うのが楽だと思う。
Windows Server 2012以降とWindows10Enterpriseで、ストレージが1GB/s以上でるなら
インフィニバンドでの接続を薦める。
1007:不明なデバイスさん
17/04/16 14:26:43.77 yo3fUb6X.net
SGIのNUMAのように、InfiniBandで接続した複数のノードを1台の仮想的なSMPマシンに見せかけるソリューションはありませんか？
1008:不明なデバイスさん
17/04/16 15:17:37.33 UC4qbPkZ.net
>>946 ブツがタダで流れてくるなんて羨ましいなぁ ファイル共有なら10GbEで使うのが普通っぽいけど インフィニにした場合共有形態はどうなるんだ？
1010:不明なデバイスさん
17/04/16 17:07:01.76 Knr7cwku.net
>>949
ConnectX2だと、WinでRDMA使えん気がしたので、
SMB Directは無理。
そうすると、IPoIBでCIFSしか無いのでは。
1011:不明なデバイスさん
17/04/16 17:17:30.63 LLNX3LoS.net
ファームのバージョン上げればConnectX2でもリモートDMA使えたと思ったが
最新の2.9.1000なら使えたような気が
1012:不明なデバイスさん
17/04/16 17:36:41.01 zPRwP/lp.net
>950
確か、WinOFの4.70辺りのFirm当てたらRDMA使えるようになるはず。
質問者のカードだと多分いけるけど、MHZH29B-XTRはダメだった。
MHQH29B-XTRは行けたけど。
1013:不明なデバイスさん
17/04/16 22:12:50.09 zxlDdvEW.net
>>948
ないと思う。openMPIなりでセコセコ書くしかないかと。
1014:不明なデバイスさん
17/04/16 22:20:14.42 zxlDdvEW.net
そういやopenmpのほうはInfinibandに載るのかな？そんなライブラリがofedにあったようななかったような。
載るならMPIを意識せずに書けるね。遅いだろうけど。
1015:不明なデバイスさん
17/05/20 08:55:03.46 99THfoCe.net
Mellanoxのカスタムファームウェアダウンロードするページ無くなった？
oemに純正のあたるのかなぁ
1016:不明なデバイスさん
17/05/23 00:14:15.01 tZy0OIh6.net
>>955
ちょっとこれちょっと気になりますねー
気になりますねー、これ。ちょっと気になりますねー
最近OEMのConnectX-2を買ったところなので私、すごく気になります
1017:不明なデバイスさん
17/05/25 09:12:19.18 1Y7WW9R+.net
HPのconnectX3買って56G対応のケーブル付けたらOEMファームでも56Gでリンクした。IBMブランドの00D9552は公式ファームにしても40Gのリンクだった。残念。
1018:不明なデバイスさん
17/05/25 09:20:43.91 qm5PyFC4.net
俺の使ってるHPのはデフォだとだめだったな
カスタムファームウェアで56G用のリンク設定書き込んだらいけた
1019:945
17/05/26 03:38:59.84 IShtCY/1.net
>955
自分が書いた時点では､まだカスタムファームは
URLﾘﾝｸ(www.mellanox.com)
のページから落とせたけど､今確認すると無くなってるね｡
(こっそりみたいな感じでカスタムファームへのリンクあったんだけど)
カスタムファームはSTHのページからのリンクからは落とせるからそっちから落とすしかないかな｡
URLﾘﾝｸ(www.mellanox.com)
は､まだ落とせるからこっちから落として､一回純正PSIDへ書換しやってやる必要がある｡
flind -d /dev/mst/mt4099_pci_cr0 q
で､PSIDがMT_1090120019(これ多分カードによるので注意) に書き換わってたら､
あとは､LinuxのMLNX_OFEDでFWバージョンアップしてやったら､最新のFWに書き換わってた｡
これは､あくまで自分でやって成功した事例なので､参考までに｡
>957
OEM先によっていけたりいけなかったりするのね｡
参考になりました｡
>958
HPでも駄目なやつあるんだ｡
自分でも､純正のカードとHPのOEMカードで設定の比較してみたけど､かなり違うよね｡
純正はConnectX3-rel-2_40_5030.tgz ベースで比較したけど､HPの設定項目が少なくて
えらい純正と差を付けてるなーと思った｡
HPのカードで､純正書換いけたカードリビジョン見てみるよ｡
カードのリビジョンによってはいけたりいけなかったり有るかもしれないので｡
1020:不明なデバイスさん
17/11/02 08:11:37.71 kRAC/zqA.net
MLNX OFED 4.2やっと公開か
これでDebian9に入れられる
1021:不明なデバイスさん
17/11/03 14:53:15.67 zCiqPSUt.net
インフィニットバンドはケーブルが太すぎて取り回しがえらい
１０Ｇベースに走ってしまうわ
1022:不明なデバイスさん
17/11/03 16
1023::08:33.38 ID:GK+LHFGv.net
1024:不明なデバイスさん
17/11/04 01:59:47.42 lzNs/RaI.net
そういうわざとやってるかまってちゃんは黙殺推奨
1025:不明なデバイスさん
18/01/01 19:09:25.80 zbLcFcaT.net
興味がある人だけどうぞ。ネット小遣い稼ぎ方法など。
グーグル検索⇒『工藤のジョウノウノウ』
YEDQIKDYF4
1026:不明なデバイスさん
18/01/02 17:25:56.18 sXYqtjyB.net
インフィニ
1027:不明なデバイスさん
18/07/05 10:22:59.50 to6k2B8a.net
友達から教えてもらった自宅で稼げる方法
興味がある人はどうぞ
検索してみよう『ネットで稼ぐ方法 モニアレフヌノ』
CQR
1028:不明なデバイスさん
18/08/26 04:07:04.19 heIPyWlT.net
いくらなんでも寂れすぎ
1029:不明なデバイスさん
18/09/07 13:23:43.46 aZGDeoGt.net
個人ではうるさすぎるからねー。
1030:不明なデバイスさん
18/09/07 23:31:49.96 GqBleuM5.net
うるさい？何が？何がうるさいの？うるさいって？
何がうるさいの？うるさいって何が？
1031:不明なデバイスさん
18/09/08 00:34:37.02 zWil2rKR.net
突っ込み待ちですねわかります
1032:不明なデバイスさん
19/03/22 11:05:15.24 LpimGuu9.net
うぉーメラがNVidiaに買われたのか。
nvlinkのコンシューマ向けスイッチとかストレージプロトコル出るかな？
1033:不明なデバイスさん
20/04/28 16:36:38 mCinIjGf.net
>>971
4/27に買収完了とのこと
1034:不明なデバイスさん
20/07/16 06:05:14.50 H5zyA0En.net
MCX354A-FCCTを3枚買ったった
使い道はこれから考える
1035:不明なデバイスさん
20/07/23 11:34:36.79 qjtssT8w.net
qsfp+ を導入したいと考えています。候補はQLOGIC 12200-18 です
Netgear の 1g sfp switch は持っているのですが、
ブレイクアウトケーブルを用いて、通信できるのでしょうか？
1036:不明なデバイスさん
20/07/24 15:39:28.67 j5WNnXP/.net
ブレイクアウトで分岐したSFP+をSFPポートに挿して動くかどうか？
それダメなヤツ。
URLﾘﾝｸ(community.fs.com)
1037:974
20/07/25 09:01:03.13 zoGUVFRJ.net
レスありがとうございます
Router が無いと swithing hub が使えない者です
RJ45 と qsfp+ を接続するにはどうすればいいんでしょうか？
CRS305 とトランシーバーを用いて stack させれば通信出来るのでしょうか？
1038:不明なデバイスさん
20/07/25 11:36:29.52 9DYL8FuT.net
>>976
とりあえず、qsfp+でrj45を使いたいならqsfp+からsfp+に変換するアダプタ挿してrj45モジュールを挿せばいいかと。
で、QLOGIC 12200-18ってinfinibandのSWだと思うんだけど、これってcrs305とかと接続できないじゃない？
mellanoxのnicみたいにinfinibandとetherのモード切り替えとかないですよね。
1039:974
20/07/25 12:22:25.18 zoGUVFRJ.net
レスありがとうございます
infiniband 初心者で良く分かってませんでした
Mellanox MIS5023Q-1BFR ならqsfp+変換アダプタかまして通信できますでしょうか？
1040:不明なデバイスさん
20/07/25 13:22:33.65 9DYL8FuT.net
>>977
ebayあたりで安い中古探して40G環境作ろうとしてる？
とりあえず直結から始めたら？
1041:974
20/07/25 13:40:02.34 zoGUVFRJ.net
そうです。
使う環境は、Windows,ESXi,NAS なのでswitch が欲しいです
1042:不明なデバイスさん
20/07/25 14:34:56.58 9DYL8FuT.net
>>980
それらが各1台ずつで40G接続したいのがwindows-esxi間だけならsw無くても直結でいいだろ
ブロードバンドルー�
1043:^ | 192.168.0.0/24 ESXi(仮想ルータ) | 192.168.1.0/24 windows 上記構成でブロードバンドルータにwindowsに対するルーティングを仮想ルータ宛に書けばいい。 esxi上の仮想ルータはなんでも良くて面倒ならwindowsでもrouting and remote accessを有効にすればいい。 これでnasをブロードバンドルータに接続すればokかと。 そもそもESXiっていったらドライバあるの？から始まるわけだがその辺は大丈夫なのか？
1044:974
20/07/25 16:49:21.11 zoGUVFRJ.net
その辺は調べました
ESXi は公式にサポートされています、FreeNASは動かしている人がいるようです
NAS の速度を主に改善したいと考え、懸案しています。
いずれはiSCSIで接続しようとしています。
1045:不明なデバイスさん
20/07/25 17:08:29.64 9DYL8FuT.net
うーん…
サポートされてるってカードのことだよね？
mellanoxだとは思うけどそれをinfinibandとして使うのか、イーサネットで使うのか？だな。
mellanoxでESXiのHCL確認するとenドライバ(イーサネットドライバ)しか出てこないと思うんだが…
イーサネットドライバ使う前提ならinfinibandスイッチは使わないかと。
1046:974
20/07/25 17:18:12.72 zoGUVFRJ.net
大人しく 10G sfp+ LAN にしといたほうが無難ですかね？
1047:不明なデバイスさん
20/07/25 18:16:01.82 9DYL8FuT.net
infinibandを使いたいなら、それって何？くらいは調べないと。
wikipediaでも「非常に高いRAS（信頼性・可用性・保守性）を持つ基幹系・HPC系のサーバ/クラスター用高速I/Oバスアーキテクチャ及びインターコネクトのこと。」とある。
インターコネクト用なんだから内部接続にしか使えないだろ。
逆に内部接続を高速化したいならアリかと。
ま、10G SFP+で問題ないならそっちの方がいいだろね。
1048:974
20/07/25 19:31:32.51 zoGUVFRJ.net
欲しいカードは消費電力を考えて、Connetx-3 or AQC107 なんだけども
cost のことも考えて、アドバイス通り
infiniband で直結してみます。
1049:不明なデバイスさん
20/07/25 20:10:21.09 9DYL8FuT.net
>>986
まだ選択肢があって10Gでいいなら普通にイーサネットカードでよくね？
この辺とDACで安くできるだろ
URLﾘﾝｸ(www.ebay.com)
sw買うにしてもmikrotekで安くあるからな
完全にスレチで申し訳ない
1050:974
20/07/25 20:32:44.93 zoGUVFRJ.net
長々とお付き合いいただきありがとうございました。
それを買わせて頂きます
1051:不明なデバイスさん
20/08/12 11:37:03.64 yjd493KF.net
FDRの環境を仮構築した。
接続が速くなると、内部ストレージと外部ストレージの境目が曖昧になるね。
こりゃ楽しい。
使い道もなしに買ったけれど、これで一年くらい楽しめそうだ。
1052:989
20/08/13 10:20:50.83 /5TtSDc8.net
自動メトリックが効いていないのか1000BASE-Tで接続する時がある
手動設定しないとダメかな
2ndポートがactiveにならない問題もあるし、サブネットマネージャーの挙動は怪しいし、HCAは発熱激しいしホント楽しい
現在、IPoIBで実効速度は14Gbpsが限界
ボトルネック探しもしないといけない
皆さんは、実効速度はどのくらい出てらっしゃいますか？
1053:不明なデバイスさん
20/08/13 15:15:48.94 llFoqrdY.net
infinibandではなくてスレチかもしれんがrdma繋がりということで。
こちらは2秒間隔での瞬間値でこんな感じ
読込36.9Gbps
書込32.3Gbps
connectx 4/4 lxをQSF+で直結、ストレージはGen4NVMeの�
1054:痰ﾌやつ。 ファイルサーバはwindows server 2019でクライアントはwin10 シーケンシャルについてはローカルとほぼ同等の速度がでていて動画編集とかはかなり快適な感じです。 https://i.imgur.com/N7xhbaB.png
1055:不明なデバイスさん
20/08/13 17:46:17.37 AizG8fax.net
おおおシーケンシャルならRWとも4000Mbyte/s超えますか
ネットワーク越しとは思えない爆速
ちなみにストレージはGen4NVMeの例のやつが思い当たらない
メーカーどこですか？
1056:不明なデバイスさん
20/08/13 18:10:55.19 gCQnUpTu.net
>>990
ConnectX2直結のIPoIBでiperf 30gbpsとか出てた記憶。(FreeBSD)
取り合えずCPUの省電力系の機能全OFFから確認。
CPUが熱いとかアイドル時の電気食い過ぎとか、全部無視すること。
両立出来ないので。
CPUはSandyクラスなら通信自体は実効値の限界は行くはず。
後はサービス側がどこまで頑張れるか。
1057:不明なデバイスさん
20/08/13 19:45:28.27 llFoqrdY.net
>>992
今gen4.0のnvmeって一種類しかないよ。
ウチはcssd-m2b1tpg3vnf
>>993
ethernetの限界か、rdmaなしだと全然性能でない。
改めてiperf3やってみたけど7～10Gbpsくらいしかでない。
まあsmbが早ければ困らないからいいんだけど。
1058:不明なデバイスさん
20/10/14 22:03:32.16 O3oKuxs0.net
羅津
1059:不明なデバイスさん
20/10/14 22:03:55.31 O3oKuxs0.net
民意
1060:不明なデバイスさん
20/10/14 22:04:21.97 O3oKuxs0.net
偵察
1061:不明なデバイスさん
20/10/14 22:04:49.94 O3oKuxs0.net
横山緑地
1062:不明なデバイスさん
20/10/14 22:05:31.90 O3oKuxs0.net
腕白
1063:不明なデバイスさん
20/10/14 22:05:52.05 O3oKuxs0.net
なんでも実況Jまでおいでませ！
1064:1001
Over 1000 Thread.net
このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 3438日 23時間 40分 16秒
1065:過去ログ ★
[過去ログ]
■ このスレッドは過去ログ倉庫に格納されています