11/10/07 21:23:33.74 BJUPjlLf.net
ひとまず＞１６６のおかげでOpenIndiana＋napp-itで
SRP Targetの構築はできたけどWindows側のSRP InitiatorのIDの見方が不明
HostGroupとTargetGroupで接続制御したいので、HostのInitiatorIDが確認
できたらなぁと、何かしらのコマンドで見れるのかしら？
eui.xxxx の形式なんだろうけど情報がない＞
201:＜ もしかして、Target作ったときのIDと同じ？ （同じサーバでOS入れ替えて同じカード確認しているので） わかる人おりますか？ カード：InfinihostⅢEx DualPort OS:Windows2008R2 WinOF:Ver2.3 SRP Driver導入済み
202:不明なデバイスさん
11/10/07 21:52:15.20 HxWg2i0P.net
>>194
Windows側じゃなくて、OpenIndiana側で良ければ
# stmfadm list-target -v
で、接続しているデバイスは解ると思う。
多分、eui.xxxxxのxxxx部分は、Windows側のNode GUIDじゃないかな？
windows 側から確認したったら、ibstatコマンド叩いて確認すれば解るよ。
0ｘ1234567890123456 形式で表示されるので。
203:不明なデバイスさん
11/10/08 15:03:48.47 d+p2xxZ/.net
Fibre channel のスレ無いのでこのスレでおｋ？
ストレージサーバー5台ぐらいとクライアント(GbE)100台ぐらいをつなぐのに Fibre channel を
考えてるんだけど最近 FCoE を知りました。
FCoE カードがついたストレージサーバーとFC＋CEEのスイッチさえあれば簡単に構築出来るの？
204:不明なデバイスさん
11/10/08 15:28:34.73 S6UWp2fC.net
どう考えてもスレチ
まだSCSIスレの方がマシだと思うが、それでもスレチ認定だろうな
205:不明なデバイスさん
11/10/08 21:32:31.11 GfdeDDww.net
>>196
FCoEなら、こっちのが良いかな
ｽﾚﾘﾝｸ(hard板)
206:196
11/10/09 00:47:35.70 egi+JrWx.net
>>197
スマン
でもFCスレって無いんだよなあ
>>198
ありがとう
そちらのスレにポストしてみるよ
207:不明なデバイスさん
11/10/09 15:44:57.09 QU9miVLk.net
>196 ﾃﾗｶﾜｲｿｽ（´・ω・）
563 : 不明なデバイスさん : 2011/10/09(日) 00:47:47.79 ID:egi+JrWx
Fibre channel のスレ無いのでこのスレでおｋ？
564 : 不明なデバイスさん : sage : 2011/10/09(日) 15:36:54.47 ID:cAvJgjP0
>>563
おｋじゃないので、お帰りください
208:不明なデバイスさん
11/10/09 16:39:33.92 0roytR2h.net
メーカー依存話だったら通信技術のメーカースレでやれば良いとは思うがそうでもなさそうだしな
209:anonymous
11/10/11 13:23:07.14 oPjvvx4y.net
FiberChannelのスレ、って昔みた気がするんだけど。通信技術板かな。
210:不明なデバイスさん
11/10/13 03:26:54.15 CT6+S7kD.net
SCST+SRP targetとかtgt(Linux SCSI target framework)+iSERとか試してみたい
けど中々時間が取れない・・・
211:不明なデバイスさん
11/10/13 11:47:00.71 5RgjVfbP.net
おおお
URLﾘﾝｸ(docs.redhat.com)
>>iSCSI extension for RDMA (iSER) initiator and target
>>iSER initiator and target is now fully supported.
>>Red Hat Enterprise Linux can now function as an iSCSI initiator
>>and storage server in production environments that use
>>InfiniBand and where high throughput and low latency are
>> key requirements.
212:不明なデバイスさん
11/10/23 18:35:14.87 Mgpu9bCC.net
Dual port な HCA を使って冗長構成を取ってる人っています？
資料を探しても Cisco のコンフィギュレーションガイドが出てくるばっかりで。
具体的には ConnectX を積んだ PC ２台を２本の線で直結して、IPoIB でネットワークを作ろうと思ってる。
このときに１本が断線しても通信が続いてくれるのが目標なんだけど・・・・・
213:不明なデバイスさん
11/10/23 23:14:33.00 LQaf9qNz.net
>>205
OSはなんでしょ？
LinuxだったらIPoIBのBondingの設定はMellanoxのマニュアルに載ってたけど。
WindowsやSolarisだとちょっと解らないです。
214:不明なデバイスさん
11/10/24 04:40:36.75 62XHfwnu.net
IBってBondingできるの？！
215:不明なデバイスさん
11/10/24 18:52:44.34 +eooRvaQ.net
>>207
自分はそこまで突っ込んでやってないけどIB自体の冗長構成も出来たはず。
206の話はあくまでIPoIBでの話っす。
ググったらでてきた。アルテマさんのところの資料だけど
URLﾘﾝｸ(www.altima.co.jp)
216:206
11/10/24 19:12:45.64 lzrwZgjB.net
>>206
ありがとうございますー！
本当は Open Indiana 同士がいいんだけど、SM をどうしようもないんで
片一方は Linux の予定です。
確かに改めて調べてみたら IPoIB だと Bonding をサポートしてるという話が
ちらちら出てきたので、それを切り口に、もう少し探し回ってみようと思います。
なんか出てきたら報告しますねー
217:不明なデバイスさん
11/10/24 20:46:22.12 +eooRvaQ.net
>>209
OpenIndianaでも多分IPoIBのBondingは出来るんじゃないかな。
その辺できるようにIPoIBのドライバに大分手が入ってるから。
うちはNexentaCoreなのでその恩恵には預かれないけどｗ
218:不明なデバイスさん
11/10/24 21:46:52.65 +eooRvaQ.net
210に追加
URLﾘﾝｸ(download.oracle.com)
を見る限りSolaris11系だと、IPMPでは動くみたいですね。
219:不明なデバイスさん
11/10/30 21:16:46.77 cjjsNR0s.net
WinOF 3.0-RC1 出てるね。
IPoIBがConnected Modeが正式にサポートされてる。
これでWindowsのIPoIBの速度が上がるかな
220:不明なデバイスさん
11/10/30 22:45:55.96 SbwOU+6u.net
Solaris系OSでSRP targetが試してみたくてMHGA28-1TCをポチってしまった。
後悔はしていない。LowProfileのブラケットしか付いていないので送料込み
で90ドル。この瞬間だけは超円高ﾏﾝｾｰ
とりあえず簡単にNexentastorを試したい
221:不明なデバイスさん
11/10/31 00:22:45.24 UoieX4Kj.net
>>213
NexentaStoreだとSRPはWebGUI上から触れないよ
それがあってNexentaCoreにした
222:不明なデバイスさん
11/11/04 02:31:58.35 nUkUdMrc.net
あ、あれ？
FreeBSD-9.0RC1でMHGA28-XTCを認識しない。。。
どういうことなんだ？キバヤシ
223:不明なデバイスさん
11/11/04 10:10:04.86 KuHYChLX.net
>>215
過去に自分がFreeBSD 9.0-current(5月くらいかな)で試したときは、
自分が持ってるInfiniHost系は全滅でした。
当時はConnectX系持ってなかったのでテストできなかったんですが、
移植された方はConnectXのENモードで使ってるっぽい記述を見た記憶があるので、
近々、ConnectXでFreeBSD 9.0に再度チャレンジしてみます。
しかし、ドキュメントが全くないのでどういう状況なのかが全く分からないんですよね
224:不明なデバイスさん
11/11/04 10:50:05.61 w8qmjF1B.net
ソース真理教。
225:不明なデバイスさん
11/11/07 23:25:03.50 mBSUlx73.net
InfiniBand 全然知らないんだけど自宅でクライアント5台とIBを使った鯖をつないでみたい。
ものすごいスピードでIBの鯖のRAIDにアクセスしたい
クライアント達はGbEのハブでつながってるんだけど何があればIBを使った鯖をつなげるんだ？
このスレよんでると10GbEより安くてパフォーマンスがいいんだよね
226:不明なデバイスさん
11/11/08 03:11:48.63 wSYBbrGm.net
>>218
InfiniBandでその台数を繋ぎたかったら、スイッチが必須かも。
ちなみに、
227:iSCSIで接続とかSMBで接続って事だったら、無茶苦茶には速度上がらない。 うちだと、iSCSIで接続すると、シーケンシャルのReadが220MB/s Writeが120MB/sくらい。 SMBは試してないので不明。過去ログ読むと出てるけど。 ・クライアントとサーバにIBのHCAカード。 ・IBスイッチ ・スイッチとクライアント・サーバを接続するケーブル ってことろかな？ サーバのOSとかクライアントのOS書いてもらえるともう少し突っ込んだ内容がかけるけど。 10GbEで5台以上接続するとなると、比較的高価なスイッチが必須。カード自体はそこそこのお値段かな。 IBだと、カードがヤフオクで8k円くらい(これもピンキリだが)、スイッチが3万で今は出てるね。 あと、ケーブルは欲しい長さの物があればヤフオクなりで。 ちなみに、個人的に検証したときはTCP/IPのパフォーマンスは、IBより10GbEのが1Gb/sくらい良かった。
228:不明なデバイスさん
11/11/08 13:02:59.07 9HdOCYcY.net
>>219
両方とも Linux (CentOS) です。
>ちなみに、個人的に検証したときはTCP/IPのパフォーマンスは、IBより10GbEのが1Gb/sくらい良かった。
これが気になったんですがIBじゃなくて10GbEで接続した方が管理もスピードも楽って事ですか？
SubnetManager も必要ないし・・・。
229:不明なデバイスさん
11/11/08 14:52:59.02 gi2tiSuM.net
IPoIB が 10GbE より優れてる点はコストぐらいじゃないかな
10G以上で繋ぎたいとか、IP以外(NFS/iSCSI)でも使いたいというときに、
はじめてコスト以外のメリットがあると思う。
ちなみに、今日から（だったっけ？）サービスが始まる
「さくらのクラウド」もIB使ってるらしい。
「さくらのクラウド」を例に見るネットワーク仮想化の設計と実装 ? さくらインターネット研究所
URLﾘﾝｸ(research.sakura.ad.jp)
# 資料の P.51～ IB 利用について説明
さくらは @IT とかの記事も書いてたから、かなり IB に
力入れてる印象があるから、あえて使ったのかもしれないが
230:不明なデバイスさん
11/11/08 17:09:31.11 VtaymO8o.net
>>220
219だけど、スピードはSDR(10Gb)接続の場合の話ね。
ConneｃｔX系使って、DDR(20Gb)で接続するとIPoIBの方がパフォーマンス出たよ。
接続は、Solaris Express 11 と Windows 2008 R2 とで900MB/sくらい出た。
Windows側のOFEDは3.0-rc1使ってCMをonにしてる状態だけど。
個人的な意見だけど、一対一だと10GbEの方が楽だと思う。
これが複数の接続になるとコスト的にはIBに軍配上がるかな。
10GbEでフルスループット出るSwitchって、IB Switchに比べると倍以上違うので。
221さんが言われてるに自分も同意です。
>>221
さくらさんの場合は、ConnectX系使ってEoIBまで使ってるのが大きいかと。従来の
Etehrnet部分もIBに全部集約してるので、ケーブリングが単純になるのが大きいんで
しょうね。確かにストレージ系ネットワークもEthernetネットワークも全部IB上で集約する
ってのは合理的だなーと思います。
231:不明なデバイスさん
11/11/08 23:01:08.89 Y+Qguiin.net
また聞きだけど、さくら のストレージはIPoIBのNFSという話を聞いた。
232:不明なデバイスさん
11/11/09 10:30:22.48 /k5Q3TVO.net
>ちなみに、個人的に検証したときはTCP/IPのパフォーマンスは、IBより10GbEのが1Gb/sくらい良かった。
あれ、ベアラスピードは10GBeは10Gbpsだけど、SDRは8Gbpsじゃなかったっけ？
ひょっとしたらIBのほうがプロトコル効率いいのか？？
233:不明なデバイスさん
11/11/09 11:43:23.89 wiWuojdl.net
某オクのCisco IBスイッチ
Paswd解除してやろうと思ったらデフォのままだった…
ちなみに↓のマニュアルの方法でリセットできるようだ
URLﾘﾝｸ(www.redbooks.ibm.com)
234:不明なデバイスさん
11/11/10 00:48:25.32 M1ZsPNQU.net
>>223 ほうほう、ってことはrNFS使ってるっぽいですね。 >>224 ベアラスピードは書かれてる通りですね。 計測したときは片側がWindowsだったんだけど、当時はConnected Mode対応じゃなかったので 余計に遅かったのもあるかも。手元の環境でIPoIBをiperf使ってチェックしてみたら、現状はこのくらいでてますね。 ちなみにLinux(Sientific6.1) - Solaris Express 11をDDRスイッチかまして接続してる状態です。 ------------------------------------------------------------ Client connecting to 192.168.17.7, TCP port 5001 TCP window size: 193 KByte (default) ------------------------------------------------------------ [ 3] local 192.168.17.241 port 60775 connected with 192.168.17.7 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0-10.0 sec 11.5 GBytes 9.90 Gbits/sec 某オクでCiscoIBスイッチ落札された方向けネタを一つ。 最新のSFS-7000系のTopspinOSは、IBMからおとせれますよーっと。
236:225
11/11/10 01:18:17.69 A9d72Ii/.net
>>226
あんがとー
TopspinOS Release 2.9.0 Update 2 が最新かな？
既にそのVerのようでした
速度についてはレイテンシとオーバーヘッドの点でIBが優位ってとこなんでしょうかね
俺も早く試したいけど、まだHCAが1枚もない・・・
237:不明なデバイスさん
11/11/10 01:53:04.67 M1ZsPNQU.net
>>227
ありゃ、最新ですか。
うちで確認したところ、
OS loaded is TopspinOS 2.9.0 releng #170 06/26/2007 16:40:42
で最新な筈です。
DDRだったら10GbEとほぼ変らないスピード出ると思います。
Windows(WinOF 3.0-RC1) - Solaris Express 11(OS標準ドライバ)のIPoIBで900MB/sはでてますから。
ただ、DDRのカードの出物が少ないのでちょっと手に入れるのが大変かも。
SDRのカードだったらそれなりにオクに出てるんですが・・・。
238:不明なデバイスさん
11/11/10 02:28:42.29 A9d72Ii/.net
ふぅ。ラックにマウント完了・・・
>>228
レス恐縮です。
IPoIBで900MB/sなら10GbEと比べて遜色ないですね
DDRカードが欲しいのでeBay漁ってみようと思います
ちなみに、*BSDなZFS Storage(OS用)とESXiのIB接続、
別筺体のZFS Storage(ファイル鯖)とESXi GuestやClientPCの接続を考えてます。
前者は単にIB Switch<->HCAで良いと思うのですが、
後者はStorageServerに10GbE NICとHCAを挿して、ClientPCは10GbE UplinkがあるGbEエッジスイッチ経由、
ESXi GuestはHCA経由での接続が安上がりかなーと思ってます
IBド素人ながら、はてなさんの構成が激しく気になります
239:不明なデバイスさん
11/11/10 02:34:12.70 A9d72Ii/.net
はてなじゃないや、さくらたんだ。失礼しました。
240:不明なデバイスさん
11/11/10 06:48:37.62 YOghaSxJ.net
はてなたんってDQ45CBのまな板とか並べてたんじゃなかったっけ？
石狩のアレがそう（ブレードじゃない）ならちょっと笑う。
DDRといえばqlogicの9000 DDRがオクに安価で出てるけど、さすがに１枚目はメラのほうがいいだろーなー。
241:不明なデバイスさん
11/11/10 07:12:02.87 dQvOBEfS.net
Solaris 11が正式リリースされたよー
URLﾘﾝｸ(www.oracle.com)
242:不明なデバイスさん
11/11/10 09:17:57.94 M1ZsPNQU.net
>>229
*BSDでの動作って、今のところ移植された方のBlog見るとConnectX系でそれもETHモードでの動作だけな気がします。
近々、ConnectX積んだPCが空くのでそっちでFreeBSD 9.0をテストしてみる予定ですが。
FreeBSDのInfiniBandの移植ってLinuxKernelの必要なSystemCallをFreeBSDのSystemCallに置き換える層を
作って移植してるんですな。ソース見てて知りました。
>>231
ちょっと前に、ITmedi
243:aかなんかでさくらさんとはてなさんの対談が載ってたけど、はてなさん最近はメーカーもののサーバ使う ようになってるって話が出てた気がします。 Qlogicは、自分持ってないのではっきり言えないんですが、QlogicサイトのWebで見てるとWindowsとLinuxのみのサポート みたいですね。最新のQDRの物に関しては今のところLinuxのみのサポートみたいで。Windowsにも移植中ってのはOFED のML見てると書いてありましたが、WinOF3.0に間に合わないかも的なメールが流れてました。 >>232 情報ありがとうございます。 早速ダウンロードしました。仕事終わったら早速インストールしてみますｗ
244:不明なデバイスさん
11/11/10 15:36:02.46 lB6LKqjO.net
>>229
個人的な意見ですけど、DDRで揃えられるつもりなら、InfiniHost系よりもConnectX系をお勧めします。
それもConnectX系でもQSFPのポート方で。CX4のポートのもの(MHGH系)はサポート終了みたいなので。
OEM物でも、自己責任で最新ファームに書き換えできるようになってるので、安ければそれで。
ebayだったら出物がそれなりにあるので、根気よく探せば格安で手に入ると思います。
6月くらいまでは、refurbishedのConnectXが大量に流れてたんですが売れちゃったみたいで、最近はぼつぼつ出てる感じです。
あと、QSFP-CX4のケーブルが意外と値段しますので、その辺りをトータルで見ながら購入されるのがよろしいかと
245:不明なデバイスさん
11/11/10 17:55:16.13 YOghaSxJ.net
でもお高いんでしょう？
246:不明なデバイスさん
11/11/10 21:05:13.98 M1ZsPNQU.net
>>235
今ならなんと$65でって、その値段で先週まででてたんですけどねｗ
定期的に売りに出してる業者がいるからちょっと待てば$100くらいで出てくるかと。
在庫が200枚程あるからまとめ買い交渉受け付けるよって書いてましたが。
247:不明なデバイスさん
11/11/10 23:52:45.40 FSXMY8oa.net
IBoE に対応したスイッチって高いの？
IBoE と GbE を使った鯖、クライアントを混在させたいんだ
248:不明なデバイスさん
11/11/11 00:18:05.51 Xwcef8hc.net
>>237
GbEだったら安い中古のあるんじゃないかな。
eBayで何回か見かけた事ある。
10GbEになると、現行のBridgeXになるから100万越えになっちゃうけど。
249:不明なデバイスさん
11/11/11 00:34:24.53 Buer1oZq.net
>>238
スイッチ自体がGbEまでしか対応してないと IBoE もGiga止まりですよね？
そうなると困るのでせめて IBoE だけは 10GbE でつなげるようなスイッチって無いんですかね？
250:不明なデバイスさん
11/11/11 01:35:28.57 Xwcef8hc.net
>>239
残念ながら、EoIB、FCoIB等のプロトコル変換出来る機械は安いのがないんですよ。
古いものだと238であげたように、GbEしかついてないですし。
LinuxとかでEoIB-10GbEのGatewayが簡単に作れればいいんですけど、
現状ではそういう風になってないんですよね。
あと、EoIBを喋らせようと思うと現状ではEoIBを理解できるGatewayがいないと設定すら
出来ないと思います。ここら辺は、自分も勉強不足なので間違ってるかもしれません。
参考までに、現行品で挙げますが
URLﾘﾝｸ(www.xsigo.co.jp)
URLﾘﾝｸ(www.mellanox.com)
どちらも個人で買えるような代物ではないですね・・・
251:不明なデバイスさん
11/11/11 06:44:38.15 xvd3rYLC.net
>>240
ifをbridgeすればいいんじゃない？ linuxならbrctl addif br0 eth0 eth1みたいに。
ただ、スループットは期待できないと思う。貧乏人のルータ、ってやつですな。
>>236
やっす。 connectXは10GBeにもなるからなあ。
252:不明なデバイスさん
11/11/11 17:11:42.8
253:4 ID:0f3BvgVE.net
254:不明なデバイスさん
11/11/11 17:26:49.47 xvd3rYLC.net
IBoEとEoIBで話がかみあってない気が。
いずれにせよ３桁万円コースだと思うけど。
255:不明なデバイスさん
11/11/11 22:52:14.60 Xwcef8hc.net
>>241
IPoIB - 10GbEのルータは作ってみるつもりです。
間違い無くフルレートは出ないでしょうけどｗ
オークション形式で出てるので、実際はもっと上がる可能性ありますけど、
それでも安いとは思います。普通だと$300くらいからスタートなので・・・
>>242
あー、ごめんなさい。勝手にEoIBと勘違いしてました。
ちょっと調べてみたところIBoE対応製品って比較的最近の物しかないかと思います。
CiscoのNEXUS 5000系は対応してるみたいですが。ポート数が少ないもので
言われてるような機能を持った製品はまだ市場に出てないんではないかと思います。
>>243
ご指摘ありがとうございます。その通りでした(汗)
どちらにしろ、お値段は3桁万円コースですね。
256:不明なデバイスさん
11/11/12 08:57:59.40 JAZFyoDP.net
>>5
systemworks ってFCほとんどあつかってないし、ベンチもないな
なんでIBはやってFCはやらないんだろう・・・
257:不明なデバイスさん
11/11/12 12:18:25.71 hfBB53D+.net
今さらFCでなにするよ。
先進性のあるもの取り上げないと、面白くないしね。
258:不明なデバイスさん
11/11/12 16:12:20.13 JAZFyoDP.net
FCoE とかか？
259:不明なデバイスさん
11/11/12 20:51:33.87 61ogkybw.net
>>245
あそこはHPC屋さんだからFCは殆どやってないのではないかと。
260:不明なデバイスさん
11/11/12 20:57:32.87 oL/AVp5D.net
linux のブリッジだとCPUがネックでろくな性能出ないんじゃないか。
少し前はGbE でもギリギリだったが
261:不明なデバイスさん
11/11/12 21:33:31.95 8K8Rsbn/.net
ブリッジングなら(EoIB)、最近のPCIeならそこそこ性能出るんじゃないかと。でも2G～3Gbpsぐらいだろうけど。
ルーティングだと(IPoIB)、遅そう。
って実際にやってみればいいんだけど、PCIex8が2本以上あるようなマザーがねーよ。というかショッパイPCしかない。
262:不明なデバイスさん
11/11/12 21:48:14.04 JAZFyoDP.net
>>248
HPCだとネットワークはやらないのか・・・
ネットワーク屋ってのが別にあるのかな？
263:不明なデバイスさん
11/11/12 22:26:57.27 bWVzVMqr.net
HPCで計算機結ぶのにFCなんざ使う理由がない
FCの話がしたいなら他所へ行け
264:不明なデバイスさん
11/11/12 23:09:24.27 oNSrxNQT.net
ストレージとESXiホストそれぞれにDual portなIB HBAを付けて２本の線で２台を接続、
それぞれのリンクを
・ESXiホスト <-(SRP)-> ストレージ
・VMs <-(NFS, IPoIB)-> ストレージ
にして運用する、とかできるのかな
265:不明なデバイスさん
11/11/13 08:06:51.88 Yqxpy+ON.net
SRPだとストレージはsolaris系？
SM搭載スイッチかlinux or windowsでSM立てないとリンク上がらんよ。
266:不明なデバイスさん
11/11/13 19:04:49.47 TC+oayOa.net
はやくSolaris11系かESXi5系でOpenSMが動くといいんだけどなぁ
267:不明なデバイスさん
11/11/13 19:57:39.05 Yqxpy+ON.net
ESXiの設計では、おそらく出ないと思われる。
基本的にホストOSでアプリを動かすようにできてない。
Solaris系は、OF次第じゃないかな。
268:不明なデバイスさん
11/11/13 20:38:58.94 DqZ1whGS.net
>>253
ESXi は SRP に対応してない、というより IB デバイスに対応してないよ。
Mellanox + ESXi だと、Mellanox ドライバが Etherデバイス + FCデバイス にみせかけてくれる。
FCoIB で FCターゲット
IPoIB で NFS
の2択じゃないかな。
269:不明なデバイスさん
11/11/14 00:06:22.29 A3KUkwg6.net
>>253
254さんの言われてるように、ストレージがSolarisだと現状は無理ですね。
LinuxでされるならSCSTをSRP Targetに使えば可能です。
あと、ESXiは5系をつかうとなるとInfiniBand自体が使えないので注意です。
ドライバがまだMellanoxから出てないので。
>>255
FreeBSDも忘れないであげてくださいｗ
調べてみたら、ESXではOpenSM動いてたみたいですね。
ESXiだと256さんが言われてるように、アプリが動かせないので無理じゃないかなーと。
>>256
OFの出来はどうなんでしょうね？
Solaris11でOFEDからかなり移植してるので、コンパイルだけで動いたりしないかなー。
>>257
言われてるように、ESXiは標準ではInfiniBandとSRPとIPoIBには対応してないですね。
ただ、Mellanox配布のOFEDドライバを入れるとSRPとIPoIBのドライバも入るのでSRPは動作します。
実際うちではそれで動いてますから。
URLﾘﾝｸ(www.mellanox.com)
でマニュアルみるとプロトコルの対応状況が書いてあります。今のところFCoIBの対応はしてなかったかと思います。
あとは、rNFSとかも対応してないですね。かなり機能限定されてるドライバなので。
ちなみに書かれてるのって、VMWareのサイトで配ってる以下のMellanoxの10GbEのドライバの方でしょうか？
URLﾘﾝｸ(downloads.vmware.com)
こっちだと、書かれてる内容的に納得なんですが。
270:不明なデバイスさん
11/11/14 00:36:19.45 H+ydeSaH.net
>>258
ご指摘ありがとうございます。
> ちなみに書かれてるのって、VMWareのサイトで配ってる以下のMellanoxの10GbEのドライバの方でしょうか？
おそらくそうです。10GbEの方で見た画面で間違って理解していました。
OFEDドライバも別にあったのですね、というかVMware公式で
配布しているのは10GbEでENが付いている製品用で、
OFEDドライバはENが付かないIB/VPI製品用なのですね。
271:不明なデバイスさん
11/11/14 00:52:08.68 A3KUkwg6.net
>>259
いえいえ、普通はVMware公式に有るとそっちで動くって思うでしょうし。
MellanoxのサイトにVMwareで配布してるものドライバのReleaseNoteがあったので
読んでみたんですが、10GbEドライバで使用できるものの中にはConnectXのENつく
もの以外の製品も有ったので、10GbEのみで使うならConnectX系(VPIが使用可能
な製品)は使えるのではないかと思います。調べてみたら、この辺ややこしいですね(汗)
どうなるか、一回テストしてみるのがよさそうなので環境組んでやってみます。
272:不明なデバイスさん
11/11/14 01:24:40.84 A3KUkwg6.net
OFEDの最新RC版がでてるので、人柱な方はどうぞ
OFED for Windows 3.0 RC2
URLﾘﾝｸ(www.openfabrics.org)
OFED-1.5.4-rc4 for Linux
URLﾘﾝｸ(www.openfabrics.org)
273:不明なデバイスさん
11/11/14 02:14:55.28 neCXws3K.net
【SAN,NAS】ストレージ鯖総合【iSCSI,FC,IB,10GbE】
ｽﾚﾘﾝｸ(hard板)
274:不明なデバイスさん
11/11/14 06:38:00.74 Exe1zPrl.net
>>260
チップ自体はENも非ENも変わらなくて、ENはPXEとかiSCSIブート用にEEPROM持ってるんじゃないか、と想像してます。
275:不明なデバイスさん
11/11/14 23:13:41.39 A3KUkwg6.net
>>263
チップ自体は一緒ですね。ENはほぼファームが違うだけだと思います。
あとはPCIのデバイスIDとかそこら辺が違うのかな。
で、BootROMはENとVPIのカードでも多分一緒ですね。
これFlexBootととして配布してるのが同じものなので。
VPIカードも書かれてるような、EhternetからのPXEとかiSCSIのBootが可能です。
すごく汎用的に出来てますね。
276:不明なデバイスさん
11/11/15 12:14:16.36 Oz8F4jwP.net
はじめての速度測定。両側：windows 7, Pentium D 2.8GHz, infinihost Lx DDR,直結。
netpipe371_win32_tcpで最高速度が1500Mbps・・・・・・うゎゎゎゎぁぁぁん。
やっぱりそれなりのマシンじゃないと速度でないのね（笑）
277:不明なデバイスさん
11/11/15 12:31:16.56 Oz8F4jwP.net
で
278:同じマシンでmyricom-CX4で接続すると最高速度は2500Mbps。 IBというかIPoIBって意外とCPU喰うん？
279:不明なデバイスさん
11/11/15 13:25:07.63 Oz8F4jwP.net
CPU使用率メモ。infinihostで50%、myricomで40%。one-threadっぽい動きなので50%でサチってる。
280:不明なデバイスさん
11/11/15 20:48:06.44 mXVOpU0d.net
>>267
CPUは何を使ってる？
281:不明なデバイスさん
11/11/15 21:06:44.30 Oz8F4jwP.net
>>268 >>265。
ConnectXが速いのは、オフロード（チップ内処理）してるからでしょうね。
282:不明なデバイスさん
11/11/15 21:12:13.11 RTDTZQao.net
>>268
>>265に(遅くて熱い)Pentium D 2.8GHzと書いてあるねｗ
283:不明なデバイスさん
11/11/15 21:57:41.46 mDQ+OOPG.net
>>265
InfiniHost系なら、上に書いてるWinOF 3.0のRC版を入れるのがお勧め。
Connected Modeが使えるようになって速度が大幅に上がるはず。
っと、これだけだとアレなので、Firm更新してて気づいたネタを書いておこう。
ConnectXはEtherModeだとUDPのオフロードがないみたい。
ConnectX2はUDPオフロードしてくれる。
284:不明なデバイスさん
11/11/15 22:00:31.55 Oz8F4jwP.net
>>271
Connectedでも大して変わらんかったです。SMの仕事がちょっと減る、とかそんなもんかなー。
ConnectXとX2の違い、チップのブローシャ見てる限りはfloating point engineぐらいなんだけど（GPU offloadで使う？）、
微妙に内部のメモリ量とかオフロードエンジンのプログラミング能力とか違いそうですね。
285:不明なデバイスさん
11/11/16 00:22:56.87 ML89bY3o.net
>>272
あらま、変らなかったですか・・・。
DDR接続で InfiniHost Lx の Linux - ConnectX の Solaris 間のIPoIBで10Gb/sくらいでてました。
Linux側がML115 G1のAthlon X2 5000+ で Solaris側がXeon X3460です。
ConnectXとX2でファームが完全に分かれてるから、なんらかハードの差があるんでしょうね。
最初はそんなに差なんてないだろって思ってたんですが、同一環境上のConnectXとConnectX2で
BootMessageでUDPのオフロードが有効にならんよってメッセージが出て驚いたんですがｗ
286:不明なデバイスさん
11/11/16 01:04:24.46 m55q9mhU.net
興味は有るのだが、このスレ濃すぎて何言ってるのかわからん。
みんな本業が運用系のエンジニアって訳じゃないよね。
どうやって基礎知識得たの？
287:不明なデバイスさん
11/11/16 01:57:29.88 ML89bY3o.net
>>274
職場はコンピュータ系とは全く別の業種ですｗ
ネットワーク系のことは全くの趣味ですね。
基礎知識ってInfiniBandのですかね？
自分は元々ネットワークの技術ずっと追っかけしてたので、
最初に幾らか資料読んで、あとは実践でひたすら覚えていってる感じですね。
実質InfiniBandを触りだして半年くらいですから、そんなに詳しいわけでもないんでｗ
InfiniBand自体、技術的には昔からあるんですが、ノウハウの部分があんまり表に出てない
(というか、触ってる人が少ない)ので、自分がやってて貯まったノウハウとかを書込していってる
感じです。後からやろうとしてる人が楽できるように。
288:不明なデバイスさん
11/11/16 02:24:48.45 ML89bY3o.net
MellanoxのOEMもののカード使ってる人向けネタ
最新のファームの適用方法
URLﾘﾝｸ(forums.oracle.com)
PXEブートとかいらないんだったら、途中のiniファイルの編集は不要。
うちで書換を確認したのは、以下のカード
・VOLTAIRE HCA 410 Ex-D (InfiniHost Lx MHGS18-XTC)
・HP 380298-B21 (InfiniHostEx MHEA28-1TC かな？)
・HP 448397-B21 (ConnectX MHGH2
289:8-XTC) ・IBM 44R8728 (ConnectX MHGH29-XTC) VOLTAIREのカードは、iPXEの最新のBootROMを焼いてみたけど、 PC起動時にiPXEのメッセージが出てくるところまでは確認。 TopSpin(Cisco)のカードは上記方法では出来なかった。 1枚カードがあぼーんしたので注意を orz とりあえず、IBMのサイトから最初に入ってるイメージよりも新しいFirmは入手できたから そっちを突っ込んだ。
290:不明なデバイスさん
11/11/16 09:18:14.08 RIs8d0AX.net
>>276
tombstone化してしまいましたか（w
mst statでconfig側のインタフェースぐらい見えてるのなら、flintに強制書き込みモードがあった気がする。
291:不明なデバイスさん
11/11/16 17:09:42.38 dtxIRgpn.net
スパコンとストレージ用途以外の使い道ってあるのかな？
292:不明なデバイスさん
11/11/16 18:41:38.65 ML89bY3o.net
>>278
FCとかEtherとかをIBの上に乗っけれるので、ケーブルが集約出来るのはメリットかな。
さくらさんがIBで組んでるのは上記理由もあるかと。
最新のiPXEのInfiniHost系Memfree用(ExとLx用)のBootROM作ったけど、
人柱になってくれる人いるかな？
自分ところは、BootROMの書込までは出来たんだけど、SAN Bootの環境は
作ってないのでテストできないので実際Boot出来るかは不明なんで
293:不明なデバイスさん
11/11/17 10:20:31.95 AZ3cVfJP.net
EoIBのブリッジかFCoIBのブリッジが必要じゃない？>BoIB
ふつーの人は絶対持ってないような（w
infinihostIIIのファーム覗いてみたけどわけのわからんコード。どこのCPUだろ？全くの独自、ってわけではなさそうだけどなあ。
294:不明なデバイスさん
11/11/17 20:29:16.26 ymMYiwA7.net
>>280
いやいや、ブリッジいらんですｗ
IPoIB iSCSI Boot か SRP Bootになるんでｗ
起動用の環境つくるのが、ちょっと面倒なだけですわ
えらいもんおっかけされてますね。
295:不明なデバイスさん
11/11/18 06:32:18.65 WGcIiuKZ.net
>>281
失礼しました、IPoIB iSCSIでOKなんだ。だったらMS iSCSI target(最近無料化)でもいけるかな。
linux(debian)のnetpipe-mpi使ってMPIoverIBのスループット計りたいんだけどやり方さっぱりわからん。
296:不明なデバイスさん
11/11/18 21:24:16.77 WGcIiuKZ.net
linuxで速度測定。両側：debian6.0.3, Pentium D 2.8GHz, infinihost Lx DDR,直結。
netpipe-tcpで最高1150Mbps、connected modeで850Mbps、ちなみにmyricom CX4だと4100Mbps。
・Debianはmodprobe ib_ipoibだけでib0がifconfigに現れる。
・opensm及びinfiniband-diagsには要ib_umadモジュール。
・なんかますます10Gbeとの差が。貧弱なマシンはConnectX必須かと。
297:不明なデバイスさん
11/11/18 21:52:06.63 Ac+1XDLH.net
>>282
多分いけますよ。FlexBootのマニュアルみてると、ISC DHCPのサーバにパッチ適用しないと
駄目みたいですけど。
>>283
PCのスペックが低いとInfiniHost系だとしんどいんですね。
しかし、Connected modeのが遅いのが意外でしたわ。
ちなみに、Debianに標準で入ってるOFEDのベースは1.4.1とかだったはずなので、
ベースが古いってのもあるんですかね。自分は、sid(Kernel 2.6.38辺り)ベースで、
Debian-OFED(1.5.2)を突っ込んで試してみたことはあるんですが、標準のは使って
なかったので、比較出来ないです。
298:不明なデバイスさん
11/11/18 22:01:37.07 WGcIiuKZ.net
>>284
connectedは説明みると「UDPのでかいパケットか、TCPの特定条件だと速いよ」みたいな書き方だったので、
netpipe-tcpだと合致してないのかも。
新カーネルやofedは試してみたいところですが、ま、infinihostは見放されつつあるので期待はしてないです。
299:不明なデバイスさん
11/11/19 16:18:58.97 JhNlkJWS.net
もう
300:一度Win7で計り直したら、connectedのほうが速かった。すまん。 ＃再起動しないとだめなのかも。 connectedで2200Mbps、no connectedが1500Mbpsだった@Pentium D 2.8GHz。
301:不明なデバイスさん
11/11/21 02:15:30.70 aB9kUHsV.net
>>286
とりあえずちょっと速くなったようでなにより。
むむ、再起動すると大丈夫だったのね。以前WinOF 2.3でConnected ModeをOnに
してると、起動時にOnに出来なかったってメッセージが出てたから、ドライバの制限で
起動時だけ変更可能なんでしょうなー。
おまけ、ConnectXのブラケット見てて気づいた。
InfiniHostEx系のブラケットがそのまま使えるのね。
ConnectX2の1ポートだと、InfiniHostLxのブラケットがそのままいけそう。
302:不明なデバイスさん
11/11/21 02:28:48.08 /PxAlNbd.net
どっかにDualPortのInfinihostIIIのブラケットだけ落ちてないかな(´・ω・`)
303:不明なデバイスさん
11/11/21 03:10:55.23 YhwOt2i6.net
さてはロープロだったな
304:不明なデバイスさん
11/11/21 09:42:02.09 ORwXW+2F.net
>>287
connectedとdatagramは切り替わってたぽいんだけど、MTUが切り替わってなくてスピード変わらなかった感じ。
つまるところ、connectedでのスピード向上はMTU上昇による上位層での処理減少、って奴っぽい。
＃icmpはうまく実装されてないみたいで、ping -l 10000 とかやるとインターフェースがdownします（笑）
debianでスピードが逆に落ちたのもMTUが変わってなかったからかも。
>>288
SFF8470、ケーブルごついからねー。24AWGだとアスパラガスぐらいあるし。
うちはPA-010ME（メッシュカバー）をハンドニブラで適当に加工した。どーせ趣味だし。
305:不明なデバイスさん
11/11/21 10:03:03.09 ORwXW+2F.net
補足。
・メッシュカバーはニッパでも加工可能。ニッパの歯が傷むかもしれないけど。
・ケーブルの太さと伝送距離の関係は下記参照。（パッシブケーブル）
www.meritec.com/productfiles/categ_24/4x%20Wire%20Gauge%20vs%20Performance%20Over%20Length%20Test.pdf
・ケーブル刺す時に接点のタイミング？で1Xでリンクアップする場合があるので、ibstatやvstatでちゃんとX4でリンクしてるか
確認したほうがいい。
306:287
11/11/22 02:58:39.55 cd+8LQp2.net
ConnextXのブラケットだけど、試してみたけど駄目だった orz
ConnectX2の1ポートのブラケットは、2mmくらい穴位置がずれて駄目。
なんで、スペアパーツで出ないかと思って調べてみたら、こんなのが
Mellanox Short Bracket MT90837A01 Mellanox InfiniHost III Ex Single-Port InfiniBand HCA Card
Mellanox Tall Bracket MT90839A01 Mellanox InfiniHost III Ex Single-Port InfiniBand HCA Card
物の写真がないので、不明なんだけど使えるんだろうか？
誰か人柱をｗ
307:不明なデバイスさん
11/11/23 12:30:40.22 qJQ4G9BY.net
ESXiのストレージ接続としてIB良いなぁと思うも、
SMをどうするかって問題が。
ZFS使ってるから、Solaris系かBSDでSM動いてくれないと・・・
ん～4Gbpsになっちゃうけど、環境整うまで
FCに逃げるしかないのかなぁ。
308:不明なデバイスさん
11/11/23 13:14:18.13 1GkMTiHn.net
>>293
IBスイッチでSM積んでるものあるから、そういうの選べば一応行けるけど。
309:不明なデバイスさん
11/11/23 15:51:06.10 ZxF+eDmL.net
>>293
家でやるなら デュアルポート片方をDirectPathI/Oで仮想マシンに生で見せる。
んで、仮想マシンにLinux+SM
もう片方のポートはESXに見せる
やったことないのでアイディアだけっす
310:不明なデバイスさん
11/11/23 18:02:26.38 pnhbD8t7.net
今ちょうど某オクにSM付きスイッチ出てるべ？
311:不明なデバイスさん
11/11/23 19:59:36.44 1GkMTiHn.net
>>295
残念ながらDualPortのカードって1枚にしか見えないからポート単位のDirectPathI/Oは不可能ですね。
あと、カードわけたとしてもESXiとLinuxの間がスイッチないと駄目ですね(スイッチ前提で考えてたらごめん)。
ESX4.1だったら、OpenSM動くんだけど。Solaris系をストレージに使うとなると色々制限が厳しい。
312:293
11/11/23 21:34:25.89 uialXv1r.net
>>294
>>296
やっぱSMスイッチですかねぇ。SDRってのがちょっと気にくわないというか、
どうせならDDR位と思っちゃう所もありまして。
>>295
>>297
実はその手も一瞬考えましたｗ
ただ、3台数珠繋ぎでのはっきりした動作例が無かったのと、
VT-dでまともに動いてくれるか？って所もありますし。
ESXi-ストレージ間の帯域増やせたら、あわよくば、単独で動いてる
ファイルサーバーまでESXiの上に乗っけちゃおうかと目論んではいるんですが、
なかなかいい手がないなー。
313:不明なデバイスさん
11/11/23 22:43:17.02 TA46mxrp.net
ESXiとSolaris系のZFSなストレージを組み合わせたいというニーズが大きいのはよくわかったｗ
314:不明なデバイスさん
11/11/23 23:42:18.38 1GkMTiHn.net
>>298
楽するならSMスイッチ。
ただ、自分はスイッチのSM設定ってした事ないので何とも言えずｗ
DDRになると、カードの値段がSDRに比べると無茶苦茶に高いわけじゃないですが
ちょっと高い気が。
VMwareのサイトで見たのは、ConnectXだったかをESXi上でパススルーすると
動作がおかしいってのは見た事あるけど、実際どうなのかは不明。
個人使用っぽいので、アレな方法を書いてみる。
とりあえずDirectPathI/Oが使えるのが前提
耐障害性がーって言われると困る構成＆スレ違いネタになる部分が多々だけど
・ESXiでSolarisを動かすだけの最低限のデータストア用意
・ESXi上にSolarisインストール
・DirectPathI/Oで、ストレージカードとIBか10GbEをSolarisVMにマッピング
(ESXi側で共有かけたかったらネットワークカードのマッピングは不要)
・ストレージカードにZFSの共有かけるPoolのDiskを追加して、Pool作成
・作成したPoolの一部をESXiのデータストア用に切り出し、iSCSI Target設定
・SolarisVMのiSCSI TargetにESXiから接続。他のVM用のデータプールに。
・SolarisVMの余ったPool部分ははファイルサーバ用にも使える
元ネタは海外のサイトだけど。
この構成だと、IBなり10GbEに繋げるのは一台になっちゃう。
あと、IBだとSolarisVMと接続できるのは、WindowsかLinux限定になるか。
315:293
11/11/24 00:07:39.78 xCIMl9Wd.net
>>300
やっぱSMスイッチが一番楽ですよねぇ、構成縛られないから。
SSDでストレージ組んでる訳じゃないので、
ぶっちゃけSDRの帯域でも使い切ることは無いとは思ってますがｗ
で、アレな方法ですが、えぇ、思い切り個人使用です、はい。
で、なるほど～と思いつつ、よくよく考えてみたら、
その方法の場合、IB直結で別PCに繋ぐ必要が無いときって
IBいらなくないっすか？ｗ
10GbEは別の意味で必要かもしれませんがｗ
内部SwitchをESXiのソフトだけで賄うと結構負荷が高いかも？
VT-cでも使って、10GbE AdapterをSwitch代わりに使えば、
負荷は問題なくなるかもだけど、余りにも贅沢な使い方にｗ
（物理ポートがLinkDownしてる状態で動くのだろうか・・・
いや、多分動かないだろうなｗ）
ストレージ部分だけDirectpathでVM直結で、
ESXi他はiSCSIでVMと内部Switchで接続って事ですよね。
確かに方法としては良さそうなんですが、
ZFS�
316:ｩ体メモリイーターなのと、ESXi上で、現状複数のVMに10G以上 メモリーを使われてる事を考えると、ESXiの鯖に 32GB付けないと、まかないきれないかも・・・？
317:不明なデバイスさん
11/11/24 01:07:54.96 /I0TOwaL.net
>>293
構成的には楽なんですけど、設定が楽なのかがよくわからないんですよね。
某オクに出てるのは、TopSpinOSのだから、このスレでも使ってる人が何人か
いますけど、スイッチのSM使ってる人っているのかな？
アレな方法ですけど、IBスレなのでなんとなくおまけで付けてただけですｗ
自分も接続するクライアントに速度が必要じゃなければ、いらないよなーと
思いながら書いてたのでｗ
ホストとゲストで内部Switch使う場合って、VMCIを有効にしても速くなら
ないんでしたっけ？実際に自分で試してみればいいんですけど・・・
他のVMが、大量にメモリ使ってるならちょっとアレな方法はしんどいですね。
318:不明なデバイスさん
11/11/24 09:25:32.79 txlbh1FE.net
ESXiってローカルループバックアダプタ（ダミーNIC）って設定できないの？
スイッチのSMってまああってもなくてもいいものだとは思います。結局Linuxこさえて繋げば同じことなので。
設定はいずれにせよ簡単（topspinのだとSMをデフォルト値でcreateするのみ）。
ただ、SMの目的のためにスイッチ買ったりlinuxこさえたりするぐらいなら、10GBeのほうがずっと簡単＆安上がり、では？
３台またぎのスイッチなし、って結局サブネット２つできることになるので、だめじゃないかなー。誰か試したんだっけ？
319:不明なデバイスさん
11/11/24 09:35:00.24 txlbh1FE.net
しかし某オクの相場、ってよーわからんなあ。
super/superを知らないから安かったり、よくわからん製品だから安かったり。
まあユーザ（買う方）も少ないから釣り合い取れてるのかな。
320:不明なデバイスさん
11/11/24 20:29:36.24 /I0TOwaL.net
>>303
ローカルループバックアダプタ設定できますよ。
今回話題にしてるのは、そのローカルループバックアダプタのパフォーマンスがどの程度って話ですね。
ホストのスペックがそこそこあれば、十分パフォーマンスは出るみたいですけど。動いてるゲストの数とか
ゲスト側の負荷とかで色々条件が変るので。
スイッチのSMはそんな感じで設定するんですね。
うちも設定してみようかなー。ただ、セカンダリのSMに設定するとは思いますが。
台数少ないと、間違いなく10GbEの方が簡単で安上がりですね。
ただ、スイッチの出物がすごく少ないのがネックですね。
三台またぎのスイッチ無しはやった事ありますが、InfiniBandのネイティブだと設定の仕方が解らず挫折してます。
IPoIBだと、言われてるようにサブネット二つにしてルーティングしてやればTCP/IPでの通信はできました。
言われてるサブネットがInfiniBandのサブネットだったら意味なしの返答なのでご了承を。
確かに某オクの相場は意味不明ですなぁ。
知ってる人だったら、激安ってのが多々出てますね。出品者側が価値を解ってないからってのが大きいんだと。
特殊用途の製品＆一般だとあまり知られてないってのが大きいんでしょうね。
321:不明なデバイスさん
11/11/24 21:30:10.15 txlbh1FE.net
infinibandのサブネットです。＞数珠つなぎ
でサブネット間のルーティングって(infinibandの)ルータが必要じゃないのかな。
でinfinibandのルータ、ってたぶん死ねるような値段かと。
322:不明なデバイスさん
11/11/24 22:35:32.73 /I0TOwaL.net
自分でかなり最初に書いてたけど、OpenSMでこの設定したらルーティングできそうなんですよね。
(自分で書いておいてすっかり忘れてたｗ)
URLﾘﾝｸ(wiki.chpc.utah.edu)
あと、リング接続で動かされてる方も
URLﾘﾝｸ(www.slideshare.net)
出来そうってのは解るんですけど、どうやって設定するってのがよくわからない。
どちらにしろOpenSMが動作してる環境は必須なんですが。
323:不明なデバイスさん
11/11/24 22:43:47.68 txlbh1FE.net
2ポートのカードなら同一サブネット可能なんでしょうか？
なお、上のほうの「routing_engine」って同一サブネット内に複数経路ある場合の経路選択アルゴリズム、だと思います。
324:293
11/11/24 23:13:11.29 xCIMl9Wd.net
えぇ、色々考えて、今回はFCで行くことにしましたｗ
さすがに8Gbpsは高いので、4Gbpsですが。
実は、別にあるファイル鯖がWin機でそこにMS iSCSI targetを入れて
使ってた事もあったんですが、OSにパッチ当てる→要再起動のたびに、
ESXi上のVM全部落とすのが面倒で。
その為にBSD+ZFS+istgtで1台仮想鯖用にストレージ立てました。
Linuxはどうかと言えば、もうこれは宗教に近いと言いますか、
かれこれ20年近く鯖用にBSDしか扱ってこなかったんで、Linuxのお作法になじめないんですよね。
Solarisは仕事で触ってたことがあるんで、まだ良いんですが。
まぁ、ESXiも5.0に上げる予定が有ったので、ドライバ出るまで
SRPが使えないって問題もありますし。
FreeBSDか、SolarisでSMが動くようになってESXiにドライバ来たら
再度IBへの移行を考えるかも。
その時までFCで遊んでますｗ
325:不明なデバイスさん
11/11/24 23:35:51.83 txlbh1FE.net
FC、emulexの8G品がオクで安価に（笑）
＃SFP付きだし。
326:不明なデバイスさん
11/11/25 00:06:51.32 7fJvbJKx.net
>>308
ごめんなさい、ご指摘の通り上のルーティングは同一サブネット内の経路選択アルゴリズムでした。
下の資料みてると2ポートのカードなら可能そうに見えるんですけどね。
どういう設定をしているんだろうかと思ってるんですが。
>>309
あら、FCで決定ですか
FreeBSD 9.0にもOFEDは移植されてるので、近いうちに動くようになるとは思いますけどｗ
IBがもう少し楽に動くようになったら、戻ってきてくださいねｗ
327:不明なデバイスさん
11/11/25 01:52:16.23 MwOgxDY8.net
10GbEが糞だからFCとかIBを使わなくてはいけないんだよなあ
328:不明なデバイスさん
11/11/25 02:22:10.39 Vvp6BG2d.net
10GBase-Tがもっと値段下がればなぁ
サーバセグメントはIB、端末は10GBase-Tにしたい
329:不明なデバイスさん
11/11/25 09:33:38.28 Cx0E5TL2.net
>>309
20年前にBSD系というと・・・SparcStation2+SunOS4.1.3とかしか思いつかん。
＃Solarisは2.1のころからのつきあいだけど、oracleになってから一切さわらず。
>>313
10GBase-Tは電力喰う、レイテンシあり、SFPのところに入らない、などの理由で普及しないと思われ。
330:不明なデバイスさん
11/11/25 23:31:04.57 ny+HkQzw.net
>>312
糞、というか。
FCでもIBでも10GBeでも、結局SFP+なりQSFPなりのインターフェース＋PCIeインタフェース＋オフロードエンジンなわけで、
オフロードエンジンをプログラム可能にしちゃうと結局これらには差がないわけで、
だからemulexもqlogicもmyricomもmellanoxもみんなCNAに走るわけで。
但し単に「切り替えられますよー」のCNAから今はFCoEやEoIBなどの「なんでもこれ経由で出せますよー」の第２世代CNAになってるわけで。
その場合のベースとして、例えばFCをベースにしてIPFCでIP転送、というのも考えられるけど、FCは基本接続台数は127台。
EtherをベースにするつまりFCoEが（いろんな機器あるので）コスト安そうなんだけど、Etherはパケットロスがあってもいい規格で、
この上にFCを載せると非常に都合が悪い。それで結局Etherにいろいろ拡張せにゃならん。
でIB。接続台数は6万台だし基本パケットロスないし、EoIBやFCoIBがやりやすい。
しかもmellanoxは早々と40Gb速度品を比較的安価に出してきてるわけだしベア性能はTop500で証明済み。
�
331:ﾆ書いたけど結局ふつうの企業のクライアントは1Gbeなわけで、EoIB←→1Gbe x24とかのブリッジスイッチが 例えば30万程度で提供されない限りいろいろ普及は無理だなー、って思う。
332:不明なデバイスさん
11/11/26 01:03:28.50 Uj9619ub.net
3行にまとめて
333:不明なデバイスさん
11/11/26 02:57:15.33 7BYpr4oz.net
>>316
EtherもIBもFCも全部似た方向に行ってる。
IBはその中で大量の1セグメントのネットワークが可能な上にカード自体はかなり安い。
でも、普通の企業だと1GbEがメインなんで、IBとEtherを接続する機械が低価格で出ないと復旧は無理
334:不明なデバイスさん
11/11/26 21:47:26.77 ZVKGS/hp.net
cisco 7000dはIB側(IPoIB)にも管理用のIPアドレスを振る事ができるので、
Etherの管理IPアドレスとの間で簡易ルータにならないかと思ってやってみた。
だめだった。まあ可能だったところで100BASE-TXのスピードなんだけどね。
335:不明なデバイスさん
11/11/27 15:29:34.34 sf/QJNdv.net
>>313
10Gbase-Tはエラー率、温度がやばすぎて使おうとは思えない。
Twinaxのほうが現実的。
336:不明なデバイスさん
11/11/27 17:20:19.22 Z+wYwGUN.net
導線だと取り回しが楽なんだよな
光は曲げられないから大変
337:不明なデバイスさん
11/11/27 17:29:43.87 6EdWlT3r.net
>>320
このスレの住人は決してそう思ってないぞ。AWG24のSFF-8470なんてなあ、（ｗ
＃ちなみにSMFでも最小曲げ半径15mmとか25mmとかが普通なんで気にする必要全くなし。
338:不明なデバイスさん
11/11/27 18:06:42.99 cauGjWgL.net
>>320
は？
逆だろ？
お前、ファイバー使ったことないだろ？
339:不明なデバイスさん
11/11/27 19:17:35.44 YH0In5V+.net
>>320
最近CX4のケーブルをファイバーに変更して取り回しが楽になったと喜んでる人が通りますよｗ
って、321の方がおっしゃってるようにInfiniBandのケーブルはAWG28で約8mmくらいあるから
ファイバーのが逆に取り回しが楽になるんですよね。
340:不明なデバイスさん
11/11/27 21:49:47.34 526o+p7N.net
>>317
GbEとIBの間でいいのなら、PCルータで十分じゃね？
問題は10/40GbE<->IBの部分。
341:不明なデバイスさん
11/11/27 23:57:08.83 osYvCsYL.net
>>320
最近のファイバーは曲げ耐性スゴいぞ
下手しなくても銅配線材の方がまがらないくらい
フレッツを入れたときに屋内配線用にコネクタを取り付け済みのファイバーケーブルが来たけどこれがめっちゃ柔らかくて進歩を実感したよ
342:不明なデバイスさん
11/11/28 08:06:50.72 rvCCgUX8.net
>>324
40GbE<->QDR IBのPCルータとか胸が熱くなる･･･
343:不明なデバイスさん
11/11/28 08:29:31.79 yE0D/2Sa.net
>>326
PCI-e 3.0のx16でも、16GiBだからなぁ。
いつワイヤースピード出せるようになるのか・・・
344:不明なデバイスさん
11/11/28 08:30:55.17 yE0D/2Sa.net
>>327
あ、16あればたりるのか。
345:不明なデバイスさん
11/11/28 08:49:39.22 19Vkbmpx.net
ショートパケット無視でも10GbEって6MppsだからPCルータだとさすがにちょっと届かない位か？
GbEは用途を選べば実用の領域に入ってる。
346:不明なデバイスさん
11/11/28 09:37:01.24 +KpZj0mL.net
GbeとIBの間でいいんだけど、Gbeが24本あってIBとの間でワイヤスピードやpps考慮するとPCルータじゃ無理でしょ。
市販の10Gbe←→Gbeルータが仕切り20～30万であることを考えると、その価格帯になれば10Gbeの代わりになるかなあ、と。
＃でもL2ブリッジならそもそもEoIBじゃないと駄目だけど、EoIBはまだまだ、って感じだしなあ。
347:不明なデバイスさん
11/11/28 09:40:09.93 +KpZj0mL.net
>>325
ホーリーファイバね。あれはちょっと特殊だし距離延ばせないんで。
ただVCSELなSMFだと主流になる可能性があると思う。
348:不明なデバイスさん
11/11/28 21:27:18.73 uLtQAD+M.net
駆け出しの頃はファイバーは女の子みたいに扱えって言われたけど進歩したもんだｗ
349:不明なデバイスさん
11/11/28 23:28:31.52 1grOWv3f.net
全くだな、いまどきの女の子ときたら
350:不明なデバイスさん
11/11/29 09:24:46.75 PN8FW+ON.net
戦後に強くなったのは女の子と光ファイバー
351:不明なデバイスさん
11/11/29 13:36:36.67 GkmxL9Gb.net
わたしマルチモードだから。
352:不明なデバイスさん
11/11/30 00:48:33.64 WCom+m6f.net
そして俺はいまだにシングルモード
353:不明なデバイスさん
11/11/30 15:15:20.87 SYoioA/Z.net
ババン、バ、バン、バン、バン！
354:不明なデバイスさん
11/11/30 18:44:16.06 x86vA2xE.net
一般家庭に光ファイバーが導入される日は何時だろう
高級マンションとかだったら光ファイバー設置出来ますとかやってるのかな？
355:不明なデバイスさん
11/12/01 06:17:26.01 sXT9G8Xg.net
インフィニバンド！
356:不明なデバイスさん
11/12/05 00:44:52.17 J8Fe7yPh.net
OFED-1.5.4が明日の夜にはでるのかな？
とりあえず、OFED-1.5.4RC5とWinOF 3.0-RC3が出てます。
357:不明なデバイスさん
11/12/05 21:16:03.99 J8Fe7yPh.net
Solaris11でOpenSMのコンパイルどうなるかやってみたが、見事にこけた orz
ソースちょっと追っかけてみたけど、LinuxのKernel Headerファイルに依存してるところが
結構あるんで、こりゃ移植に手間かかるわとおもた
358:不明なデバイスさん
11/12/05 21:22:24.36 kEr46NjD.net
そもそも管理用のパケットが送れない（送るverbを実装してない）とかいうレベルじゃないのかな？
359:不明なデバイスさん
11/12/05 21:28:06.58 kEr46NjD.net
ようやっとPCIe8xが2本取れるマシンを手に入れたのに、今度は遊んでる時間がない。うむー。
360:不明なデバイスさん
11/12/05 21:33:09.76 24wg9tqU.net
7本取れるマザー買ったけど同じく時間がないw
361:不明なデバイスさん
11/12/05 22:25:45.51 J8Fe7yPh.net
うーん、Solaris11のtavorドライバはもしかして純正とMellanox以外のInfiniHostを弾いてるのかな？
手持ちのOEM物のカードが動かなくなってる・・・。
362:不明なデバイスさん
11/12/05 22:29:48.36 kEr46NjD.net
flintでvendor idとかも書き換えられるんだから適当にメラっぽいのにしちゃえばいいんでない？
＃メモリなし、ではないよね？
363:不明なデバイスさん
11/12/05 22:33:30.54 J8Fe7yPh.net
>>346
失礼。
もう一台のSolaris11で試したら認識したので、カードとOSが原因ではないみたい。
んー、こりゃM/Bとかの問題だったら嫌だな
#メモリありっすね。
364:不明なデバイスさん
11/12/06 01:33:35.07 TO/7ikA1.net
ちょっと、Solaris11系Tavorドライバの追試してみた。
Solaris11 Early Access版だと認識したので、Release版との間に何か修正入ってるのかな。
同一環境のWindows 2008R2 + WinOF 3.0-RC3 だと普通に認識したので、M/Bとドライバの相性っぽい。
365:不明なデバイスさん
11/12/06 09:41:10.97 UrdJ4Wcd.net
PCIのvendor idは純正も互換も同じ（違うカードもあるみたいだけど）だから、
単純に差し替えると同じカードだと思ってESCDが更新されなくて不具合、とかじゃない？
366:不明なデバイスさん
11/12/06 20:36:27.51 3zFVmrcP.net
うーん、同じカードで別PCのSolaris11で動いて、そのPCのSolaris11だけInfiniBandが動かないって状況。
一回再インストールした方がよいのかも。
367:不明なデバイスさん
11/12/07 21:14:08.33 x5v+TmkP.net
PCIe8xにinfinihostとmyri10G刺したらシステムファンが爆速・・・うひょう。遅いままに設定できないものか。
>>344
7本も取れるマザーなんてあるのかいな、ってググったら、ワシの
368:買ったマシン全体（CPU＆メモリ込み）より高いじゃん。
369:293
11/12/07 21:34:22.71 tRhZaY2x.net
>>344
x8 7本だとすればASUSのSuperComputer辺りなのかな？
でも、大丈夫なんかいな。
この手の鯖向けのカードって、
スイッチチップとか嫌う傾向が強い感覚なんだが・・・
370:不明なデバイスさん
11/12/07 21:35:45.43 tRhZaY2x.net
あれ、変なコテついてた、まぁ無視してくれ。
371:不明なデバイスさん
11/12/07 21:40:58.89 h5ImOy8Z.net
>>351
うちは、気休めだけど下のファンをInfiniHostとLSI 9211-8iを冷やす用に付けてる。
URLﾘﾝｸ(www.ainex.jp)
372:不明なデバイスさん
11/12/07 22:04:05.57 x5v+TmkP.net
いや、接続してないからたいして熱くなってないんだけど、IPMIが勝手にPCIカードのvpdを読んでシステムファンを爆速にしてくれちゃう模様。
373:不明なデバイスさん
11/12/07 22:46:41.91 h5ImOy8Z.net
>>352
X8SIA-FのPCIeスイッチ使ってる方のポートへ接続してるけど、問題出てないね。
他にPCIeスイッチ付いてる機械は持ってないからそれ以外はわからんけど。
>>355
なるほど、IPMI側で勝手に速度上げちゃってるのか。
374:不明なデバイスさん
11/12/08 00:01:12.49 ZfBF7TG8.net
>>356
IDTか・・・
まぁ、●なら、当然使うその辺はチェックまともにかけてる
はずだし、大丈夫だろうねぇ。
その点、NF200ってどーなのよ、ってのは有るけど。
375:不明なデバイスさん
11/12/08 11:44:02.27 AGovnO++.net
X8TDH-6Fだの
URLﾘﾝｸ(www.supermicro.nl)
オンボードsasが欲しかった。
あとはSAS HBAx2とIBx2 10Gその他を追加するんで選択肢が余りなかった。
CPUはL5520x2確保済、メモリーどうするか考え中。
Soraris11＋napp-itでいいかなと
376:不明なデバイスさん
11/12/08 11:49:49.37 AGovnO++.net
>>352
逆にサーバーだとブリッジチップがないほうが希じゃ無いかな？
とくにハイエンドになると
377:不明なデバイスさん
11/12/08 12:08:06.49 k77+uUMb.net
こんなマザボ、何に使うの？
378:不明なデバイスさん
11/12/08 12:18:12.04 vcHdi8e2.net
>>360
なんでここにいるの？ｗ
379:不明なデバイスさん
11/12/08 13:30:03.66 ppMwh1HX.net
>>358
あぁ、そちら系でしたか。なら問題無いですねー。
って油断すると、相性にはまる事はありますが・・・ｗ
うちの●君は単独で差すと問題無いIntel ET DualPort NICですが、
別のカードを挿すと、ESXi君は見事に見失ってくれますorz
BIOSでは認識してるので、どちらかというと、ESXiの問題な気はしますが、
まだ検証に時間を取れていない物で・・・
>>359
Nehalem以降1366以上だとQPI出てるんで、スイッチで分けるより、
チップセット2つ以上乗っけちゃうパターンの方が、最近多いんじゃ無いかな？
今回のなんて、その典型な気がするけど。
足りない分をスイッチで何とかってXeon-UPでしか発生しないし、
そのクラスにx8一杯取れる構成にしようって需要はあんま無いかなと・・・
（メーカー的に。必要なら上のDPクラス買ってくれとｗ）
個人的にはPCIいらないんで、その辺取っ払ってPCIeが多いマザーは大賛成なんですけどねｗ
380:不明なデバイスさん
11/12/08 21:40:29.81 ajAsJZxP.net
>>362
i5520ってこんな構成も取れるのね。i5520チェインしていけば何スロットでも取れるな。
381:不明なデバイスさん
11/12/10 08:35:42.62 KvuxDDuU.net
とりあえずSolaris11での動作検証が�
382:Iわったので報告。 Solaris11 EarryAccessで、一通り動作検証してたので、動くだろうとは思ってたけど。 Solaris11で動作したカード ・MHEA-1TC (HP 380928-B21、Cisco SFS-HCA-E7T7-A1) ・MHGH28-XTC (HP 448937-B21) ・MHGH29-XTC (IBM 46M2221) ・MHQH19-XTC ・MHQH29-XTC ・MHQH19B-XTR の上記は一通り動作するの確認。 っても、最低限のIPoIBとかでチェックしただけなので不具合が別でてるかも。 とりあえず、検証用一号機のE-1235機が最新BIOSでの不具合持ちなので、 そっちでは検証出来ず orz
383:不明なデバイスさん
11/12/10 08:42:36.60 KvuxDDuU.net
Web見てたら、ESXiへSRPとIPoIB使った場合はどう見えるんだろってあったけど、
ESXiではSRP Initiatorなので、ESXiのデータストアとしてしか見えない。
(ドライバの対応が4.1系なので、1データストア辺り2Tまでの制限あり)
ESXiのIPoIBインターフェイスは普通のNICで接続してるのと同じように、
VNICとして見える。のでゲストのVM上からは普通のネットワークインターフェイスとして見えます。
384:不明なデバイスさん
11/12/10 12:05:18.76 GI8pD2DW.net
>>365
それでちゃんと動くんだ。>VNIC
ふつーのNICはL2だからESXiがブリッジ動作すれば仮想マシン側では直接LAN接続されてるのと同等に動くけど、
IPoIBの場合はL3だから単純なブリッジ動作、ってできないはずなんだよね。
（IPアドレスとinfinibandのLIDの対応はSMで管理するはず）
動作してる、ということはちゃんと仮想マシン側のIPアドレス割当をESXi側に持ってきてSMに通知してるんだろうなあ。
385:不明なデバイスさん
11/12/10 14:10:19.45 KvuxDDuU.net
>>366
それで動きますね。
VMが通信するまではSMに通知が行かないみたいで、通信するまでは繋がらなかったりします。
これが起きるのがOpenSolaris系だけなので、OpenSolaris側のIPoIBの実装問題かもしれないですが。
NexetaCoreとかの、ofv(OFED1.3ベース)の古い実装のやつはIPoIBで負荷かけると、よく発狂するので・・・。
386:不明なデバイスさん
11/12/10 21:17:56.05 GI8pD2DW.net
>>367
なるほど。内側が通信はじめるまではMac-IPの対応が取れないからか。
外側は内側のIPを初期状態では知らない＝ARPが来ても返事できないからね。
387:不明なデバイスさん
11/12/11 22:23:25.51 rRe43yJK.net
すみません、どなたかアドバイスをお願いします。
Win7とWinSvr2008R2の両方にInfiniHostIII EXを刺して、ドライバはWinOFED
3.0-RC4を入れています。ドライバインストール時のオプションは、デフォル
トに対してSRPをオンにしただけです。インストール後、CMは両マシンとも
Enableにしています。
この状態でnetperf2.1pl1で速度を計ると
IB経由 SocterSize 8192 Throughput 0.32 (10^6bit/sec)
Ether経由 SocterSize 8192 Throughput 391 (10^6bit/sec)
という感じでGbEに比べて全く速度が出ません。win7→2k8も2k8→win7も結果
は変わりませんでした。
どこかチェックすべき箇所がありますでしょうか？
388:不明なデバイスさん
11/12/11 23:55:58.23 5WNBA5J4.net
>>369
カードのファームが最新かチェックくらいかな。
あと、出来ればInfiniHostの型番が情報として欲しい。
OEM物だったらOEMの型番まで。
環境違うから参考にならないかもしれないが、ConnectX使ってSDR接続の状態で
WinOFの3.0-RC4(Win2008R2)とLinux(MLNX_OFED-1.5.3)でIPoIB試したときは、
iperf
389:で8Gb/sまで出てたけど。ほぼ理論値でてびっくりしたが
390:369
11/12/12 02:14:07.66 ou69AOdp.net
>>370
MHGA28-XTCです。Windowsでは「InfiniHost III Ex(MT25218)」と表示されて
います。
ibv_devinfoでは fw_ver:0x500010190 と表示されます
とりあえず明日fwを最新にしてみようと思います
391:不明なデバイスさん
11/12/12 02:27:16.21 VSfvQ4a+.net
Solaris 11でConnectX系のドライバの名称が変ってるのは、この辺の絡みかなー。
URLﾘﾝｸ(www.mail-archive.com)
あと、Solaris11のOFUVは1.5.3ベースだけど、OpenidianaのKernel側のインターフェイスは
1.5.1ベースなのね。
URLﾘﾝｸ(arc.opensolaris.org)
392:369
11/12/12 02:32:20.68 ou69AOdp.net
ぬふぅ・・・
質問ばっかりですみません。まさに↓に書かれてるような
URLﾘﾝｸ(ibicluster.uchicago.edu)
Invariant sector mismatch て言われてFWをUPDATE出来ないんですが、skip_is
付けて回避するので合ってますでしょうか？
393:不明なデバイスさん
11/12/12 03:54:23.58 VSfvQ4a+.net
>>373
古いMHEAからだと、-skip_is付けないとUpdate出来ないので付けてやりましょう。
こちらも何回かやってるけど、特に問題になってことはないです。
394:不明なデバイスさん
11/12/12 03:56:26.70 VSfvQ4a+.net
後追加
書込終わった後に確認で
flint -d mt25204_pci_cr0 q
してやって、書き換わってたら、Rebootしてやってから
ibstatｄでFirmのバージョンか確認してやればよいかと。
395:不明なデバイスさん
11/12/15 03:38:15.57 5NpW4JXT.net
気がついたら、12日にWinOF 3.0でてた。
RC3までのopensmにメモリリークのバグあるみたいなので、opensm使ってる人は
VerUPした方がよいかも。
396:不明なデバイスさん
11/12/17 20:12:40.37 WOWFMhSa.net
本日、朝からConnectX 2枚とLinux(SL 6.1)でSWless Infiniband構築してました。
ファームアップ後に、リンクアップできることを確認しましたが（OS標準のOFEDソフトウェアで）、
IPoverIBやろうと、ifcfg-ib0を作成してゴチャゴチャやってましたが、
どうやってもIPアドレスが割り振れず（IPv4）、疲れきって帰宅。
さっき調べていたら、RHNにこんなバグレポートがあがってました。
SL6.1用にはまだかしらん。
URLﾘﾝｸ(bugzilla.redhat.com)
397:不明なデバイスさん
11/12/17 21:12:10.36 +kkcoAQF.net
>>377
SL6.1でConnectX使ってIPoIB使えてるよ。
ただ、うちはOFED 1.5.4入れてるからOS標準のIBスタックじゃないけど。
398:不明なデバイスさん
11/12/18 17:03:33.40 tCJ0TUcl.net
>>378
サンクスです。いろいろ調べてifcfg-ib0に
NETMASK=255.255.255.0
じゃなくて
PREFIX=24
で無事アドレスが割り振られました。
OFED更新したほうがいいかな...。
399:不明なデバイスさん
11/12/22 20:54:58.09 Ic4rM9YF.net
CentOS 6.2がそろそろーって話だが、InfiniBand絡みで大分改良入ってるみたいなので期待。
あと、Solaris11だとOpenSM動くみたいね。自分でぽちぽちパッチ作ってたら、本家でパッチが公開されてて泣いた。
400:不明なデバイスさん
11/12/23 07:44:55.66 BPOEWJKe.net
Solaris11でTavor(InfiniHostEx)のサポートが切られた。
illmuos系は大丈夫だけど、うーん困った。
401:不明なデバイスさん
11/12/26 21:37:16.44 XfM7upLs.net
Infiniband、はじまる前に終わるとは。
402:不明なデバイスさん
11/12/26 22:35:05.85 v2Aww0Kt.net
>>382
終わったわけじゃないぞｗ
元々InfiniHost系はMellanox自体が切りそうな雰囲気だったからね。
Windows用のMellanoxドライバでは、2.1.2までのサポートだし。
OFEDのWinOF使えばサポートされてるから、問題ないんだけど。
個人的にはESXi5でのサポートがどうなるかが心配だわ。
403:不明なデバイスさん
11/12/26 23:32:40.60 XfM7upLs.net
infinihostもconnectxもRISCコードは同じっぽいんだけどなあ。
今のところオフロード可能なconnectx系がスループット出るけど、IBは元々はそういうローカルIOP的な処理をしないで
CPUで全部処理する（代わりにインタフェースカードが安価）という狙いだったはず。
そういう意味ではinfinihost正当、な気もするけど、現実問題としてfcoibとかだと
fcのパケットサイズ＞infinihostのパケットサイズ、だしなあ。切られるのもわかる気がする。
404:不明なデバイスさん
11/12/29 17:05:32.95 lLEiTkar.net
初InifibandでMHQH19-XTCゲットしたのにケーブル届くのは来年という…
とりあえず動作確認のためにwinOFEDをいれたけど、
メーカ公式から落とすパッケージって基本必要ないのだろうか？
405:不明なデバイスさん
11/12/29 23:47:55.87 Rg7/eGMo.net
>>384
遅レスでごめん。
RISCコードまで見てるのねｗ
InfiniBand、最初はすごいシンプルだったもんなー。
後から色々機能が付いて行ってる感じだね。
InfiniBandもEtherも全部まとめるって方向になってるからね。
>>385
おめー。
MHQH19-XTCだったら、10GbE使う必要なければWinOFで良いと思うよ。
Mellanoxの純正ドライバじゃないとWindowsは10GbEが使えない。
406:385
11/12/30 01:01:42.73 iwJYmNl1.net
>>386
> Mellanoxの純正ドライバじゃないとWindowsは10GbEが使えない。
え、ネットワークデバイス一覧に出てきてるよ？
ケーブル刺さってないから切断状態だけど
あ、でも試行錯誤で純正ドライバのインストやら削除をしてたせいかも…
407:不明なデバイスさん
11/12/30 16:56:30.09 iOUnMoxR.net
>>386
OFEDの方だったら、IPoIBじゃないかな？
10GbEのインターフェイスで使う場合は、MellanoxのManual見るとわかるんだけど、
デバイスマネージャーのシステムのところにアダプタが表示される。で、そのドライバの
プロパティの構成でIBとEthの切り替えがあるんだわ。
408:不明なデバイスさん
11/12/30 16:57:56.00 iOUnMoxR.net
おっと、ごめん。
上のは >>386 へね。
409:不明なデバイスさん
12/01/05 22:13:17.99 hFyLpJ6R.net
>>382
Infinibandの終焉じゃなくてSolarisの終焉な気が
酷い会社に買収されたが為に・・
410:不明なデバイスさん
12/01/05 23:55:22.57 /vdSUCpq.net
さくらでは、はりきって導入したInfinibandがかなり不調のようだが。
411:不明なデバイスさん
12/01/07 10:07:15.23 QeMMJbmM.net
>>391
ソースきぼんぬ
412:不明なデバイスさん
12/01/07 13:31:42.04 ldzeTuc5.net
この辺かな
URLﾘﾝｸ(ict.pken.com)
URLﾘﾝｸ(www.sakura.ad.jp)
URLﾘﾝｸ(www.sakura.ad.jp)
413:不明なデバイスさん
12/01/07 13:57:37.10 XWASsD5x.net
なるほど？
414:不明なデバイスさん
12/01/08 03:03:36.67 e3A5L8GG.net
アンフィニバン
415:不明なデバイスさん
12/01/08 13:06:20.15 IEiVPmjT.net
SRPてwindows間ではまったく意味がないのでしょうか？
416:不明なデバイスさん
12/01/08 23:47:47.69 GCkOP+ik.net
>>391
さくらのあれ、InfiniBandってよりもストレージの方の問題じゃない？
ネットワークも遅いとかあったのかな？
>>396
iSCSIの方式を理解してる前提で書くけど、TargetになるOSがSolaris系かLinuxしかないのでWindows間では意味ないよ。
ちなみにSDPじゃないよね？
417:不明なデバイスさん
12/01/09 02:40:38.77 baXLGiiH.net
>>397
Windows間では無意味でしたか
initiatorはSRPに対応している�
418:ﾆ認識しているので Windows上で動くSRP対応のTargetもないのかなーと思った次第です 用途としてはwindows間でのiSCSIが早くなればい良いと思っているので 現状はIBoIPにて設定値をいじりながら調整している最中です
419:不明なデバイスさん
12/01/09 02:58:16.90 lEK3fSAL.net
>>398
あー、伝聞だけどMS純正のiSCSI Targetだと遅いよ。
StarWindの無償版 iSCSI Target 使う方がMS純正をチューニングするよりスピードでると思う。
420:不明なデバイスさん
12/01/11 11:07:52.89 +X5KuKio.net
>>393
特定パターンの通信、って確かにEoIBがらみっぽいな。マルチキャストかな。
421:不明なデバイスさん
12/01/13 01:42:59.25 W25SDRkg.net
さくらのは結局IBっぽいね
もうちょっと詳細書いてくれると俺らも助かるんだが
こういうノウハウは個人にまではなかなか降りてこないよなぁ・・・
422: ◆.Nv/VplpFs
12/01/15 11:37:01.86 w24SUwPB.net
tes
423: ◆zRMZeyPuLs
12/01/18 21:37:00.77 76HNSymm.net
>>216
device mlx4ib # ConnectX Infiniband support
device mlxen # ConnectX Ethernet support
device mthca # Infinihost cards
device ipoib # IP over IB devices
kernel作り直せばinfinihostIIIも対応しそうな感じ
424:不明なデバイスさん
12/01/19 14:18:27.92 U9c/ceD9.net
>>403
203です。
おお、いけそうですか。
うちもさっさとテストしてみないと。
なるほどそういう形で設定するんですね。
Linuxのほぼコピーっぽかったのでどうやるんだろうと思ってたんですが、大変ヒントになりました。
一通りカードはあるのでチェックして報告しますね。
425:不明なデバイスさん
12/01/22 01:26:48.17 cxiGdbaQ.net
OpenSM on OpenIndiana151a(Illumos kernel) works! だってさ ＼(^O^)／
URLﾘﾝｸ(syoyo.wordpress.com)
426:不明なデバイスさん
12/01/22 21:12:54.35 Oem1Mp6Q.net
>>401
IBって信頼性無いと思われてしまうよね。
凄いネガティブキャンペーンだ。。。
427:不明なデバイスさん
12/01/22 21:39:22.78 unKSLkzw.net
もともと0.00001ぐらいしかないんだから、ネガティブにしたところで-0.00001ぐらいにしかならんさ。
428:不明なデバイスさん
12/01/22 23:56:58.05 k49Mmpd7.net
以前にLinuxでNFS/RDMAがまともに動かないと書いた者だけど、
RHEL 6.2とConnectX-2 firmware 2.9.1の組み合わせだと
まともに動くようになったっぽい。
RHEL 6.2にupdateしたついでに再評価したら問題なく動くようだったので、
12月中旬からHPC clusterの実環境で使っているけど1ヶ月間特に問題でてない。
(以前は連続して書き込むとNFS clientが数分でhangupしてしまっていた)
NFS/TCP→NFS/RDMAでNFS serverのCPU使用率が半減して良い感じ。
429:不明なデバイスさん
12/01/24 22:09:21.48 18eNy1to.net
IntelがQlogicのIB事業買収か・・・
URLﾘﾝｸ(cloud.watch.impress.co.jp)
430:不明なデバイスさん
12/01/24 22:20:04.80 7Bt9CiAI.net
>>408
OFEDのバージョンっていくつですか？
1.5.4？
431:不明なデバイスさん
12/01/24 22:30:49.62 OcMA0m4b.net
Intelってメラにも投資してなかったか？
432:不明なデバイスさん
12/01/26 00:08:55.81 VBTuoHui.net
>>410
面倒くさがりなためInfinibandまわりもRedHat付属のものを
そのまま
433:使っていてOFED入れてないです。 RHEL kernelの変更履歴を見ると2011年8月にまとめて Infinibandまわりの更新が入っているので、 時期からするとOFED 1.5.3.2あたりに相当する 内容になっているんじゃないかな? (面倒くさくてOFEDとRHEL間のdiffとったりはしてません)
434:不明なデバイスさん
12/01/26 02:19:10.03 xutG9hiA.net
IntelはInfiniBandへ帰り咲きか。
435:410
12/01/26 07:35:37.81 YhfGW8p4.net
>>412
ありがとうございます。
こっちCentOS5なんですけど、
バージョンアップかなぁ＞＜；；；
436:不明なデバイスさん
12/01/26 08:49:52.92 xutG9hiA.net
>>414
OFED 1.5.4でrNFS回りは大分修正入ってたので、OFED 1.5.4に上げてみたら？
それで駄目なようなら、CentOS 6.2へ上げてみるとか？
437:410
12/01/26 09:21:36.41 YhfGW8p4.net
>>415
OFED1.5.4の要件からすると、CentOSのバージョン上げないと行けない状況で、
ノード数が多いのと時期的な問題で作業計画の立案が大変な状況です。
438:403
12/01/27 00:23:56.03 sNufE24q.net
>>404
その後色々見た感じ、 >403 の設定だけでは駄目で OFEDとかもちゃんと有効に
なるようにkernelを作り直す必要があるようです。参考URL
URLﾘﾝｸ(forums.freebsd.org)
手持ちのMHGA28-1TCだとこんな感じです。
ib_mthca0: <ib_mthca> mem 0xdca00000-0xdcafffff,0xd8000000-0xd87fffff,0xd0000000-0xd7ffffff irq 16 at device 0.0 on pci32
ib_mthca: Mellanox InfiniBand HCA driver v1.0-ofed1.5.2 (August 4, 2010)
ib_mthca: Initializing ib_mthca
ib0: max_srq_sge=31
ib0: max_cm_mtu = 0x10000, num_frags=16
ib0: Attached to mthca0 port 1
ib1: max_srq_sge=31
ib1: max_cm_mtu = 0x10000, num_frags=16
ib1: Attached to mthca0 port 2
ifconfigだと
ib0: flags=8002<BROADCAST,MULTICAST> metric 0 mtu 65520
options=80018<VLAN_MTU,VLAN_HWTAGGING,LINKSTATE>
lladdr 80.0.4.4.fe.80.0.0.0.0.0.0.0.2.c9.2.0.28.d.91
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
ib1: flags=8002<BROADCAST,MULTICAST> metric 0 mtu 65520
options=80018<VLAN_MTU,VLAN_HWTAGGING,LINKSTATE>
lladdr 80.0.4.5.fe.80.0.0.0.0.0.0.0.2.c9.2.0.28.d.92
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
439:403
12/01/27 00:26:52.98 sNufE24q.net
↑
i386版のFreeBSD-9.0Rでのdmesg結果です。
ただ、どうにもbuildkernelでコケるんで（iboip関係で失敗する）適当にsrc
を直しています。amd64版だと通るのかな？
肝心の速度とか試したいけど対向を用意しないと・・・
440:不明なデバイスさん
12/01/27 02:24:23.56 Ii0tgdNg.net
>>418
FreeBSD-9.0R amd64だと問題なくビルドできますね。
ただ、ib*に対応しそうなドライバーが見当たらないので、ビルドされて無い可能性はありますが。
（ipoibの初期化は走ってる模様）
カード持ってないので実際にどうなるか試せないですけど、
mellanoxだとドライバーはmlx4ibかmlxenあたりになりそうですけど、
pciconfとかどんな感じですかね？
441:不明なデバイスさん
12/01/30 23:42:56.69 YCU+3NZT.net
1月からちまちまと触ってるけど、チューニングが難しいね･･･
ちなみに今のところMHQH19-XTC同士をつないで
一方のRAM DISKに対してCIFSでベンチとった結果
-----------------------------------------------------------------------
CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo
Crystal Dew World : URLﾘﾝｸ(crystalmark.info)
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/30
442:0 = 300,000,000 byte/s] Sequential Read : 824.757 MB/s Sequential Write : 505.886 MB/s Random Read 512KB : 607.263 MB/s Random Write 512KB : 443.011 MB/s Random Read 4KB (QD=1) : 10.495 MB/s [ 2562.1 IOPS] Random Write 4KB (QD=1) : 10.625 MB/s [ 2593.9 IOPS] Random Read 4KB (QD=32) : 43.593 MB/s [ 10642.9 IOPS] Random Write 4KB (QD=32) : 43.318 MB/s [ 10575.6 IOPS] Test : 4000 MB [X: 0.9% (59.8/6766.0 MB)] (x3) Date : 2012/01/30 23:34:26 OS : Windows 7 Enterprise Edition SP1 [6.1 Build 7601] (x64) ドライバはMellanox純正、 10GbEモードにして自動チューニングとMTUを4096に弄ったぐらい ちなみにドライバ付属のRDMAテストツールではr/w 3GB/sぐらい出てたけど、 Windows8のRDMA対応に期待して良いのだろうか
443:不明なデバイスさん
12/01/31 21:02:38.24 TKpp3r0U.net
> 408
おお、そうなんですか。情報ありがとうございます。
6.1で試してみたときにクラッシュしまくって諦めてましたが、
アップデート試してみます。
444:421
12/01/31 21:06:23.55 TKpp3r0U.net
Supermicro X8DTT-IBXF ( URLﾘﾝｸ(www.supermicro.com) )
これを使っているんですが、SupermicroのFTPサイト
fURLﾘﾝｸ(ftp.supermicro.com)
にはファームウェアが2.72までしか出てません。
自分でコンパイルできたりするんでしょうか？
それともサポートにメールして作ってもらうしかないんでしょうか？
445:不明なデバイスさん
12/01/31 23:52:18.63 +xvVGia+.net
>>422
付いてる物自体は、MHRH19B-XTRっぽいな。
とりあえず最新にする前提で書いておく。
OEMのカード使ってる人はこの方法で上げれば良い(Cisco除く)
こっからMFT落として突っ込んでやればいける。
URLﾘﾝｸ(www.mellanox.com)
で、FirmはこれのConnectX2用を落とす
URLﾘﾝｸ(www.mellanox.com)
MFTインストールしてやってから以下 root で
# mst start
# mst status // ここでデバイスが見える筈。
# flint -d /dev/mst/mt26148_pci_cr0 q // 現在のファームの確認。上で表示されたデバイス名に合わせてね
# flint -d /dev/mst/mt26148_pci_cr0 dc > mt26418-config.ini // 現在のFirm設定の書き出し
ファームを解凍してやる
# mlxburn -d /dev/mst/mt26418_pci_cr0 -fw fw-ConnectX2-rel.mlx -conf mt26418-config.ini // 読み出しした設定で最新ファームを書込み
# flint -d /dev/mst/mt26148_pci_cr0 q // ファーム更新かかってるか確認
って流れかな。
多分、mac addressが設定されてないと思うので、10GbEで使用するならおまけでこの辺やっとくとよいかも
# flint -d /dev/mst/mt26148_pci_cr0 -mac (GUID Port1の前6桁と後ろ6桁) sg
446:421
12/02/01 20:55:29.07 GvUfm3/z.net
>>422
どうもありがとうございます。
デバイス固有の設定みたいなのがどこから手に入れられるのかわからなかったのですが、
flintを使えば現在のfirmwareから設定が抽出できるのですね。助かりました。
447:不明なデバイスさん
12/02/02 23:07:16.74 gFpiynde.net
x1スロットに差して動くカードってありますか？
448:不明なデバイスさん
12/02/02 23:51:34.34 zqmIfXZ5.net
>>425
そもそもIBでx1のカードを見たことが無い。
そらまぁ、SDRのx4で片方向10Gbpsの帯域が有るわけで、
PCIe1.0だとx4でも足りない。
PCIeのx1じゃIB使う意味が無いって位に足りない。
449:不明なデバイスさん
12/02/03 13:01:29.46 E21Djc8i.net
100BASE-TX対応だけどI/FがUSB1.0や
450:16bitPCカードなLANアダプタとか昔有ったな。 速度は出なくてもいいからとりあえずリンクはして欲しい、って用途向けの。 IBだとそんな用途はなさそうだが。
451:不明なデバイスさん
12/02/03 13:12:07.15 jApT1QRX.net
>>426-427
iscsi Targetとして使いたいので、GbEよりはパフォーマンスが稼げないかなと思ったのです。
miniITXのマザーで、x16はRAIDカードが塞ぎ、miniPCIから延長して繋ぎたかったのですが意味ないでしょうか。
452:不明なデバイスさん
12/02/03 13:31:10.86 z+Mx8oSR.net
そういうことなら、とりあえず買って繋いでみれば?
x1でも動く可能性はあるし。
453:不明なデバイスさん
12/02/03 15:10:55.24 nk+YGKi8.net
>>428
人柱前提で試すと言うことなら、止めることはしないｗ
target/initiatorの構成が出てないんで、わからんのだけど、
上の方で200MB/s前後って情報は出てるな。
（こっちも構成が分からんので、参考になるかどうかすら判断出来んけど。）
PCIe x1接続なら一応理論値で250MB/sの帯域はあるから、
実効値でMAX 200MB/s出れば、万々歳かなぁ。リンクしてくれる前提だが。
ただ、使ってるカードや、OS、targetによっては1GbEと
たいして変わらない可能性も・・・。
その辺りまで含めて、人柱って事で、れぽーと期待してますｗ
454:不明なデバイスさん
12/02/03 20:17:20.22 jApT1QRX.net
>>429-430
そうだよね、やってみようかなって思ったんだけど
H61M-USB3がMegaraid SAS 9240-8iを認識しないときた。
H61AG買ってからかなあ。
InfiniHost系の安いカード２枚と、Solaris(target)-Windows7(initiator)でやりたいと考えてます。
箱はコレなので、ケースに穴を開けてがんばろうかと思ってました
URLﾘﾝｸ(www.alibaba.com)
455:421
12/02/06 13:47:09.02 8mnpRfU1.net
>>423
おかげさまでfirmwareアップデート出来ました。
ありがとうございました。
次はRedhat6.2でNFS/RDMAを試してみるぞー。
456:不明なデバイスさん
12/02/06 23:40:50.61 mw887Ob/.net
>>431
うちは、InfiniHostExでx4では試した事あるけど一応動いた。
SDRのカードだったので帯域的には十分足りたってのがあるかも。
>>421
無事にアップデート出来たみたいで何よりです。
上手く行ったらレポよろー
457:不明なデバイスさん
12/02/13 20:24:37.76 hQb4s5bD.net
このスレをみて自宅で使ってみたくなり部品調達中です。
現在はESXi4.1 + OpenSolaris( iscsi target )のGbEな環境で
使用中です。>83 を参考に
ESXi4.1(MHEA28-XTC)
iscsi target -- OpenSolaris(MHEA28-1TC)
openSM -- Linux host (MHEA28-XTC)
をF-X430066で接続する構想です。ebayで探していますが
MHEA28-XTCが30ドルであって注文しました。しかし、MHE
A28-1TC、F-X430066があまりなくて値段も高めだったので
購入をためらっています。お勧めのOEM物などありました
らよろしく。特にスイッチの安いのが欲しいです。
458:不明なデバイスさん
12/02/14 02:14:11.68 Y0A/Usyx.net
>>434
今だったら、OIとESXi4.1を直結で動作可能。
OpenSMを移植した人いるからね。
この辺はググってください。
ある程度解ってないとちょっと面倒だけど。
（自分でOpenSolarisのBuild出来る程度のスキルでオッケー）
ぶっちゃけ、F-X430066使うメリットは殆どないよ。
EOLなって相場あがってるし、音もそんなに静かで
459:はないしね。 ebayに手を出してるんだったら、安いスイッチはISR-9024S-Mかな。 定期的に出してる業者さんいるけど、大体$200ちょっとくらいで落ちてるので こいつだったらSubnetManager載ってるので、LinuxでOpenSM動作させる必要は無いし。 FirmとかはHPのサイトから落とせば一応最新の物がダウンロード可能だし。
460:不明なデバイスさん
12/02/16 23:39:59.11 4ZphLxd3.net
無知な私もinifinibandを自宅に整備したくなったので、
Voltaire 400Ex-D と ケーブルをebayで注文。
届いたら動くかﾚﾎﾟ。
461:434
12/02/18 10:03:06.69 LQab/ACb.net
>>435
情報ありがとうございました。月末にHCAとケーブルが届き
ますので、直結で使ってみます。OpenSMは3.3.13にあがって
それに対するパッチを公開されていますね。楽しみです。
OIは使ったことないので、情報収集中です。ESXI4.1のデータ
ストア（scsi target）に使うつもりですが、USB boot+HDDx4個
（zfsの10かraidz)で使えればと思っています。
462:不明なデバイスさん
12/02/19 14:16:10.79 /nFaSHfi.net
でも実用に供しちゃうと実験君できないんだよな。
いつ実用にしちゃうか悩みどころ。
463:不明なデバイスさん
12/02/21 23:40:02.49 X562yWUS.net
すいません、めちゃめちゃド素人な質問ですみません。
>50 の
>SDR IB 2500Mbps < 10Gbase-CX4 3125Mbps < DDR IB 5000Mbps
って3125Mbpsじゃなくて3125MBaudだと思うんですが、IBはビットレートとボー
レートは同じ？ちなみにスレチですが、SAS1.0だと1対あたり3000Mbpsてことで
あってますでしょうか？
いや、両端がCX4のケーブルをSASで使っててどうにもH/Wエラー出まくりなので、
これってもしかしたらSDR IB用のケーブルなのかなぁ。と思ってｸﾞｸﾞってただけ
なんすけど。
464:不明なデバイスさん
12/02/22 00:26:54.21 v0XXdhrx.net
>>417 >>419
FreeBSD9.0-RELEASE amd64 + MHRH19-XTCな環境で試してみましたが、駄目でした・・・
URLﾘﾝｸ(forums.freebsd.org) を参考に world を作りなおしたのですが。
dmesg 見ると "no driver attached" とのこと・・・
ちなみにpciconfは
none3@pci0:4:0:0: class=0x0c0600 card=0x000615b3 chip=0x673215b3 rev=0xa0 hdr=0x00
vendor = 'Mellanox Technologies'
device = 'MT26418 [ConnectX VPI PCIe 2.0 5GT/s - IB DDR / 10GigE]'
class = serial bus
と認識してました。
465:不明なデバイスさん
12/02/22 01:01:29.88 S/cVkrEl.net
>>440
kldstat -v | grep mlx
の出力でmlx4*入ってなければ
kldload mlx4 mlx4ib mlxen
これでどれかヒットしたら、ヒットしたヤツを/boot/loader.confに追加
kldloadでもダメなら、コンパイル設定がちゃんと出来てない or コミット具合が中途半端かなぁ
ソース的にはvender=15b3 product=6732有るから対応はしてるはず
466:不明なデバイスさん
12/02/22 12:37:15.31 KppCuwU2.net
>>439
IBもCX4も4b5bなので、SDRで言えば2500Mbpsは物理レート、2000Mbpsが論理レート。
467:不明なデバイスさん
12/02/22 15:51:38.97 uLyrXAnc.net
>>439
SDR IB 2500Mbps < 10Gbase-CX4 3125Mbps < DDR IB 5000Mbps
↑
これ全部baud rateね。
data rateで書くなら
↓
SDR IB 2000Mbps < 10Gbase-CX4 2500Mbps < DDR IB 4000Mbps
こんな感じ。ちなみにSAS1.0も8b/10bエンコードなので、3Gbps Baud Rate、
2.4Gbps Data Rate（8で割れば 300MB/s Data Rate）です。
468:不明なデバイスさん
12/02/23 13:04:37.95 FCLMWANA.net
>>441
mlx4.koがロードされてないから、それに依存するモジュールを全部ロードできてない感じみたいっす。
# kldload mlx4
kernel: linker_load_file: Unsupported file type
で、/var/log/message みたら
kernel: link_elf_obj: symbol M_KMALLOC undefined
とか言ってるんで、上手くコンパイルできてない感がありますね。
初期化してソース取ってきて、いつもどおりworld作ってるんですけどなんかマズイのかなぁ。
成功してる人の体験談を聞きたいですね・・・
469:不明なデバイスさん
12/02/23 15:19:30.01 dBMEHr9c.net
>>444
BSDはいじれるし、試す環境を作る事は出来るんだが、
肝心のHBCが無いというｗ
BSDでIBがまともに使えるようになってくれると、
Solarisからの乗り換え候補にもなるんで、
楽しみではあるんだけどね。
470:不明なデバイスさん
12/02/24 00:16:00.37 cUhf+TCK.net
>>444
依存関係がよろしくないっぽいので以下の手順試してみてください
カーネルコンフィグから以下を削除
（テストしやすいようにカーネル組み込みをやめてローダブルにするため）
device mlx4ib
device mlxen
device mthca
device ipoib
以下のコマンド実行
cd /usr/src/sys/ofed/drivers/net/mlx4
ln -s ../../../inlcude/linux/*.c ./
あとはカーネルビルド＆インスト
実物を持ってないのでなんともいえないけど、kldload mlx4は文句なく出来るの確認しました
471:不明なデバイスさん
12/02/24 01:10:52.75 OpT+ysLU.net
横から質問ゴメン
rc.confに opensm_enable="YES" て書けるようなんですが、FreeBSDでも
subnetManagerは普通に動くんですか？
472:不明なデバイスさん
12/02/25 21:46:39.64 bMM+5bJc.net
>>440
Freebsd9.0R(amd64)をstableバージョンにあげて、
URLﾘﾝｸ(forums.freebsd.org)を参考にして試してみました。
MELLANOX INFINIHOST MHEA28-XTC DUAL PORT 10GB/s
HP InfiniBand HCA 4x SDR PCI-E Dual Port 380298-B21
の二枚ともに認識しました。前者の/var/log/messagesは
Feb 25 21:13:16 freebsd901 kernel: Running ipoib_init_module (0xffffffff80a9a120
)
Feb 25 21:13:16 freebsd901 kernel: ib_mthca0: <ib_mthca> mem 0xfde00000-0xfdefff
ff,0xfc800000-0xfcffffff irq 16 at device 0.0 on pci2
Feb 25 21:13:16 freebsd901 kernel: ib_mthca: Mellanox InfiniBand HCA driver v1.0
-ofed1.5.2 (August 4, 2010)
Feb 25 21:13:16 freebsd901 kernel: ib_mthca: Initializing ib_mthca
～～～～～～～～～～～
Feb 25 21:13:16 freebsd901 kernel: ib_mthca0: HCA FW version 5.1.000 is old (5.3
.000 is current).
Feb 25 21:13:16 freebsd901 kernel: ib_mthca0: If you have problems, try updating
your HCA FW.
Feb 25 21:13:16 freebsd901 kernel: ib0: max_srq_sge=27
Feb 25 21:13:16 freebsd901 kernel: ib0: max_cm_mtu = 0x10000, num_frags=16
Feb 25 21:13:16 freebsd901 kernel: ib0: Attached to mthca0 port 1
Feb 25 21:13:16 freebsd901 kernel: ib1: max_srq_sge=27
Feb 25 21:13:16 freebsd901 kernel: ib1: max_cm_mtu = 0x10000, num_frags=16
Feb 25 21:13:16 freebsd901 kernel: ib1: Attached to mthca0 port 2
でした。後者も同様な認識でした。ConnectX系はmlx4ですので、その違いかなー。
当方はまだopensmな環境がないので接続テストはできていません。ちなみに
FreeBSDにポーティングされているhw driverはmlx4とmthcaだけですね。
473:440
12/02/25 22:08:14.32 jv4hZwB5.net
>>446
ソースを取り直して再度worldを構築したら成功しました。
>>448 さんと同じような感じでしたー。
>>447
defaults/rc.conf には記述があるけど、肝心の起動スクリプトが無い気が。。
OpenSM のソース自体は /usr/src/contrib/ 以下に入ってますけど、パッチなしではコンパイルできません。
なんとかコンパイル通したものの、上手く動いてくれない感じでした。
今夜あたりにもう少し弄ってみようと思いますんで、後ほどまた報告しますですー。
474:不明なデバイスさん
12/02/25 23:35:48.33 bMM+5bJc.net
>>449
> which opensm
> /usr/bin/opensm
バイナリありますよ。# opensm startで
Feb 25 23:18:55 343791 [1C07400] 0x03 -> OpenSM 3.3.1
確認しました。stand aloneで接続試験はまた後日に。
475:不明なデバイスさん
12/02/25 23:55:18.44 jv4hZwB5.net
>>450
ops, 確認するときに使っていたworldはWITH_OFEDなものじゃなかったです、、、
いっしょにコンパイルされるもんなんですね。てっきりSolaris11みたいな感じかと思ってました。
私も接続試験してみますー。
476:不明なデバイスさん
12/02/29 21:20:59.22 rFEqkiKg.net
RHEL系(CentOS、Scientific Linux)では、6.2が最新ですが、素install後に
# yum groupinstall 'infiniband support'
# yum install opensm perftest
# modprobe ib_umad
# opensm start
でＯＫでしょうか？3.3.9が立ち上がります。
MELLANOX INFINIHOST MHEA28-XTCのportにケーブルをループバックで
端端接続すると緑と橙色になりました。一応ローカルでＯＫということで。
FreeBSDの場合と比べて簡単ですね。
477:不明なデバイスさん
12/03/07 23:34:19.31 hlc8Fsye.net
いつのまにかMLNX WinOF VPI v3.0.0でてたんだね
478:不明なデバイスさん
12/03/08 09:27:04.83 /jkOBLhk.net
Hyper-VのIPoIB passingがあるのか？ ためしてみなきゃ。
479:不明なデバイスさん
12/03/08 17:07:46.29 /gSgaG/k.net
Windows 8 serverのPreviewでたから、IPoIBでSMB 2.2 のRDMA SMBが
使用可能かチェックしてみないと。
480:不明なデバイスさん
12/03/08 21:46:47.82 /jkOBLhk.net
8 serverのpreviewも出たんだ。
仮想スイッチとか切れるようになったんだよね。うーむ、いじりたいもの多すぎ。
481:不明なデバイスさん
12/03/09 02:32:13.09 KBsbCkss.net
>>456
Clientの方と一緒にServerもでてたみたいです。
iWARPとかも試してみたいのですが、Switchが高すぎて・・・
482:sage
12/03/09 19:56:54.86 39uW48Co.net
ML110G6に8serverを突っ込んでみようと思ったけど、なぜかインストーラが
HDDを見つけてくれず、「ドライブが見つかりませんでした」とか怒られる。
smb2.2試してみたい
483:不明なデバイスさん
12/03/09 20:30:29.66 7ikC8YdG.net
>>458
オンボRAIDにしてない？AHCIモードかなんかでないと。
484:不明なデバイスさん
12/03/11 23:58:13.99 RSemGy1Q.net
>>435
OpenSMを移植した人のサイトからファイルを落としてコンパイルしてみましたが、
gmake setupのところで/opt/SUNWspro/sunstudio12.1/bin/ccを要求します。
検索してみると以前はpkg installでsunstudioが得られていたようですが、今は
できないようです。オラクルのサイトはSolaris10と11、Linux用でOIには適応でき
ませんでした。sunstudioなしでOpenSMできないでしょうか。
# CentOSやFreeBSDとくらべるとなかなか先に進みません。スイッチ買おうかな。
485:不明なデバイスさん
12/03/12 09:14:36.25 +INFtRDa.net
うわーoptパスなすかしす。
gmake configとか通らない？
486:不明なデバイスさん
12/03/12 12:56:09.98 FpsVnDXN.net
>>417
OFED 1.5.3がportされたという話だったのに、なんで"ofed1.5.2"という記述があるんだろう？