11/11/15 22:00:31.55 Oz8F4jwP
>>271
Connectedでも大して変わらんかったです。SMの仕事がちょっと減る、とかそんなもんかなー。
ConnectXとX2の違い、チップのブローシャ見てる限りはfloating point engineぐらいなんだけど（GPU offloadで使う？）、
微妙に内部のメモリ量とかオフロードエンジンのプログラミング能力とか違いそうですね。
273:不明なデバイスさん
11/11/16 00:22:56.87 ML89bY3o
>>272
あらま、変らなかったですか・・・。
DDR接続で InfiniHost Lx の Linux - ConnectX の Solaris 間のIPoIBで10Gb/sくらいでてました。
Linux側がML115 G1のAthlon X2 5000+ で Solaris側がXeon X3460です。
ConnectXとX2でファームが完全に分かれてるから、なんらかハードの差があるんでしょうね。
最初はそんなに差なんてないだろって思ってたんですが、同一環境上のConnectXとConnectX2で
BootMessageでUDPのオフロードが有効にならんよってメッセージが出て驚いたんですがｗ
274:不明なデバイスさん
11/11/16 01:04:24.46 m55q9mhU
興味は有るのだが、このスレ濃すぎて何言ってるのかわからん。
みんな本業が運用系のエンジニアって訳じゃないよね。
どうやって基礎知識得たの？
275:不明なデバイスさん
11/11/16 01:57:29.88 ML89bY3o
>>274
職場はコンピュータ系とは全く別の業種ですｗ
ネットワーク系のことは全くの趣味ですね。
基礎知識ってInfiniBandのですかね？
自分は元々ネットワークの技術ずっと追っかけしてたので、
最初に幾らか資料読んで、あとは実践でひたすら覚えていってる感じですね。
実質InfiniBandを触りだして半年くらいですから、そんなに詳しいわけでもないんでｗ
InfiniBand自体、技術的には昔からあるんですが、ノウハウの部分があんまり表に出てない
(というか、触ってる人が少ない)ので、自分がやってて貯まったノウハウとかを書込していってる
感じです。後からやろうとしてる人が楽できるように。
276:不明なデバイスさん
11/11/16 02:24:48.45 ML89bY3o
MellanoxのOEMもののカード使ってる人向けネタ
最新のファームの適用方法
URLﾘﾝｸ(forums.oracle.com)
PXEブートとかいらないんだったら、途中のiniファイルの編集は不要。
うちで書換を確認したのは、以下のカード
・VOLTAIRE HCA 410 Ex-D (InfiniHost Lx MHGS18-XTC)
・HP 380298-B21 (InfiniHostEx MHEA28-1TC かな？)
・HP 448397-B21 (ConnectX MHGH28-XTC)
・IBM 44R8728 (ConnectX MHGH29-XTC)
VOLTAIREのカードは、iPXEの最新のBootROMを焼いてみたけど、
PC起動時にiPXEのメッセージが出てくるところまでは確認。
TopSpin(Cisco)のカードは上記方法では出来なかった。
1枚カードがあぼーんしたので注意を orz
とりあえず、IBMのサイトから最初に入ってるイメージよりも新しいFirmは入手できたから
そっちを突っ込んだ。
277:不明なデバイスさん
11/11/16 09:18:14.08 RIs8d0AX
>>276
tombstone化してしまいましたか（w
mst statでconfig側のインタフェースぐらい見えてるのなら、flintに強制書き込みモードがあった気がする。
278:不明なデバイスさん
11/11/16 17:09:42.38 dtxIRgpn
スパコンとストレージ用途以外の使い道ってあるのかな？
279:不明なデバイスさん
11/11/16 18:41:38.65 ML89bY3o
>>278
FCとかEtherとかをIBの上に乗っけれるので、ケーブルが集約出来るのはメリットかな。
さくらさんがIBで組んでるのは上記理由もあるかと。
最新のiPXEのInfiniHost系Memfree用(ExとLx用)のBootROM作ったけど、
人柱になってくれる人いるかな？
自分ところは、BootROMの書込までは出来たんだけど、SAN Bootの環境は
作ってないのでテストできないので実際Boot出来るかは不明なんで
280:不明なデバイスさん
11/11/17 10:20:31.95 AZ3cVfJP
EoIBのブリッジかFCoIBのブリッジが必要じゃない？>BoIB
ふつーの人は絶対持ってないような（w
infinihostIIIのファーム覗いてみたけどわけのわからんコード。どこのCPUだろ？全くの独自、ってわけではなさそうだけどなあ。
281:不明なデバイスさん
11/11/17 20:29:16.26 ymMYiwA7
>>280
いやいや、ブリッジいらんですｗ
IPoIB iSCSI Boot か SRP Bootになるんでｗ
起動用の環境つくるのが、ちょっと面倒なだけですわ
えらいもんおっかけされてますね。
282:不明なデバイスさん
11/11/18 06:32:18.65 WGcIiuKZ
>>281
失礼しました、IPoIB iSCSIでOKなんだ。だったらMS iSCSI target(最近無料化)でもいけるかな。
linux(debian)のnetpipe-mpi使ってMPIoverIBのスループット計りたいんだけどやり方さっぱりわからん。
283:不明なデバイスさん
11/11/18 21:24:16.77 WGcIiuKZ
linuxで速度測定。両側：debian6.0.3, Pentium D 2.8GHz, infinihost Lx DDR,直結。
netpipe-tcpで最高1150Mbps、connected modeで850Mbps、ちなみにmyricom CX4だと4100Mbps。
・Debianはmodprobe ib_ipoibだけでib0がifconfigに現れる。
・opensm及びinfiniband-diagsには要ib_umadモジュール。
・なんかますます10Gbeとの差が。貧弱なマシンはConnectX必須かと。
284:不明なデバイスさん
11/11/18 21:52:06.63 Ac+1XDLH
>>282
多分いけますよ。FlexBootのマニュアルみてると、ISC DHCPのサーバにパッチ適用しないと
駄目みたいですけど。
>>283
PCのスペックが低いとInfiniHost系だとしんどいんですね。
しかし、Connected modeのが遅いのが意外でしたわ。
ちなみに、Debianに標準で入ってるOFEDのベースは1.4.1とかだったはずなので、
ベースが古いってのもあるんですかね。自分は、sid(Kernel 2.6.38辺り)ベースで、
Debian-OFED(1.5.2)を突っ込んで試してみたことはあるんですが、標準のは使って
なかったので、比較出来ないです。
285:不明なデバイスさん
11/11/18 22:01:37.07 WGcIiuKZ
>>284
connectedは説明みると「UDPのでかいパケットか、TCPの特定条件だと速いよ」みたいな書き方だったので、
netpipe-tcpだと合致してないのかも。
新カーネルやofedは試してみたいところですが、ま、infinihostは見放されつつあるので期待はしてないです。
286:不明なデバイスさん
11/11/19 16:18:58.97 JhNlkJWS
もう一度Win7で計り直したら、connectedのほうが速かった。すまん。
＃再起動しないとだめなのかも。
connectedで2200Mbps、no connectedが1500Mbpsだった@Pentium D 2.8GHz。
287:不明なデバイスさん
11/11/21 02:15:30.70 aB9kUHsV
>>286
とりあえずちょっと速くなったようでなにより。
むむ、再起動すると大丈夫だったのね。以前WinOF 2.3でConnected ModeをOnに
してると、起動時にOnに出来なかったってメッセージが出てたから、ドライバの制限で
起動時だけ変更可能なんでしょうなー。
おまけ、ConnectXのブラケット見てて気づいた。
InfiniHostEx系のブラケットがそのまま使えるのね。
ConnectX2の1ポートだと、InfiniHostLxのブラケットがそのままいけそう。
288:不明なデバイスさん
11/11/21 02:28:48.08 /PxAlNbd
どっかにDualPortのInfinihostIIIのブラケットだけ落ちてないかな(´・ω・`)
289:不明なデバイスさん
11/11/21 03:10:55.23 YhwOt2i6
さてはロープロだったな
290:不明なデバイスさん
11/11/21 09:42:02.09 ORwXW+2F
>>287
connectedとdatagramは切り替わってたぽいんだけど、MTUが切り替わってなくてスピード変わらなかった感じ。
つまるところ、connectedでのスピード向上はMTU上昇による上位層での処理減少、って奴っぽい。
＃icmpはうまく実装されてないみたいで、ping -l 10000 とかやるとインターフェースがdownします（笑）
debianでスピードが逆に落ちたのもMTUが変わってなかったからかも。
>>288
SFF8470、ケーブルごついからねー。24AWGだとアスパラガスぐらいあるし。
うちはPA-010ME（メッシュカバー）をハンドニブラで適当に加工した。どーせ趣味だし。
291:不明なデバイスさん
11/11/21 10:03:03.09 ORwXW+2F
補足。
・メッシュカバーはニッパでも加工可能。ニッパの歯が傷むかもしれないけど。
・ケーブルの太さと伝送距離の関係は下記参照。（パッシブケーブル）
www.meritec.com/productfiles/categ_24/4x%20Wire%20Gauge%20vs%20Performance%20Over%20Length%20Test.pdf
・ケーブル刺す時に接点のタイミング？で1Xでリンクアップする場合があるので、ibstatやvstatでちゃんとX4でリンクしてるか
確認したほうがいい。
292:287
11/11/22 02:58:39.55 cd+8LQp2
ConnextXのブラケットだけど、試してみたけど駄目だった orz
ConnectX2の1ポートのブラケットは、2mmくらい穴位置がずれて駄目。
なんで、スペアパーツで出ないかと思って調べてみたら、こんなのが
Mellanox Short Bracket MT90837A01 Mellanox InfiniHost III Ex Single-Port InfiniBand HCA Card
Mellanox Tall Bracket MT90839A01 Mellanox InfiniHost III Ex Single-Port InfiniBand HCA Card
物の写真がないので、不明なんだけど使えるんだろうか？
誰か人柱をｗ
293:不明なデバイスさん
11/11/23 12:30:40.22 qJQ4G9BY
ESXiのストレージ接続としてIB良いなぁと思うも、
SMをどうするかって問題が。
ZFS使ってるから、Solaris系かBSDでSM動いてくれないと・・・
ん～4Gbpsになっちゃうけど、環境整うまで
FCに逃げるしかないのかなぁ。
294:不明なデバイスさん
11/11/23 13:14:18.13 1GkMTiHn
>>293
IBスイッチでSM積んでるものあるから、そういうの選べば一応行けるけど。
295:不明なデバイスさん
11/11/23 15:51:06.10 ZxF+eDmL
>>293
家でやるなら デュアルポート片方をDirectPathI/Oで仮想マシンに生で見せる。
んで、仮想マシンにLinux+SM
もう片方のポートはESXに見せる
やったことないのでアイディアだけっす
296:不明なデバイスさん
11/11/23 18:02:26.38 pnhbD8t7
今ちょうど某オクにSM付きスイッチ出てるべ？
297:不明なデバイスさん
11/11/23 19:59:36.44 1GkMTiHn
>>295
残念ながらDualPortのカードって1枚にしか見えないからポート単位のDirectPathI/Oは不可能ですね。
あと、カードわけたとしてもESXiとLinuxの間がスイッチないと駄目ですね(スイッチ前提で考えてたらごめん)。
ESX4.1だったら、OpenSM動くんだけど。Solaris系をストレージに使うとなると色々制限が厳しい。
298:293
11/11/23 21:34:25.89 uialXv1r
>>294
>>296
やっぱSMスイッチですかねぇ。SDRってのがちょっと気にくわないというか、
どうせならDDR位と思っちゃう所もありまして。
>>295
>>297
実はその手も一瞬考えましたｗ
ただ、3台数珠繋ぎでのはっきりした動作例が無かったのと、
VT-dでまともに動いてくれるか？って所もありますし。
ESXi-ストレージ間の帯域増やせたら、あわよくば、単独で動いてる
ファイルサーバーまでESXiの上に乗っけちゃおうかと目論んではいるんですが、
なかなかいい手がないなー。
299:不明なデバイスさん
11/11/23 22:43:17.02 TA46mxrp
ESXiとSolaris系のZFSなストレージを組み合わせたいというニーズが大きいのはよくわかったｗ
300:不明なデバイスさん
11/11/23 23:42:18.38 1GkMTiHn
>>298
楽するならSMスイッチ。
ただ、自分はスイッチのSM設定ってした事ないので何とも言えずｗ
DDRになると、カードの値段がSDRに比べると無茶苦茶に高いわけじゃないですが
ちょっと高い気が。
VMwareのサイトで見たのは、ConnectXだったかをESXi上でパススルーすると
動作がおかしいってのは見た事あるけど、実際どうなのかは不明。
個人使用っぽいので、アレな方法を書いてみる。
とりあえずDirectPathI/Oが使えるのが前提
耐障害性がーって言われると困る構成＆スレ違いネタになる部分が多々だけど
・ESXiでSolarisを動かすだけの最低限のデータストア用意
・ESXi上にSolarisインストール
・DirectPathI/Oで、ストレージカードとIBか10GbEをSolarisVMにマッピング
(ESXi側で共有かけたかったらネットワークカードのマッピングは不要)
・ストレージカードにZFSの共有かけるPoolのDiskを追加して、Pool作成
・作成したPoolの一部をESXiのデータストア用に切り出し、iSCSI Target設定
・SolarisVMのiSCSI TargetにESXiから接続。他のVM用のデータプールに。
・SolarisVMの余ったPool部分ははファイルサーバ用にも使える
元ネタは海外のサイトだけど。
この構成だと、IBなり10GbEに繋げるのは一台になっちゃう。
あと、IBだとSolarisVMと接続できるのは、WindowsかLinux限定になるか。
301:293
11/11/24 00:07:39.78 xCIMl9Wd
>>300
やっぱSMスイッチが一番楽ですよねぇ、構成縛られないから。
SSDでストレージ組んでる訳じゃないので、
ぶっちゃけSDRの帯域でも使い切ることは無いとは思ってますがｗ
で、アレな方法ですが、えぇ、思い切り個人使用です、はい。
で、なるほど～と思いつつ、よくよく考えてみたら、
その方法の場合、IB直結で別PCに繋ぐ必要が無いときって
IBいらなくないっすか？ｗ
10GbEは別の意味で必要かもしれませんがｗ
内部SwitchをESXiのソフトだけで賄うと結構負荷が高いかも？
VT-cでも使って、10GbE AdapterをSwitch代わりに使えば、
負荷は問題なくなるかもだけど、余りにも贅沢な使い方にｗ
（物理ポートがLinkDownしてる状態で動くのだろうか・・・
いや、多分動かないだろうなｗ）
ストレージ部分だけDirectpathでVM直結で、
ESXi他はiSCSIでVMと内部Switchで接続って事ですよね。
確かに方法としては良さそうなんですが、
ZFS自体メモリイーターなのと、ESXi上で、現状複数のVMに10G以上
メモリーを使われてる事を考えると、ESXiの鯖に
32GB付けないと、まかないきれないかも・・・？
302:不明なデバイスさん
11/11/24 01:07:54.96 /I0TOwaL
>>293
構成的には楽なんですけど、設定が楽なのかがよくわからないんですよね。
某オクに出てるのは、TopSpinOSのだから、このスレでも使ってる人が何人か
いますけど、スイッチのSM使ってる人っているのかな？
アレな方法ですけど、IBスレなのでなんとなくおまけで付けてただけですｗ
自分も接続するクライアントに速度が必要じゃなければ、いらないよなーと
思いながら書いてたのでｗ
ホストとゲストで内部Switch使う場合って、VMCIを有効にしても速くなら
ないんでしたっけ？実際に自分で試してみればいいんですけど・・・
他のVMが、大量にメモリ使ってるならちょっとアレな方法はしんどいですね。
303:不明なデバイスさん
11/11/24 09:25:32.79 txlbh1FE
ESXiってローカルループバックアダプタ（ダミーNIC）って設定できないの？
スイッチのSMってまああってもなくてもいいものだとは思います。結局Linuxこさえて繋げば同じことなので。
設定はいずれにせよ簡単（topspinのだとSMをデフォルト値でcreateするのみ）。
ただ、SMの目的のためにスイッチ買ったりlinuxこさえたりするぐらいなら、10GBeのほうがずっと簡単＆安上がり、では？
３台またぎのスイッチなし、って結局サブネット２つできることになるので、だめじゃないかなー。誰か試したんだっけ？
304:不明なデバイスさん
11/11/24 09:35:00.24 txlbh1FE
しかし某オクの相場、ってよーわからんなあ。
super/superを知らないから安かったり、よくわからん製品だから安かったり。
まあユーザ（買う方）も少ないから釣り合い取れてるのかな。
305:不明なデバイスさん
11/11/24 20:29:36.24 /I0TOwaL
>>303
ローカルループバックアダプタ設定できますよ。
今回話題にしてるのは、そのローカルループバックアダプタのパフォーマンスがどの程度って話ですね。
ホストのスペックがそこそこあれば、十分パフォーマンスは出るみたいですけど。動いてるゲストの数とか
ゲスト側の負荷とかで色々条件が変るので。
スイッチのSMはそんな感じで設定するんですね。
うちも設定してみようかなー。ただ、セカンダリのSMに設定するとは思いますが。
台数少ないと、間違いなく10GbEの方が簡単で安上がりですね。
ただ、スイッチの出物がすごく少ないのがネックですね。
三台またぎのスイッチ無しはやった事ありますが、InfiniBandのネイティブだと設定の仕方が解らず挫折してます。
IPoIBだと、言われてるようにサブネット二つにしてルーティングしてやればTCP/IPでの通信はできました。
言われてるサブネットがInfiniBandのサブネットだったら意味なしの返答なのでご了承を。
確かに某オクの相場は意味不明ですなぁ。
知ってる人だったら、激安ってのが多々出てますね。出品者側が価値を解ってないからってのが大きいんだと。
特殊用途の製品＆一般だとあまり知られてないってのが大きいんでしょうね。
306:不明なデバイスさん
11/11/24 21:30:10.15 txlbh1FE
infinibandのサブネットです。＞数珠つなぎ
でサブネット間のルーティングって(infinibandの)ルータが必要じゃないのかな。
でinfinibandのルータ、ってたぶん死ねるような値段かと。
307:不明なデバイスさん
11/11/24 22:35:32.73 /I0TOwaL
自分でかなり最初に書いてたけど、OpenSMでこの設定したらルーティングできそうなんですよね。
(自分で書いておいてすっかり忘れてたｗ)
URLﾘﾝｸ(wiki.chpc.utah.edu)
あと、リング接続で動かされてる方も
URLﾘﾝｸ(www.slideshare.net)
出来そうってのは解るんですけど、どうやって設定するってのがよくわからない。
どちらにしろOpenSMが動作してる環境は必須なんですが。
308:不明なデバイスさん
11/11/24 22:43:47.68 txlbh1FE
2ポートのカードなら同一サブネット可能なんでしょうか？
なお、上のほうの「routing_engine」って同一サブネット内に複数経路ある場合の経路選択アルゴリズム、だと思います。
309:293
11/11/24 23:13:11.29 xCIMl9Wd
えぇ、色々考えて、今回はFCで行くことにしましたｗ
さすがに8Gbpsは高いので、4Gbpsですが。
実は、別にあるファイル鯖がWin機でそこにMS iSCSI targetを入れて
使ってた事もあったんですが、OSにパッチ当てる→要再起動のたびに、
ESXi上のVM全部落とすのが面倒で。
その為にBSD+ZFS+istgtで1台仮想鯖用にストレージ立てました。
Linuxはどうかと言えば、もうこれは宗教に近いと言いますか、
かれこれ20年近く鯖用にBSDしか扱ってこなかったんで、Linuxのお作法になじめないんですよね。
Solarisは仕事で触ってたことがあるんで、まだ良いんですが。
まぁ、ESXiも5.0に上げる予定が有ったので、ドライバ出るまで
SRPが使えないって問題もありますし。
FreeBSDか、SolarisでSMが動くようになってESXiにドライバ来たら
再度IBへの移行を考えるかも。
その時までFCで遊んでますｗ
310:不明なデバイスさん
11/11/24 23:35:51.83 txlbh1FE
FC、emulexの8G品がオクで安価に（笑）
＃SFP付きだし。
311:不明なデバイスさん
11/11/25 00:06:51.32 7fJvbJKx
>>308
ごめんなさい、ご指摘の通り上のルーティングは同一サブネット内の経路選択アルゴリズムでした。
下の資料みてると2ポートのカードなら可能そうに見えるんですけどね。
どういう設定をしているんだろうかと思ってるんですが。
>>309
あら、FCで決定ですか
FreeBSD 9.0にもOFEDは移植されてるので、近いうちに動くようになるとは思いますけどｗ
IBがもう少し楽に動くようになったら、戻ってきてくださいねｗ
312:不明なデバイスさん
11/11/25 01:52:16.23 MwOgxDY8
10GbEが糞だからFCとかIBを使わなくてはいけないんだよなあ
313:不明なデバイスさん
11/11/25 02:22:10.39 Vvp6BG2d
10GBase-Tがもっと値段下がればなぁ
サーバセグメントはIB、端末は10GBase-Tにしたい
314:不明なデバイスさん
11/11/25 09:33:38.28 Cx0E5TL2
>>309
20年前にBSD系というと・・・SparcStation2+SunOS4.1.3とかしか思いつかん。
＃Solarisは2.1のころからのつきあいだけど、oracleになってから一切さわらず。
>>313
10GBase-Tは電力喰う、レイテンシあり、SFPのところに入らない、などの理由で普及しないと思われ。
315:不明なデバイスさん
11/11/25 23:31:04.57 ny+HkQzw
>>312
糞、というか。
FCでもIBでも10GBeでも、結局SFP+なりQSFPなりのインターフェース＋PCIeインタフェース＋オフロードエンジンなわけで、
オフロードエンジンをプログラム可能にしちゃうと結局これらには差がないわけで、
だからemulexもqlogicもmyricomもmellanoxもみんなCNAに走るわけで。
但し単に「切り替えられますよー」のCNAから今はFCoEやEoIBなどの「なんでもこれ経由で出せますよー」の第２世代CNAになってるわけで。
その場合のベースとして、例えばFCをベースにしてIPFCでIP転送、というのも考えられるけど、FCは基本接続台数は127台。
EtherをベースにするつまりFCoEが（いろんな機器あるので）コスト安そうなんだけど、Etherはパケットロスがあってもいい規格で、
この上にFCを載せると非常に都合が悪い。それで結局Etherにいろいろ拡張せにゃならん。
でIB。接続台数は6万台だし基本パケットロスないし、EoIBやFCoIBがやりやすい。
しかもmellanoxは早々と40Gb速度品を比較的安価に出してきてるわけだしベア性能はTop500で証明済み。
と書いたけど結局ふつうの企業のクライアントは1Gbeなわけで、EoIB←→1Gbe x24とかのブリッジスイッチが
例えば30万程度で提供されない限りいろいろ普及は無理だなー、って思う。
316:不明なデバイスさん
11/11/26 01:03:28.50 Uj9619ub
3行にまとめて
317:不明なデバイスさん
11/11/26 02:57:15.33 7BYpr4oz
>>316
EtherもIBもFCも全部似た方向に行ってる。
IBはその中で大量の1セグメントのネットワークが可能な上にカード自体はかなり安い。
でも、普通の企業だと1GbEがメインなんで、IBとEtherを接続する機械が低価格で出ないと復旧は無理
318:不明なデバイスさん
11/11/26 21:47:26.77 ZVKGS/hp
cisco 7000dはIB側(IPoIB)にも管理用のIPアドレスを振る事ができるので、
Etherの管理IPアドレスとの間で簡易ルータにならないかと思ってやってみた。
だめだった。まあ可能だったところで100BASE-TXのスピードなんだけどね。
319:不明なデバイスさん
11/11/27 15:29:34.34 sf/QJNdv
>>313
10Gbase-Tはエラー率、温度がやばすぎて使おうとは思えない。
Twinaxのほうが現実的。
320:不明なデバイスさん
11/11/27 17:20:19.22 Z+wYwGUN
導線だと取り回しが楽なんだよな
光は曲げられないから大変
321:不明なデバイスさん
11/11/27 17:29:43.87 6EdWlT3r
>>320
このスレの住人は決してそう思ってないぞ。AWG24のSFF-8470なんてなあ、（ｗ
＃ちなみにSMFでも最小曲げ半径15mmとか25mmとかが普通なんで気にする必要全くなし。
322:不明なデバイスさん
11/11/27 18:06:42.99 cauGjWgL
>>320
は？
逆だろ？
お前、ファイバー使ったことないだろ？
323:不明なデバイスさん
11/11/27 19:17:35.44 YH0In5V+
>>320
最近CX4のケーブルをファイバーに変更して取り回しが楽になったと喜んでる人が通りますよｗ
って、321の方がおっしゃってるようにInfiniBandのケーブルはAWG28で約8mmくらいあるから
ファイバーのが逆に取り回しが楽になるんですよね。
324:不明なデバイスさん
11/11/27 21:49:47.34 526o+p7N
>>317
GbEとIBの間でいいのなら、PCルータで十分じゃね？
問題は10/40GbE<->IBの部分。
325:不明なデバイスさん
11/11/27 23:57:08.83 osYvCsYL
>>320
最近のファイバーは曲げ耐性スゴいぞ
下手しなくても銅配線材の方がまがらないくらい
フレッツを入れたときに屋内配線用にコネクタを取り付け済みのファイバーケーブルが来たけどこれがめっちゃ柔らかくて進歩を実感したよ
326:不明なデバイスさん
11/11/28 08:06:50.72 rvCCgUX8
>>324
40GbE<->QDR IBのPCルータとか胸が熱くなる･･･
327:不明なデバイスさん
11/11/28 08:29:31.79 yE0D/2Sa
>>326
PCI-e 3.0のx16でも、16GiBだからなぁ。
いつワイヤースピード出せるようになるのか・・・
328:不明なデバイスさん
11/11/28 08:30:55.17 yE0D/2Sa
>>327
あ、16あればたりるのか。
329:不明なデバイスさん
11/11/28 08:49:39.22 19Vkbmpx
ショートパケット無視でも10GbEって6MppsだからPCルータだとさすがにちょっと届かない位か？
GbEは用途を選べば実用の領域に入ってる。
330:不明なデバイスさん
11/11/28 09:37:01.24 +KpZj0mL
GbeとIBの間でいいんだけど、Gbeが24本あってIBとの間でワイヤスピードやpps考慮するとPCルータじゃ無理でしょ。
市販の10Gbe←→Gbeルータが仕切り20～30万であることを考えると、その価格帯になれば10Gbeの代わりになるかなあ、と。
＃でもL2ブリッジならそもそもEoIBじゃないと駄目だけど、EoIBはまだまだ、って感じだしなあ。
331:不明なデバイスさん
11/11/28 09:40:09.93 +KpZj0mL
>>325
ホーリーファイバね。あれはちょっと特殊だし距離延ばせないんで。
ただVCSELなSMFだと主流になる可能性があると思う。
332:不明なデバイスさん
11/11/28 21:27:18.73 uLtQAD+M
駆け出しの頃はファイバーは女の子みたいに扱えって言われたけど進歩したもんだｗ
333:不明なデバイスさん
11/11/28 23:28:31.52 1grOWv3f
全くだな、いまどきの女の子ときたら
334:不明なデバイスさん
11/11/29 09:24:46.75 PN8FW+ON
戦後に強くなったのは女の子と光ファイバー
335:不明なデバイスさん
11/11/29 13:36:36.67 GkmxL9Gb
わたしマルチモードだから。
336:不明なデバイスさん
11/11/30 00:48:33.64 WCom+m6f
そして俺はいまだにシングルモード
337:不明なデバイスさん
11/11/30 15:15:20.87 SYoioA/Z
ババン、バ、バン、バン、バン！
338:不明なデバイスさん
11/11/30 18:44:16.06 x86vA2xE
一般家庭に光ファイバーが導入される日は何時だろう
高級マンションとかだったら光ファイバー設置出来ますとかやってるのかな？
339:不明なデバイスさん
11/12/01 06:17:26.01 sXT9G8Xg
インフィニバンド！
340:不明なデバイスさん
11/12/05 00:44:52.17 J8Fe7yPh
OFED-1.5.4が明日の夜にはでるのかな？
とりあえず、OFED-1.5.4RC5とWinOF 3.0-RC3が出てます。
341:不明なデバイスさん
11/12/05 21:16:03.99 J8Fe7yPh
Solaris11でOpenSMのコンパイルどうなるかやってみたが、見事にこけた orz
ソースちょっと追っかけてみたけど、LinuxのKernel Headerファイルに依存してるところが
結構あるんで、こりゃ移植に手間かかるわとおもた
342:不明なデバイスさん
11/12/05 21:22:24.36 kEr46NjD
そもそも管理用のパケットが送れない（送るverbを実装してない）とかいうレベルじゃないのかな？
343:不明なデバイスさん
11/12/05 21:28:06.58 kEr46NjD
ようやっとPCIe8xが2本取れるマシンを手に入れたのに、今度は遊んでる時間がない。うむー。
344:不明なデバイスさん
11/12/05 21:33:09.76 24wg9tqU
7本取れるマザー買ったけど同じく時間がないw
345:不明なデバイスさん
11/12/05 22:25:45.51 J8Fe7yPh
うーん、Solaris11のtavorドライバはもしかして純正とMellanox以外のInfiniHostを弾いてるのかな？
手持ちのOEM物のカードが動かなくなってる・・・。
346:不明なデバイスさん
11/12/05 22:29:48.36 kEr46NjD
flintでvendor idとかも書き換えられるんだから適当にメラっぽいのにしちゃえばいいんでない？
＃メモリなし、ではないよね？
347:不明なデバイスさん
11/12/05 22:33:30.54 J8Fe7yPh
>>346
失礼。
もう一台のSolaris11で試したら認識したので、カードとOSが原因ではないみたい。
んー、こりゃM/Bとかの問題だったら嫌だな
#メモリありっすね。
348:不明なデバイスさん
11/12/06 01:33:35.07 TO/7ikA1
ちょっと、Solaris11系Tavorドライバの追試してみた。
Solaris11 Early Access版だと認識したので、Release版との間に何か修正入ってるのかな。
同一環境のWindows 2008R2 + WinOF 3.0-RC3 だと普通に認識したので、M/Bとドライバの相性っぽい。
349:不明なデバイスさん
11/12/06 09:41:10.97 UrdJ4Wcd
PCIのvendor idは純正も互換も同じ（違うカードもあるみたいだけど）だから、
単純に差し替えると同じカードだと思ってESCDが更新されなくて不具合、とかじゃない？
350:不明なデバイスさん
11/12/06 20:36:27.51 3zFVmrcP
うーん、同じカードで別PCのSolaris11で動いて、そのPCのSolaris11だけInfiniBandが動かないって状況。
一回再インストールした方がよいのかも。
351:不明なデバイスさん
11/12/07 21:14:08.33 x5v+TmkP
PCIe8xにinfinihostとmyri10G刺したらシステムファンが爆速・・・うひょう。遅いままに設定できないものか。
>>344
7本も取れるマザーなんてあるのかいな、ってググったら、ワシの買ったマシン全体（CPU＆メモリ込み）より高いじゃん。
352:293
11/12/07 21:34:22.71 tRhZaY2x
>>344
x8 7本だとすればASUSのSuperComputer辺りなのかな？
でも、大丈夫なんかいな。
この手の鯖向けのカードって、
スイッチチップとか嫌う傾向が強い感覚なんだが・・・
353:不明なデバイスさん
11/12/07 21:35:45.43 tRhZaY2x
あれ、変なコテついてた、まぁ無視してくれ。
354:不明なデバイスさん
11/12/07 21:40:58.89 h5ImOy8Z
>>351
うちは、気休めだけど下のファンをInfiniHostとLSI 9211-8iを冷やす用に付けてる。
URLﾘﾝｸ(www.ainex.jp)
355:不明なデバイスさん
11/12/07 22:04:05.57 x5v+TmkP
いや、接続してないからたいして熱くなってないんだけど、IPMIが勝手にPCIカードのvpdを読んでシステムファンを爆速にしてくれちゃう模様。
356:不明なデバイスさん
11/12/07 22:46:41.91 h5ImOy8Z
>>352
X8SIA-FのPCIeスイッチ使ってる方のポートへ接続してるけど、問題出てないね。
他にPCIeスイッチ付いてる機械は持ってないからそれ以外はわからんけど。
>>355
なるほど、IPMI側で勝手に速度上げちゃってるのか。
357:不明なデバイスさん
11/12/08 00:01:12.49 ZfBF7TG8
>>356
IDTか・・・
まぁ、●なら、当然使うその辺はチェックまともにかけてる
はずだし、大丈夫だろうねぇ。
その点、NF200ってどーなのよ、ってのは有るけど。
358:不明なデバイスさん
11/12/08 11:44:02.27 AGovnO++
X8TDH-6Fだの
URLﾘﾝｸ(www.supermicro.nl)
オンボードsasが欲しかった。
あとはSAS HBAx2とIBx2 10Gその他を追加するんで選択肢が余りなかった。
CPUはL5520x2確保済、メモリーどうするか考え中。
Soraris11＋napp-itでいいかなと
359:不明なデバイスさん
11/12/08 11:49:49.37 AGovnO++
>>352
逆にサーバーだとブリッジチップがないほうが希じゃ無いかな？
とくにハイエンドになると
360:不明なデバイスさん
11/12/08 12:08:06.49 k77+uUMb
こんなマザボ、何に使うの？
361:不明なデバイスさん
11/12/08 12:18:12.04 vcHdi8e2
>>360
なんでここにいるの？ｗ
362:不明なデバイスさん
11/12/08 13:30:03.66 ppMwh1HX
>>358
あぁ、そちら系でしたか。なら問題無いですねー。
って油断すると、相性にはまる事はありますが・・・ｗ
うちの●君は単独で差すと問題無いIntel ET DualPort NICですが、
別のカードを挿すと、ESXi君は見事に見失ってくれますorz
BIOSでは認識してるので、どちらかというと、ESXiの問題な気はしますが、
まだ検証に時間を取れていない物で・・・
>>359
Nehalem以降1366以上だとQPI出てるんで、スイッチで分けるより、
チップセット2つ以上乗っけちゃうパターンの方が、最近多いんじゃ無いかな？
今回のなんて、その典型な気がするけど。
足りない分をスイッチで何とかってXeon-UPでしか発生しないし、
そのクラスにx8一杯取れる構成にしようって需要はあんま無いかなと・・・
（メーカー的に。必要なら上のDPクラス買ってくれとｗ）
個人的にはPCIいらないんで、その辺取っ払ってPCIeが多いマザーは大賛成なんですけどねｗ
363:不明なデバイスさん
11/12/08 21:40:29.81 ajAsJZxP
>>362
i5520ってこんな構成も取れるのね。i5520チェインしていけば何スロットでも取れるな。
364:不明なデバイスさん
11/12/10 08:35:42.62 KvuxDDuU
とりあえずSolaris11での動作検証が終わったので報告。
Solaris11 EarryAccessで、一通り動作検証してたので、動くだろうとは思ってたけど。
Solaris11で動作したカード
・MHEA-1TC (HP 380928-B21、Cisco SFS-HCA-E7T7-A1)
・MHGH28-XTC (HP 448937-B21)
・MHGH29-XTC (IBM 46M2221)
・MHQH19-XTC
・MHQH29-XTC
・MHQH19B-XTR
の上記は一通り動作するの確認。
っても、最低限のIPoIBとかでチェックしただけなので不具合が別でてるかも。
とりあえず、検証用一号機のE-1235機が最新BIOSでの不具合持ちなので、
そっちでは検証出来ず orz
365:不明なデバイスさん
11/12/10 08:42:36.60 KvuxDDuU
Web見てたら、ESXiへSRPとIPoIB使った場合はどう見えるんだろってあったけど、
ESXiではSRP Initiatorなので、ESXiのデータストアとしてしか見えない。
(ドライバの対応が4.1系なので、1データストア辺り2Tまでの制限あり)
ESXiのIPoIBインターフェイスは普通のNICで接続してるのと同じように、
VNICとして見える。のでゲストのVM上からは普通のネットワークインターフェイスとして見えます。
366:不明なデバイスさん
11/12/10 12:05:18.76 GI8pD2DW
>>365
それでちゃんと動くんだ。>VNIC
ふつーのNICはL2だからESXiがブリッジ動作すれば仮想マシン側では直接LAN接続されてるのと同等に動くけど、
IPoIBの場合はL3だから単純なブリッジ動作、ってできないはずなんだよね。
（IPアドレスとinfinibandのLIDの対応はSMで管理するはず）
動作してる、ということはちゃんと仮想マシン側のIPアドレス割当をESXi側に持ってきてSMに通知してるんだろうなあ。
367:不明なデバイスさん
11/12/10 14:10:19.45 KvuxDDuU
>>366
それで動きますね。
VMが通信するまではSMに通知が行かないみたいで、通信するまでは繋がらなかったりします。
これが起きるのがOpenSolaris系だけなので、OpenSolaris側のIPoIBの実装問題かもしれないですが。
NexetaCoreとかの、ofv(OFED1.3ベース)の古い実装のやつはIPoIBで負荷かけると、よく発狂するので・・・。
368:不明なデバイスさん
11/12/10 21:17:56.05 GI8pD2DW
>>367
なるほど。内側が通信はじめるまではMac-IPの対応が取れないからか。
外側は内側のIPを初期状態では知らない＝ARPが来ても返事できないからね。
369:不明なデバイスさん
11/12/11 22:23:25.51 rRe43yJK
すみません、どなたかアドバイスをお願いします。
Win7とWinSvr2008R2の両方にInfiniHostIII EXを刺して、ドライバはWinOFED
3.0-RC4を入れています。ドライバインストール時のオプションは、デフォル
トに対してSRPをオンにしただけです。インストール後、CMは両マシンとも
Enableにしています。
この状態でnetperf2.1pl1で速度を計ると
IB経由 SocterSize 8192 Throughput 0.32 (10^6bit/sec)
Ether経由 SocterSize 8192 Throughput 391 (10^6bit/sec)
という感じでGbEに比べて全く速度が出ません。win7→2k8も2k8→win7も結果
は変わりませんでした。
どこかチェックすべき箇所がありますでしょうか？
370:不明なデバイスさん
11/12/11 23:55:58.23 5WNBA5J4
>>369
カードのファームが最新かチェックくらいかな。
あと、出来ればInfiniHostの型番が情報として欲しい。
OEM物だったらOEMの型番まで。
環境違うから参考にならないかもしれないが、ConnectX使ってSDR接続の状態で
WinOFの3.0-RC4(Win2008R2)とLinux(MLNX_OFED-1.5.3)でIPoIB試したときは、
iperfで8Gb/sまで出てたけど。ほぼ理論値でてびっくりしたが
371:369
11/12/12 02:14:07.66 ou69AOdp
>>370
MHGA28-XTCです。Windowsでは「InfiniHost III Ex(MT25218)」と表示されて
います。
ibv_devinfoでは fw_ver:0x500010190 と表示されます
とりあえず明日fwを最新にしてみようと思います
372:不明なデバイスさん
11/12/12 02:27:16.21 VSfvQ4a+
Solaris 11でConnectX系のドライバの名称が変ってるのは、この辺の絡みかなー。
URLﾘﾝｸ(www.mail-archive.com)
あと、Solaris11のOFUVは1.5.3ベースだけど、OpenidianaのKernel側のインターフェイスは
1.5.1ベースなのね。
URLﾘﾝｸ(arc.opensolaris.org)
373:369
11/12/12 02:32:20.68 ou69AOdp
ぬふぅ・・・
質問ばっかりですみません。まさに↓に書かれてるような
URLﾘﾝｸ(ibicluster.uchicago.edu)
Invariant sector mismatch て言われてFWをUPDATE出来ないんですが、skip_is
付けて回避するので合ってますでしょうか？
374:不明なデバイスさん
11/12/12 03:54:23.58 VSfvQ4a+
>>373
古いMHEAからだと、-skip_is付けないとUpdate出来ないので付けてやりましょう。
こちらも何回かやってるけど、特に問題になってことはないです。
375:不明なデバイスさん
11/12/12 03:56:26.70 VSfvQ4a+
後追加
書込終わった後に確認で
flint -d mt25204_pci_cr0 q
してやって、書き換わってたら、Rebootしてやってから
ibstatｄでFirmのバージョンか確認してやればよいかと。
376:不明なデバイスさん
11/12/15 03:38:15.57 5NpW4JXT
気がついたら、12日にWinOF 3.0でてた。
RC3までのopensmにメモリリークのバグあるみたいなので、opensm使ってる人は
VerUPした方がよいかも。
377:不明なデバイスさん
11/12/17 20:12:40.37 WOWFMhSa
本日、朝からConnectX 2枚とLinux(SL 6.1)でSWless Infiniband構築してました。
ファームアップ後に、リンクアップできることを確認しましたが（OS標準のOFEDソフトウェアで）、
IPoverIBやろうと、ifcfg-ib0を作成してゴチャゴチャやってましたが、
どうやってもIPアドレスが割り振れず（IPv4）、疲れきって帰宅。
さっき調べていたら、RHNにこんなバグレポートがあがってました。
SL6.1用にはまだかしらん。
URLﾘﾝｸ(bugzilla.redhat.com)
378:不明なデバイスさん
11/12/17 21:12:10.36 +kkcoAQF
>>377
SL6.1でConnectX使ってIPoIB使えてるよ。
ただ、うちはOFED 1.5.4入れてるからOS標準のIBスタックじゃないけど。
379:不明なデバイスさん
11/12/18 17:03:33.40 tCJ0TUcl
>>378
サンクスです。いろいろ調べてifcfg-ib0に
NETMASK=255.255.255.0
じゃなくて
PREFIX=24
で無事アドレスが割り振られました。
OFED更新したほうがいいかな...。
380:不明なデバイスさん
11/12/22 20:54:58.09 Ic4rM9YF
CentOS 6.2がそろそろーって話だが、InfiniBand絡みで大分改良入ってるみたいなので期待。
あと、Solaris11だとOpenSM動くみたいね。自分でぽちぽちパッチ作ってたら、本家でパッチが公開されてて泣いた。
381:不明なデバイスさん
11/12/23 07:44:55.66 BPOEWJKe
Solaris11でTavor(InfiniHostEx)のサポートが切られた。
illmuos系は大丈夫だけど、うーん困った。
382:不明なデバイスさん
11/12/26 21:37:16.44 XfM7upLs
Infiniband、はじまる前に終わるとは。
383:不明なデバイスさん
11/12/26 22:35:05.85 v2Aww0Kt
>>382
終わったわけじゃないぞｗ
元々InfiniHost系はMellanox自体が切りそうな雰囲気だったからね。
Windows用のMellanoxドライバでは、2.1.2までのサポートだし。
OFEDのWinOF使えばサポートされてるから、問題ないんだけど。
個人的にはESXi5でのサポートがどうなるかが心配だわ。
384:不明なデバイスさん
11/12/26 23:32:40.60 XfM7upLs
infinihostもconnectxもRISCコードは同じっぽいんだけどなあ。
今のところオフロード可能なconnectx系がスループット出るけど、IBは元々はそういうローカルIOP的な処理をしないで
CPUで全部処理する（代わりにインタフェースカードが安価）という狙いだったはず。
そういう意味ではinfinihost正当、な気もするけど、現実問題としてfcoibとかだと
fcのパケットサイズ＞infinihostのパケットサイズ、だしなあ。切られるのもわかる気がする。
385:不明なデバイスさん
11/12/29 17:05:32.95 lLEiTkar
初InifibandでMHQH19-XTCゲットしたのにケーブル届くのは来年という…
とりあえず動作確認のためにwinOFEDをいれたけど、
メーカ公式から落とすパッケージって基本必要ないのだろうか？
386:不明なデバイスさん
11/12/29 23:47:55.87 Rg7/eGMo
>>384
遅レスでごめん。
RISCコードまで見てるのねｗ
InfiniBand、最初はすごいシンプルだったもんなー。
後から色々機能が付いて行ってる感じだね。
InfiniBandもEtherも全部まとめるって方向になってるからね。
>>385
おめー。
MHQH19-XTCだったら、10GbE使う必要なければWinOFで良いと思うよ。
Mellanoxの純正ドライバじゃないとWindowsは10GbEが使えない。
387:385
11/12/30 01:01:42.73 iwJYmNl1
>>386
> Mellanoxの純正ドライバじゃないとWindowsは10GbEが使えない。
え、ネットワークデバイス一覧に出てきてるよ？
ケーブル刺さってないから切断状態だけど
あ、でも試行錯誤で純正ドライバのインストやら削除をしてたせいかも…
388:不明なデバイスさん
11/12/30 16:56:30.09 iOUnMoxR
>>386
OFEDの方だったら、IPoIBじゃないかな？
10GbEのインターフェイスで使う場合は、MellanoxのManual見るとわかるんだけど、
デバイスマネージャーのシステムのところにアダプタが表示される。で、そのドライバの
プロパティの構成でIBとEthの切り替えがあるんだわ。
389:不明なデバイスさん
11/12/30 16:57:56.00 iOUnMoxR
おっと、ごめん。
上のは >>386 へね。
390:不明なデバイスさん
12/01/05 22:13:17.99 hFyLpJ6R
>>382
Infinibandの終焉じゃなくてSolarisの終焉な気が
酷い会社に買収されたが為に・・
391:不明なデバイスさん
12/01/05 23:55:22.57 /vdSUCpq
さくらでは、はりきって導入したInfinibandがかなり不調のようだが。
392:不明なデバイスさん
12/01/07 10:07:15.23 QeMMJbmM
>>391
ソースきぼんぬ
393:不明なデバイスさん
12/01/07 13:31:42.04 ldzeTuc5
この辺かな
URLﾘﾝｸ(ict.pken.com)
URLﾘﾝｸ(www.sakura.ad.jp)
URLﾘﾝｸ(www.sakura.ad.jp)
394:不明なデバイスさん
12/01/07 13:57:37.10 XWASsD5x
なるほど？
395:不明なデバイスさん
12/01/08 03:03:36.67 e3A5L8GG
アンフィニバン
396:不明なデバイスさん
12/01/08 13:06:20.15 IEiVPmjT
SRPてwindows間ではまったく意味がないのでしょうか？
397:不明なデバイスさん
12/01/08 23:47:47.69 GCkOP+ik
>>391
さくらのあれ、InfiniBandってよりもストレージの方の問題じゃない？
ネットワークも遅いとかあったのかな？
>>396
iSCSIの方式を理解してる前提で書くけど、TargetになるOSがSolaris系かLinuxしかないのでWindows間では意味ないよ。
ちなみにSDPじゃないよね？
398:不明なデバイスさん
12/01/09 02:40:38.77 baXLGiiH
>>397
Windows間では無意味でしたか
initiatorはSRPに対応していると認識しているので
Windows上で動くSRP対応のTargetもないのかなーと思った次第です
用途としてはwindows間でのiSCSIが早くなればい良いと思っているので
現状はIBoIPにて設定値をいじりながら調整している最中です
399:不明なデバイスさん
12/01/09 02:58:16.90 lEK3fSAL
>>398
あー、伝聞だけどMS純正のiSCSI Targetだと遅いよ。
StarWindの無償版 iSCSI Target 使う方がMS純正をチューニングするよりスピードでると思う。
400:不明なデバイスさん
12/01/11 11:07:52.89 +X5KuKio
>>393
特定パターンの通信、って確かにEoIBがらみっぽいな。マルチキャストかな。
401:不明なデバイスさん
12/01/13 01:42:59.25 W25SDRkg
さくらのは結局IBっぽいね
もうちょっと詳細書いてくれると俺らも助かるんだが
こういうノウハウは個人にまではなかなか降りてこないよなぁ・・・
402: ◆.Nv/VplpFs
12/01/15 11:37:01.86 w24SUwPB
tes
403: ◆zRMZeyPuLs
12/01/18 21:37:00.77 76HNSymm
>>216
device mlx4ib # ConnectX Infiniband support
device mlxen # ConnectX Ethernet support
device mthca # Infinihost cards
device ipoib # IP over IB devices
kernel作り直せばinfinihostIIIも対応しそうな感じ
404:不明なデバイスさん
12/01/19 14:18:27.92 U9c/ceD9
>>403
203です。
おお、いけそうですか。
うちもさっさとテストしてみないと。
なるほどそういう形で設定するんですね。
Linuxのほぼコピーっぽかったのでどうやるんだろうと思ってたんですが、大変ヒントになりました。
一通りカードはあるのでチェックして報告しますね。
405:不明なデバイスさん
12/01/22 01:26:48.17 cxiGdbaQ
OpenSM on OpenIndiana151a(Illumos kernel) works! だってさ ＼(^O^)／
URLﾘﾝｸ(syoyo.wordpress.com)
406:不明なデバイスさん
12/01/22 21:12:54.35 Oem1Mp6Q
>>401
IBって信頼性無いと思われてしまうよね。
凄いネガティブキャンペーンだ。。。
407:不明なデバイスさん
12/01/22 21:39:22.78 unKSLkzw
もともと0.00001ぐらいしかないんだから、ネガティブにしたところで-0.00001ぐらいにしかならんさ。
408:不明なデバイスさん
12/01/22 23:56:58.05 k49Mmpd7
以前にLinuxでNFS/RDMAがまともに動かないと書いた者だけど、
RHEL 6.2とConnectX-2 firmware 2.9.1の組み合わせだと
まともに動くようになったっぽい。
RHEL 6.2にupdateしたついでに再評価したら問題なく動くようだったので、
12月中旬からHPC clusterの実環境で使っているけど1ヶ月間特に問題でてない。
(以前は連続して書き込むとNFS clientが数分でhangupしてしまっていた)
NFS/TCP→NFS/RDMAでNFS serverのCPU使用率が半減して良い感じ。
409:不明なデバイスさん
12/01/24 22:09:21.48 18eNy1to
IntelがQlogicのIB事業買収か・・・
URLﾘﾝｸ(cloud.watch.impress.co.jp)
410:不明なデバイスさん
12/01/24 22:20:04.80 7Bt9CiAI
>>408
OFEDのバージョンっていくつですか？
1.5.4？
411:不明なデバイスさん
12/01/24 22:30:49.62 OcMA0m4b
Intelってメラにも投資してなかったか？
412:不明なデバイスさん
12/01/26 00:08:55.81 VBTuoHui
>>410
面倒くさがりなためInfinibandまわりもRedHat付属のものを
そのまま使っていてOFED入れてないです。
RHEL kernelの変更履歴を見ると2011年8月にまとめて
Infinibandまわりの更新が入っているので、
時期からするとOFED 1.5.3.2あたりに相当する
内容になっているんじゃないかな?
(面倒くさくてOFEDとRHEL間のdiffとったりはしてません)
413:不明なデバイスさん
12/01/26 02:19:10.03 xutG9hiA
IntelはInfiniBandへ帰り咲きか。
414:410
12/01/26 07:35:37.81 YhfGW8p4
>>412
ありがとうございます。
こっちCentOS5なんですけど、
バージョンアップかなぁ＞＜；；；
415:不明なデバイスさん
12/01/26 08:49:52.92 xutG9hiA
>>414
OFED 1.5.4でrNFS回りは大分修正入ってたので、OFED 1.5.4に上げてみたら？
それで駄目なようなら、CentOS 6.2へ上げてみるとか？
416:410
12/01/26 09:21:36.41 YhfGW8p4
>>415
OFED1.5.4の要件からすると、CentOSのバージョン上げないと行けない状況で、
ノード数が多いのと時期的な問題で作業計画の立案が大変な状況です。
417:403
12/01/27 00:23:56.03 sNufE24q
>>404
その後色々見た感じ、 >403 の設定だけでは駄目で OFEDとかもちゃんと有効に
なるようにkernelを作り直す必要があるようです。参考URL
URLﾘﾝｸ(forums.freebsd.org)
手持ちのMHGA28-1TCだとこんな感じです。
ib_mthca0: <ib_mthca> mem 0xdca00000-0xdcafffff,0xd8000000-0xd87fffff,0xd0000000-0xd7ffffff irq 16 at device 0.0 on pci32
ib_mthca: Mellanox InfiniBand HCA driver v1.0-ofed1.5.2 (August 4, 2010)
ib_mthca: Initializing ib_mthca
ib0: max_srq_sge=31
ib0: max_cm_mtu = 0x10000, num_frags=16
ib0: Attached to mthca0 port 1
ib1: max_srq_sge=31
ib1: max_cm_mtu = 0x10000, num_frags=16
ib1: Attached to mthca0 port 2
ifconfigだと
ib0: flags=8002<BROADCAST,MULTICAST> metric 0 mtu 65520
options=80018<VLAN_MTU,VLAN_HWTAGGING,LINKSTATE>
lladdr 80.0.4.4.fe.80.0.0.0.0.0.0.0.2.c9.2.0.28.d.91
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
ib1: flags=8002<BROADCAST,MULTICAST> metric 0 mtu 65520
options=80018<VLAN_MTU,VLAN_HWTAGGING,LINKSTATE>
lladdr 80.0.4.5.fe.80.0.0.0.0.0.0.0.2.c9.2.0.28.d.92
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
418:403
12/01/27 00:26:52.98 sNufE24q
↑
i386版のFreeBSD-9.0Rでのdmesg結果です。
ただ、どうにもbuildkernelでコケるんで（iboip関係で失敗する）適当にsrc
を直しています。amd64版だと通るのかな？
肝心の速度とか試したいけど対向を用意しないと・・・
419:不明なデバイスさん
12/01/27 02:24:23.56 Ii0tgdNg
>>418
FreeBSD-9.0R amd64だと問題なくビルドできますね。
ただ、ib*に対応しそうなドライバーが見当たらないので、ビルドされて無い可能性はありますが。
（ipoibの初期化は走ってる模様）
カード持ってないので実際にどうなるか試せないですけど、
mellanoxだとドライバーはmlx4ibかmlxenあたりになりそうですけど、
pciconfとかどんな感じですかね？
420:不明なデバイスさん
12/01/30 23:42:56.69 YCU+3NZT
1月からちまちまと触ってるけど、チューニングが難しいね･･･
ちなみに今のところMHQH19-XTC同士をつないで
一方のRAM DISKに対してCIFSでベンチとった結果
-----------------------------------------------------------------------
CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo
Crystal Dew World : URLﾘﾝｸ(crystalmark.info)
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]
Sequential Read : 824.757 MB/s
Sequential Write : 505.886 MB/s
Random Read 512KB : 607.263 MB/s
Random Write 512KB : 443.011 MB/s
Random Read 4KB (QD=1) : 10.495 MB/s [ 2562.1 IOPS]
Random Write 4KB (QD=1) : 10.625 MB/s [ 2593.9 IOPS]
Random Read 4KB (QD=32) : 43.593 MB/s [ 10642.9 IOPS]
Random Write 4KB (QD=32) : 43.318 MB/s [ 10575.6 IOPS]
Test : 4000 MB [X: 0.9% (59.8/6766.0 MB)] (x3)
Date : 2012/01/30 23:34:26
OS : Windows 7 Enterprise Edition SP1 [6.1 Build 7601] (x64)
ドライバはMellanox純正、
10GbEモードにして自動チューニングとMTUを4096に弄ったぐらい
ちなみにドライバ付属のRDMAテストツールではr/w 3GB/sぐらい出てたけど、
Windows8のRDMA対応に期待して良いのだろうか
421:不明なデバイスさん
12/01/31 21:02:38.24 TKpp3r0U
> 408
おお、そうなんですか。情報ありがとうございます。
6.1で試してみたときにクラッシュしまくって諦めてましたが、
アップデート試してみます。
422:421
12/01/31 21:06:23.55 TKpp3r0U
Supermicro X8DTT-IBXF ( URLﾘﾝｸ(www.supermicro.com) )
これを使っているんですが、SupermicroのFTPサイト
fURLﾘﾝｸ(ftp.supermicro.com)
にはファームウェアが2.72までしか出てません。
自分でコンパイルできたりするんでしょうか？
それともサポートにメールして作ってもらうしかないんでしょうか？
423:不明なデバイスさん
12/01/31 23:52:18.63 +xvVGia+
>>422
付いてる物自体は、MHRH19B-XTRっぽいな。
とりあえず最新にする前提で書いておく。
OEMのカード使ってる人はこの方法で上げれば良い(Cisco除く)
こっからMFT落として突っ込んでやればいける。
URLﾘﾝｸ(www.mellanox.com)
で、FirmはこれのConnectX2用を落とす
URLﾘﾝｸ(www.mellanox.com)
MFTインストールしてやってから以下 root で
# mst start
# mst status // ここでデバイスが見える筈。
# flint -d /dev/mst/mt26148_pci_cr0 q // 現在のファームの確認。上で表示されたデバイス名に合わせてね
# flint -d /dev/mst/mt26148_pci_cr0 dc > mt26418-config.ini // 現在のFirm設定の書き出し
ファームを解凍してやる
# mlxburn -d /dev/mst/mt26418_pci_cr0 -fw fw-ConnectX2-rel.mlx -conf mt26418-config.ini // 読み出しした設定で最新ファームを書込み
# flint -d /dev/mst/mt26148_pci_cr0 q // ファーム更新かかってるか確認
って流れかな。
多分、mac addressが設定されてないと思うので、10GbEで使用するならおまけでこの辺やっとくとよいかも
# flint -d /dev/mst/mt26148_pci_cr0 -mac (GUID Port1の前6桁と後ろ6桁) sg
424:421
12/02/01 20:55:29.07 GvUfm3/z
>>422
どうもありがとうございます。
デバイス固有の設定みたいなのがどこから手に入れられるのかわからなかったのですが、
flintを使えば現在のfirmwareから設定が抽出できるのですね。助かりました。
425:不明なデバイスさん
12/02/02 23:07:16.74 gFpiynde
x1スロットに差して動くカードってありますか？
426:不明なデバイスさん
12/02/02 23:51:34.34 zqmIfXZ5
>>425
そもそもIBでx1のカードを見たことが無い。
そらまぁ、SDRのx4で片方向10Gbpsの帯域が有るわけで、
PCIe1.0だとx4でも足りない。
PCIeのx1じゃIB使う意味が無いって位に足りない。
427:不明なデバイスさん
12/02/03 13:01:29.46 E21Djc8i
100BASE-TX対応だけどI/FがUSB1.0や16bitPCカードなLANアダプタとか昔有ったな。
速度は出なくてもいいからとりあえずリンクはして欲しい、って用途向けの。
IBだとそんな用途はなさそうだが。
428:不明なデバイスさん
12/02/03 13:12:07.15 jApT1QRX
>>426-427
iscsi Targetとして使いたいので、GbEよりはパフォーマンスが稼げないかなと思ったのです。
miniITXのマザーで、x16はRAIDカードが塞ぎ、miniPCIから延長して繋ぎたかったのですが意味ないでしょうか。
429:不明なデバイスさん
12/02/03 13:31:10.86 z+Mx8oSR
そういうことなら、とりあえず買って繋いでみれば?
x1でも動く可能性はあるし。
430:不明なデバイスさん
12/02/03 15:10:55.24 nk+YGKi8
>>428
人柱前提で試すと言うことなら、止めることはしないｗ
target/initiatorの構成が出てないんで、わからんのだけど、
上の方で200MB/s前後って情報は出てるな。
（こっちも構成が分からんので、参考になるかどうかすら判断出来んけど。）
PCIe x1接続なら一応理論値で250MB/sの帯域はあるから、
実効値でMAX 200MB/s出れば、万々歳かなぁ。リンクしてくれる前提だが。
ただ、使ってるカードや、OS、targetによっては1GbEと
たいして変わらない可能性も・・・。
その辺りまで含めて、人柱って事で、れぽーと期待してますｗ
431:不明なデバイスさん
12/02/03 20:17:20.22 jApT1QRX
>>429-430
そうだよね、やってみようかなって思ったんだけど
H61M-USB3がMegaraid SAS 9240-8iを認識しないときた。
H61AG買ってからかなあ。
InfiniHost系の安いカード２枚と、Solaris(target)-Windows7(initiator)でやりたいと考えてます。
箱はコレなので、ケースに穴を開けてがんばろうかと思ってました
URLﾘﾝｸ(www.alibaba.com)
432:421
12/02/06 13:47:09.02 8mnpRfU1
>>423
おかげさまでfirmwareアップデート出来ました。
ありがとうございました。
次はRedhat6.2でNFS/RDMAを試してみるぞー。
433:不明なデバイスさん
12/02/06 23:40:50.61 mw887Ob/
>>431
うちは、InfiniHostExでx4では試した事あるけど一応動いた。
SDRのカードだったので帯域的には十分足りたってのがあるかも。
>>421
無事にアップデート出来たみたいで何よりです。
上手く行ったらレポよろー
434:不明なデバイスさん
12/02/13 20:24:37.76 hQb4s5bD
このスレをみて自宅で使ってみたくなり部品調達中です。
現在はESXi4.1 + OpenSolaris( iscsi target )のGbEな環境で
使用中です。>83 を参考に
ESXi4.1(MHEA28-XTC)
iscsi target -- OpenSolaris(MHEA28-1TC)
openSM -- Linux host (MHEA28-XTC)
をF-X430066で接続する構想です。ebayで探していますが
MHEA28-XTCが30ドルであって注文しました。しかし、MHE
A28-1TC、F-X430066があまりなくて値段も高めだったので
購入をためらっています。お勧めのOEM物などありました
らよろしく。特にスイッチの安いのが欲しいです。
435:不明なデバイスさん
12/02/14 02:14:11.68 Y0A/Usyx
>>434
今だったら、OIとESXi4.1を直結で動作可能。
OpenSMを移植した人いるからね。
この辺はググってください。
ある程度解ってないとちょっと面倒だけど。
（自分でOpenSolarisのBuild出来る程度のスキルでオッケー）
ぶっちゃけ、F-X430066使うメリットは殆どないよ。
EOLなって相場あがってるし、音もそんなに静かではないしね。
ebayに手を出してるんだったら、安いスイッチはISR-9024S-Mかな。
定期的に出してる業者さんいるけど、大体$200ちょっとくらいで落ちてるので
こいつだったらSubnetManager載ってるので、LinuxでOpenSM動作させる必要は無いし。
FirmとかはHPのサイトから落とせば一応最新の物がダウンロード可能だし。
436:不明なデバイスさん
12/02/16 23:39:59.11 4ZphLxd3
無知な私もinifinibandを自宅に整備したくなったので、
Voltaire 400Ex-D と ケーブルをebayで注文。
届いたら動くかﾚﾎﾟ。
437:434
12/02/18 10:03:06.69 LQab/ACb
>>435
情報ありがとうございました。月末にHCAとケーブルが届き
ますので、直結で使ってみます。OpenSMは3.3.13にあがって
それに対するパッチを公開されていますね。楽しみです。
OIは使ったことないので、情報収集中です。ESXI4.1のデータ
ストア（scsi target）に使うつもりですが、USB boot+HDDx4個
（zfsの10かraidz)で使えればと思っています。
438:不明なデバイスさん
12/02/19 14:16:10.79 /nFaSHfi
でも実用に供しちゃうと実験君できないんだよな。
いつ実用にしちゃうか悩みどころ。
439:不明なデバイスさん
12/02/21 23:40:02.49 X562yWUS
すいません、めちゃめちゃド素人な質問ですみません。
>50 の
>SDR IB 2500Mbps < 10Gbase-CX4 3125Mbps < DDR IB 5000Mbps
って3125Mbpsじゃなくて3125MBaudだと思うんですが、IBはビットレートとボー
レートは同じ？ちなみにスレチですが、SAS1.0だと1対あたり3000Mbpsてことで
あってますでしょうか？
いや、両端がCX4のケーブルをSASで使っててどうにもH/Wエラー出まくりなので、
これってもしかしたらSDR IB用のケーブルなのかなぁ。と思ってｸﾞｸﾞってただけ
なんすけど。
440:不明なデバイスさん
12/02/22 00:26:54.21 v0XXdhrx
>>417 >>419
FreeBSD9.0-RELEASE amd64 + MHRH19-XTCな環境で試してみましたが、駄目でした・・・
URLﾘﾝｸ(forums.freebsd.org) を参考に world を作りなおしたのですが。
dmesg 見ると "no driver attached" とのこと・・・
ちなみにpciconfは
none3@pci0:4:0:0: class=0x0c0600 card=0x000615b3 chip=0x673215b3 rev=0xa0 hdr=0x00
vendor = 'Mellanox Technologies'
device = 'MT26418 [ConnectX VPI PCIe 2.0 5GT/s - IB DDR / 10GigE]'
class = serial bus
と認識してました。
441:不明なデバイスさん
12/02/22 01:01:29.88 S/cVkrEl
>>440
kldstat -v | grep mlx
の出力でmlx4*入ってなければ
kldload mlx4 mlx4ib mlxen
これでどれかヒットしたら、ヒットしたヤツを/boot/loader.confに追加
kldloadでもダメなら、コンパイル設定がちゃんと出来てない or コミット具合が中途半端かなぁ
ソース的にはvender=15b3 product=6732有るから対応はしてるはず
442:不明なデバイスさん
12/02/22 12:37:15.31 KppCuwU2
>>439
IBもCX4も4b5bなので、SDRで言えば2500Mbpsは物理レート、2000Mbpsが論理レート。
443:不明なデバイスさん
12/02/22 15:51:38.97 uLyrXAnc
>>439
SDR IB 2500Mbps < 10Gbase-CX4 3125Mbps < DDR IB 5000Mbps
↑
これ全部baud rateね。
data rateで書くなら
↓
SDR IB 2000Mbps < 10Gbase-CX4 2500Mbps < DDR IB 4000Mbps
こんな感じ。ちなみにSAS1.0も8b/10bエンコードなので、3Gbps Baud Rate、
2.4Gbps Data Rate（8で割れば 300MB/s Data Rate）です。
444:不明なデバイスさん
12/02/23 13:04:37.95 FCLMWANA
>>441
mlx4.koがロードされてないから、それに依存するモジュールを全部ロードできてない感じみたいっす。
# kldload mlx4
kernel: linker_load_file: Unsupported file type
で、/var/log/message みたら
kernel: link_elf_obj: symbol M_KMALLOC undefined
とか言ってるんで、上手くコンパイルできてない感がありますね。
初期化してソース取ってきて、いつもどおりworld作ってるんですけどなんかマズイのかなぁ。
成功してる人の体験談を聞きたいですね・・・
445:不明なデバイスさん
12/02/23 15:19:30.01 dBMEHr9c
>>444
BSDはいじれるし、試す環境を作る事は出来るんだが、
肝心のHBCが無いというｗ
BSDでIBがまともに使えるようになってくれると、
Solarisからの乗り換え候補にもなるんで、
楽しみではあるんだけどね。
446:不明なデバイスさん
12/02/24 00:16:00.37 cUhf+TCK
>>444
依存関係がよろしくないっぽいので以下の手順試してみてください
カーネルコンフィグから以下を削除
（テストしやすいようにカーネル組み込みをやめてローダブルにするため）
device mlx4ib
device mlxen
device mthca
device ipoib
以下のコマンド実行
cd /usr/src/sys/ofed/drivers/net/mlx4
ln -s ../../../inlcude/linux/*.c ./
あとはカーネルビルド＆インスト
実物を持ってないのでなんともいえないけど、kldload mlx4は文句なく出来るの確認しました
447:不明なデバイスさん
12/02/24 01:10:52.75 OpT+ysLU
横から質問ゴメン
rc.confに opensm_enable="YES" て書けるようなんですが、FreeBSDでも
subnetManagerは普通に動くんですか？
448:不明なデバイスさん
12/02/25 21:46:39.64 bMM+5bJc
>>440
Freebsd9.0R(amd64)をstableバージョンにあげて、
URLﾘﾝｸ(forums.freebsd.org)を参考にして試してみました。
MELLANOX INFINIHOST MHEA28-XTC DUAL PORT 10GB/s
HP InfiniBand HCA 4x SDR PCI-E Dual Port 380298-B21
の二枚ともに認識しました。前者の/var/log/messagesは
Feb 25 21:13:16 freebsd901 kernel: Running ipoib_init_module (0xffffffff80a9a120
)
Feb 25 21:13:16 freebsd901 kernel: ib_mthca0: <ib_mthca> mem 0xfde00000-0xfdefff
ff,0xfc800000-0xfcffffff irq 16 at device 0.0 on pci2
Feb 25 21:13:16 freebsd901 kernel: ib_mthca: Mellanox InfiniBand HCA driver v1.0
-ofed1.5.2 (August 4, 2010)
Feb 25 21:13:16 freebsd901 kernel: ib_mthca: Initializing ib_mthca
～～～～～～～～～～～
Feb 25 21:13:16 freebsd901 kernel: ib_mthca0: HCA FW version 5.1.000 is old (5.3
.000 is current).
Feb 25 21:13:16 freebsd901 kernel: ib_mthca0: If you have problems, try updating
your HCA FW.
Feb 25 21:13:16 freebsd901 kernel: ib0: max_srq_sge=27
Feb 25 21:13:16 freebsd901 kernel: ib0: max_cm_mtu = 0x10000, num_frags=16
Feb 25 21:13:16 freebsd901 kernel: ib0: Attached to mthca0 port 1
Feb 25 21:13:16 freebsd901 kernel: ib1: max_srq_sge=27
Feb 25 21:13:16 freebsd901 kernel: ib1: max_cm_mtu = 0x10000, num_frags=16
Feb 25 21:13:16 freebsd901 kernel: ib1: Attached to mthca0 port 2
でした。後者も同様な認識でした。ConnectX系はmlx4ですので、その違いかなー。
当方はまだopensmな環境がないので接続テストはできていません。ちなみに
FreeBSDにポーティングされているhw driverはmlx4とmthcaだけですね。
449:440
12/02/25 22:08:14.32 jv4hZwB5
>>446
ソースを取り直して再度worldを構築したら成功しました。
>>448 さんと同じような感じでしたー。
>>447
defaults/rc.conf には記述があるけど、肝心の起動スクリプトが無い気が。。
OpenSM のソース自体は /usr/src/contrib/ 以下に入ってますけど、パッチなしではコンパイルできません。
なんとかコンパイル通したものの、上手く動いてくれない感じでした。
今夜あたりにもう少し弄ってみようと思いますんで、後ほどまた報告しますですー。
450:不明なデバイスさん
12/02/25 23:35:48.33 bMM+5bJc
>>449
> which opensm
> /usr/bin/opensm
バイナリありますよ。# opensm startで
Feb 25 23:18:55 343791 [1C07400] 0x03 -> OpenSM 3.3.1
確認しました。stand aloneで接続試験はまた後日に。
451:不明なデバイスさん
12/02/25 23:55:18.44 jv4hZwB5
>>450
ops, 確認するときに使っていたworldはWITH_OFEDなものじゃなかったです、、、
いっしょにコンパイルされるもんなんですね。てっきりSolaris11みたいな感じかと思ってました。
私も接続試験してみますー。
452:不明なデバイスさん
12/02/29 21:20:59.22 rFEqkiKg
RHEL系(CentOS、Scientific Linux)では、6.2が最新ですが、素install後に
# yum groupinstall 'infiniband support'
# yum install opensm perftest
# modprobe ib_umad
# opensm start
でＯＫでしょうか？3.3.9が立ち上がります。
MELLANOX INFINIHOST MHEA28-XTCのportにケーブルをループバックで
端端接続すると緑と橙色になりました。一応ローカルでＯＫということで。
FreeBSDの場合と比べて簡単ですね。
453:不明なデバイスさん
12/03/07 23:34:19.31 hlc8Fsye
いつのまにかMLNX WinOF VPI v3.0.0でてたんだね
454:不明なデバイスさん
12/03/08 09:27:04.83 /jkOBLhk
Hyper-VのIPoIB passingがあるのか？ ためしてみなきゃ。
455:不明なデバイスさん
12/03/08 17:07:46.29 /gSgaG/k
Windows 8 serverのPreviewでたから、IPoIBでSMB 2.2 のRDMA SMBが
使用可能かチェックしてみないと。
456:不明なデバイスさん
12/03/08 21:46:47.82 /jkOBLhk
8 serverのpreviewも出たんだ。
仮想スイッチとか切れるようになったんだよね。うーむ、いじりたいもの多すぎ。
457:不明なデバイスさん
12/03/09 02:32:13.09 KBsbCkss
>>456
Clientの方と一緒にServerもでてたみたいです。
iWARPとかも試してみたいのですが、Switchが高すぎて・・・
458:sage
12/03/09 19:56:54.86 39uW48Co
ML110G6に8serverを突っ込んでみようと思ったけど、なぜかインストーラが
HDDを見つけてくれず、「ドライブが見つかりませんでした」とか怒られる。
smb2.2試してみたい
459:不明なデバイスさん
12/03/09 20:30:29.66 7ikC8YdG
>>458
オンボRAIDにしてない？AHCIモードかなんかでないと。
460:不明なデバイスさん
12/03/11 23:58:13.99 RSemGy1Q
>>435
OpenSMを移植した人のサイトからファイルを落としてコンパイルしてみましたが、
gmake setupのところで/opt/SUNWspro/sunstudio12.1/bin/ccを要求します。
検索してみると以前はpkg installでsunstudioが得られていたようですが、今は
できないようです。オラクルのサイトはSolaris10と11、Linux用でOIには適応でき
ませんでした。sunstudioなしでOpenSMできないでしょうか。
# CentOSやFreeBSDとくらべるとなかなか先に進みません。スイッチ買おうかな。
461:不明なデバイスさん
12/03/12 09:14:36.25 +INFtRDa
うわーoptパスなすかしす。
gmake configとか通らない？
462:不明なデバイスさん
12/03/12 12:56:09.98 FpsVnDXN
>>417
OFED 1.5.3がportされたという話だったのに、なんで"ofed1.5.2"という記述があるんだろう？
463:不明なデバイスさん
12/03/12 19:00:47.75 oBZTj5fF
>>460
pkg set-publisher -g URLﾘﾝｸ(pkg.openindiana.org) opensolaris.org
パッチの当たってない SunStudio12.1 を再配布してるらしい。
URLﾘﾝｸ(www.illumos.org)
464:460
12/03/13 07:25:18.03 SQFLA84H
>>463
root@openindiana01:~# pkg publisher
発行元 タイプ 状態 URI
openindiana.org (優先) 起点 online URLﾘﾝｸ(pkg.openindiana.org)
opensolaris.org 起点 online URLﾘﾝｸ(pkg.openindiana.org)
root@openindiana01:~# /opt/SUNWspro/sunstudio12.1/bin/cc -V
cc: Sun C 5.10 SunOS_i386 2009/06/03
usage: cc [ options] files. Use 'cc -flags' for details
この2週間悩んでいましたが、前進です。ありがとうございました。
465:不明なデバイス
12/03/14 16:32:30.68 UearcMfZ
安い
URLﾘﾝｸ(shop.maxserve.co.jp)
466:不明なデバイスさん
12/03/14 19:24:07.26 DlGLtx3N
>>465
新品でこの値段なら安いなー。
中古だったら高いと思うけど。
467:不明なデバイスさん
12/03/18 10:52:50.92 t+mwE1qp
>>464
OI上でOpenSMが動作するパッチがgithubで公開されていますが、
Downloadsしますと、パッチが含まれていない2011年9月のファイル
しか含まれません。すれ違いかもしれませんがgithubから落とす
方法をおしえてくれませんか？Branchesはmaster、ofed-1.5.4.1の
いずれを選択してもDownloadsしたファイルの内容は同じです。
githubの使い方がまちがっているのかなー。
468:不明なデバイスさん
12/03/19 07:31:14.73 yMsMdDri
>>467
jithubの画面左側にあるzipのボタンでdownloadできました。おさわがせしました。
469:不明なデバイスさん
12/03/19 15:43:03.19 WIrHM2dt
>>464
普通に git clone [url]で最新のが落ちてくるけど？？
って、zipで落としてたのか・・・
470:不明なデバイスさん
12/03/20 04:54:27.64 0JkJ1LfL
>>469
当方git、hgそれなに？のド素人です。OI上でOpenSMをコンパイルする
ために、情報検索したかったのでサーバー版ではなくてデスクトップ版
をインストールしました。fireforxで検索しながら情報にたどり着きました。
なので、前述のサイトも画面上のDownloadのボタンに気づいて思わず
ともGUIな環境での操作となりました。
とりあえず落としてきたファイルを展開してtools/check-environment
で必要なものを準備しました。それからhg init; gmake setup; gmake publish
です。やっとここまでたどり着いたというのが正直な印象です。
なぜかインストール先がcomponents/open-fabrics/prototype/i386下
にくるのでなんでかなと調査中です。まだまだ先が思いやられます。
OIにOpenSMをポーティングされたかたに敬意を表します。助言ありがとう
ございました。
471:不明なデバイスさん
12/03/23 12:42:45.13 Omrahrns
URLﾘﾝｸ(cloud.sakura.ad.jp)
さくらも大変そうだね
472:不明なデバイスさん
12/03/23 13:14:13.59 30SgVsUg
infinibandがらみなのかわからんね。どういうトラブルか教えてくれ＞関係者
もともと従量課金を導入してる部分が少ないから、偏ったアプリによる偏った負荷がかかってるんだろうなあ。
473:sage
12/03/26 06:17:26.13 NgrmWmIj
休みを使ってServer8βを2台のマシンにインスコ。
それぞれのマシンをIBで繋いでRDMA経由のSMB2.2を試そうと思ったけど、なぜ
かOpenSMが起動出来ないでござる。時間内に応答が返らないとか言われる。
InfiniHostIIIなんでWinOFは2.1.3が最新だと思うけど、server8に対応してな
いんだろうか。ドライバは一応入ったんだけど。
と言うわけでSM入りのスイッチが無いうちではこれ以上の検証が出来ないので
誰か代わりに検証ﾀﾉﾑ
474:sage
12/03/26 07:21:05.91 NgrmWmIj
補足
OFED3.0は「7か2008R2じゃないと駄目」と言われてserver8にはｲﾝｽｺ出来ません
でした。
475:不明なデバイスさん
12/03/26 08:55:58.02 wwts9w4U
>>474
そーいうときはACT(application compatibility toolkit)でだますと入ったりするぞ。
476:不明なデバイスさん
12/04/01 12:11:02.83 1A/TH1x7
>>472
仮想化でよくあるストレージのキャパ不足だと思うけどなー
ストレージのヘッド、あそこだとZFS Applianceの数増やすだけで解決すると思う
仮想マシンを移動させなきゃいけないのは大変だとも思う
それで解決しなきゃ根本的になんか間違えているんじゃ。
477:不明なデバイスさん
12/04/02 20:12:41.32 4RJZ+QhL
Windows XP SP3 ------> iscsi targetの転送をFFFTPで測定したら、
１5MB/secとGbEより低くい結果で涙目。(IPoIB)
XP client: AMD Athron 64 x2 5200+, 2GB RAM, 250GB HDD(7200rpm)
HCA( Infinihost 380298-B21 )
iscsi target: Intel Celeron E3200, 6GB RAM, FreeBSD-9.0R-amd64で
zfs( raid10 500GB HDD(7200rpm) x 4)、NTFS format,
HCA( infinihost MHEA28-XTC )
OpenSMはFreeBSD側で準備し、iscsi targetは/usr/ports/net/istgtを使い
ました。
特にチューニングはしていません。low spec.だけどもうちょっとでないかな。
ネットで検索してもなかなか情報がなくて、、。
478:不明なデバイスさん
12/04/02 20:25:30.21 4RJZ+QhL
>>477
っと、うそを書いてしまいました。XP側ではMicrosoft iSCSI Initiatorがiscsi targetを
見つけてくれないので、ftp 転送ので結果です。iscsi targetではなくて、boot diskと
の接続です。
479:不明なデバイスさん
12/04/03 09:15:30.33 LeK2uesc
infinihostはオフロードしないからCPU遅いとgbeより遅いことままあるよ。
480:477
12/04/03 23:01:37.74 6ugnXdNN
>>479
Windows XP SP3からSL-62-x86_64へ変更してiperfで測定してみました。
SL6.2とFreeBSD9.0間をGbeとIPoIBで比較してみました。（環境は同じです）。
[root@localhost ssh]# iperf -c 192.168.24.15
------------------------------------------------------------
Client connecting to 192.168.24.15, TCP port 5001
TCP window size: 64.0 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.24.105 port 37050 connected with 192.168.24.15 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 1.08 GBytes 928 Mbits/sec
[root@localhost ssh]# iperf -c 192.168.23.15
------------------------------------------------------------
Client connecting to 192.168.23.15, TCP port 5001
TCP window size: 64.0 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.23.16 port 51660 connected with 192.168.23.15 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 2.61 GBytes 2.24 Gbits/sec
2倍ちょっとかな。OSによって挙動が違うようですね。
この1ヶ月間試行錯誤してきましたが、なんとか使えるところまで来ました。
HCAはebayから購入したので故障が心配でしたが動作してよかった。:-)
481:samba
12/04/04 00:53:30.77 LQLnLJ9i
>>480
FreeBSD-9.0RにMHEA28-XTC挿して、FreeBSD上でOpenSM動かしてるって事？
そこまで出来るようになったのか。
482:477
12/04/04 20:21:09.29 1IbLihOE
>>481
はい。前述の設定でmake worldして、/etc/rc.confにopensm_enable="YES"
ただし起動スクリプトはないので、
#!/bin/sh
#
# $FreeBSD$
#
# PROVIDE: opensm
# BEFORE: netif
# REQUIRE: FILESYSTEMS
. /etc/rc.subr
name="opensm"
start_cmd="opensm_start"
rcvar="opensm_enable"
command=/usr/bin/opensm
command_args="-B"
opensm_start()
{
for guid in `ibstat | grep "Port GUID" | cut -d ':' -f2`; do
[ -z "${rc_quiet}" ] && echo "Starting ${guid} opensm."
${command} ${command_args} -g ${guid} >> /dev/null
done
}
load_rc_config $name
run_rc_command $*
な感じで立ち上げてます。
483:不明なデバイスさん
12/04/14 00:17:18.73 7MfIUIMe
IPoIB接続の次はSRP接続です。親切にも方法を開示されている方がいて、
URLﾘﾝｸ(sonicostech.wordpress.com)
を参考にしました。
SRP target (CentOS-6.2-x86 64): AMD Athron64 +5200,4GB RAM, 160GB HDD
SRP initiator (ESXi 4.1 u1): Intel 9550, 8GB RAM
SDR infinihostを使用して、CentOS側でopensm起動
target から10GB切り出してFreeBSD9.0Rをinstallし、
time make -j6 buildworld中です。オレンジのLEDがピコピコ
光ってやっとたどり着いたぞというのが実感です。
この環境ではおそらくHDDが律速になりますのでSRP target
にはRAIDとかSSDが必要になりますね。
484:不明なデバイスさん
12/04/15 15:18:05.00 XtSLeYpc
ebayでHCA中古さがしているけど、50ドル以下のものをみなくなったね。
需要があるってことかな。
485:不明なデバイスさん
12/04/16 02:19:22.83 ys7XQqHJ
このスレ見てなんかおもしろそうなんで、MHEA28-XTCを2枚ゲット。
詳しい環境は省略するけど、CentOS 6.2でSRP target構築してRAMディスクにvdisk作成。
Windows7から接続してATTO Benchmarkで計ったら普通に950MB/sとか出てびっくりした。
486:不明なデバイスさん
12/04/16 08:18:11.46 xhJt1Tt0
>>485
950MB/sってすげぇなw
折角なので詳しい環境書いてよ。
487:不明なデバイスさん
12/04/16 10:14:16.93 Yf5aTgYS
>>484
HPCセンタの更改時にどかっと出る、その後出ない、の繰り返しじゃないかな。
ラックHDDユニットとかもその傾向にあるね。
＃この前安価で入手したのには「yahoo」って張ってあって笑った
488:484
12/04/16 20:18:47.48 HXzADxTI
>>487
ふむ、タイミングですかね。米国には年度末ってないのかな。
どぱーっとさらしてほしいもんです。
中古なので予備に何枚か持っておきたい。DDRやQDR
も欲しいですが、これはまだ価格が落ちてこないですね。
489:不明なデバイスさん
12/04/16 21:05:37.29 nKIZMTkw
>>485
自分もぜひ教えてほしい。
RAMDISKはtmpfs?特別な設定？
490:485
12/04/17 01:20:51.16 VZw4NDHc
特別なことはなにもしてないです。
見よう見まねでやってみただけです。
サーバ MHEA28-XTC CentOS6.2 (Athlon X2 BE-2350 4GB)
クライアント MHEA28-XTC Windows7 x64 SP1 (Phenom II 9950BE 8GB)
こんなしょぼい環境で、２台を直結です。
サーバ側は
URLﾘﾝｸ(sonicostech.wordpress.com)
ここに書いてある通りにCentOS6.2上にSRP Target構築。(vdisk使用)
OSインストールから全部書いてあります。
で、tmpfsで2GBのRAMディスク作ってRAKディスク上に適当なイメージファイルをおいただけです。
Win7側はOFED 3.0でインストール時にSRPを追加してインストールしただけです。
Win7起動すると勝手にSRP Targetがマウントされてます。
491:不明なデバイスさん
12/04/19 12:58:15.61 pK8pP1wV
MHEA28-XTCにファーム5.3+ipxeのROMを書き込んでSRP Bootに
チャレンジしているのですがうまくいきません。
サーバはMHEA28-1TCで、CentOS6.2 + SCSTでSRP Targetを構築しました。
URLﾘﾝｸ(sonicostech.wordpress.com)
ここの通りにやってます。
SRp targetはWindows/Linuxから問題なく接続ができています。
まず、shellでコマンド入力で試してみたんですが、
ifopen net0
ifstat net0 (upになってることを確認)
sanhook ib_srp::::＊＊＊＊＊＊＊＊＊
と入れてエンターを押した後になぜかPCのリセットがかかります。
次に同じコマンドを埋め込みスクリプトでやってみたところ、
リセットはかかりませんが
Input/Output Error
となって接続できません。何が悪いのかはよくわかりません。
同じような構成でうまく言ってる方いらっしゃいますでしょうか。
492:不明なデバイスさん
12/04/24 21:32:35.51 bMPtoCKW
SDRなHCAで、CentOS6.2 + SCSTによるSRP Targetを想定した場合、
ストレージの性能ってどれくらいがふさわしいかな。変な質問で申し訳
ないけど、今4個のHDDをraid10またはraid0でESXi4.1のSRP targetとして
試験運用している。GbEなiscsi targetの時とあまりパフォーマンスは変
わらんような気がする。ネットワークトラフィックが増えない限りパフォー
マンスの差はでないんだろか。
皆さん、ストレージはどうしていますか？おいしい使い方とか指標が
ありましたらご教授お願いいたします。
493:不明なデバイスさん
12/04/25 00:45:17.14 QgUwtsXR
いくらSDRでもGbEに比べれば圧倒的に出るよ。最低でも500MB/s位は軽い。
494:492
12/04/26 06:41:23.65 mT82uJuz
>>493
SRP targetををUSB bootさせているからかなー。
495:492
12/05/03 23:00:55.06 ie+GVUTI
hdparm使って確かめました。
構成：鼻毛鯖(PJ)にメモリ１２GB追加、HDDはmdadmによるRAID0（HDD x 4)
HCA:infinihost OS CentOS6.2-64( USBメモリ４GB )
SRP target側（raid0): hdparm -Tt /dev/md0 418Mb/sec
ESXI4.1のゲストOS: hdparm -Tt /dev/sda1 356Mb/sec
（CPUx4 メモリ４GB
でGbE( scsi target)の４倍でした。もっと速いtargetが作れれば性能はさらに
あがるかも。:-)
# USB メモリでSRP tagetのシステムを構築しましたが、input/output error
# をはくようになりました。2個目は問題なさそうですが、HDD install推奨。
496:不明なデバイスさん
12/05/03 23:03:28.46 ie+GVUTI
Mb/sec 訂正MB/sec
497:不明なデバイスさん
12/05/14 21:06:37.63 DvW0EcVA
>>495
RAMなblockでテストするとどれくらい出ます？
498:不明なデバイスさん
12/05/15 14:35:13.50 1qQa8fOb
>>497
492さんじゃないけど、Linuxで今度試してみるよ
ちなみに、OpenIndianaでRAM disk使ってQDR接続でSRP使用すると、
dd一つだと800MB/sで頭打ちになるけど、ddを4つ同時に走らせると3.2GB/s行きましたな。
499:不明なデバイスさん
12/05/15 19:25:54.70 UdyiCeMm
Mellanox本社エグゼクティブ・インタビュー
前編 URLﾘﾝｸ(cloud.watch.impress.co.jp)
後編 URLﾘﾝｸ(cloud.watch.impress.co.jp)
500:不明なデバイスさん
12/05/15 21:51:11.09 0APbn2NH
>>497
すでにESXi4.1にSRPターゲットをつないでいるので、対向で速度が測れない。
たぶん485さんと同じぐらいだと思う。ESXiからSRPターゲットのブロックI/Oを
測定する方法があったら教えてくれませんか。
501:不明なデバイスさん
12/05/17 22:17:28.52 JTf5cETS
このスレではじめて InfiniBand を知りました。
なんとか IB SRP Target を立ててみたくて、>>483 >>490 を参考にさせていただき
CentOS で SCST を起動できたのですが、その先の初歩的なところで詰まっています。
Target へのアクセスを fileio にしたところパフォーマンスが出ないので、
代わりに fileio_tgt を試そうとして fileio-2.2.0.tar.bz2 をダウンロード・展開し,
make all install としたところ「scst_user.h: そのようなファイルやディレクトリはありません」から
始まる多量のエラーが表示され、コンパイルが通りません。
恐縮ですが、なにか糸口を教えていただけないでしょうか。
502:不明なデバイスさん
12/05/17 23:13:44.22 tF7/aeM2
>>501
483です。fileio_tgt は知りませんでした。一応
# cat /etc/scst.conf
HANDLER vdisk_blockio {
DEVICE disk0 {
filename /dev/md127
}
TARGET_DRIVER ib_srpt {
TARGET 0017:08ff:ffd0:ff10 {
LUN 0 disk0
enabled 1
}
}
な感じで使っています。
mdadmでraid md0作ったらmd127に置き換えられて
いました。バグなんだろうけどmdadmがボトルネック。
やっぱしzfsかなと思案中です。
503:不明なデバイスさん
12/05/21 17:43:23.85 /97IiUUh
InfiniBand Driver for VMware vSphere 5はいつダウンロードできるようになるんだろう。
504:不明なデバイスさん
12/05/24 20:15:23.58 wAhufKkb
>>502 MDだとネックになってZFSだとならないというのはなぜ？ むしろ遅くなりそうだけど。
505:不明なデバイスさん
12/05/24 21:09:32.33 Xusbc39/
>>504
根拠はありません。ごめんなさい。
読み直して文章になっていませんでしたね。ボトルネックの意は、
同じCPU,メモリーリソースを使った場合、ZFSの方がパフォーマンス
が出たからです。自宅SANで使ってますが、OpenSolarisやFreeNAS
のiscsi targetが速くててOpenfilerが少し遅くてという経験をしているから
かな。
最近CPU,メモリの性能が良くなって、さらにinfinibandでネットワーク
が速くなると最終的にはストレージがボトルネックになるという意味で
す。
506:不明なデバイスさん
12/05/28 01:21:19.81 KBcRq2Nc
Ubuntu10.04でもInfinibandは動くんだな。
OpenSMも入ったし、疎通確認もおｋ。
12.04だと
aptitude install opensm
だけですんだけど、10.04はソースからもってこないといけなかったのがめんどくさかった。
507:不明なデバイスさん
12/05/28 23:05:43.73 2mmlACH9
NexentaStor Version 3.1.3リリースされたけど、これってinfiniband使えるかな。
memory付きのHCA( Infinhost )をさしてCDブートすると、logに
unknown tavor MT25208 Infinihost Ⅲ Exみたいに表示される。カーネルは認
識しているようです。esxi4のiscsi targetにできるでしょうか。ipoibまたはsrpの
どちらでもいいんですが。もちろんopensmも必要です。
web guiではinfinibandの設定画面はなかったような。コマンドラインでできる？
508:不明なデバイスさん
12/05/31 10:17:31.07 H0mjsk4S
NexentaStorとかお手軽にNAS化するのが目的なんだから、コマンドラインから無理して設定するようなものではないように思う。
509:不明なデバイスさん
12/06/01 15:05:31.41 131eRlN4
>507
対応する気はあるみたいだけど、そこまでリソース裂けてない状態。
InfiniBandのIPoIBとかSRPとiSERとかは使えるけど、Webとか管理コンソールからはほぼ触れない。
サポート外のシェルに落ちれば設定可能だけど、WebUIとかに不具合でたりするかも。
個人的にはOpneIndianaなりつっこんで、comstar回りをnapp-itでってのでも十分楽なんだけどなー。
しかし、6月になったのにMellanoxからはESX5用のドライバが出ないわけで・・・。
日本語のページのプレスリリースは嘘なんだろうかｗ
510:不明なデバイスさん
12/06/01 21:36:58.41 V7n/ScAJ
508さん、509さん、ありがとうございます。
IBってコストパフォーマンスあるのでFreeNASやNexentaStoｒに
導入してほしいもんです。Web GUIで操作できると普及すると
思うけどなー。
自分は前に書いたように、FreeBSD + ZFS + IPoIBな環境で落ち着き
ました。FreeBSDの情報が少ないのが困りものですが、いずれSRP
対応するだろうと楽観しています。
511:不明なデバイスさん
12/06/01 21:57:11.28 V7n/ScAJ
つづけて、ESXi4.1 のiscsi targetとしてFreeBSD + ZFS + IPoIBでの
簡単なベンチです。
ESXi4.1( Intel 9550, 8GB RAM, InfninHost ), iscsit target (Celeron E3400,
6GB RAM, InfiniHost, RAID10 by ZFS, HDD x 6個）で対向接続して、
ゲストOS（CentOS6.2, 2CPU, 2048K RAM、32GB HDD)上で、
[root@localhost ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.0149464 s, 702 MB/s
[root@localhost ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.724387 s, 145 MB/s
root@localhost ~]# hdparm -t /dev/sda1
/dev/sda1:
Timing buffered disk reads: 500 MB in 1.17 seconds = 426.33 MB/sec
のような結果でした。ネットワークの速度だけではなくゲストOSとしての総合
的な評価としてみますと大変満足できるものでした。
512:不明なデバイスさん
12/06/02 13:46:39.44 f9oYZ7yH
509だけど、SRPは廃れていく気がするのよね。
iSERで良いじゃんって方向で。
MellanoxのWindows用のSRPドライバでは削除されてるしね。
ちなみにnapp-itはWebGUIね。
EON + napp-itって構成ってFreeNAS使える人ならいけると思うんだけど。
ちなみに、FreeBSDってSolaris系のCOMSTARとかLinuxのSCST的なSCSIの抽象レイヤってあったっけ？
青山さん(isgtdの作者)が、その辺のレイヤ部分が無いので、自前で色々実装してから、SRPもisgtdの
フロントエンド部分を何とかすれば対応出来そうだけど。
513:不明なデバイスさん
12/06/02 21:05:00.98 IN4s7gXA
>>512さん レベル高すぎです。:-)
FreeBSDでってのも、ユーザが少なそうなので試してみようって
ことで。FreeBSＤではSRP target無理だと思います。今のところ
Linux系とSolaris系だけですよね。
LinuxのSRP targetも試してみましたが理解不明なログがでてき
てこれは自分には無理と思いました。
結局TCPのオーバーヘッドありますが、IPoIBに落ち着きました。
IPoIBがおちてもGbEで救済ができるからです。本当はSRPとか
iSERのほうが性能が発揮できそうですが、このあたりはネットで
検索してもなかなか情報が得られない、、。たぶんこれは「飯の
たね」なので表にでてこないのじゃないかな。
Opensolarisのiscsi target(by GbE)は経験ありますが、COMSTAR
は抽象化っですかね。難しそう。しかし、憧れはありますね。はい。
ＮＥＣの安サーバーがありますのでいろいろいじっています。
Linux + SRP target + flashcache インストール中です。
514:不明なデバイスさん
12/06/02 21:44:47.35 IN4s7gXA
連続で申し訳ない。騒ぎすぎならごめんなさい。
ESXi4.1( Intel 870, 16GB RAM, InfninHost ), SRP target (Celeron G1101,
CentOS6.2 3GB RAM, InfiniHost, RAID1 by mdadm, HDD x 2個）で対向
接続して、ゲストOS（CentOS6.2, 2CPU, 2048K RAM、32GB HDD)上で、
[root@ns2 ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.010086 s, 1.0 GB/s
[root@ns2 ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.287052 s, 365 MB/s
[root@ns2 ~]# hdparm -t /dev/sda1
/dev/sda1:
Timing buffered disk reads: 500 MB in 1.11 seconds = 451.71 MB/sec
でした。RAID1にもかかわらず、SRPですので速いです。これからflashcache
追加します。
515:不明なデバイスさん
12/06/02 21:52:28.61 ZLJdsOyr
>>509
6月の第1週にダウンロード可能になるらしいよ、サポート曰く。
それにしても遅いけど。。。
516:不明なデバイスさん
12/06/02 22:26:08.93 IN4s7gXA
>>514
連投です。514にSSDを追加した条件です。
# flashcache_create -p thru -b 1024k cachedev /dev/sdc1 /dev/md127
でSSD (crucial M4 SSD 128GB)を/dev/sdc1, Seagate 2TB 7200rpm のmirror
で再検。
[root@ns2 ~]# dd if=/dev/zero of=/dev/testimg bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.00695022 s, 1.5 GB/s
[root@ns2 ~]# dd if=/dev/zero of=/dev/testimg bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.0679549 s, 1.5 GB/s
[root@ns2 ~]# dd if=/dev/zero of=/dev/testimg bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 0.642254 s, 1.6 GB/s
キャッシュにのるのか１GBの書き込みでの速度が落ちないです。
測定値のばらつきもないので安定しているようです。
[root@ns2 ~]# hdparm -t /dev/sda1
/dev/sda1:
Timing buffered disk reads: 500 MB in 1.00 seconds = 500.93 MB/sec
さすがSRP + flashcacheです。
NEC GT110bに2GB RAM 、 HDD x 2、 ＳＳＤ x 1、IB HCA追加した結果でした。
517:不明なデバイスさん
12/06/02 22:27:52.10 Y5VXD1jR
6月の第1週ならむしろ来週だろ・・・
ホビイスト向けじゃないんだから週末以外の方が時期として適切そうだし
518:不明なデバイスさん
12/06/03 00:34:34.05 PV55ZIYd
winOFED v3.1でてたね
519:不明なデバイスさん
12/06/03 00:35:05.77 PV55ZIYd
先月にwinOFED v3.1でてたのね
520:不明なデバイスさん
12/06/04 09:26:04.33 0fb4fhOO
Infinihostもこれで打ち止めか・・・
521:不明なデバイスさん
12/06/04 16:40:51.06 acnTPI48
>>516
flashcacheって知らなかったけど、zfsのzil diskとかl2arcのような物なのね。
シーケンシャルだと速度は出るけど、実際ストレージサーバとして使うならRandomの方を計測することをお勧めする。
ぶっちゃけシーケンシャルで速度でてもランダムだと酷い値になることが多々あるからね。
あと、メモリキャッシュに乗らない状態で計測してみるのと、fioとか使って、一回Randomの速度を測ってみたら？
522:不明なデバイスさん
12/06/04 16:43:07.23 acnTPI48
>>515,517
元々、本国の方のサポートに問合せしたときは、3月中って話だったんだけどね。
523:不明なデバイスさん
12/06/05 15:48:55.45 PhIJ7Tdi
flashcacheの人はwritethroughでやっぱり使ってるの？
writeback関係は機能とかあんまり汎用じゃないよね>flashcache
524:不明なデバイスさん
12/06/05 20:10:10.25 GQ/lU+Y/
>>523
そうです。writeback、writethrough、writearoundのモードがありますね。
2TBに128GBのSSDですので容量が少し足りないかもしれません。
>>532
助言ありがとうございます。SRP targetの目的がESXi4.1のゲストOS用
です。fioについては前述のSRP targetはしばらく使えないので測定でき
ないのですが、511は手元にありますので試してみました( by IPoIB)
量が多いので抜粋しています。
randread512k: (g=0): rw=randread, bs=512K-512K/512K-512K, ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) : avg=83805.35 iops=163 clat (usec): avg=6104.13
Run status group 0 (all jobs):
READ: io=5120.0MB, aggrb=83741KB/s
randwrite512k: (g=0): rw=randwrite, bs=512K-512K/512K-512K, ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) : avg=120376.88 iops=153 clat (usec): avg=6468.37
Run status group 0 (all jobs):
WRITE: io=5120.0MB, aggrb=78562KB/s
525:不明なデバイスさん
12/06/10 00:24:42.69 +c6ECaom
Windows7 の SRP Boot がうまくいきました。
Target : CentOS6.2 + SCST2.2.0 (Xeon E5-2609 2.4GHz)
Initiator : Windows7 + winOFED3.1 (Xeon E5-2650L 1.8GHz)
・HCA は双方 eBay で落札した Mellanox の MCX353A-FCAT です。
・BootROM について、iPXE はこの HCA に未対応ですが FlexBoot3.3.420 で大丈夫でした。
・Target 側で ISC DHCP 4.1.0p1 に InfiniBand パッチを当てたものを立ち上げ、
その root-path の指定だけで tftp は使わずにすみました。
・tmpfs に置いた60GBのイメージファイルから起動して、速度は下のとおりです。
URLﾘﾝｸ(kie.nu)
・このスレはいつも大変参考にさせていただいています。
あまりお役に立てませんが、ご質問等があれば遠慮なくおっしゃってください。
526:不明なデバイスさん
12/06/10 03:15:30.36 INBxKVA+
おー、速いなあ。
527:不明なデバイスさん
12/06/11 18:31:15.36 HX2YKslR
>>525
FDRうらやましいですｗ
ちなみにインストールからSRP使ってされたんでしょうか？
(iSCSIとかのインストールと同様に)
AIKでイメージ弄らないと駄目なのが面倒で試してないのですが。
あと、iPXEの自前でコンパイルしたBootROMで、InfiniHost系でも同様にSRP Boot可能
だと思います。ただし、メモリ有りのInfiniHostはiPXEのコンパイルが通りませんでしたが。
ネタとしてこの辺を投下しておこう。
URLﾘﾝｸ(blogs.technet.com)
SMB2.2は結局SMB3になったのね。
528:不明なデバイスさん
12/06/11 23:30:12.24 6MJGGMHq
>>527
FDR、恥ずかしながら使いこなせていません。
一つには PCIe Gen3で動作していない可能性があり、M/B(Rampage IV Extreme)は
Gen3対応のはずですが、3.4GB/sで頭打ちします。
（PCIeの動作状況をリアルタイムに確認する方法はないものでしょうか）
iSCSIのようにWindowsAIKでカスタムメディアを作る方法は、dismでOFEDのドライバを統合する
あたりまでうまくいったのですが、imagexによるイメージキャプチャの段階でつまずきました。
そこで無骨ですが、いったんローカルのSSDにOFEDとsanbootconfを含めてインストールし、
そのダンプイメージをddでTargetに転送する方式をとりました。
iPXEは残念ながら、15B3:1003ではコンパイルが通りませんでした。
529:不明なデバイスさん
12/06/11 23:51:21.74 6MJGGMHq
SMBはかなり良くなるようですね。
Windows Server 2012 Betaには最小限のドライバが入っていますが、新しいものをここから落とせます。
URLﾘﾝｸ(www.mellanox.com)
（これを入れるとFirmwareが2.10.2280に更新されますが、Flexboot3.3.420とは相性が悪いです。）
MellanoxのTwitterによるとServer同士の場合にのみ有効とのことなので、
Server同士でramdiskを共有フォルダにして計測してみました。
Sequential Read : 642.313 MB/s
Sequential Write : 825.390 MB/s
Random Read 512KB : 593.501 MB/s
Random Write 512KB : 721.289 MB/s
Random Read 4KB (QD=1) : 35.011 MB/s [ 8547.6 IOPS]
Random Write 4KB (QD=1) : 36.585 MB/s [ 8931.8 IOPS]
Random Read 4KB (QD=32) : 286.451 MB/s [ 69934.3 IOPS]
Random Write 4KB (QD=32) : 206.025 MB/s [ 50299.1 IOPS]
530:不明なデバイスさん
12/06/14 21:04:34.78 8PFnQGbi
QLE7240がebayで安く購入できたので、一応DDRなので期待して
２台のCentOS6.2-x86_64を対向接続してiperf測定してみました。
hostA
# iperf -s
hostB
# iperf -c 192.168.x.x
IPoIBな環境ですが、以下のファイルから構築しました。
1) OFED-1.5.4.1.tgz
2) QLogicIB-Basic.RHEL6-x86_64.7.1.0.0.58.tgz
いずれの場合でも1.3~1.5Gbit/secの結果でした。DDRなのでもうちょっと
出ないかなと思うのですが、こんなもんですかね。tipsなどありましたら
助言をお願いいたします。
# Mellanoxがdefact standard ? 中古探しは慎重に。