11/12/12 02:32:20.68 ou69AOdp
ぬふぅ・・・
質問ばっかりですみません。まさに↓に書かれてるような
URLﾘﾝｸ(ibicluster.uchicago.edu)
Invariant sector mismatch て言われてFWをUPDATE出来ないんですが、skip_is
付けて回避するので合ってますでしょうか？
374:不明なデバイスさん
11/12/12 03:54:23.58 VSfvQ4a+
>>373
古いMHEAからだと、-skip_is付けないとUpdate出来ないので付けてやりましょう。
こちらも何回かやってるけど、特に問題になってことはないです。
375:不明なデバイスさん
11/12/12 03:56:26.70 VSfvQ4a+
後追加
書込終わった後に確認で
flint -d mt25204_pci_cr0 q
してやって、書き換わってたら、Rebootしてやってから
ibstatｄでFirmのバージョンか確認してやればよいかと。
376:不明なデバイスさん
11/12/15 03:38:15.57 5NpW4JXT
気がついたら、12日にWinOF 3.0でてた。
RC3までのopensmにメモリリークのバグあるみたいなので、opensm使ってる人は
VerUPした方がよいかも。
377:不明なデバイスさん
11/12/17 20:12:40.37 WOWFMhSa
本日、朝からConnectX 2枚とLinux(SL 6.1)でSWless Infiniband構築してました。
ファームアップ後に、リンクアップできることを確認しましたが（OS標準のOFEDソフトウェアで）、
IPoverIBやろうと、ifcfg-ib0を作成してゴチャゴチャやってましたが、
どうやってもIPアドレスが割り振れず（IPv4）、疲れきって帰宅。
さっき調べていたら、RHNにこんなバグレポートがあがってました。
SL6.1用にはまだかしらん。
URLﾘﾝｸ(bugzilla.redhat.com)
378:不明なデバイスさん
11/12/17 21:12:10.36 +kkcoAQF
>>377
SL6.1でConnectX使ってIPoIB使えてるよ。
ただ、うちはOFED 1.5.4入れてるからOS標準のIBスタックじゃないけど。
379:不明なデバイスさん
11/12/18 17:03:33.40 tCJ0TUcl
>>378
サンクスです。いろいろ調べてifcfg-ib0に
NETMASK=255.255.255.0
じゃなくて
PREFIX=24
で無事アドレスが割り振られました。
OFED更新したほうがいいかな...。
380:不明なデバイスさん
11/12/22 20:54:58.09 Ic4rM9YF
CentOS 6.2がそろそろーって話だが、InfiniBand絡みで大分改良入ってるみたいなので期待。
あと、Solaris11だとOpenSM動くみたいね。自分でぽちぽちパッチ作ってたら、本家でパッチが公開されてて泣いた。
381:不明なデバイスさん
11/12/23 07:44:55.66 BPOEWJKe
Solaris11でTavor(InfiniHostEx)のサポートが切られた。
illmuos系は大丈夫だけど、うーん困った。
382:不明なデバイスさん
11/12/26 21:37:16.44 XfM7upLs
Infiniband、はじまる前に終わるとは。
383:不明なデバイスさん
11/12/26 22:35:05.85 v2Aww0Kt
>>382
終わったわけじゃないぞｗ
元々InfiniHost系はMellanox自体が切りそうな雰囲気だったからね。
Windows用のMellanoxドライバでは、2.1.2までのサポートだし。
OFEDのWinOF使えばサポートされてるから、問題ないんだけど。
個人的にはESXi5でのサポートがどうなるかが心配だわ。
384:不明なデバイスさん
11/12/26 23:32:40.60 XfM7upLs
infinihostもconnectxもRISCコードは同じっぽいんだけどなあ。
今のところオフロード可能なconnectx系がスループット出るけど、IBは元々はそういうローカルIOP的な処理をしないで
CPUで全部処理する（代わりにインタフェースカードが安価）という狙いだったはず。
そういう意味ではinfinihost正当、な気もするけど、現実問題としてfcoibとかだと
fcのパケットサイズ＞infinihostのパケットサイズ、だしなあ。切られるのもわかる気がする。
385:不明なデバイスさん
11/12/29 17:05:32.95 lLEiTkar
初InifibandでMHQH19-XTCゲットしたのにケーブル届くのは来年という…
とりあえず動作確認のためにwinOFEDをいれたけど、
メーカ公式から落とすパッケージって基本必要ないのだろうか？
386:不明なデバイスさん
11/12/29 23:47:55.87 Rg7/eGMo
>>384
遅レスでごめん。
RISCコードまで見てるのねｗ
InfiniBand、最初はすごいシンプルだったもんなー。
後から色々機能が付いて行ってる感じだね。
InfiniBandもEtherも全部まとめるって方向になってるからね。
>>385
おめー。
MHQH19-XTCだったら、10GbE使う必要なければWinOFで良いと思うよ。
Mellanoxの純正ドライバじゃないとWindowsは10GbEが使えない。
387:385
11/12/30 01:01:42.73 iwJYmNl1
>>386
> Mellanoxの純正ドライバじゃないとWindowsは10GbEが使えない。
え、ネットワークデバイス一覧に出てきてるよ？
ケーブル刺さってないから切断状態だけど
あ、でも試行錯誤で純正ドライバのインストやら削除をしてたせいかも…
388:不明なデバイスさん
11/12/30 16:56:30.09 iOUnMoxR
>>386
OFEDの方だったら、IPoIBじゃないかな？
10GbEのインターフェイスで使う場合は、MellanoxのManual見るとわかるんだけど、
デバイスマネージャーのシステムのところにアダプタが表示される。で、そのドライバの
プロパティの構成でIBとEthの切り替えがあるんだわ。
389:不明なデバイスさん
11/12/30 16:57:56.00 iOUnMoxR
おっと、ごめん。
上のは >>386 へね。
390:不明なデバイスさん
12/01/05 22:13:17.99 hFyLpJ6R
>>382
Infinibandの終焉じゃなくてSolarisの終焉な気が
酷い会社に買収されたが為に・・
391:不明なデバイスさん
12/01/05 23:55:22.57 /vdSUCpq
さくらでは、はりきって導入したInfinibandがかなり不調のようだが。
392:不明なデバイスさん
12/01/07 10:07:15.23 QeMMJbmM
>>391
ソースきぼんぬ
393:不明なデバイスさん
12/01/07 13:31:42.04 ldzeTuc5
この辺かな
URLﾘﾝｸ(ict.pken.com)
URLﾘﾝｸ(www.sakura.ad.jp)
URLﾘﾝｸ(www.sakura.ad.jp)
394:不明なデバイスさん
12/01/07 13:57:37.10 XWASsD5x
なるほど？
395:不明なデバイスさん
12/01/08 03:03:36.67 e3A5L8GG
アンフィニバン
396:不明なデバイスさん
12/01/08 13:06:20.15 IEiVPmjT
SRPてwindows間ではまったく意味がないのでしょうか？
397:不明なデバイスさん
12/01/08 23:47:47.69 GCkOP+ik
>>391
さくらのあれ、InfiniBandってよりもストレージの方の問題じゃない？
ネットワークも遅いとかあったのかな？
>>396
iSCSIの方式を理解してる前提で書くけど、TargetになるOSがSolaris系かLinuxしかないのでWindows間では意味ないよ。
ちなみにSDPじゃないよね？
398:不明なデバイスさん
12/01/09 02:40:38.77 baXLGiiH
>>397
Windows間では無意味でしたか
initiatorはSRPに対応していると認識しているので
Windows上で動くSRP対応のTargetもないのかなーと思った次第です
用途としてはwindows間でのiSCSIが早くなればい良いと思っているので
現状はIBoIPにて設定値をいじりながら調整している最中です
399:不明なデバイスさん
12/01/09 02:58:16.90 lEK3fSAL
>>398
あー、伝聞だけどMS純正のiSCSI Targetだと遅いよ。
StarWindの無償版 iSCSI Target 使う方がMS純正をチューニングするよりスピードでると思う。
400:不明なデバイスさん
12/01/11 11:07:52.89 +X5KuKio
>>393
特定パターンの通信、って確かにEoIBがらみっぽいな。マルチキャストかな。
401:不明なデバイスさん
12/01/13 01:42:59.25 W25SDRkg
さくらのは結局IBっぽいね
もうちょっと詳細書いてくれると俺らも助かるんだが
こういうノウハウは個人にまではなかなか降りてこないよなぁ・・・
402: ◆.Nv/VplpFs
12/01/15 11:37:01.86 w24SUwPB
tes
403: ◆zRMZeyPuLs
12/01/18 21:37:00.77 76HNSymm
>>216
device mlx4ib # ConnectX Infiniband support
device mlxen # ConnectX Ethernet support
device mthca # Infinihost cards
device ipoib # IP over IB devices
kernel作り直せばinfinihostIIIも対応しそうな感じ
404:不明なデバイスさん
12/01/19 14:18:27.92 U9c/ceD9
>>403
203です。
おお、いけそうですか。
うちもさっさとテストしてみないと。
なるほどそういう形で設定するんですね。
Linuxのほぼコピーっぽかったのでどうやるんだろうと思ってたんですが、大変ヒントになりました。
一通りカードはあるのでチェックして報告しますね。
405:不明なデバイスさん
12/01/22 01:26:48.17 cxiGdbaQ
OpenSM on OpenIndiana151a(Illumos kernel) works! だってさ ＼(^O^)／
URLﾘﾝｸ(syoyo.wordpress.com)
406:不明なデバイスさん
12/01/22 21:12:54.35 Oem1Mp6Q
>>401
IBって信頼性無いと思われてしまうよね。
凄いネガティブキャンペーンだ。。。
407:不明なデバイスさん
12/01/22 21:39:22.78 unKSLkzw
もともと0.00001ぐらいしかないんだから、ネガティブにしたところで-0.00001ぐらいにしかならんさ。
408:不明なデバイスさん
12/01/22 23:56:58.05 k49Mmpd7
以前にLinuxでNFS/RDMAがまともに動かないと書いた者だけど、
RHEL 6.2とConnectX-2 firmware 2.9.1の組み合わせだと
まともに動くようになったっぽい。
RHEL 6.2にupdateしたついでに再評価したら問題なく動くようだったので、
12月中旬からHPC clusterの実環境で使っているけど1ヶ月間特に問題でてない。
(以前は連続して書き込むとNFS clientが数分でhangupしてしまっていた)
NFS/TCP→NFS/RDMAでNFS serverのCPU使用率が半減して良い感じ。
409:不明なデバイスさん
12/01/24 22:09:21.48 18eNy1to
IntelがQlogicのIB事業買収か・・・
URLﾘﾝｸ(cloud.watch.impress.co.jp)
410:不明なデバイスさん
12/01/24 22:20:04.80 7Bt9CiAI
>>408
OFEDのバージョンっていくつですか？
1.5.4？
411:不明なデバイスさん
12/01/24 22:30:49.62 OcMA0m4b
Intelってメラにも投資してなかったか？
412:不明なデバイスさん
12/01/26 00:08:55.81 VBTuoHui
>>410
面倒くさがりなためInfinibandまわりもRedHat付属のものを
そのまま使っていてOFED入れてないです。
RHEL kernelの変更履歴を見ると2011年8月にまとめて
Infinibandまわりの更新が入っているので、
時期からするとOFED 1.5.3.2あたりに相当する
内容になっているんじゃないかな?
(面倒くさくてOFEDとRHEL間のdiffとったりはしてません)
413:不明なデバイスさん
12/01/26 02:19:10.03 xutG9hiA
IntelはInfiniBandへ帰り咲きか。
414:410
12/01/26 07:35:37.81 YhfGW8p4
>>412
ありがとうございます。
こっちCentOS5なんですけど、
バージョンアップかなぁ＞＜；；；
415:不明なデバイスさん
12/01/26 08:49:52.92 xutG9hiA
>>414
OFED 1.5.4でrNFS回りは大分修正入ってたので、OFED 1.5.4に上げてみたら？
それで駄目なようなら、CentOS 6.2へ上げてみるとか？
416:410
12/01/26 09:21:36.41 YhfGW8p4
>>415
OFED1.5.4の要件からすると、CentOSのバージョン上げないと行けない状況で、
ノード数が多いのと時期的な問題で作業計画の立案が大変な状況です。
417:403
12/01/27 00:23:56.03 sNufE24q
>>404
その後色々見た感じ、 >403 の設定だけでは駄目で OFEDとかもちゃんと有効に
なるようにkernelを作り直す必要があるようです。参考URL
URLﾘﾝｸ(forums.freebsd.org)
手持ちのMHGA28-1TCだとこんな感じです。
ib_mthca0: <ib_mthca> mem 0xdca00000-0xdcafffff,0xd8000000-0xd87fffff,0xd0000000-0xd7ffffff irq 16 at device 0.0 on pci32
ib_mthca: Mellanox InfiniBand HCA driver v1.0-ofed1.5.2 (August 4, 2010)
ib_mthca: Initializing ib_mthca
ib0: max_srq_sge=31
ib0: max_cm_mtu = 0x10000, num_frags=16
ib0: Attached to mthca0 port 1
ib1: max_srq_sge=31
ib1: max_cm_mtu = 0x10000, num_frags=16
ib1: Attached to mthca0 port 2
ifconfigだと
ib0: flags=8002<BROADCAST,MULTICAST> metric 0 mtu 65520
options=80018<VLAN_MTU,VLAN_HWTAGGING,LINKSTATE>
lladdr 80.0.4.4.fe.80.0.0.0.0.0.0.0.2.c9.2.0.28.d.91
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
ib1: flags=8002<BROADCAST,MULTICAST> metric 0 mtu 65520
options=80018<VLAN_MTU,VLAN_HWTAGGING,LINKSTATE>
lladdr 80.0.4.5.fe.80.0.0.0.0.0.0.0.2.c9.2.0.28.d.92
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
418:403
12/01/27 00:26:52.98 sNufE24q
↑
i386版のFreeBSD-9.0Rでのdmesg結果です。
ただ、どうにもbuildkernelでコケるんで（iboip関係で失敗する）適当にsrc
を直しています。amd64版だと通るのかな？
肝心の速度とか試したいけど対向を用意しないと・・・
419:不明なデバイスさん
12/01/27 02:24:23.56 Ii0tgdNg
>>418
FreeBSD-9.0R amd64だと問題なくビルドできますね。
ただ、ib*に対応しそうなドライバーが見当たらないので、ビルドされて無い可能性はありますが。
（ipoibの初期化は走ってる模様）
カード持ってないので実際にどうなるか試せないですけど、
mellanoxだとドライバーはmlx4ibかmlxenあたりになりそうですけど、
pciconfとかどんな感じですかね？
420:不明なデバイスさん
12/01/30 23:42:56.69 YCU+3NZT
1月からちまちまと触ってるけど、チューニングが難しいね･･･
ちなみに今のところMHQH19-XTC同士をつないで
一方のRAM DISKに対してCIFSでベンチとった結果
-----------------------------------------------------------------------
CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo
Crystal Dew World : URLﾘﾝｸ(crystalmark.info)
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]
Sequential Read : 824.757 MB/s
Sequential Write : 505.886 MB/s
Random Read 512KB : 607.263 MB/s
Random Write 512KB : 443.011 MB/s
Random Read 4KB (QD=1) : 10.495 MB/s [ 2562.1 IOPS]
Random Write 4KB (QD=1) : 10.625 MB/s [ 2593.9 IOPS]
Random Read 4KB (QD=32) : 43.593 MB/s [ 10642.9 IOPS]
Random Write 4KB (QD=32) : 43.318 MB/s [ 10575.6 IOPS]
Test : 4000 MB [X: 0.9% (59.8/6766.0 MB)] (x3)
Date : 2012/01/30 23:34:26
OS : Windows 7 Enterprise Edition SP1 [6.1 Build 7601] (x64)
ドライバはMellanox純正、
10GbEモードにして自動チューニングとMTUを4096に弄ったぐらい
ちなみにドライバ付属のRDMAテストツールではr/w 3GB/sぐらい出てたけど、
Windows8のRDMA対応に期待して良いのだろうか
421:不明なデバイスさん
12/01/31 21:02:38.24 TKpp3r0U
> 408
おお、そうなんですか。情報ありがとうございます。
6.1で試してみたときにクラッシュしまくって諦めてましたが、
アップデート試してみます。
422:421
12/01/31 21:06:23.55 TKpp3r0U
Supermicro X8DTT-IBXF ( URLﾘﾝｸ(www.supermicro.com) )
これを使っているんですが、SupermicroのFTPサイト
fURLﾘﾝｸ(ftp.supermicro.com)
にはファームウェアが2.72までしか出てません。
自分でコンパイルできたりするんでしょうか？
それともサポートにメールして作ってもらうしかないんでしょうか？
423:不明なデバイスさん
12/01/31 23:52:18.63 +xvVGia+
>>422
付いてる物自体は、MHRH19B-XTRっぽいな。
とりあえず最新にする前提で書いておく。
OEMのカード使ってる人はこの方法で上げれば良い(Cisco除く)
こっからMFT落として突っ込んでやればいける。
URLﾘﾝｸ(www.mellanox.com)
で、FirmはこれのConnectX2用を落とす
URLﾘﾝｸ(www.mellanox.com)
MFTインストールしてやってから以下 root で
# mst start
# mst status // ここでデバイスが見える筈。
# flint -d /dev/mst/mt26148_pci_cr0 q // 現在のファームの確認。上で表示されたデバイス名に合わせてね
# flint -d /dev/mst/mt26148_pci_cr0 dc > mt26418-config.ini // 現在のFirm設定の書き出し
ファームを解凍してやる
# mlxburn -d /dev/mst/mt26418_pci_cr0 -fw fw-ConnectX2-rel.mlx -conf mt26418-config.ini // 読み出しした設定で最新ファームを書込み
# flint -d /dev/mst/mt26148_pci_cr0 q // ファーム更新かかってるか確認
って流れかな。
多分、mac addressが設定されてないと思うので、10GbEで使用するならおまけでこの辺やっとくとよいかも
# flint -d /dev/mst/mt26148_pci_cr0 -mac (GUID Port1の前6桁と後ろ6桁) sg
424:421
12/02/01 20:55:29.07 GvUfm3/z
>>422
どうもありがとうございます。
デバイス固有の設定みたいなのがどこから手に入れられるのかわからなかったのですが、
flintを使えば現在のfirmwareから設定が抽出できるのですね。助かりました。
425:不明なデバイスさん
12/02/02 23:07:16.74 gFpiynde
x1スロットに差して動くカードってありますか？
426:不明なデバイスさん
12/02/02 23:51:34.34 zqmIfXZ5
>>425
そもそもIBでx1のカードを見たことが無い。
そらまぁ、SDRのx4で片方向10Gbpsの帯域が有るわけで、
PCIe1.0だとx4でも足りない。
PCIeのx1じゃIB使う意味が無いって位に足りない。
427:不明なデバイスさん
12/02/03 13:01:29.46 E21Djc8i
100BASE-TX対応だけどI/FがUSB1.0や16bitPCカードなLANアダプタとか昔有ったな。
速度は出なくてもいいからとりあえずリンクはして欲しい、って用途向けの。
IBだとそんな用途はなさそうだが。
428:不明なデバイスさん
12/02/03 13:12:07.15 jApT1QRX
>>426-427
iscsi Targetとして使いたいので、GbEよりはパフォーマンスが稼げないかなと思ったのです。
miniITXのマザーで、x16はRAIDカードが塞ぎ、miniPCIから延長して繋ぎたかったのですが意味ないでしょうか。
429:不明なデバイスさん
12/02/03 13:31:10.86 z+Mx8oSR
そういうことなら、とりあえず買って繋いでみれば?
x1でも動く可能性はあるし。
430:不明なデバイスさん
12/02/03 15:10:55.24 nk+YGKi8
>>428
人柱前提で試すと言うことなら、止めることはしないｗ
target/initiatorの構成が出てないんで、わからんのだけど、
上の方で200MB/s前後って情報は出てるな。
（こっちも構成が分からんので、参考になるかどうかすら判断出来んけど。）
PCIe x1接続なら一応理論値で250MB/sの帯域はあるから、
実効値でMAX 200MB/s出れば、万々歳かなぁ。リンクしてくれる前提だが。
ただ、使ってるカードや、OS、targetによっては1GbEと
たいして変わらない可能性も・・・。
その辺りまで含めて、人柱って事で、れぽーと期待してますｗ
431:不明なデバイスさん
12/02/03 20:17:20.22 jApT1QRX
>>429-430
そうだよね、やってみようかなって思ったんだけど
H61M-USB3がMegaraid SAS 9240-8iを認識しないときた。
H61AG買ってからかなあ。
InfiniHost系の安いカード２枚と、Solaris(target)-Windows7(initiator)でやりたいと考えてます。
箱はコレなので、ケースに穴を開けてがんばろうかと思ってました
URLﾘﾝｸ(www.alibaba.com)
432:421
12/02/06 13:47:09.02 8mnpRfU1
>>423
おかげさまでfirmwareアップデート出来ました。
ありがとうございました。
次はRedhat6.2でNFS/RDMAを試してみるぞー。
433:不明なデバイスさん
12/02/06 23:40:50.61 mw887Ob/
>>431
うちは、InfiniHostExでx4では試した事あるけど一応動いた。
SDRのカードだったので帯域的には十分足りたってのがあるかも。
>>421
無事にアップデート出来たみたいで何よりです。
上手く行ったらレポよろー
434:不明なデバイスさん
12/02/13 20:24:37.76 hQb4s5bD
このスレをみて自宅で使ってみたくなり部品調達中です。
現在はESXi4.1 + OpenSolaris( iscsi target )のGbEな環境で
使用中です。>83 を参考に
ESXi4.1(MHEA28-XTC)
iscsi target -- OpenSolaris(MHEA28-1TC)
openSM -- Linux host (MHEA28-XTC)
をF-X430066で接続する構想です。ebayで探していますが
MHEA28-XTCが30ドルであって注文しました。しかし、MHE
A28-1TC、F-X430066があまりなくて値段も高めだったので
購入をためらっています。お勧めのOEM物などありました
らよろしく。特にスイッチの安いのが欲しいです。
435:不明なデバイスさん
12/02/14 02:14:11.68 Y0A/Usyx
>>434
今だったら、OIとESXi4.1を直結で動作可能。
OpenSMを移植した人いるからね。
この辺はググってください。
ある程度解ってないとちょっと面倒だけど。
（自分でOpenSolarisのBuild出来る程度のスキルでオッケー）
ぶっちゃけ、F-X430066使うメリットは殆どないよ。
EOLなって相場あがってるし、音もそんなに静かではないしね。
ebayに手を出してるんだったら、安いスイッチはISR-9024S-Mかな。
定期的に出してる業者さんいるけど、大体$200ちょっとくらいで落ちてるので
こいつだったらSubnetManager載ってるので、LinuxでOpenSM動作させる必要は無いし。
FirmとかはHPのサイトから落とせば一応最新の物がダウンロード可能だし。
436:不明なデバイスさん
12/02/16 23:39:59.11 4ZphLxd3
無知な私もinifinibandを自宅に整備したくなったので、
Voltaire 400Ex-D と ケーブルをebayで注文。
届いたら動くかﾚﾎﾟ。
437:434
12/02/18 10:03:06.69 LQab/ACb
>>435
情報ありがとうございました。月末にHCAとケーブルが届き
ますので、直結で使ってみます。OpenSMは3.3.13にあがって
それに対するパッチを公開されていますね。楽しみです。
OIは使ったことないので、情報収集中です。ESXI4.1のデータ
ストア（scsi target）に使うつもりですが、USB boot+HDDx4個
（zfsの10かraidz)で使えればと思っています。
438:不明なデバイスさん
12/02/19 14:16:10.79 /nFaSHfi
でも実用に供しちゃうと実験君できないんだよな。
いつ実用にしちゃうか悩みどころ。
439:不明なデバイスさん
12/02/21 23:40:02.49 X562yWUS
すいません、めちゃめちゃド素人な質問ですみません。
>50 の
>SDR IB 2500Mbps < 10Gbase-CX4 3125Mbps < DDR IB 5000Mbps
って3125Mbpsじゃなくて3125MBaudだと思うんですが、IBはビットレートとボー
レートは同じ？ちなみにスレチですが、SAS1.0だと1対あたり3000Mbpsてことで
あってますでしょうか？
いや、両端がCX4のケーブルをSASで使っててどうにもH/Wエラー出まくりなので、
これってもしかしたらSDR IB用のケーブルなのかなぁ。と思ってｸﾞｸﾞってただけ
なんすけど。
440:不明なデバイスさん
12/02/22 00:26:54.21 v0XXdhrx
>>417 >>419
FreeBSD9.0-RELEASE amd64 + MHRH19-XTCな環境で試してみましたが、駄目でした・・・
URLﾘﾝｸ(forums.freebsd.org) を参考に world を作りなおしたのですが。
dmesg 見ると "no driver attached" とのこと・・・
ちなみにpciconfは
none3@pci0:4:0:0: class=0x0c0600 card=0x000615b3 chip=0x673215b3 rev=0xa0 hdr=0x00
vendor = 'Mellanox Technologies'
device = 'MT26418 [ConnectX VPI PCIe 2.0 5GT/s - IB DDR / 10GigE]'
class = serial bus
と認識してました。
441:不明なデバイスさん
12/02/22 01:01:29.88 S/cVkrEl
>>440
kldstat -v | grep mlx
の出力でmlx4*入ってなければ
kldload mlx4 mlx4ib mlxen
これでどれかヒットしたら、ヒットしたヤツを/boot/loader.confに追加
kldloadでもダメなら、コンパイル設定がちゃんと出来てない or コミット具合が中途半端かなぁ
ソース的にはvender=15b3 product=6732有るから対応はしてるはず
442:不明なデバイスさん
12/02/22 12:37:15.31 KppCuwU2
>>439
IBもCX4も4b5bなので、SDRで言えば2500Mbpsは物理レート、2000Mbpsが論理レート。
443:不明なデバイスさん
12/02/22 15:51:38.97 uLyrXAnc
>>439
SDR IB 2500Mbps < 10Gbase-CX4 3125Mbps < DDR IB 5000Mbps
↑
これ全部baud rateね。
data rateで書くなら
↓
SDR IB 2000Mbps < 10Gbase-CX4 2500Mbps < DDR IB 4000Mbps
こんな感じ。ちなみにSAS1.0も8b/10bエンコードなので、3Gbps Baud Rate、
2.4Gbps Data Rate（8で割れば 300MB/s Data Rate）です。
444:不明なデバイスさん
12/02/23 13:04:37.95 FCLMWANA
>>441
mlx4.koがロードされてないから、それに依存するモジュールを全部ロードできてない感じみたいっす。
# kldload mlx4
kernel: linker_load_file: Unsupported file type
で、/var/log/message みたら
kernel: link_elf_obj: symbol M_KMALLOC undefined
とか言ってるんで、上手くコンパイルできてない感がありますね。
初期化してソース取ってきて、いつもどおりworld作ってるんですけどなんかマズイのかなぁ。
成功してる人の体験談を聞きたいですね・・・
445:不明なデバイスさん
12/02/23 15:19:30.01 dBMEHr9c
>>444
BSDはいじれるし、試す環境を作る事は出来るんだが、
肝心のHBCが無いというｗ
BSDでIBがまともに使えるようになってくれると、
Solarisからの乗り換え候補にもなるんで、
楽しみではあるんだけどね。
446:不明なデバイスさん
12/02/24 00:16:00.37 cUhf+TCK
>>444
依存関係がよろしくないっぽいので以下の手順試してみてください
カーネルコンフィグから以下を削除
（テストしやすいようにカーネル組み込みをやめてローダブルにするため）
device mlx4ib
device mlxen
device mthca
device ipoib
以下のコマンド実行
cd /usr/src/sys/ofed/drivers/net/mlx4
ln -s ../../../inlcude/linux/*.c ./
あとはカーネルビルド＆インスト
実物を持ってないのでなんともいえないけど、kldload mlx4は文句なく出来るの確認しました
447:不明なデバイスさん
12/02/24 01:10:52.75 OpT+ysLU
横から質問ゴメン
rc.confに opensm_enable="YES" て書けるようなんですが、FreeBSDでも
subnetManagerは普通に動くんですか？
448:不明なデバイスさん
12/02/25 21:46:39.64 bMM+5bJc
>>440
Freebsd9.0R(amd64)をstableバージョンにあげて、
URLﾘﾝｸ(forums.freebsd.org)を参考にして試してみました。
MELLANOX INFINIHOST MHEA28-XTC DUAL PORT 10GB/s
HP InfiniBand HCA 4x SDR PCI-E Dual Port 380298-B21
の二枚ともに認識しました。前者の/var/log/messagesは
Feb 25 21:13:16 freebsd901 kernel: Running ipoib_init_module (0xffffffff80a9a120
)
Feb 25 21:13:16 freebsd901 kernel: ib_mthca0: <ib_mthca> mem 0xfde00000-0xfdefff
ff,0xfc800000-0xfcffffff irq 16 at device 0.0 on pci2
Feb 25 21:13:16 freebsd901 kernel: ib_mthca: Mellanox InfiniBand HCA driver v1.0
-ofed1.5.2 (August 4, 2010)
Feb 25 21:13:16 freebsd901 kernel: ib_mthca: Initializing ib_mthca
～～～～～～～～～～～
Feb 25 21:13:16 freebsd901 kernel: ib_mthca0: HCA FW version 5.1.000 is old (5.3
.000 is current).
Feb 25 21:13:16 freebsd901 kernel: ib_mthca0: If you have problems, try updating
your HCA FW.
Feb 25 21:13:16 freebsd901 kernel: ib0: max_srq_sge=27
Feb 25 21:13:16 freebsd901 kernel: ib0: max_cm_mtu = 0x10000, num_frags=16
Feb 25 21:13:16 freebsd901 kernel: ib0: Attached to mthca0 port 1
Feb 25 21:13:16 freebsd901 kernel: ib1: max_srq_sge=27
Feb 25 21:13:16 freebsd901 kernel: ib1: max_cm_mtu = 0x10000, num_frags=16
Feb 25 21:13:16 freebsd901 kernel: ib1: Attached to mthca0 port 2
でした。後者も同様な認識でした。ConnectX系はmlx4ですので、その違いかなー。
当方はまだopensmな環境がないので接続テストはできていません。ちなみに
FreeBSDにポーティングされているhw driverはmlx4とmthcaだけですね。
449:440
12/02/25 22:08:14.32 jv4hZwB5
>>446
ソースを取り直して再度worldを構築したら成功しました。
>>448 さんと同じような感じでしたー。
>>447
defaults/rc.conf には記述があるけど、肝心の起動スクリプトが無い気が。。
OpenSM のソース自体は /usr/src/contrib/ 以下に入ってますけど、パッチなしではコンパイルできません。
なんとかコンパイル通したものの、上手く動いてくれない感じでした。
今夜あたりにもう少し弄ってみようと思いますんで、後ほどまた報告しますですー。
450:不明なデバイスさん
12/02/25 23:35:48.33 bMM+5bJc
>>449
> which opensm
> /usr/bin/opensm
バイナリありますよ。# opensm startで
Feb 25 23:18:55 343791 [1C07400] 0x03 -> OpenSM 3.3.1
確認しました。stand aloneで接続試験はまた後日に。
451:不明なデバイスさん
12/02/25 23:55:18.44 jv4hZwB5
>>450
ops, 確認するときに使っていたworldはWITH_OFEDなものじゃなかったです、、、
いっしょにコンパイルされるもんなんですね。てっきりSolaris11みたいな感じかと思ってました。
私も接続試験してみますー。
452:不明なデバイスさん
12/02/29 21:20:59.22 rFEqkiKg
RHEL系(CentOS、Scientific Linux)では、6.2が最新ですが、素install後に
# yum groupinstall 'infiniband support'
# yum install opensm perftest
# modprobe ib_umad
# opensm start
でＯＫでしょうか？3.3.9が立ち上がります。
MELLANOX INFINIHOST MHEA28-XTCのportにケーブルをループバックで
端端接続すると緑と橙色になりました。一応ローカルでＯＫということで。
FreeBSDの場合と比べて簡単ですね。
453:不明なデバイスさん
12/03/07 23:34:19.31 hlc8Fsye
いつのまにかMLNX WinOF VPI v3.0.0でてたんだね
454:不明なデバイスさん
12/03/08 09:27:04.83 /jkOBLhk
Hyper-VのIPoIB passingがあるのか？ ためしてみなきゃ。
455:不明なデバイスさん
12/03/08 17:07:46.29 /gSgaG/k
Windows 8 serverのPreviewでたから、IPoIBでSMB 2.2 のRDMA SMBが
使用可能かチェックしてみないと。
456:不明なデバイスさん
12/03/08 21:46:47.82 /jkOBLhk
8 serverのpreviewも出たんだ。
仮想スイッチとか切れるようになったんだよね。うーむ、いじりたいもの多すぎ。
457:不明なデバイスさん
12/03/09 02:32:13.09 KBsbCkss
>>456
Clientの方と一緒にServerもでてたみたいです。
iWARPとかも試してみたいのですが、Switchが高すぎて・・・
458:sage
12/03/09 19:56:54.86 39uW48Co
ML110G6に8serverを突っ込んでみようと思ったけど、なぜかインストーラが
HDDを見つけてくれず、「ドライブが見つかりませんでした」とか怒られる。
smb2.2試してみたい
459:不明なデバイスさん
12/03/09 20:30:29.66 7ikC8YdG
>>458
オンボRAIDにしてない？AHCIモードかなんかでないと。
460:不明なデバイスさん
12/03/11 23:58:13.99 RSemGy1Q
>>435
OpenSMを移植した人のサイトからファイルを落としてコンパイルしてみましたが、
gmake setupのところで/opt/SUNWspro/sunstudio12.1/bin/ccを要求します。
検索してみると以前はpkg installでsunstudioが得られていたようですが、今は
できないようです。オラクルのサイトはSolaris10と11、Linux用でOIには適応でき
ませんでした。sunstudioなしでOpenSMできないでしょうか。
# CentOSやFreeBSDとくらべるとなかなか先に進みません。スイッチ買おうかな。
461:不明なデバイスさん
12/03/12 09:14:36.25 +INFtRDa
うわーoptパスなすかしす。
gmake configとか通らない？
462:不明なデバイスさん
12/03/12 12:56:09.98 FpsVnDXN
>>417
OFED 1.5.3がportされたという話だったのに、なんで"ofed1.5.2"という記述があるんだろう？
463:不明なデバイスさん
12/03/12 19:00:47.75 oBZTj5fF
>>460
pkg set-publisher -g URLﾘﾝｸ(pkg.openindiana.org) opensolaris.org
パッチの当たってない SunStudio12.1 を再配布してるらしい。
URLﾘﾝｸ(www.illumos.org)
464:460
12/03/13 07:25:18.03 SQFLA84H
>>463
root@openindiana01:~# pkg publisher
発行元 タイプ 状態 URI
openindiana.org (優先) 起点 online URLﾘﾝｸ(pkg.openindiana.org)
opensolaris.org 起点 online URLﾘﾝｸ(pkg.openindiana.org)
root@openindiana01:~# /opt/SUNWspro/sunstudio12.1/bin/cc -V
cc: Sun C 5.10 SunOS_i386 2009/06/03
usage: cc [ options] files. Use 'cc -flags' for details
この2週間悩んでいましたが、前進です。ありがとうございました。
465:不明なデバイス
12/03/14 16:32:30.68 UearcMfZ
安い
URLﾘﾝｸ(shop.maxserve.co.jp)
466:不明なデバイスさん
12/03/14 19:24:07.26 DlGLtx3N
>>465
新品でこの値段なら安いなー。
中古だったら高いと思うけど。
467:不明なデバイスさん
12/03/18 10:52:50.92 t+mwE1qp
>>464
OI上でOpenSMが動作するパッチがgithubで公開されていますが、
Downloadsしますと、パッチが含まれていない2011年9月のファイル
しか含まれません。すれ違いかもしれませんがgithubから落とす
方法をおしえてくれませんか？Branchesはmaster、ofed-1.5.4.1の
いずれを選択してもDownloadsしたファイルの内容は同じです。
githubの使い方がまちがっているのかなー。
468:不明なデバイスさん
12/03/19 07:31:14.73 yMsMdDri
>>467
jithubの画面左側にあるzipのボタンでdownloadできました。おさわがせしました。
469:不明なデバイスさん
12/03/19 15:43:03.19 WIrHM2dt
>>464
普通に git clone [url]で最新のが落ちてくるけど？？
って、zipで落としてたのか・・・
470:不明なデバイスさん
12/03/20 04:54:27.64 0JkJ1LfL
>>469
当方git、hgそれなに？のド素人です。OI上でOpenSMをコンパイルする
ために、情報検索したかったのでサーバー版ではなくてデスクトップ版
をインストールしました。fireforxで検索しながら情報にたどり着きました。
なので、前述のサイトも画面上のDownloadのボタンに気づいて思わず
ともGUIな環境での操作となりました。
とりあえず落としてきたファイルを展開してtools/check-environment
で必要なものを準備しました。それからhg init; gmake setup; gmake publish
です。やっとここまでたどり着いたというのが正直な印象です。
なぜかインストール先がcomponents/open-fabrics/prototype/i386下
にくるのでなんでかなと調査中です。まだまだ先が思いやられます。
OIにOpenSMをポーティングされたかたに敬意を表します。助言ありがとう
ございました。
471:不明なデバイスさん
12/03/23 12:42:45.13 Omrahrns
URLﾘﾝｸ(cloud.sakura.ad.jp)
さくらも大変そうだね
472:不明なデバイスさん
12/03/23 13:14:13.59 30SgVsUg
infinibandがらみなのかわからんね。どういうトラブルか教えてくれ＞関係者
もともと従量課金を導入してる部分が少ないから、偏ったアプリによる偏った負荷がかかってるんだろうなあ。
473:sage
12/03/26 06:17:26.13 NgrmWmIj
休みを使ってServer8βを2台のマシンにインスコ。
それぞれのマシンをIBで繋いでRDMA経由のSMB2.2を試そうと思ったけど、なぜ
かOpenSMが起動出来ないでござる。時間内に応答が返らないとか言われる。
InfiniHostIIIなんでWinOFは2.1.3が最新だと思うけど、server8に対応してな
いんだろうか。ドライバは一応入ったんだけど。
と言うわけでSM入りのスイッチが無いうちではこれ以上の検証が出来ないので
誰か代わりに検証ﾀﾉﾑ
474:sage
12/03/26 07:21:05.91 NgrmWmIj
補足
OFED3.0は「7か2008R2じゃないと駄目」と言われてserver8にはｲﾝｽｺ出来ません
でした。
475:不明なデバイスさん
12/03/26 08:55:58.02 wwts9w4U
>>474
そーいうときはACT(application compatibility toolkit)でだますと入ったりするぞ。
476:不明なデバイスさん
12/04/01 12:11:02.83 1A/TH1x7
>>472
仮想化でよくあるストレージのキャパ不足だと思うけどなー
ストレージのヘッド、あそこだとZFS Applianceの数増やすだけで解決すると思う
仮想マシンを移動させなきゃいけないのは大変だとも思う
それで解決しなきゃ根本的になんか間違えているんじゃ。
477:不明なデバイスさん
12/04/02 20:12:41.32 4RJZ+QhL
Windows XP SP3 ------> iscsi targetの転送をFFFTPで測定したら、
１5MB/secとGbEより低くい結果で涙目。(IPoIB)
XP client: AMD Athron 64 x2 5200+, 2GB RAM, 250GB HDD(7200rpm)
HCA( Infinihost 380298-B21 )
iscsi target: Intel Celeron E3200, 6GB RAM, FreeBSD-9.0R-amd64で
zfs( raid10 500GB HDD(7200rpm) x 4)、NTFS format,
HCA( infinihost MHEA28-XTC )
OpenSMはFreeBSD側で準備し、iscsi targetは/usr/ports/net/istgtを使い
ました。
特にチューニングはしていません。low spec.だけどもうちょっとでないかな。
ネットで検索してもなかなか情報がなくて、、。
478:不明なデバイスさん
12/04/02 20:25:30.21 4RJZ+QhL
>>477
っと、うそを書いてしまいました。XP側ではMicrosoft iSCSI Initiatorがiscsi targetを
見つけてくれないので、ftp 転送ので結果です。iscsi targetではなくて、boot diskと
の接続です。
479:不明なデバイスさん
12/04/03 09:15:30.33 LeK2uesc
infinihostはオフロードしないからCPU遅いとgbeより遅いことままあるよ。
480:477
12/04/03 23:01:37.74 6ugnXdNN
>>479
Windows XP SP3からSL-62-x86_64へ変更してiperfで測定してみました。
SL6.2とFreeBSD9.0間をGbeとIPoIBで比較してみました。（環境は同じです）。
[root@localhost ssh]# iperf -c 192.168.24.15
------------------------------------------------------------
Client connecting to 192.168.24.15, TCP port 5001
TCP window size: 64.0 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.24.105 port 37050 connected with 192.168.24.15 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 1.08 GBytes 928 Mbits/sec
[root@localhost ssh]# iperf -c 192.168.23.15
------------------------------------------------------------
Client connecting to 192.168.23.15, TCP port 5001
TCP window size: 64.0 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.23.16 port 51660 connected with 192.168.23.15 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 2.61 GBytes 2.24 Gbits/sec
2倍ちょっとかな。OSによって挙動が違うようですね。
この1ヶ月間試行錯誤してきましたが、なんとか使えるところまで来ました。
HCAはebayから購入したので故障が心配でしたが動作してよかった。:-)
481:samba
12/04/04 00:53:30.77 LQLnLJ9i
>>480
FreeBSD-9.0RにMHEA28-XTC挿して、FreeBSD上でOpenSM動かしてるって事？
そこまで出来るようになったのか。
482:477
12/04/04 20:21:09.29 1IbLihOE
>>481
はい。前述の設定でmake worldして、/etc/rc.confにopensm_enable="YES"
ただし起動スクリプトはないので、
#!/bin/sh
#
# $FreeBSD$
#
# PROVIDE: opensm
# BEFORE: netif
# REQUIRE: FILESYSTEMS
. /etc/rc.subr
name="opensm"
start_cmd="opensm_start"
rcvar="opensm_enable"
command=/usr/bin/opensm
command_args="-B"
opensm_start()
{
for guid in `ibstat | grep "Port GUID" | cut -d ':' -f2`; do
[ -z "${rc_quiet}" ] && echo "Starting ${guid} opensm."
${command} ${command_args} -g ${guid} >> /dev/null
done
}
load_rc_config $name
run_rc_command $*
な感じで立ち上げてます。
483:不明なデバイスさん
12/04/14 00:17:18.73 7MfIUIMe
IPoIB接続の次はSRP接続です。親切にも方法を開示されている方がいて、
URLﾘﾝｸ(sonicostech.wordpress.com)
を参考にしました。
SRP target (CentOS-6.2-x86 64): AMD Athron64 +5200,4GB RAM, 160GB HDD
SRP initiator (ESXi 4.1 u1): Intel 9550, 8GB RAM
SDR infinihostを使用して、CentOS側でopensm起動
target から10GB切り出してFreeBSD9.0Rをinstallし、
time make -j6 buildworld中です。オレンジのLEDがピコピコ
光ってやっとたどり着いたぞというのが実感です。
この環境ではおそらくHDDが律速になりますのでSRP target
にはRAIDとかSSDが必要になりますね。
484:不明なデバイスさん
12/04/15 15:18:05.00 XtSLeYpc
ebayでHCA中古さがしているけど、50ドル以下のものをみなくなったね。
需要があるってことかな。
485:不明なデバイスさん
12/04/16 02:19:22.83 ys7XQqHJ
このスレ見てなんかおもしろそうなんで、MHEA28-XTCを2枚ゲット。
詳しい環境は省略するけど、CentOS 6.2でSRP target構築してRAMディスクにvdisk作成。
Windows7から接続してATTO Benchmarkで計ったら普通に950MB/sとか出てびっくりした。
486:不明なデバイスさん
12/04/16 08:18:11.46 xhJt1Tt0
>>485
950MB/sってすげぇなw
折角なので詳しい環境書いてよ。
487:不明なデバイスさん
12/04/16 10:14:16.93 Yf5aTgYS
>>484
HPCセンタの更改時にどかっと出る、その後出ない、の繰り返しじゃないかな。
ラックHDDユニットとかもその傾向にあるね。
＃この前安価で入手したのには「yahoo」って張ってあって笑った
488:484
12/04/16 20:18:47.48 HXzADxTI
>>487
ふむ、タイミングですかね。米国には年度末ってないのかな。
どぱーっとさらしてほしいもんです。
中古なので予備に何枚か持っておきたい。DDRやQDR
も欲しいですが、これはまだ価格が落ちてこないですね。
489:不明なデバイスさん
12/04/16 21:05:37.29 nKIZMTkw
>>485
自分もぜひ教えてほしい。
RAMDISKはtmpfs?特別な設定？
490:485
12/04/17 01:20:51.16 VZw4NDHc
特別なことはなにもしてないです。
見よう見まねでやってみただけです。
サーバ MHEA28-XTC CentOS6.2 (Athlon X2 BE-2350 4GB)
クライアント MHEA28-XTC Windows7 x64 SP1 (Phenom II 9950BE 8GB)
こんなしょぼい環境で、２台を直結です。
サーバ側は
URLﾘﾝｸ(sonicostech.wordpress.com)
ここに書いてある通りにCentOS6.2上にSRP Target構築。(vdisk使用)
OSインストールから全部書いてあります。
で、tmpfsで2GBのRAMディスク作ってRAKディスク上に適当なイメージファイルをおいただけです。
Win7側はOFED 3.0でインストール時にSRPを追加してインストールしただけです。
Win7起動すると勝手にSRP Targetがマウントされてます。
491:不明なデバイスさん
12/04/19 12:58:15.61 pK8pP1wV
MHEA28-XTCにファーム5.3+ipxeのROMを書き込んでSRP Bootに
チャレンジしているのですがうまくいきません。
サーバはMHEA28-1TCで、CentOS6.2 + SCSTでSRP Targetを構築しました。
URLﾘﾝｸ(sonicostech.wordpress.com)
ここの通りにやってます。
SRp targetはWindows/Linuxから問題なく接続ができています。
まず、shellでコマンド入力で試してみたんですが、
ifopen net0
ifstat net0 (upになってることを確認)
sanhook ib_srp::::＊＊＊＊＊＊＊＊＊
と入れてエンターを押した後になぜかPCのリセットがかかります。
次に同じコマンドを埋め込みスクリプトでやってみたところ、
リセットはかかりませんが
Input/Output Error
となって接続できません。何が悪いのかはよくわかりません。
同じような構成でうまく言ってる方いらっしゃいますでしょうか。
492:不明なデバイスさん
12/04/24 21:32:35.51 bMPtoCKW
SDRなHCAで、CentOS6.2 + SCSTによるSRP Targetを想定した場合、
ストレージの性能ってどれくらいがふさわしいかな。変な質問で申し訳
ないけど、今4個のHDDをraid10またはraid0でESXi4.1のSRP targetとして
試験運用している。GbEなiscsi targetの時とあまりパフォーマンスは変
わらんような気がする。ネットワークトラフィックが増えない限りパフォー
マンスの差はでないんだろか。
皆さん、ストレージはどうしていますか？おいしい使い方とか指標が
ありましたらご教授お願いいたします。
493:不明なデバイスさん
12/04/25 00:45:17.14 QgUwtsXR
いくらSDRでもGbEに比べれば圧倒的に出るよ。最低でも500MB/s位は軽い。
494:492
12/04/26 06:41:23.65 mT82uJuz
>>493
SRP targetををUSB bootさせているからかなー。
495:492
12/05/03 23:00:55.06 ie+GVUTI
hdparm使って確かめました。
構成：鼻毛鯖(PJ)にメモリ１２GB追加、HDDはmdadmによるRAID0（HDD x 4)
HCA:infinihost OS CentOS6.2-64( USBメモリ４GB )
SRP target側（raid0): hdparm -Tt /dev/md0 418Mb/sec
ESXI4.1のゲストOS: hdparm -Tt /dev/sda1 356Mb/sec
（CPUx4 メモリ４GB
でGbE( scsi target)の４倍でした。もっと速いtargetが作れれば性能はさらに
あがるかも。:-)
# USB メモリでSRP tagetのシステムを構築しましたが、input/output error
# をはくようになりました。2個目は問題なさそうですが、HDD install推奨。
496:不明なデバイスさん
12/05/03 23:03:28.46 ie+GVUTI
Mb/sec 訂正MB/sec
497:不明なデバイスさん
12/05/14 21:06:37.63 DvW0EcVA
>>495
RAMなblockでテストするとどれくらい出ます？
498:不明なデバイスさん
12/05/15 14:35:13.50 1qQa8fOb
>>497
492さんじゃないけど、Linuxで今度試してみるよ
ちなみに、OpenIndianaでRAM disk使ってQDR接続でSRP使用すると、
dd一つだと800MB/sで頭打ちになるけど、ddを4つ同時に走らせると3.2GB/s行きましたな。
499:不明なデバイスさん
12/05/15 19:25:54.70 UdyiCeMm
Mellanox本社エグゼクティブ・インタビュー
前編 URLﾘﾝｸ(cloud.watch.impress.co.jp)
後編 URLﾘﾝｸ(cloud.watch.impress.co.jp)
500:不明なデバイスさん
12/05/15 21:51:11.09 0APbn2NH
>>497
すでにESXi4.1にSRPターゲットをつないでいるので、対向で速度が測れない。
たぶん485さんと同じぐらいだと思う。ESXiからSRPターゲットのブロックI/Oを
測定する方法があったら教えてくれませんか。
501:不明なデバイスさん
12/05/17 22:17:28.52 JTf5cETS
このスレではじめて InfiniBand を知りました。
なんとか IB SRP Target を立ててみたくて、>>483 >>490 を参考にさせていただき
CentOS で SCST を起動できたのですが、その先の初歩的なところで詰まっています。
Target へのアクセスを fileio にしたところパフォーマンスが出ないので、
代わりに fileio_tgt を試そうとして fileio-2.2.0.tar.bz2 をダウンロード・展開し,
make all install としたところ「scst_user.h: そのようなファイルやディレクトリはありません」から
始まる多量のエラーが表示され、コンパイルが通りません。
恐縮ですが、なにか糸口を教えていただけないでしょうか。
502:不明なデバイスさん
12/05/17 23:13:44.22 tF7/aeM2
>>501
483です。fileio_tgt は知りませんでした。一応
# cat /etc/scst.conf
HANDLER vdisk_blockio {
DEVICE disk0 {
filename /dev/md127
}
TARGET_DRIVER ib_srpt {
TARGET 0017:08ff:ffd0:ff10 {
LUN 0 disk0
enabled 1
}
}
な感じで使っています。
mdadmでraid md0作ったらmd127に置き換えられて
いました。バグなんだろうけどmdadmがボトルネック。
やっぱしzfsかなと思案中です。
503:不明なデバイスさん
12/05/21 17:43:23.85 /97IiUUh
InfiniBand Driver for VMware vSphere 5はいつダウンロードできるようになるんだろう。
504:不明なデバイスさん
12/05/24 20:15:23.58 wAhufKkb
>>502 MDだとネックになってZFSだとならないというのはなぜ？ むしろ遅くなりそうだけど。
505:不明なデバイスさん
12/05/24 21:09:32.33 Xusbc39/
>>504
根拠はありません。ごめんなさい。
読み直して文章になっていませんでしたね。ボトルネックの意は、
同じCPU,メモリーリソースを使った場合、ZFSの方がパフォーマンス
が出たからです。自宅SANで使ってますが、OpenSolarisやFreeNAS
のiscsi targetが速くててOpenfilerが少し遅くてという経験をしているから
かな。
最近CPU,メモリの性能が良くなって、さらにinfinibandでネットワーク
が速くなると最終的にはストレージがボトルネックになるという意味で
す。
506:不明なデバイスさん
12/05/28 01:21:19.81 KBcRq2Nc
Ubuntu10.04でもInfinibandは動くんだな。
OpenSMも入ったし、疎通確認もおｋ。
12.04だと
aptitude install opensm
だけですんだけど、10.04はソースからもってこないといけなかったのがめんどくさかった。
507:不明なデバイスさん
12/05/28 23:05:43.73 2mmlACH9
NexentaStor Version 3.1.3リリースされたけど、これってinfiniband使えるかな。
memory付きのHCA( Infinhost )をさしてCDブートすると、logに
unknown tavor MT25208 Infinihost Ⅲ Exみたいに表示される。カーネルは認
識しているようです。esxi4のiscsi targetにできるでしょうか。ipoibまたはsrpの
どちらでもいいんですが。もちろんopensmも必要です。
web guiではinfinibandの設定画面はなかったような。コマンドラインでできる？
508:不明なデバイスさん
12/05/31 10:17:31.07 H0mjsk4S
NexentaStorとかお手軽にNAS化するのが目的なんだから、コマンドラインから無理して設定するようなものではないように思う。
509:不明なデバイスさん
12/06/01 15:05:31.41 131eRlN4
>507
対応する気はあるみたいだけど、そこまでリソース裂けてない状態。
InfiniBandのIPoIBとかSRPとiSERとかは使えるけど、Webとか管理コンソールからはほぼ触れない。
サポート外のシェルに落ちれば設定可能だけど、WebUIとかに不具合でたりするかも。
個人的にはOpneIndianaなりつっこんで、comstar回りをnapp-itでってのでも十分楽なんだけどなー。
しかし、6月になったのにMellanoxからはESX5用のドライバが出ないわけで・・・。
日本語のページのプレスリリースは嘘なんだろうかｗ
510:不明なデバイスさん
12/06/01 21:36:58.41 V7n/ScAJ
508さん、509さん、ありがとうございます。
IBってコストパフォーマンスあるのでFreeNASやNexentaStoｒに
導入してほしいもんです。Web GUIで操作できると普及すると
思うけどなー。
自分は前に書いたように、FreeBSD + ZFS + IPoIBな環境で落ち着き
ました。FreeBSDの情報が少ないのが困りものですが、いずれSRP
対応するだろうと楽観しています。
511:不明なデバイスさん
12/06/01 21:57:11.28 V7n/ScAJ
つづけて、ESXi4.1 のiscsi targetとしてFreeBSD + ZFS + IPoIBでの
簡単なベンチです。
ESXi4.1( Intel 9550, 8GB RAM, InfninHost ), iscsit target (Celeron E3400,
6GB RAM, InfiniHost, RAID10 by ZFS, HDD x 6個）で対向接続して、
ゲストOS（CentOS6.2, 2CPU, 2048K RAM、32GB HDD)上で、
[root@localhost ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.0149464 s, 702 MB/s
[root@localhost ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.724387 s, 145 MB/s
root@localhost ~]# hdparm -t /dev/sda1
/dev/sda1:
Timing buffered disk reads: 500 MB in 1.17 seconds = 426.33 MB/sec
のような結果でした。ネットワークの速度だけではなくゲストOSとしての総合
的な評価としてみますと大変満足できるものでした。
512:不明なデバイスさん
12/06/02 13:46:39.44 f9oYZ7yH
509だけど、SRPは廃れていく気がするのよね。
iSERで良いじゃんって方向で。
MellanoxのWindows用のSRPドライバでは削除されてるしね。
ちなみにnapp-itはWebGUIね。
EON + napp-itって構成ってFreeNAS使える人ならいけると思うんだけど。
ちなみに、FreeBSDってSolaris系のCOMSTARとかLinuxのSCST的なSCSIの抽象レイヤってあったっけ？
青山さん(isgtdの作者)が、その辺のレイヤ部分が無いので、自前で色々実装してから、SRPもisgtdの
フロントエンド部分を何とかすれば対応出来そうだけど。
513:不明なデバイスさん
12/06/02 21:05:00.98 IN4s7gXA
>>512さん レベル高すぎです。:-)
FreeBSDでってのも、ユーザが少なそうなので試してみようって
ことで。FreeBSＤではSRP target無理だと思います。今のところ
Linux系とSolaris系だけですよね。
LinuxのSRP targetも試してみましたが理解不明なログがでてき
てこれは自分には無理と思いました。
結局TCPのオーバーヘッドありますが、IPoIBに落ち着きました。
IPoIBがおちてもGbEで救済ができるからです。本当はSRPとか
iSERのほうが性能が発揮できそうですが、このあたりはネットで
検索してもなかなか情報が得られない、、。たぶんこれは「飯の
たね」なので表にでてこないのじゃないかな。
Opensolarisのiscsi target(by GbE)は経験ありますが、COMSTAR
は抽象化っですかね。難しそう。しかし、憧れはありますね。はい。
ＮＥＣの安サーバーがありますのでいろいろいじっています。
Linux + SRP target + flashcache インストール中です。
514:不明なデバイスさん
12/06/02 21:44:47.35 IN4s7gXA
連続で申し訳ない。騒ぎすぎならごめんなさい。
ESXi4.1( Intel 870, 16GB RAM, InfninHost ), SRP target (Celeron G1101,
CentOS6.2 3GB RAM, InfiniHost, RAID1 by mdadm, HDD x 2個）で対向
接続して、ゲストOS（CentOS6.2, 2CPU, 2048K RAM、32GB HDD)上で、
[root@ns2 ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.010086 s, 1.0 GB/s
[root@ns2 ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.287052 s, 365 MB/s
[root@ns2 ~]# hdparm -t /dev/sda1
/dev/sda1:
Timing buffered disk reads: 500 MB in 1.11 seconds = 451.71 MB/sec
でした。RAID1にもかかわらず、SRPですので速いです。これからflashcache
追加します。
515:不明なデバイスさん
12/06/02 21:52:28.61 ZLJdsOyr
>>509
6月の第1週にダウンロード可能になるらしいよ、サポート曰く。
それにしても遅いけど。。。
516:不明なデバイスさん
12/06/02 22:26:08.93 IN4s7gXA
>>514
連投です。514にSSDを追加した条件です。
# flashcache_create -p thru -b 1024k cachedev /dev/sdc1 /dev/md127
でSSD (crucial M4 SSD 128GB)を/dev/sdc1, Seagate 2TB 7200rpm のmirror
で再検。
[root@ns2 ~]# dd if=/dev/zero of=/dev/testimg bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.00695022 s, 1.5 GB/s
[root@ns2 ~]# dd if=/dev/zero of=/dev/testimg bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.0679549 s, 1.5 GB/s
[root@ns2 ~]# dd if=/dev/zero of=/dev/testimg bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 0.642254 s, 1.6 GB/s
キャッシュにのるのか１GBの書き込みでの速度が落ちないです。
測定値のばらつきもないので安定しているようです。
[root@ns2 ~]# hdparm -t /dev/sda1
/dev/sda1:
Timing buffered disk reads: 500 MB in 1.00 seconds = 500.93 MB/sec
さすがSRP + flashcacheです。
NEC GT110bに2GB RAM 、 HDD x 2、 ＳＳＤ x 1、IB HCA追加した結果でした。
517:不明なデバイスさん
12/06/02 22:27:52.10 Y5VXD1jR
6月の第1週ならむしろ来週だろ・・・
ホビイスト向けじゃないんだから週末以外の方が時期として適切そうだし
518:不明なデバイスさん
12/06/03 00:34:34.05 PV55ZIYd
winOFED v3.1でてたね
519:不明なデバイスさん
12/06/03 00:35:05.77 PV55ZIYd
先月にwinOFED v3.1でてたのね
520:不明なデバイスさん
12/06/04 09:26:04.33 0fb4fhOO
Infinihostもこれで打ち止めか・・・
521:不明なデバイスさん
12/06/04 16:40:51.06 acnTPI48
>>516
flashcacheって知らなかったけど、zfsのzil diskとかl2arcのような物なのね。
シーケンシャルだと速度は出るけど、実際ストレージサーバとして使うならRandomの方を計測することをお勧めする。
ぶっちゃけシーケンシャルで速度でてもランダムだと酷い値になることが多々あるからね。
あと、メモリキャッシュに乗らない状態で計測してみるのと、fioとか使って、一回Randomの速度を測ってみたら？
522:不明なデバイスさん
12/06/04 16:43:07.23 acnTPI48
>>515,517
元々、本国の方のサポートに問合せしたときは、3月中って話だったんだけどね。
523:不明なデバイスさん
12/06/05 15:48:55.45 PhIJ7Tdi
flashcacheの人はwritethroughでやっぱり使ってるの？
writeback関係は機能とかあんまり汎用じゃないよね>flashcache
524:不明なデバイスさん
12/06/05 20:10:10.25 GQ/lU+Y/
>>523
そうです。writeback、writethrough、writearoundのモードがありますね。
2TBに128GBのSSDですので容量が少し足りないかもしれません。
>>532
助言ありがとうございます。SRP targetの目的がESXi4.1のゲストOS用
です。fioについては前述のSRP targetはしばらく使えないので測定でき
ないのですが、511は手元にありますので試してみました( by IPoIB)
量が多いので抜粋しています。
randread512k: (g=0): rw=randread, bs=512K-512K/512K-512K, ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) : avg=83805.35 iops=163 clat (usec): avg=6104.13
Run status group 0 (all jobs):
READ: io=5120.0MB, aggrb=83741KB/s
randwrite512k: (g=0): rw=randwrite, bs=512K-512K/512K-512K, ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) : avg=120376.88 iops=153 clat (usec): avg=6468.37
Run status group 0 (all jobs):
WRITE: io=5120.0MB, aggrb=78562KB/s
525:不明なデバイスさん
12/06/10 00:24:42.69 +c6ECaom
Windows7 の SRP Boot がうまくいきました。
Target : CentOS6.2 + SCST2.2.0 (Xeon E5-2609 2.4GHz)
Initiator : Windows7 + winOFED3.1 (Xeon E5-2650L 1.8GHz)
・HCA は双方 eBay で落札した Mellanox の MCX353A-FCAT です。
・BootROM について、iPXE はこの HCA に未対応ですが FlexBoot3.3.420 で大丈夫でした。
・Target 側で ISC DHCP 4.1.0p1 に InfiniBand パッチを当てたものを立ち上げ、
その root-path の指定だけで tftp は使わずにすみました。
・tmpfs に置いた60GBのイメージファイルから起動して、速度は下のとおりです。
URLﾘﾝｸ(kie.nu)
・このスレはいつも大変参考にさせていただいています。
あまりお役に立てませんが、ご質問等があれば遠慮なくおっしゃってください。
526:不明なデバイスさん
12/06/10 03:15:30.36 INBxKVA+
おー、速いなあ。
527:不明なデバイスさん
12/06/11 18:31:15.36 HX2YKslR
>>525
FDRうらやましいですｗ
ちなみにインストールからSRP使ってされたんでしょうか？
(iSCSIとかのインストールと同様に)
AIKでイメージ弄らないと駄目なのが面倒で試してないのですが。
あと、iPXEの自前でコンパイルしたBootROMで、InfiniHost系でも同様にSRP Boot可能
だと思います。ただし、メモリ有りのInfiniHostはiPXEのコンパイルが通りませんでしたが。
ネタとしてこの辺を投下しておこう。
URLﾘﾝｸ(blogs.technet.com)
SMB2.2は結局SMB3になったのね。
528:不明なデバイスさん
12/06/11 23:30:12.24 6MJGGMHq
>>527
FDR、恥ずかしながら使いこなせていません。
一つには PCIe Gen3で動作していない可能性があり、M/B(Rampage IV Extreme)は
Gen3対応のはずですが、3.4GB/sで頭打ちします。
（PCIeの動作状況をリアルタイムに確認する方法はないものでしょうか）
iSCSIのようにWindowsAIKでカスタムメディアを作る方法は、dismでOFEDのドライバを統合する
あたりまでうまくいったのですが、imagexによるイメージキャプチャの段階でつまずきました。
そこで無骨ですが、いったんローカルのSSDにOFEDとsanbootconfを含めてインストールし、
そのダンプイメージをddでTargetに転送する方式をとりました。
iPXEは残念ながら、15B3:1003ではコンパイルが通りませんでした。
529:不明なデバイスさん
12/06/11 23:51:21.74 6MJGGMHq
SMBはかなり良くなるようですね。
Windows Server 2012 Betaには最小限のドライバが入っていますが、新しいものをここから落とせます。
URLﾘﾝｸ(www.mellanox.com)
（これを入れるとFirmwareが2.10.2280に更新されますが、Flexboot3.3.420とは相性が悪いです。）
MellanoxのTwitterによるとServer同士の場合にのみ有効とのことなので、
Server同士でramdiskを共有フォルダにして計測してみました。
Sequential Read : 642.313 MB/s
Sequential Write : 825.390 MB/s
Random Read 512KB : 593.501 MB/s
Random Write 512KB : 721.289 MB/s
Random Read 4KB (QD=1) : 35.011 MB/s [ 8547.6 IOPS]
Random Write 4KB (QD=1) : 36.585 MB/s [ 8931.8 IOPS]
Random Read 4KB (QD=32) : 286.451 MB/s [ 69934.3 IOPS]
Random Write 4KB (QD=32) : 206.025 MB/s [ 50299.1 IOPS]
530:不明なデバイスさん
12/06/14 21:04:34.78 8PFnQGbi
QLE7240がebayで安く購入できたので、一応DDRなので期待して
２台のCentOS6.2-x86_64を対向接続してiperf測定してみました。
hostA
# iperf -s
hostB
# iperf -c 192.168.x.x
IPoIBな環境ですが、以下のファイルから構築しました。
1) OFED-1.5.4.1.tgz
2) QLogicIB-Basic.RHEL6-x86_64.7.1.0.0.58.tgz
いずれの場合でも1.3~1.5Gbit/secの結果でした。DDRなのでもうちょっと
出ないかなと思うのですが、こんなもんですかね。tipsなどありましたら
助言をお願いいたします。
# Mellanoxがdefact standard ? 中古探しは慎重に。
531:不明なデバイスさん
12/06/15 21:02:04.57 q/rNE5N6
>>528
なんだかパフォーマンスでてないですね。
うちで過去に計測したSDRのSRP Targetとの接続と速度が変わらないくらいってのが謎。
iPXEにMellanoxが独自に手を入れてるので、新しいカードだと無理なんでしょうね。
>>530
QLE7240あるからテストしてみようか？
買ったはよいものの、開封すらしてなかったので。
直結とスイッチかましてのテストでよいかな？
532:不明なデバイスさん
12/06/15 21:35:08.07 KzEphqui
>>516
fioでベンチとってみました。
randread512k: (g=0): rw=randread, bs=512K-512K/512K-512K,
ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) : avg=48377.22, iops=94,
Run status group 0 (all jobs):
READ: io=5120.0MB, aggrb=48378KB/s,
randwrite512k: (g=0): rw=randwrite, bs=512K-512K/512K-512K,
ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) :avg=81036.99, iops=157
Run status group 0 (all jobs):
WRITE: io=5120.0MB, aggrb=80703KB/s
な結果でした。
# 相変わらず、わからんログがでています。ＳＲＰ targetですが、
111e5ed30 (tag 21, op 17): blocking further cmds on dev disk0 due to serialized cmd
Jun 15 21:28:06 localhost kernel: [0]: scst_block_dev:6662:Device BLOCK (new count 1), dev disk0
Jun 15 21:28:06 localhost kernel: [0]: scst_check_unblock_dev:160:cmd ffff880111e5ed30 (tag 21): unblocking dev disk0
Jun 15 21:28:06 localhost kernel: [0]: scst_unblock_dev:6739:Device UNBLOCK(new 0), dev disk0
533:不明なデバイスさん
12/06/15 23:05:37.12 qHSnoPHJ
>>531
単位勘違いしてない？
どう考えてもSDRであの速度は出ないでしょ。
534:不明なデバイスさん
12/06/16 06:39:06.53 grmbXKUG
>>531
おお、直結でテストしていただけたらありがたい。4枚買ってすこし
へこんでいるところです。QLE7240カード表面にPilotと印刷されて
いてESみたいなものかと懸念しております。自分の直結環境は
AMD Athron64 +5200, 2GB RAM
Pentium G6950, 13GB RAM です。
535:不明なデバイスさん
12/06/17 14:18:56.56 diRcmTfD
>>533
ごめん、書き方悪かった。
SRP接続だとパフォーマンスでてるけど、Windows 2012のSMB3.0だと思ったほどパフォーマンスが出てないって意味でした。
>>534
Qlogicの新しめ(QLE72x0以降)のは、Linuxしか対応してないことになってるけど、
Windowsでも動くか知りたくて買ったヤツだけど。
Linuxで直結対向はWindowsのConnectXで試してみるよ。
とりあえず、すぐに構築出来る環境がそれしかないのでｗ
536:不明なデバイスさん
12/06/22 01:19:26.44 Ascd2CcI
Mellanox の vSphere 5.0 用ドライバ出てた。
Supported HCA が ConnectX-2 以降...。
537:不明なデバイスさん
12/06/22 06:33:04.21 nZTXIgHq
>>536
しかも
SRP is not part of the ESXi 5.x driver package
538:不明なデバイスさん
12/06/22 12:07:55.12 57jxKXOd
>>534
環境作るのに手間取って遅くなって申し訳ない。
QLE7240(CentOS 6.2 + Qlogicのドライバ) - ConnectX(Windows7 WinOF 3.1)でiperfしてみた。
とりあえず、チューニング無しでやったら言ってたみたいに2Gb/s位しかでなかったけど、Windows側を
ConnectModeに変更して、iperfのバッファサイズを両方1MBに上げたら、8Gb/s位まで上がった。
しかし、何故かLinkが10Gでしてて弄ってもLink速度上がらなかったので、MellaoxとQlogicの直接
接続だと何かまずい事があるのかも
>>536,537
出る出る詐欺はやっと終わったのかｗ
うへ、サポートのHCAがConnectX-2以降の上に、SRPサポートが無くなったって使うメリットが
全くないじゃないか。つか、うちはSRPで構築してるから洒落にならん orz
539:不明なデバイスさん
12/06/22 12:16:38.71 wrRXh6HP
>>536-537
( ﾟДﾟ)
ESXiで楽してたけど、まじめにKVMへ移行するかなぁ
ちょっくら週末に試してから決めよう
540:不明なデバイスさん
12/06/22 17:14:29.75 57jxKXOd
ESX5用の環境作ってInfiniBandのカードが動くか調べてみた。
ConnectX(MHQH19-XTC)は一応動作したね。
追試で、ConnectXのMHGH28-XTCとかを、動作確認してみるわ。
ただ、InfiniHostIII(MHES18-XTC)は認識すらされない orz
完全にInfiniHostは切られたと思って間違いないかと。
541:不明なデバイスさん
12/06/23 21:25:15.76 lOpklH/j
>>538
追試ありがとうございました。チューニングすれば8Gb/secまで上がるので希望が
持てました。:-)
あれから施行したこと、1)ケーブルの交換2)ifcfg-ib0にCONNECTED_MODE=yesと
MTU=65520を追加。3)/etc/infiniband/openib.confのIPOIB_LOAD=yes,
SET_IPOIB_CM=yesなどの設定をしていますが、相変わらず1.5Gb/secの状態です。
ibdiagnet, ibv_devinfoなどでみているところです。CPUがpoorなんで、それが原因か
もしれませんがもうちょっと粘ってみます。
/etc/modprobe.d/のib_qib.confとかib_ipoibあたりが関与しないかなー。根本的な
ところで間違っているような気がします。
542:不明なデバイスさん
12/06/24 00:37:21.03 A42m4GH2
>>540
公式な supported じゃないとはいえ、Connect-X が動く報告があって安心した。。
自分の環境(MHRH19-XTC)でも試してみます。
543:不明なデバイスさん
12/06/24 21:08:34.05 xvp4a6QH
>>541
やっと解決しました。538さんができているので自分もきっと解決できると
信じて（ちょっと大げさかな）、ユーザーマニュアル、インストールマニュ
アルを読んでいました。ipath_pkt_testなるコマンドがあって、
[root@centos62641 ~]# ipath_pkt_test -B
Buffer Copy test: 1487 MB/s
対向のホストは
[root@centos62643 ~]# ipath_pkt_test -B
Buffer Copy test: 168 MB/s
と異なる値。箱をあけてみると、なんとPCI-Eのx2レーンのスロットに
さしていました。差し替えて、iperfしてみたら、7.78 Gbits/sec。ヤタ。
なおQLE7240のMTUは4096、connected modeがデフォルトです。
マニュアルにはBIOSなど細かい調整方法が書いてあって必読です。
544:不明なデバイスさん
12/06/24 23:40:29.31 gJDfEebJ
>>542
ちょっと色々追試してたんだけど、結局ESX5でConnectXは駄目だった。
540で試してたときは、スタンドアロンで認識してたのでいけたと思ったんだけど、
実環境へもっていって、スイッチをかました状態でテストしたら下記のような状態で動かず。
ログを確認するとドライバ認識してるんだけど、SMへ登録できないみたい。
SM動かしてるサーバ上で、iblinkinfoで確認したところInitialiseで止まってて、
そこからSM再起動したりしてみたけど、LinkUpしないですわ。
予想だけど、ConnectXで動かないからここまでドライバ出すの引っぱったのかなーと勘ぐってみたり。
545:不明なデバイスさん
12/06/24 23:55:55.67 gJDfEebJ
544へ追加
ConnectX2だと、普通に認識してLinkUpするところまで確認。
>>543
原因がわかってよかった。
ちゃんとパフォーマンスでてるみたいですね。
あと、ibstatでRateが幾つで繋がってるか確認してみるのがよろしいかと。
うちのテスト環境だと10だったのでDDRでは繋がってないんです。
追試で、DDRのスイッチへ接続してちゃんとDDRで接続できるか確認してみます。
おまけ
ESX5のドライバが残念な事になってるので、XenServer 6.0.2で使えるか試してみた。
OFED 1.5.4.1をXenServerのDDK上でコンパイルしたら普通に認識してくれた。
OFED 3.2RC1だと、BackPortの部分でこけてしまいコンパイルできなかった。
XenServer自体がRHEL5.5のi386がベースらしく、必要なパッケージをいくつか入れてやらないと
駄目なんでちょっと手間かかるけど動作しますよって事で。
546:不明なデバイスさん
12/06/25 21:54:45.24 kgWeFQp8
>>545
基本的なところで間違ってお恥ずかしい。おかげさまでSDRなみの速度はでる
ようになりました。ibstatでは、Rate: 20とでるので一応DDRで接続できているの
でしょう。 しかし# ibdiagnetでは、
抜粋
-I---------------------------------------------------
-I- IPoIB Subnets Check
-I---------------------------------------------------
-I- Subnet: IPv4 PKey:0x7fff QKey:0x00000b1b MTU:2048Byte rate:10Gbps SL:0x00
-W- Suboptimal rate for group. Lowest member rate:20Gbps > group-rate:10Gbps
と、10Gbpsに落ちていました。MTUも2048Byte。 (・o・)
DDRスイッチにつながないとDDRの速度がでないとか説明があったけど、あれはSDR
のスイッチにつなぐとSDRに律速するという意味だと思った。しかし、ひょっとするとこの
HCAにはDDRのスイッチがないとDDRの速度がでないのだろうか。悩みは続く。
547:不明なデバイスさん
12/06/26 13:01:30.60 b2yhPPEO
さくらのクラウドはInfiniBandの問題っつーよりSun ZFS Storage Applianceの問題だったみだいね
URLﾘﾝｸ(www.publickey1.jp)
URLﾘﾝｸ(www.publickey1.jp)
URLﾘﾝｸ(www.publickey1.jp)
OpenIndianaでストレージ鯖立ててる身としてはZFS自体の問題なのかSolarisの問題なのかを
はっきりして欲しいところだけどまあスレチなのでこの辺で・・・
548:不明なデバイスさん
12/06/26 16:08:26.95 IYxmqvLg
やっぱりZFS Storage Applianceの問題だったのか
先行事例なさそうだし日本ボラクルが窓口で問題解決できるの？
とか悪い予想してたら当たってしまったｗ
549:不明なデバイスさん
12/06/27 14:26:02.26 V2ojzOad
NFS over IP over Infiniband、って時点で突っ込みたくなった。
素のSRPはともかく、FCoIBとかじゃないんだ。
550:不明なデバイスさん
12/06/27 14:35:26.55 V2ojzOad
ICMP pingについて。IPoIBはSMでdiscoveryして経路設定するから、ICMPとか都度コネクション生成するようなのは
負荷高くなるんじゃないかな。
＃discoveryや経路設定の中央集権（通常のetherはARPで分散型）は最近の流れだけど、スケーリング的には善し悪しですね。
551:不明なデバイスさん
12/07/01 14:40:27.07 aLEvyHdV
Infinibandの値段もずいぶん下がっていたんですね。このスレではじめて知りました。
ところで、Server(Windows)側にRAMDiskを構築し、10GbEのIntelNIC経由でiSCSI Bootを使ってClient側のOSを
RAMDiskから立ち上げようと思っているのですが、IBでも同様にBootさせることは可能なのですか？
552: ◆GHONBEsd/2
12/07/01 15:36:04.50 zbHO4m5t
>>551
Client側のOSがなんであるかにもよりますが、
MellanoxWinOFでは、IPoIBでのiSCSI bootは相変わらず非サポートみたいです。
URLﾘﾝｸ(www.mellanox.com)の
10ページ目にnot functionalと記述されています。
WinOF3.0で検証したときはIPoIB経由のブート中にBSODでした。
553:不明なデバイスさん
12/07/01 16:02:19.09 aLEvyHdV
>>552
早速のレスありがとうございます。
ClientもWindowsを検討しております。
Server側OSをlinuxにすれば解決する？かもしれませんね。
一度、メーカーなどにも問い合わせてみようと思います。貴重なご意見ありがとうございました。
554:不明なデバイスさん
12/07/05 20:08:14.02 LvUxr5Qr
>>553
Server側がLinuxで良ければ、おっしゃるようなWindowsのramdiskからのBoot over IBが可能です。
RDMAが効けば、速度面も10GbEでの一般的なiSCSIより期待できます。
1) Server側にIBドライバ（例：Mellanox OFED）をインストール
2) Server側にSRP Target（例：SCST）をインストール、ramdiskをTargetに設定
3) Server側でDHCPサーバ（例：ISC DHCP）を立てる
4) Client側にIBドライバ（例：OFED for Windows）をインストール
5) ClientのWindowsイメージをServer側のramdiskへ転写、HCAのromをブート用に構成
簡単にやるならこんな手順でしょうか。詳細が必要でしたら追記します。
555:不明なデバイスさん
12/07/06 13:30:31.55 RczeAfjz
>>554 横からすみません。
私もWin7Pro 64bitをSRP Target(SuSE or CentOS)から起動させようとしています。
参照する環境は>>525,528でよいですか？
ClientからSRP TargetへのOSインストールは失敗するので、
先にHDD/SSDにインストール->イメージをddという流れだと予想していますが、
以下を教えていただけないでしょうか。
・ディスクからブートしている時点で入れておくべきソフトとバージョン、設定(IPoIB等)
・鯖のdhcp.confの具体的設定(ib_srp以外にもkeep-sanいるのか等)
・WindowsのディスクイメージのSRP Targetファイル化方法
(HDDの方が大きいので、単純なddだとRAMディスクに収まらない)
556:不明なデバイスさん
12/07/06 20:27:50.97 47Kop7m/
>>555
環境は>>525,528のとおりです（正確にはCPUをCore i7-3930Kに変更しました）。
>・ディスクからブートしている時点で入れておくべきソフトとバージョン、設定(IPoIB等)
(1)OFED for Windows 3.1 （Setup時にSRP install を選択）
(2)sanbootconf 1.1.1
の２点です。IPoIBはconnected modeを有効にした以外は変更していません。
URLﾘﾝｸ(www.openfabrics.org)
URLﾘﾝｸ(git.ipxe.org)
>・WindowsのディスクイメージのSRP Targetファイル化方法
自分は60GBのSSDにWindowsをインストール後、その全体をddでイメージ化しましたので
あいにく実体験ではありませんが、下記を参考に、Windowsインストール時に例えば30GBの
パーティションをHDDから切り出しておく方法でいかがでしょうか。
URLﾘﾝｸ(etherboot.org)
URLﾘﾝｸ(etherboot.org)
・dhcp.confの件はレスを分けます。
557:556
12/07/06 22:55:45.80 47Kop7m/
・dhcp-client-identifierの末尾を、Initiator側のGUIDに置き換えてください。
・root-pathは"ib_srp::::dgid::service_id::id_ext:ioc_guid"で、それぞれTarget側のibsrpdmの結果と置き換えてください。
#cat /etc/dhcp/dhcpd.conf
ddns-update-style none;
ddns-updates off;
allow booting;
allow bootp;
option space ipxe;
option ipxe.keep-san code 8 = unsigned integer 8;
option ipxe.no-pxedhcp code 176 = unsigned integer 8;
shared-network "flexboot_network" {
subnet 192.168.0.0 netmask 255.255.255.0 {
option dhcp-client-identifier = option dhcp-client-identifier;
option subnet-mask 255.255.255.0;
next-server 192.168.0.50;
always-broadcast on;
range dynamic-bootp 192.168.0.51 192.168.0.52;
}
}
host host1 {
fixed-address 192.168.0.51; # the IP address to be assigned to the client
filename "";
option dhcp-client-identifier = ff:00:00:00:00:00:02:00:00:02:c9:00:00:02:c9:03:00:2f:XX:XX;
option root-path "ib_srp::::fe800000000000000002c903002fXXXX::0002c903002fXXXX::0002c903002fXXXX:0002c903002fXXXX";
option ipxe.keep-san 1;
option ipxe.no-pxedhcp 1;
}
558:556
12/07/06 23:06:45.52 47Kop7m/
・念のため、SCSTの設定です。
・TARGETの部分は、scstadmin -list_targetのib_srptの結果と置き換えてください。
#cat /etc/scst.conf
HANDLER vdisk_fileio {
DEVICE disk0 {
filename /tmp/windows7.img
}
}
TARGET_DRIVER ib_srpt {
TARGET 0002:c903:002f:XXXX {
LUN 0 disk0
enabled 1
}
}
少しでもご参考になれば良いのですが。
559:不明なデバイスさん
12/07/06 23:32:48.64 RczeAfjz
>>556-558
設定丸々ありがとうございます。
wikiも参考にしつつ、休日使って構築してみます。
560:555
12/07/08 16:35:29.53 TBXlFj1L
>>556
おかげさまでRAM上のSRP TargetからWin7がbootできました！
ありがとうございました。
ほとんどつまづくところはありませんでした。
強いて書くとしたら、SCST(srpt)のmake前に、
きちんとREADME.ofedを読んでおくくらいでしょうか。
561:556
12/07/09 20:07:38.07 bKS71sXG
>>560
うまくいったようで何よりです。
もし良かったら、逆にIB StackとSCSTの導入について教えてください。
自分自身、Mellanox OFEDを使わないで素のOSの状態から最新のOFA OFEDとSCSTを
導入する手順を詰めきれずにいます。
562:555
12/07/09 22:31:21.71 thMTPY1W
>>561 私の手順です。参考になれば。
OSはCentOS6.2のDesktopインストールからスタート。
基本的にSCSTのsrptディレクトリの中のREADME.ofedに従っています。
・準備
rm -rf /lib/modules/$(uname -r)/kernel/drivers/infiniband (怖いのでmvで逃がした)
rm -rf /lib/modules/$(uname -r)/kernel/drivers/net/mlx4 (そもそも存在しなかった)
cd /lib/modules/$(uname -r)/build
patch -p1 < ${SCST_DIR}/srpt/patches/kernel-${KV}-pre-cflags.patch (kernelバージョンに合わせて指定)
・OFED(1.5.4.1)
srpt=nを書いたconfファイル(その他y/nはREADME.ofed参照)を作り、./install.pl -c ofed.conf
足りないと言われるパッケージはyumで追加
・SCST
make scst iscsi srpt scstadm; make scst_install iscsi_install srpt_install scstadm_install
こんな感じでmake/installは終了。後はscst.confとか書けば動きました。
README.ofedに従うとibstat等のツールは作られないので、
後からOFED展開した中にあるsrpm使って作ってやらないとならない(rpmbuild --rebuild)と思います。
他のコマンドでも最低限のチェックはできるため、まだ試していませんが。
563:不明なデバイスさん
12/07/10 16:48:35.44 PMbc7shq
tmpfs(ramdisk)並のスピード、でもディスクにも保存、とかいうのを実現したい場合、
仮想ディスクより多くのメモリを積んでおいて、起動時にddで空読みしてキャッシュさせればOK？
それともそれ目的のfs/moduleがある？
564:483
12/07/10 21:19:06.34 hak1uTFD
483でSRPの紹介してからの経過ですが、いまのところ順調です。
ESXi 4.1 u1: Intel 9550, 8GB DIMMからIntel i7 2600、DIMM 32GBへ変更
して、SRP targetで試験運用しています。IPoIBよりサクサク、機敏で気分
いいです。調子にのってもう一台SRP targetを接続しました。しかしESXi側
で認識しません。追加のdatastoreが作れません。これって仕様？
ESXI4.1u1のホストにHCAを2枚さしてそれぞれをCentOS6.2ベースのSRP
targetへつないでいます。これができるとdatastore間のファイル転送が早
くなるのでうれしい。
565:556
12/07/11 19:46:37.39 Fjsb51m4
>>562
大変ありがとうございます。詳細に助かります。
週末にもCentOSインストール後、素の状態から始めてみます。
566:不明なデバイスさん
12/07/11 20:55:53.80 eMf5rRgh
0Gのスイッチを探している人がいるかどうかわからないけど
個人輸入で安く買えそうなので、現状を参考までに
Mellanoxの8PortQDRスイッチが国内ではあまりに高いので、海外で
探していたところ、代理店の直販サイトが国内の半額くらいだったので
日本への発送が可能か聞いてみたところ可能とのことだった。
IS5022が国内だと27～8万のところ14万くらい、関税は0なので国内の税金5%&がかかる
送料はものによるが3kgで大体2万くらい？（FEDEX）
SMはついてないのでなんか別の小型サーバか接続するサーバに
立てる必要ありだけどスイッチがあるので適当な小型サーバで立ててもOK
やり取りはすべて英語ですが、翻訳サイト活用でなんとかやり取りは
できています。
非常に丁寧に対応いただいています。
（時差があるので、夜中に送るとすぐ返信がくる）
ちなみに最初に英語あんまり得意じゃないです！って伝えた
詳細は次レスで
567:566
12/07/11 20:58:34.04 eMf5rRgh
やり取り詳細箇条書きで
Colfax Direct
URLﾘﾝｸ(www.colfaxdirect.com)
・サイトでユーザー登録することをおすすめ。
・カートに商品いれて注文するところは、普通の通販と同様
・支払いはクレジット可能
・住所の書き方は適当にぐぐれ
・FEDEXアカウントを取得しておく必要あり（DHL,UPSも可能だが高い）
・FEDEXアカウントは電話でカスタマーに電話して申込書を
送ってもらう、それを送り返せば即日作ってくれる。
・クレジットカードが必要
・FEDEXアカウントナンバーを先方に伝える、これで送料関税等は代引での
取引が可能
・そこまで進むとINVOICEとクレジットカード情報を記入するPDFが送られてくるので
PDFを編集できるソフトなんかを使って内容を記述して送り返す。
・手書き署名が必要
今のところここまで進んでいます。ものが届いたらまた詳細報告します。
支払い情報を送ってから少し時間がかかっています。
ケーブルとか、カードもソコソコ安いのでおすすめかと、国内でもおそらく
企業向けの仕切りは安いのかもしれませんが、個人ではなかなかディスカウントは
効きませんから・・・
これでいけるかどうかはまだわからないので、続報をお待ちください。
質問あればどうぞ～
568:566
12/07/11 21:12:40.28 eMf5rRgh
Mellanox製品はグローバルでの保守契約ができるようで、RMAも行える
みたいなので、一番下の保守契約のブロンズも発注しました。
登録もJapanで可能となってるのでおそらくRMAは英語で自分で送る必要が
あるので手間ですが、Ⅰ年保証+延長4年で1万7千円くらい、国内だと年額
5万近く取られます・・・
こちらについても詳細わかったら追記しますね。
個人使用ならブロンズで十分でしょう。
569:不明なデバイスさん
12/07/11 22:06:21.75 Fjsb51m4
>>568
Colfax Direct で先々月にケーブルの買い物しました。トラブル無しでちゃんと届きましたよ。
納期が少しかかりましたが、当然ながら在庫状況によるのでしょう。
保守契約には興味あります。詳細また教えてください。
570:566
12/07/12 04:04:03.06 AYAPwKwU
>>568
おお、先にもうされてる人がいましたか、状況にもよると思いますが、
支払い情報送ってからどれくらいで発送されたか覚えておられますか？
一週間くらいは見たほうがいいですかね？
保守契約はちょっと不安ですが、Mellanoxはグローバルでのサポート
を行なっているというのを売りにしているみたいで、日本法人のサイトにも
そのような記載があります。
IBMやHPと同様保守パックという形で販売されているので、おそらく
証書をおもとに登録することで有効になるものと思われます。
対応は日本法人ではなくアメリカサイトでのオンラインでのRMA受付
もいけるようなので、おそらくは問題ないと踏んでいます。
どちらにせよ1万5千円足らずなので、ダメでもそこまで痛くないかなぁと
国内でも同じレベルでのサポートを受けていますが、ボリすぎですね・・・
ブロンズが年間5万近くかかりとなると5年で25万・・・1台保守用が買えるレベル。
経験上結局こういうベンダーは、最終的にメーカに丸投げにするので、
自分である程度出来る人は自分で問い合わせたほうが早いことが多いです。
むしろここで聞いたほうが早かったり・・・
571:sage
12/07/12 13:38:17.58 il6QXaq1
お前いらない
572:不明なデバイスさん
12/07/12 19:05:43.12 AYAPwKwU
>>571
わかった
573:不明なデバイスさん
12/07/12 19:18:34.58 AYAPwKwU
sage忘れてた
574:不明なデバイスさん
12/07/12 19:23:59.85 JHFRU+6f
>>570
> 支払い情報送ってからどれくらいで発送されたか覚えておられますか？
２週間かかりました。
１週間経過時点で問い合わせたところ「メラノックスに確認してみる」と
返信がありましたから、在庫は持っていなかったようです。
575:不明なデバイスさん
12/07/26 12:33:35.97 uLURu+/D
XenServerでOFED動くか試してたのの結果報告。
結果から言うと、OFED 1.5.4.1をコンパイルしてやればSRP Initiatorまでは動きました。
XenServer用のDDK落としてきてインストールしてやり、その上でOFEDをコンパイル。
コンパイル用にいくつか足らないパッケージがあるので、それをCentOS5 i386のRepoから拝借してきてインストール。
できたパッケージを、XenServerのコンソールでインストールしてやればOK。
OpenSMとSRP Initiatorの動作は確認。SRP使ってSR作成できるところまでは確認した。
あと、Ubuntu12.04でOpen-iscsi使ってiSER接続も確認。
こっちはKVMのテストがてらやってみたんだけど。
debian OFEDから1.5.4のパッケージのソース取ってきてインストールしてやったらiSERは一応動作した。
iSER動作させるだけなら、特にOFEDのパッケージインストールする必要はないかも。
IPoIBでTCP接続に比べて、300MB/s -> 600MB/sくらいに速度が上がった。
どちらも、ストレージ側のOpenIndianaのpoolがボトルネックになってるので、そこを速度アップしないと
これ以上の速度アップは望めない状態。
576:不明なデバイスさん
12/07/26 12:45:00.10 uLURu+/D
上のに追記。
なんでテストしたかってと、ESXi5だとInfiniHost系が切られちゃってるので、他の仮想化環境で使えるか
試してみたかったからやってみたんだけど。
少なくとも、Linuxがベースの物はmthcaが動作するのでそれを使ってやれるってのが今回の実験結果でした。
次はWindows 2012でConnectX使ってHyper-Vのテストやってみます。
RDMA CIFSで共有かけてLiveMigrationとか試してみたいのでｗ
577:不明なデバイスさん
12/07/26 12:51:09.22 uLURu+/D
566さんの直接購入って方法もあるけど、英語でやりとりするのが面倒って人は個人輸入代行使うってのもありかな。
大体手数料として10%くらい上乗せ+送料って感じでいけるかと。
輸入代行だと、国内までの送料が大分安くあげれるので、トータルだとあんまり金額は変わらないと思う。
ただ、保守が乗っけられるかがわからんけど。
578:不明なデバイスさん
12/07/26 21:22:31.80 WGcIiuKZ
>>576
MLNX OFED for server2012はやっぱりInfiniHostはちっとも認識されなかったです←あたりまえ
ESXiとかxenはPCIe passthruがあるから親が対応してなくても対応してる仮想OS持ってくれば動かせる可能性あるけど、
server2012は対応してないからなー。
579:不明なデバイスさん
12/07/27 00:14:19.53 pEcPiSZa
>>578
でも、IBなんて広帯域のバスを使いたいのはホストのIOだから、
VM上だけで動いてもなんも嬉しくないというか、
ほとんどんの場合意味が・・・
2012の方は、SR-IOVに対応してきたから、
HBAが対応してくれば、複数のVMからほぼネイティブな性能を得られるから、
その点は、現状のESXiより優れてると思う。
580:不明なデバイスさん
12/07/27 12:52:27.83 3UadAdS1
SMB over RDMAがどの程度出るか遊んでみたかったんだけどね＞MLNX OFED
rdma前提ならInfinihostで動いてくれたっていいのに。
581:不明なデバイスさん
12/07/27 19:54:43.49 QmjfUt90
>>575
凄いですね。なんて濃いスレでありがたいことでしょう。
iSERのTargetは、tgtとMellanox VSAくらいしかないのかな。
某勉強会でVSAの管理画面だけ見せてもらったが個人には雲の上そうで。
582:不明なデバイスさん
12/07/27 21:19:48.85 tEeC1KCT
>>578
InfiniHostはEOLになっちゃいましたからね。
ConnectX以降って制限が意外ときついです。
ESXi5でConnectX-2以降って制限がかかってるので、ConnectXも何時までサポートしてくれるのか不安ではありますね。
>>579
Windows Server 2012もSR-IOV対応ですけど、Linuxでもサポート進んでるみたいで、Kernel 3.5でサポートが入るんじゃないかと。
linux-rdmaのMLを見てたら大量にパッチがでてましたので。KVMとかXenでもいけるようになると思います。
>>580
環境用意するのが大変なのが。
InfiniHostがいければ、イニシャルコスト落とせてありがたいんですけどね。
>>581
Mellanoxが前からSRPのサポートは止めるって公言してたので、仕方無く移行先の環境の検証をしてみた感じです。
うちのiSERのTargetはOpenIndianaです。
Linuxだとtgtになっちゃうんですか。MellanoxのVSAはtgt使ってるんじゃないかと思います。
VSAはFastcache + DRDB + tgtのカスタマイズ品に、Utility載っけてる感じなのかな～と思ってますが。
個人で触ってるだけなので、VSAなんてとてもとてもｗ
FreeBSDも9.1でCTLってレイヤが出来たので、iSCSIとかSRPのサポートが比較的楽に出来そうな環境になりつつありますけど、
もう少し時間がかかるのかなー。
FCoEの環境も構築できたのでそっちも試してみたいんですが時間がｗ
583:不明なデバイスさん
12/07/29 22:14:05.29 tItsHmBE
＞FCoEの環境も構築できた
mjd? すごすぎ。
584:不明なデバイスさん
12/07/30 19:58:26.40 2Ff7vY1X
>>582
Mellanox VSAってそういう構成なんですね。
ちなみにRisingTide SystemsのRTS OSというのが中々使いやすくて
InfiniBand SRPのほかiSCSI、FC、FCoEのTargetになるんですが
中身はSLES11sp2＋lio でした。
585:不明なデバイスさん
12/07/31 10:13:56.54 Y6zS0eYl
OFED3.1の配布msiをorcaでいじってチェックはずしてServer2012bに入れてIPoIB程度は使えることを確認しました＞InfiniHost
SMBoRDMAは、うーん、無理だろうなあ。
586:不明なデバイスさん
12/08/09 00:53:49.32 MkoNp0NV
すみません。教えてください。
>>463>>464を参考にOpenindianaへOpenSMをインストールしようとしているんですが
どのバージョンのSunStudio12.1を入れればいいのでしょうか？
587:不明なデバイスさん
12/08/19 08:44:19.02 uUyPva8e
>>586
>463さんの方法でできませんか。