12/02/23 15:19:30.01 dBMEHr9c.net
>>444
BSDはいじれるし、試す環境を作る事は出来るんだが、
肝心のHBCが無いというｗ
BSDでIBがまともに使えるようになってくれると、
Solarisからの乗り換え候補にもなるんで、
楽しみではあるんだけどね。
470:不明なデバイスさん
12/02/24 00:16:00.37 cUhf+TCK.net
>>444
依存関係がよろしくないっぽいので以下の手順試してみてください
カーネルコンフィグから以下を削除
（テストしやすいようにカーネル組み込みをやめてローダブルにするため）
device mlx4ib
device mlxen
device mthca
device ipoib
以下のコマンド実行
cd /usr/src/sys/ofed/drivers/net/mlx4
ln -s ../../../inlcude/linux/*.c ./
あとはカーネルビルド＆インスト
実物を持ってないのでなんともいえないけど、kldload mlx4は文句なく出来るの確認しました
471:不明なデバイスさん
12/02/24 01:10:52.75 OpT+ysLU.net
横から質問ゴメン
rc.confに opensm_enable="YES" て書けるようなんですが、FreeBSDでも
subnetManagerは普通に動くんですか？
472:不明なデバイスさん
12/02/25 21:46:39.64 bMM+5bJc.net
>>440
Freebsd9.0R(amd64)をstableバージョンにあげて、
URLﾘﾝｸ(forums.freebsd.org)を参考にして試してみました。
MELLANOX INFINIHOST MHEA28-XTC DUAL PORT 10GB/s
HP InfiniBand HCA 4x SDR PCI-E Dual Port 380298-B21
の二枚ともに認識しました。前者の/var/log/messagesは
Feb 25 21:13:16 freebsd901 kernel: Running ipoib_init_module (0xffffffff80a9a120
)
Feb 25 21:13:16 freebsd901 kernel: ib_mthca0: <ib_mthca> mem 0xfde00000-0xfdefff
ff,0xfc800000-0xfcffffff irq 16 at device 0.0 on pci2
Feb 25 21:13:16 freebsd901 kernel: ib_mthca: Mellanox InfiniBand HCA driver v1.0
-ofed1.5.2 (August 4, 2010)
Feb 25 21:13:16 freebsd901 kernel: ib_mthca: Initializing ib_mthca
～～～～～～～～～～～
Feb 25 21:13:16 freebsd901 kernel: ib_mthca0: HCA FW version 5.1.000 is old (5.3
.000 is current).
Feb 25 21:13:16 freebsd901 kernel: ib_mthca0: If you have problems, try updating
your HCA FW.
Feb 25 21:13:16 freebsd901 kernel: ib0: max_srq_sge=27
Feb 25 21:13:16 freebsd901 kernel: ib0: max_cm_mtu = 0x10000, num_frags=16
Feb 25 21:13:16 freebsd901 kernel: ib0: Attached to mthca0 port 1
Feb 25 21:13:16 freebsd901 kernel: ib1: max_srq_sge=27
Feb 25 21:13:16 freebsd901 kernel: ib1: max_cm_mtu = 0x10000, num_frags=16
Feb 25 21:13:16 freebsd901 kernel: ib1: Attached to mthca0 port 2
でした。後者も同様な認識でした。ConnectX系はmlx4ですので、その違いかなー。
当方はまだopensmな環境がないので接続テストはできていません。ちなみに
FreeBSDにポーティングされているhw driverはmlx4とmthcaだけですね。
473:440
12/02/25 22:08:14.32 jv4hZwB5.net
>>446
ソースを取り直して再度worldを構築したら成功しました。
>>448 さんと同じような感じでしたー。
>>447
defaults/rc.conf には記述があるけど、肝心の起動スクリプトが無い気が。。
OpenSM のソース自体は /usr/src/contrib/ 以下に入ってますけど、パッチなしではコンパイルできません。
なんとかコンパイル通したものの、上手く動いてくれない感じでした。
今夜あたりにもう少し弄ってみようと思いますんで、後ほどまた報告しますですー。
474:不明なデバイスさん
12/02/25 23:35:48.33 bMM+5bJc.net
>>449
> which opensm
> /usr/bin/opensm
バイナリありますよ。# opensm startで
Feb 25 23:18:55 343791 [1C07400] 0x03 -> OpenSM 3.3.1
確認しました。stand aloneで接続試験はまた後日に。
475:不明なデバイスさん
12/02/25 23:55:18.44 jv4hZwB5.net
>>450
ops, 確認するときに使っていたworldはWITH_OFEDなものじゃなかったです、、、
いっしょにコンパイルされるもんなんですね。てっきりSolaris11みたいな感じかと思ってました。
私も接続試験してみますー。
476:不明なデバイスさん
12/02/29 21:20:59.22 rFEqkiKg.net
RHEL系(CentOS、Scientific Linux)では、6.2が最新ですが、素install後に
# yum groupinstall 'infiniband support'
# yum install opensm perftest
# modprobe ib_umad
# opensm start
でＯＫでしょうか？3.3.9が立ち上がります。
MELLANOX INFINIHOST MHEA28-XTCのportにケーブルをループバックで
端端接続すると緑と橙色になりました。一応ローカルでＯＫということで。
FreeBSDの場合と比べて簡単ですね。
477:不明なデバイスさん
12/03/07 23:34:19.31 hlc8Fsye.net
いつのまにかMLNX WinOF VPI v3.0.0でてたんだね
478:不明なデバイスさん
12/03/08 09:27:04.83 /jkOBLhk.net
Hyper-VのIPoIB passingがあるのか？ ためしてみなきゃ。
479:不明なデバイスさん
12/03/08 17:07:46.29 /gSgaG/k.net
Windows 8 serverのPreviewでたから、IPoIBでSMB 2.2 のRDMA SMBが
使用可能かチェックしてみないと。
480:不明なデバイスさん
12/03/08 21:46:47.82 /jkOBLhk.net
8 serverのpreviewも出たんだ。
仮想スイッチとか切れるようになったんだよね。うーむ、いじりたいもの多すぎ。
481:不明なデバイスさん
12/03/09 02:32:13.09 KBsbCkss.net
>>456
Clientの方と一緒にServerもでてたみたいです。
iWARPとかも試してみたいのですが、Switchが高すぎて・・・
482:sage
12/03/09 19:56:54.86 39uW48Co.net
ML110G6に8serverを突っ込んでみようと思ったけど、なぜかインストーラが
HDDを見つけてくれず、「ドライブが見つかりませんでした」とか怒られる。
smb2.2試してみたい
483:不明なデバイスさん
12/03/09 20:30:29.66 7ikC8YdG.net
>>458
オンボRAIDにしてない？AHCIモードかなんかでないと。
484:不明なデバイスさん
12/03/11 23:58:13.99 RSemGy1Q.net
>>435
OpenSMを移植した人のサイトからファイルを落としてコンパイルしてみましたが、
gmake setupのところで/opt/SUNWspro/sunstudio12.1/bin/ccを要求します。
検索してみると以前はpkg installでsunstudioが得られていたようですが、今は
できないようです。オラクルのサイトはSolaris10と11、Linux用でOIには適応でき
ませんでした。sunstudioなしでOpenSMできないでしょうか。
# CentOSやFreeBSDとくらべるとなかなか先に進みません。スイッチ買おうかな。
485:不明なデバイスさん
12/03/12 09:14:36.25 +INFtRDa.net
うわーoptパスなすかしす。
gmake configとか通らない？
486:不明なデバイスさん
12/03/12 12:56:09.98 FpsVnDXN.net
>>417
OFED 1.5.3がportされたという話だったのに、なんで"ofed1.5.2"という記述があるんだろう？
487:不明なデバイスさん
12/03/12 19:00:47.75 oBZTj5fF.net
>>460
pkg set-publisher -g URLﾘﾝｸ(pkg.openindiana.org) opensolaris.org
パッチの当たってない SunStudio12.1 を再配布してるらしい。
URLﾘﾝｸ(www.illumos.org)
488:460
12/03/13 07:25:18.03 SQFLA84H.net
>>463
root@openindiana01:~# pkg publisher
発行元 タイプ 状態 URI
openindiana.org (優先) 起点 online URLﾘﾝｸ(pkg.openindiana.org)
opensolaris.org 起点 online URLﾘﾝｸ(pkg.openindiana.org)
root@openindiana01:~# /opt/SUNWspro/sunstudio12.1/bin/cc -V
cc: Sun C 5.10 SunOS_i386 2009/06/03
usage: cc [ options] files. Use 'cc -flags' for details
この2週間悩んでいましたが、前進です。ありがとうございました。
489:不明なデバイス
12/03/14 16:32:30.68 UearcMfZ.net
安い
URLﾘﾝｸ(shop.maxserve.co.jp)
490:不明なデバイスさん
12/03/14 19:24:07.26 DlGLtx3N.net
>>465
新品でこの値段なら安いなー。
中古だったら高いと思うけど。
491:不明なデバイスさん
12/03/18 10:52:50.92 t+mwE1qp.net
>>464
OI上でOpenSMが動作するパッチがgithubで公開されていますが、
Downloadsしますと、パッチが含まれていない2011年9月のファイル
しか含まれません。すれ違いかもしれませんがgithubから落とす
方法をおしえてくれませんか？Branchesはmaster、ofed-1.5.4.1の
いずれを選択してもDownloadsしたファイルの内容は同じです。
githubの使い方がまちがっているのかなー。
492:不明なデバイスさん
12/03/19 07:31:14.73 yMsMdDri.net
>>467
jithubの画面左側にあるzipのボタンでdownloadできました。おさわがせしました。
493:不明なデバイスさん
12/03/19 15:43:03.19 WIrHM2dt.net
>>464
普通に git clone [url]で最新のが落ちてくるけど？？
って、zipで落としてたのか・・・
494:不明なデバイスさん
12/03/20 04:54:27.64 0JkJ1LfL.net
>>469
当方git、hgそれなに？のド素人です。OI上でOpenSMをコンパイルする
ために、情報検索したかったのでサーバー版ではなくてデスクトップ版
をインストールしました。fireforxで検索しながら情報にたどり着きました。
なので、前述のサイトも画面上のDownloadのボタンに気づいて思わず
ともGUIな環境での操作となりました。
とりあえず落としてきたファイルを展開してtools/check-environment
で必要なものを準備しました。それからhg init; gmake setup; gmake publish
です。やっとここまでたどり着いたというのが正直な印象です。
なぜかインストール先がcomponents/open-fabrics/prototype/i386下
にくるのでなんでかなと調査中です。まだまだ先が思いやられます。
OIにOpenSMをポーティングされたかたに敬意を表します。助言ありがとう
ございました。
495:不明なデバイスさん
12/03/23 12:42:45.13 Omrahrns.net
URLﾘﾝｸ(cloud.sakura.ad.jp)
さくらも大変そうだね
496:不明なデバイスさん
12/03/23 13:14:13.59 30SgVsUg.net
infinibandがらみなのかわからんね。どういうトラブルか教えてくれ＞関係者
もともと従量課金を導入してる部分が少ないから、偏ったアプリによる偏った負荷がかかってるんだろうなあ。
497:sage
12/03/26 06:17:26.13 NgrmWmIj.net
休みを使ってServer8βを2台のマシンにインスコ。
それぞれのマシンをIBで繋いでRDMA経由のSMB2.2を試そうと思ったけど、なぜ
かOpenSMが起動出来ないでござる。時間内に応答が返らないとか言われる。
InfiniHostIIIなんでWinOFは2.1.3が最新だと思うけど、server8に対応してな
いんだろうか。ドライバは一応入ったんだけど。
と言うわけでSM入りのスイッチが無いうちではこれ以上の検証が出来ないので
誰か代わりに検証ﾀﾉﾑ
498:sage
12/03/26 07:21:05.91 NgrmWmIj.net
補足
OFED3.
499:0は「7か2008R2じゃないと駄目」と言われてserver8にはｲﾝｽｺ出来ません でした。
500:不明なデバイスさん
12/03/26 08:55:58.02 wwts9w4U.net
>>474
そーいうときはACT(application compatibility toolkit)でだますと入ったりするぞ。
501:不明なデバイスさん
12/04/01 12:11:02.83 1A/TH1x7.net
>>472
仮想化でよくあるストレージのキャパ不足だと思うけどなー
ストレージのヘッド、あそこだとZFS Applianceの数増やすだけで解決すると思う
仮想マシンを移動させなきゃいけないのは大変だとも思う
それで解決しなきゃ根本的になんか間違えているんじゃ。
502:不明なデバイスさん
12/04/02 20:12:41.32 4RJZ+QhL.net
Windows XP SP3 ------> iscsi targetの転送をFFFTPで測定したら、
１5MB/secとGbEより低くい結果で涙目。(IPoIB)
XP client: AMD Athron 64 x2 5200+, 2GB RAM, 250GB HDD(7200rpm)
HCA( Infinihost 380298-B21 )
iscsi target: Intel Celeron E3200, 6GB RAM, FreeBSD-9.0R-amd64で
zfs( raid10 500GB HDD(7200rpm) x 4)、NTFS format,
HCA( infinihost MHEA28-XTC )
OpenSMはFreeBSD側で準備し、iscsi targetは/usr/ports/net/istgtを使い
ました。
特にチューニングはしていません。low spec.だけどもうちょっとでないかな。
ネットで検索してもなかなか情報がなくて、、。
503:不明なデバイスさん
12/04/02 20:25:30.21 4RJZ+QhL.net
>>477
っと、うそを書いてしまいました。XP側ではMicrosoft iSCSI Initiatorがiscsi targetを
見つけてくれないので、ftp 転送ので結果です。iscsi targetではなくて、boot diskと
の接続です。
504:不明なデバイスさん
12/04/03 09:15:30.33 LeK2uesc.net
infinihostはオフロードしないからCPU遅いとgbeより遅いことままあるよ。
505:477
12/04/03 23:01:37.74 6ugnXdNN.net
>>479
Windows XP SP3からSL-62-x86_64へ変更してiperfで測定してみました。
SL6.2とFreeBSD9.0間をGbeとIPoIBで比較してみました。（環境は同じです）。
[root@localhost ssh]# iperf -c 192.168.24.15
------------------------------------------------------------
Client connecting to 192.168.24.15, TCP port 5001
TCP window size: 64.0 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.24.105 port 37050 connected with 192.168.24.15 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 1.08 GBytes 928 Mbits/sec
[root@localhost ssh]# iperf -c 192.168.23.15
------------------------------------------------------------
Client connecting to 192.168.23.15, TCP port 5001
TCP window size: 64.0 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.23.16 port 51660 connected with 192.168.23.15 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 2.61 GBytes 2.24 Gbits/sec
2倍ちょっとかな。OSによって挙動が違うようですね。
この1ヶ月間試行錯誤してきましたが、なんとか使えるところまで来ました。
HCAはebayから購入したので故障が心配でしたが動作してよかった。:-)
506:samba
12/04/04 00:53:30.77 LQLnLJ9i.net
>>480
FreeBSD-9.0RにMHEA28-XTC挿して、FreeBSD上でOpenSM動かしてるって事？
そこまで出来るようになったのか。
507:477
12/04/04 20:21:09.29 1IbLihOE.net
>>481
はい。前述の設定でmake worldして、/etc/rc.confにopensm_enable="YES"
ただし起動スクリプトはないので、
#!/bin/sh
#
# $FreeBSD$
#
# PROVIDE: opensm
# BEFORE: netif
# REQUIRE: FILESYSTEMS
. /etc/rc.subr
name="opensm"
start_cmd="opensm_start"
rcvar="opensm_enable"
command=/usr/bin/opensm
command_args="-B"
opensm_start()
{
for guid in `ibstat | grep "Port GUID" | cut -d ':' -f2`; do
[ -z "${rc_quiet}" ] && echo "Starting ${guid} opensm."
${command} ${command_args} -g ${guid} >> /dev/null
done
}
load_rc_config $name
run_rc_command $*
な感じで立ち上げてます。
508:不明なデバイスさん
12/04/14 00:17:18.73 7MfIUIMe.net
IPoIB接続の次はSRP接続です。親切にも方法を開示されている方がいて、
URLﾘﾝｸ(sonicostech.wordpress.com)
を参考にしました。
SRP target (CentOS-6.2-x86 64): AMD Athron64 +5200,4GB RAM, 160GB HDD
SRP initiator (ESXi 4.1 u1): Intel 9550, 8GB RAM
SDR infinihostを使用して、CentOS側でopensm起動
target から10GB切り出してFreeBSD9.0Rをinstallし、
time make -j6 buildworld中です。オレンジのLEDがピコピコ
光ってやっとたどり着いたぞというのが実感です。
この環境ではおそらくHDDが律速になりますのでSRP target
にはRAIDとかSSDが必要になりますね。
509:不明なデバイスさん
12/04/15 15:18:05.00 XtSLeYpc.net
ebayでHCA中古さがしているけど、50ドル以下のものをみなくなったね。
需要があるってことかな。
510:不明なデバイスさん
12/04/16 02:19:22.83 ys7XQqHJ.net
このスレ見てなんかおもしろそうなんで、MHEA28-XTCを2枚ゲット。
詳しい環境は省略するけど、CentOS 6.2でSRP target構築してRAMディスクにvdisk作成。
Windows7から接続してATTO Benchmarkで計ったら普通に950MB/sとか出てびっくりした。
511:不明なデバイスさん
12/04/16 08:18:11.46 xhJt1Tt0.net
>>485
950MB/sってすげぇなw
折角なので詳しい環境書いてよ。
512:不明なデバイスさん
12/04/16 10:14:16.93 Yf5aTgYS.net
>>484
HPCセンタの更改時にどかっと出る、その後出ない、の繰り返しじゃないかな。
ラックHDDユニットとかもその傾向にあるね。
＃この前安価で入手したのには「yahoo」って張ってあって笑った
513:484
12/04/16 20:18:47.48 HXzADxTI.net
>>487
ふむ、タイミングですかね。米国には年度末ってないのかな。
どぱーっとさらしてほしいもんです。
中古なので予備に何枚か持っておきたい。DDRやQDR
も欲しいですが、これはまだ価格が落ちてこないですね。
514:不明なデバイスさん
12/04/16 21:05:37.29 nKIZMTkw.net
>>485
自分もぜひ教えてほしい。
RAMDISKはtmpfs?特別な設定？
515:485
12/04/17 01:20:51.16 VZw4NDHc.net
特別なことはなにもしてないです。
見よう見まねでやってみただけです。
サーバ MHEA28-XTC CentOS6.2 (Athlon X2 BE-2350 4GB)
クライアント MHEA28-XTC Windows7 x64 SP1 (Phenom II 9950BE 8GB)
こんなしょぼい環境で、２台を直結です。
サーバ側は
URLﾘﾝｸ(sonicostech.wordpress.com)
ここに書いてある通りにCentOS6.2上にSRP Target構築。(vdisk使用)
OSインストールから全部書いてあります。
で、tmpfsで2GBのRAMディスク作ってRAKディスク上に適当なイメージファイルをおいただけです。
Win7側はOFED 3.0でインストール時にSRPを追加してインストールしただけです。
Win7起動すると勝手にSRP Targetがマウントされてます。
516:不明なデバイスさん
12/04/19 12:58:15.61 pK8pP1w
517:V.net
518:不明なデバイスさん
12/04/24 21:32:35.51 bMPtoCKW.net
SDRなHCAで、CentOS6.2 + SCSTによるSRP Targetを想定した場合、
ストレージの性能ってどれくらいがふさわしいかな。変な質問で申し訳
ないけど、今4個のHDDをraid10またはraid0でESXi4.1のSRP targetとして
試験運用している。GbEなiscsi targetの時とあまりパフォーマンスは変
わらんような気がする。ネットワークトラフィックが増えない限りパフォー
マンスの差はでないんだろか。
皆さん、ストレージはどうしていますか？おいしい使い方とか指標が
ありましたらご教授お願いいたします。
519:不明なデバイスさん
12/04/25 00:45:17.14 QgUwtsXR.net
いくらSDRでもGbEに比べれば圧倒的に出るよ。最低でも500MB/s位は軽い。
520:492
12/04/26 06:41:23.65 mT82uJuz.net
>>493
SRP targetををUSB bootさせているからかなー。
521:492
12/05/03 23:00:55.06 ie+GVUTI.net
hdparm使って確かめました。
構成：鼻毛鯖(PJ)にメモリ１２GB追加、HDDはmdadmによるRAID0（HDD x 4)
HCA:infinihost OS CentOS6.2-64( USBメモリ４GB )
SRP target側（raid0): hdparm -Tt /dev/md0 418Mb/sec
ESXI4.1のゲストOS: hdparm -Tt /dev/sda1 356Mb/sec
（CPUx4 メモリ４GB
でGbE( scsi target)の４倍でした。もっと速いtargetが作れれば性能はさらに
あがるかも。:-)
# USB メモリでSRP tagetのシステムを構築しましたが、input/output error
# をはくようになりました。2個目は問題なさそうですが、HDD install推奨。
522:不明なデバイスさん
12/05/03 23:03:28.46 ie+GVUTI.net
Mb/sec 訂正MB/sec
523:不明なデバイスさん
12/05/14 21:06:37.63 DvW0EcVA.net
>>495
RAMなblockでテストするとどれくらい出ます？
524:不明なデバイスさん
12/05/15 14:35:13.50 1qQa8fOb.net
>>497
492さんじゃないけど、Linuxで今度試してみるよ
ちなみに、OpenIndianaでRAM disk使ってQDR接続でSRP使用すると、
dd一つだと800MB/sで頭打ちになるけど、ddを4つ同時に走らせると3.2GB/s行きましたな。
525:不明なデバイスさん
12/05/15 19:25:54.70 UdyiCeMm.net
Mellanox本社エグゼクティブ・インタビュー
前編 URLﾘﾝｸ(cloud.watch.impress.co.jp)
後編 URLﾘﾝｸ(cloud.watch.impress.co.jp)
526:不明なデバイスさん
12/05/15 21:51:11.09 0APbn2NH.net
>>497
すでにESXi4.1にSRPターゲットをつないでいるので、対向で速度が測れない。
たぶん485さんと同じぐらいだと思う。ESXiからSRPターゲットのブロックI/Oを
測定する方法があったら教えてくれませんか。
527:不明なデバイスさん
12/05/17 22:17:28.52 JTf5cETS.net
このスレではじめて InfiniBand を知りました。
なんとか IB SRP Target を立ててみたくて、>>483 >>490 を参考にさせていただき
CentOS で SCST を起動できたのですが、その先の初歩的なところで詰まっています。
Target へのアクセスを fileio にしたところパフォーマンスが出ないので、
代わりに fileio_tgt を試そうとして fileio-2.2.0.tar.bz2 をダウンロード・展開し,
make all install としたところ「scst_user.h: そのようなファイルやディレクトリはありません」から
始まる多量のエラーが表示され、コンパイルが通りません。
恐縮ですが、なにか糸口を教えていただけないでしょうか。
528:不明なデバイスさん
12/05/17 23:13:44.22 tF7/aeM2.net
>>501
483です。fileio_tgt は知りませんでした。一応
# cat /etc/scst.conf
HANDLER vdisk_blockio {
DEVICE disk0 {
filename /dev/md127
}
TARGET_DRIVER ib_srpt {
TARGET 0017:08ff:ffd0:ff10 {
LUN 0 disk0
enabled 1
}
}
な感じで使っています。
mdadmでraid md0作ったらmd127に置き換えられて
いました。バグなんだろうけどmdadmがボトルネック。
やっぱしzfsかなと思案中です。
529:不明なデバイスさん
12/05/21 17:43:23.85 /97IiUUh.net
InfiniBand Driver for VMware vSphere 5はいつダウンロードできるようになるんだろう。
530:不明なデバイスさん
12/05/24 20:15:23.58 wAhufKkb.net
>>502 MDだとネックになってZFSだとならないというのはなぜ？ むしろ遅くなりそうだけど。
531:不明なデバイスさん
12/05/24 21:09:32.33 Xusbc39/.net
>>504
根拠はありません。ごめんなさい。
読み直して文章になっていませんでしたね。ボトルネックの意は、
同じCPU,メモリーリソースを使った場合、ZFSの方がパフォーマンス
が出たからです。自宅SANで使ってますが、OpenSolarisやFreeNAS
のiscsi targetが速くててOpenfilerが少し遅くてという経験をしているから
かな。
最近CPU,メモリの性能が良くなって、さらにinfinibandでネットワーク
が速くなると最終的にはストレージがボトルネックになるという意味で
す。
532:不明なデバイスさん
12/05/28 01:21:19.81 KBcRq2Nc.net
Ubuntu10.04でもInfinibandは動くんだな。
OpenSMも入ったし、疎通確認もおｋ。
12.04だと
aptitude install opensm
だけですんだけど、10.04はソースからもってこないといけなかったのがめんどくさかった。
533:不明なデバイスさん
12/05/28 23:05:43.73 2mmlACH9.net
NexentaStor Version 3.1.3リリースされたけど、これってinfiniband使えるかな。
memory付きのHCA( Infinhost )をさしてCDブートすると、logに
unknown tavor MT25208 Infinihost Ⅲ Exみたいに表示される。カーネルは認
識しているようです。esxi4のiscsi targetにできるでしょうか。ipoibまたはsrpの
どちらでもいいんですが。もちろんopensmも必要です。
web guiではinfinibandの設定画面はなかったような。コマンドラインでできる？
534:不明なデバイスさん
12/05/31 10:17:31.07 H0mjsk4S.net
NexentaStorとかお手軽にNAS化するのが目的なんだから、コマンドラインから無理して設定するようなものではないように思う。
535:不明なデバイスさん
12/06/01 15:05:31.41 131eRlN4.net
>507
対応する気はあるみたいだけど、そこまでリソース裂けてない状態。
InfiniBandのIPoIBとかSRPとiSERとかは使えるけど、Webとか管理コンソールからは�
536:ﾙぼ触れない。 サポート外のシェルに落ちれば設定可能だけど、WebUIとかに不具合でたりするかも。 個人的にはOpneIndianaなりつっこんで、comstar回りをnapp-itでってのでも十分楽なんだけどなー。 しかし、6月になったのにMellanoxからはESX5用のドライバが出ないわけで・・・。 日本語のページのプレスリリースは嘘なんだろうかｗ
537:不明なデバイスさん
12/06/01 21:36:58.41 V7n/ScAJ.net
508さん、509さん、ありがとうございます。
IBってコストパフォーマンスあるのでFreeNASやNexentaStoｒに
導入してほしいもんです。Web GUIで操作できると普及すると
思うけどなー。
自分は前に書いたように、FreeBSD + ZFS + IPoIBな環境で落ち着き
ました。FreeBSDの情報が少ないのが困りものですが、いずれSRP
対応するだろうと楽観しています。
538:不明なデバイスさん
12/06/01 21:57:11.28 V7n/ScAJ.net
つづけて、ESXi4.1 のiscsi targetとしてFreeBSD + ZFS + IPoIBでの
簡単なベンチです。
ESXi4.1( Intel 9550, 8GB RAM, InfninHost ), iscsit target (Celeron E3400,
6GB RAM, InfiniHost, RAID10 by ZFS, HDD x 6個）で対向接続して、
ゲストOS（CentOS6.2, 2CPU, 2048K RAM、32GB HDD)上で、
[root@localhost ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.0149464 s, 702 MB/s
[root@localhost ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.724387 s, 145 MB/s
root@localhost ~]# hdparm -t /dev/sda1
/dev/sda1:
Timing buffered disk reads: 500 MB in 1.17 seconds = 426.33 MB/sec
のような結果でした。ネットワークの速度だけではなくゲストOSとしての総合
的な評価としてみますと大変満足できるものでした。
539:不明なデバイスさん
12/06/02 13:46:39.44 f9oYZ7yH.net
509だけど、SRPは廃れていく気がするのよね。
iSERで良いじゃんって方向で。
MellanoxのWindows用のSRPドライバでは削除されてるしね。
ちなみにnapp-itはWebGUIね。
EON + napp-itって構成ってFreeNAS使える人ならいけると思うんだけど。
ちなみに、FreeBSDってSolaris系のCOMSTARとかLinuxのSCST的なSCSIの抽象レイヤってあったっけ？
青山さん(isgtdの作者)が、その辺のレイヤ部分が無いので、自前で色々実装してから、SRPもisgtdの
フロントエンド部分を何とかすれば対応出来そうだけど。
540:不明なデバイスさん
12/06/02 21:05:00.98 IN4s7gXA.net
>>512さん レベル高すぎです。:-)
FreeBSDでってのも、ユーザが少なそうなので試してみようって
ことで。FreeBSＤではSRP target無理だと思います。今のところ
Linux系とSolaris系だけですよね。
LinuxのSRP targetも試してみましたが理解不明なログがでてき
てこれは自分には無理と思いました。
結局TCPのオーバーヘッドありますが、IPoIBに落ち着きました。
IPoIBがおちてもGbEで救済ができるからです。本当はSRPとか
iSERのほうが性能が発揮できそうですが、このあたりはネットで
検索してもなかなか情報が得られない、、。たぶんこれは「飯の
たね」なので表にでてこないのじゃないかな。
Opensolarisのiscsi target(by GbE)は経験ありますが、COMSTAR
は抽象化っですかね。難しそう。しかし、憧れはありますね。はい。
ＮＥＣの安サーバーがありますのでいろいろいじっています。
Linux + SRP target + flashcache インストール中です。
541:不明なデバイスさん
12/06/02 21:44:47.35 IN4s7gXA.net
連続で申し訳ない。騒ぎすぎならごめんなさい。
ESXi4.1( Intel 870, 16GB RAM, InfninHost ), SRP target (Celeron G1101,
CentOS6.2 3GB RAM, InfiniHost, RAID1 by mdadm, HDD x 2個）で対向
接続して、ゲストOS（CentOS6.2, 2CPU, 2048K RAM、32GB HDD)上で、
[root@ns2 ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.010086 s, 1.0 GB/s
[root@ns2 ~]# dd if=/dev/zero of=/tmp/testimg bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.287052 s, 365 MB/s
[root@ns2 ~]# hdparm -t /dev/sda1
/dev/sda1:
Timing buffered disk reads: 500 MB in 1.11 seconds = 451.71 MB/sec
でした。RAID1にもかかわらず、SRPですので速いです。これからflashcache
追加します。
542:不明なデバイスさん
12/06/02 21:52:28.61 ZLJdsOyr.net
>>509
6月の第1週にダウンロード可能になるらしいよ、サポート曰く。
それにしても遅いけど。。。
543:不明なデバイスさん
12/06/02 22:26:08.93 IN4s7gXA.net
>>514
連投です。514にSSDを追加した条件です。
# flashcache_create -p thru -b 1024k cachedev /dev/sdc1 /dev/md127
でSSD (crucial M4 SSD 128GB)を/dev/sdc1, Seagate 2TB 7200rpm のmirror
で再検。
[root@ns2 ~]# dd if=/dev/zero of=/dev/testimg bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.00695022 s, 1.5 GB/s
[root@ns2 ~]# dd if=/dev/zero of=/dev/testimg bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.0679549 s, 1.5 GB/s
[root@ns2 ~]# dd if=/dev/zero of=/dev/testimg bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 0.642254 s, 1.6 GB/s
キャッシュにのるのか１GBの書き込みでの速度が落ちないです。
測定値のばらつきもないので安定しているようです。
[root@ns2 ~]# hdparm -t /dev/sda1
/dev/sda1:
Timing buffered disk reads: 500 MB in 1.00 seconds = 500.93 MB/sec
さすがSRP + flashcacheです。
NEC GT110bに2GB RAM 、 HDD x 2、 ＳＳＤ x 1、IB HCA追加した結果でした。
544:不明なデバイスさん
12/06/02 22:27:52.10 Y5VXD1jR.net
6月の第1週ならむしろ来週だろ・・・
ホビイスト向けじゃないんだから週末以外の方が時期として適切そうだし
545:不明なデバイスさん
12/06/03 00:34:34.05 PV55ZIYd.net
winOFED v3.1でてたね
546:不明なデバイスさん
12/06/03 00:35:05.77 PV55ZIYd.net
先月にwinOFED v3.1でてたのね
547:不明なデバイスさん
12/06/04 09:26:04.33 0fb4fhOO.net
Infinihostもこれで打ち止めか・・・
548:不明なデバイスさん
12/06/04 16:40:51.06 acnTPI48.net
>>516
flashcacheって知らなかったけど、zfsのzil diskとかl2arcのような物なのね。
シーケンシャルだと速度は出るけど、実際ストレージサーバとして使うならRandomの方を計測することをお勧めする。
ぶっちゃけシーケンシャルで速度でてもランダムだと酷い値になることが多々あるからね。
あと、メモリキャッシュに乗らない状態で計測してみるのと、fioとか使って、一回Randomの速度を測ってみたら？
549:不明なデバイスさん
12/06/04 16:43:07.23 acnTPI48.net
>>515,517
元々、本国の方のサポートに問合せしたときは、3月中って話だったんだけどね。
550:不明なデバイスさん
12/06/05 15:48:55.45 PhIJ7Tdi.net
flashcacheの人はwritethroughでやっぱり使ってるの？
writeback関係は機能とかあんまり汎用じゃないよね>flashcache
551:不明なデバイスさん
12/06/05 20:10:10.25 GQ/lU+Y/.net
>>523
そうです。writeback、writethrough、writearoundのモードがありますね。
2TBに128GBのSSDですので容量が少し足りないかもしれません。
>>532
助言ありがとうございます。SRP targetの目的がESXi4.1のゲストOS用
です。fioについては前述のSRP targetはしばらく使えないので測定でき
ないのですが、511は手元にありますので試してみました( by IPoIB)
量が多いので抜粋しています。
randread512k: (g=0): rw=randread, bs=512K-512K/512K-512K, ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) : avg=83805.35 iops=163 clat (usec): avg=6104.13
Run status group 0 (all jobs):
READ: io=5120.0MB, aggrb=83741KB/s
randwrite512k: (g=0): rw=randwrite, bs=512K-512K/512K-512K, ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) : avg=120376.88 iops=153 clat (usec): avg=6468.37
Run status group 0 (all jobs):
WRITE: io=5120.0MB, aggrb=78
552:562KB/s
553:不明なデバイスさん
12/06/10 00:24:42.69 +c6ECaom.net
Windows7 の SRP Boot がうまくいきました。
Target : CentOS6.2 + SCST2.2.0 (Xeon E5-2609 2.4GHz)
Initiator : Windows7 + winOFED3.1 (Xeon E5-2650L 1.8GHz)
・HCA は双方 eBay で落札した Mellanox の MCX353A-FCAT です。
・BootROM について、iPXE はこの HCA に未対応ですが FlexBoot3.3.420 で大丈夫でした。
・Target 側で ISC DHCP 4.1.0p1 に InfiniBand パッチを当てたものを立ち上げ、
その root-path の指定だけで tftp は使わずにすみました。
・tmpfs に置いた60GBのイメージファイルから起動して、速度は下のとおりです。
URLﾘﾝｸ(kie.nu)
・このスレはいつも大変参考にさせていただいています。
あまりお役に立てませんが、ご質問等があれば遠慮なくおっしゃってください。
554:不明なデバイスさん
12/06/10 03:15:30.36 INBxKVA+.net
おー、速いなあ。
555:不明なデバイスさん
12/06/11 18:31:15.36 HX2YKslR.net
>>525
FDRうらやましいですｗ
ちなみにインストールからSRP使ってされたんでしょうか？
(iSCSIとかのインストールと同様に)
AIKでイメージ弄らないと駄目なのが面倒で試してないのですが。
あと、iPXEの自前でコンパイルしたBootROMで、InfiniHost系でも同様にSRP Boot可能
だと思います。ただし、メモリ有りのInfiniHostはiPXEのコンパイルが通りませんでしたが。
ネタとしてこの辺を投下しておこう。
URLﾘﾝｸ(blogs.technet.com)
SMB2.2は結局SMB3になったのね。
556:不明なデバイスさん
12/06/11 23:30:12.24 6MJGGMHq.net
>>527
FDR、恥ずかしながら使いこなせていません。
一つには PCIe Gen3で動作していない可能性があり、M/B(Rampage IV Extreme)は
Gen3対応のはずですが、3.4GB/sで頭打ちします。
（PCIeの動作状況をリアルタイムに確認する方法はないものでしょうか）
iSCSIのようにWindowsAIKでカスタムメディアを作る方法は、dismでOFEDのドライバを統合する
あたりまでうまくいったのですが、imagexによるイメージキャプチャの段階でつまずきました。
そこで無骨ですが、いったんローカルのSSDにOFEDとsanbootconfを含めてインストールし、
そのダンプイメージをddでTargetに転送する方式をとりました。
iPXEは残念ながら、15B3:1003ではコンパイルが通りませんでした。
557:不明なデバイスさん
12/06/11 23:51:21.74 6MJGGMHq.net
SMBはかなり良くなるようですね。
Windows Server 2012 Betaには最小限のドライバが入っていますが、新しいものをここから落とせます。
URLﾘﾝｸ(www.mellanox.com)
（これを入れるとFirmwareが2.10.2280に更新されますが、Flexboot3.3.420とは相性が悪いです。）
MellanoxのTwitterによるとServer同士の場合にのみ有効とのことなので、
Server同士でramdiskを共有フォルダにして計測してみました。
Sequential Read : 642.313 MB/s
Sequential Write : 825.390 MB/s
Random Read 512KB : 593.501 MB/s
Random Write 512KB : 721.289 MB/s
Random Read 4KB (QD=1) : 35.011 MB/s [ 8547.6 IOPS
558:] Random Write 4KB (QD=1) : 36.585 MB/s [ 8931.8 IOPS] Random Read 4KB (QD=32) : 286.451 MB/s [ 69934.3 IOPS] Random Write 4KB (QD=32) : 206.025 MB/s [ 50299.1 IOPS]
559:不明なデバイスさん
12/06/14 21:04:34.78 8PFnQGbi.net
QLE7240がebayで安く購入できたので、一応DDRなので期待して
２台のCentOS6.2-x86_64を対向接続してiperf測定してみました。
hostA
# iperf -s
hostB
# iperf -c 192.168.x.x
IPoIBな環境ですが、以下のファイルから構築しました。
1) OFED-1.5.4.1.tgz
2) QLogicIB-Basic.RHEL6-x86_64.7.1.0.0.58.tgz
いずれの場合でも1.3~1.5Gbit/secの結果でした。DDRなのでもうちょっと
出ないかなと思うのですが、こんなもんですかね。tipsなどありましたら
助言をお願いいたします。
# Mellanoxがdefact standard ? 中古探しは慎重に。
560:不明なデバイスさん
12/06/15 21:02:04.57 q/rNE5N6.net
>>528
なんだかパフォーマンスでてないですね。
うちで過去に計測したSDRのSRP Targetとの接続と速度が変わらないくらいってのが謎。
iPXEにMellanoxが独自に手を入れてるので、新しいカードだと無理なんでしょうね。
>>530
QLE7240あるからテストしてみようか？
買ったはよいものの、開封すらしてなかったので。
直結とスイッチかましてのテストでよいかな？
561:不明なデバイスさん
12/06/15 21:35:08.07 KzEphqui.net
>>516
fioでベンチとってみました。
randread512k: (g=0): rw=randread, bs=512K-512K/512K-512K,
ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) : avg=48377.22, iops=94,
Run status group 0 (all jobs):
READ: io=5120.0MB, aggrb=48378KB/s,
randwrite512k: (g=0): rw=randwrite, bs=512K-512K/512K-512K,
ioengine=sync, iodepth=1
fio 2.0.7
bw (KB/s) :avg=81036.99, iops=157
Run status group 0 (all jobs):
WRITE: io=5120.0MB, aggrb=80703KB/s
な結果でした。
# 相変わらず、わからんログがでています。ＳＲＰ targetですが、
111e5ed30 (tag 21, op 17): blocking further cmds on dev disk0 due to serialized cmd
Jun 15 21:28:06 localhost kernel: [0]: scst_block_dev:6662:Device BLOCK (new count 1), dev disk0
Jun 15 21:28:06 localhost kernel: [0]: scst_check_unblock_dev:160:cmd ffff880111e5ed30 (tag 21): unblocking dev disk0
Jun 15 21:28:06 localhost kernel: [0]: scst_unblock_dev:6739:Device UNBLOCK(new 0), dev disk0
562:不明なデバイスさん
12/06/15 23:05:37.12 qHSnoPHJ.net
>>531
単位勘違いしてない？
どう考えてもSDRであの速度は出ないでしょ。
563:不明なデバイスさん
12/06/16 06:39:06.53 grmbXKUG.net
>>531
おお、直結でテストしていただけたらありがたい。4枚買ってすこし
へこんでいるところです。QLE7240カード表面にPilotと印刷されて
いてESみたいなものかと懸念しております。自分の直結環境は
AMD Athron64 +5200, 2GB RAM
Pentium G6950, 13GB RAM です。
564:不明なデバイスさん
12/06/17 14:18:56.56 diRcmTfD.net
>>533
ごめん、書き方悪かった。
SRP接続だとパフォーマンスでてるけど、Windows 2012のSMB3.0だと思ったほどパフォーマンスが出てないって意味でした。
>>534
Qlogicの新しめ(QLE72x0以降)のは、Linuxしか対応してないことになってるけど、
Windowsでも動くか知りたくて買ったヤツだけど。
Linuxで直結対向はWindowsのConnectXで試してみるよ。
とりあえず、すぐに構築出来る環境がそれしかないのでｗ
565:不明なデバイスさん
12/06/22 01:19:26.44 Ascd2CcI.net
Mellanox の vSphere 5.0 用ドライバ出てた。
Supported HCA が ConnectX-2 以降...。
566:不明なデバイスさん
12/06/22 06:33:04.21 nZTXIg
567:Hq.net
568:不明なデバイスさん
12/06/22 12:07:55.12 57jxKXOd.net
>>534
環境作るのに手間取って遅くなって申し訳ない。
QLE7240(CentOS 6.2 + Qlogicのドライバ) - ConnectX(Windows7 WinOF 3.1)でiperfしてみた。
とりあえず、チューニング無しでやったら言ってたみたいに2Gb/s位しかでなかったけど、Windows側を
ConnectModeに変更して、iperfのバッファサイズを両方1MBに上げたら、8Gb/s位まで上がった。
しかし、何故かLinkが10Gでしてて弄ってもLink速度上がらなかったので、MellaoxとQlogicの直接
接続だと何かまずい事があるのかも
>>536,537
出る出る詐欺はやっと終わったのかｗ
うへ、サポートのHCAがConnectX-2以降の上に、SRPサポートが無くなったって使うメリットが
全くないじゃないか。つか、うちはSRPで構築してるから洒落にならん orz
569:不明なデバイスさん
12/06/22 12:16:38.71 wrRXh6HP.net
>>536-537
( ﾟДﾟ)
ESXiで楽してたけど、まじめにKVMへ移行するかなぁ
ちょっくら週末に試してから決めよう
570:不明なデバイスさん
12/06/22 17:14:29.75 57jxKXOd.net
ESX5用の環境作ってInfiniBandのカードが動くか調べてみた。
ConnectX(MHQH19-XTC)は一応動作したね。
追試で、ConnectXのMHGH28-XTCとかを、動作確認してみるわ。
ただ、InfiniHostIII(MHES18-XTC)は認識すらされない orz
完全にInfiniHostは切られたと思って間違いないかと。
571:不明なデバイスさん
12/06/23 21:25:15.76 lOpklH/j.net
>>538
追試ありがとうございました。チューニングすれば8Gb/secまで上がるので希望が
持てました。:-)
あれから施行したこと、1)ケーブルの交換2)ifcfg-ib0にCONNECTED_MODE=yesと
MTU=65520を追加。3)/etc/infiniband/openib.confのIPOIB_LOAD=yes,
SET_IPOIB_CM=yesなどの設定をしていますが、相変わらず1.5Gb/secの状態です。
ibdiagnet, ibv_devinfoなどでみているところです。CPUがpoorなんで、それが原因か
もしれませんがもうちょっと粘ってみます。
/etc/modprobe.d/のib_qib.confとかib_ipoibあたりが関与しないかなー。根本的な
ところで間違っているような気がします。
572:不明なデバイスさん
12/06/24 00:37:21.03 A42m4GH2.net
>>540
公式な supported じゃないとはいえ、Connect-X が動く報告があって安心した。。
自分の環境(MHRH19-XTC)でも試してみます。
573:不明なデバイスさん
12/06/24 21:08:34.05 xvp4a6QH.net
>>541
やっと解決しました。538さんができているので自分もきっと解決できると
信じて（ちょっと大げさかな）、ユーザーマニュアル、インストールマニュ
アルを読んでいました。ipath_pkt_testなるコマンドがあって、
[root@centos62641 ~]# ipath_pkt_test -B
Buffer Copy test: 1487 MB/s
対向のホストは
[root@centos62643 ~]# ipath_pkt_test -B
Buffer Copy test: 168 MB/s
と異なる値。箱をあけてみると、なんとPCI-Eのx2レーンのスロットに
さしていました。差し替えて、iperfしてみたら、7.78 Gbits/sec。ヤタ。
なおQLE7240のMTUは4096、connected modeがデフォルトです。
マニュアルにはBIOSなど細かい調整方法が書いてあって必読です。
574:不明なデバイスさん
12/06/24 23:40:29.31 gJDfEebJ.net
>>542
ちょっと色々追試してたんだけど、結局ESX5でConnectXは駄目だった。
540で試してたときは、スタンドアロンで認識してたので
575:いけたと思ったんだけど、 実環境へもっていって、スイッチをかました状態でテストしたら下記のような状態で動かず。 ログを確認するとドライバ認識してるんだけど、SMへ登録できないみたい。 SM動かしてるサーバ上で、iblinkinfoで確認したところInitialiseで止まってて、 そこからSM再起動したりしてみたけど、LinkUpしないですわ。 予想だけど、ConnectXで動かないからここまでドライバ出すの引っぱったのかなーと勘ぐってみたり。
576:不明なデバイスさん
12/06/24 23:55:55.67 gJDfEebJ.net
544へ追加
ConnectX2だと、普通に認識してLinkUpするところまで確認。
>>543
原因がわかってよかった。
ちゃんとパフォーマンスでてるみたいですね。
あと、ibstatでRateが幾つで繋がってるか確認してみるのがよろしいかと。
うちのテスト環境だと10だったのでDDRでは繋がってないんです。
追試で、DDRのスイッチへ接続してちゃんとDDRで接続できるか確認してみます。
おまけ
ESX5のドライバが残念な事になってるので、XenServer 6.0.2で使えるか試してみた。
OFED 1.5.4.1をXenServerのDDK上でコンパイルしたら普通に認識してくれた。
OFED 3.2RC1だと、BackPortの部分でこけてしまいコンパイルできなかった。
XenServer自体がRHEL5.5のi386がベースらしく、必要なパッケージをいくつか入れてやらないと
駄目なんでちょっと手間かかるけど動作しますよって事で。
577:不明なデバイスさん
12/06/25 21:54:45.24 kgWeFQp8.net
>>545
基本的なところで間違ってお恥ずかしい。おかげさまでSDRなみの速度はでる
ようになりました。ibstatでは、Rate: 20とでるので一応DDRで接続できているの
でしょう。 しかし# ibdiagnetでは、
抜粋
-I---------------------------------------------------
-I- IPoIB Subnets Check
-I---------------------------------------------------
-I- Subnet: IPv4 PKey:0x7fff QKey:0x00000b1b MTU:2048Byte rate:10Gbps SL:0x00
-W- Suboptimal rate for group. Lowest member rate:20Gbps > group-rate:10Gbps
と、10Gbpsに落ちていました。MTUも2048Byte。 (・o・)
DDRスイッチにつながないとDDRの速度がでないとか説明があったけど、あれはSDR
のスイッチにつなぐとSDRに律速するという意味だと思った。しかし、ひょっとするとこの
HCAにはDDRのスイッチがないとDDRの速度がでないのだろうか。悩みは続く。
578:不明なデバイスさん
12/06/26 13:01:30.60 b2yhPPEO.net
さくらのクラウドはInfiniBandの問題っつーよりSun ZFS Storage Applianceの問題だったみだいね
URLﾘﾝｸ(www.publickey1.jp)
URLﾘﾝｸ(www.publickey1.jp)
URLﾘﾝｸ(www.publickey1.jp)
OpenIndianaでストレージ鯖立ててる身としてはZFS自体の問題なのかSolarisの問題なのかを
はっきりして欲しいところだけどまあスレチなのでこの辺で・・・
579:不明なデバイスさん
12/06/26 16:08:26.95 IYxmqvLg.net
やっぱりZFS Storage Applianceの問題だったのか
先行事例なさそうだし日本ボラクルが窓口で問題解決できるの？
とか悪い予想してたら当たってしまったｗ
580:不明なデバイスさん
12/06/27 14:26:02.26 V2ojzOad.net
NFS over IP over Infiniband、って時点で突っ込みたくなった。
素のSRPはともかく、FCoIBとかじゃないんだ。
581:不明なデバイスさん
12/06/27 14:35:26.55 V2ojzOad.net
ICMP pingについて。IPoIBはSMでdiscoveryして経路設定するから、ICMPとか都度コネクション生成するようなのは
負荷高くなるんじゃないかな。
＃discoveryや経路設定の中央集権（通常のetherはARPで分散型）は最近の流れだけど、スケーリング的には善し悪しですね。
582:不明なデバイスさん
12/07/01 14:40:27.07 aLEvyHdV.net
Infinibandの値段もずいぶん下がって�
583:｢たんですね。このスレではじめて知りました。 ところで、Server(Windows)側にRAMDiskを構築し、10GbEのIntelNIC経由でiSCSI Bootを使ってClient側のOSを RAMDiskから立ち上げようと思っているのですが、IBでも同様にBootさせることは可能なのですか？
584: ◆GHONBEsd/2
12/07/01 15:36:04.50 zbHO4m5t.net
>>551
Client側のOSがなんであるかにもよりますが、
MellanoxWinOFでは、IPoIBでのiSCSI bootは相変わらず非サポートみたいです。
URLﾘﾝｸ(www.mellanox.com)の
10ページ目にnot functionalと記述されています。
WinOF3.0で検証したときはIPoIB経由のブート中にBSODでした。
585:不明なデバイスさん
12/07/01 16:02:19.09 aLEvyHdV.net
>>552
早速のレスありがとうございます。
ClientもWindowsを検討しております。
Server側OSをlinuxにすれば解決する？かもしれませんね。
一度、メーカーなどにも問い合わせてみようと思います。貴重なご意見ありがとうございました。
586:不明なデバイスさん
12/07/05 20:08:14.02 LvUxr5Qr.net
>>553
Server側がLinuxで良ければ、おっしゃるようなWindowsのramdiskからのBoot over IBが可能です。
RDMAが効けば、速度面も10GbEでの一般的なiSCSIより期待できます。
1) Server側にIBドライバ（例：Mellanox OFED）をインストール
2) Server側にSRP Target（例：SCST）をインストール、ramdiskをTargetに設定
3) Server側でDHCPサーバ（例：ISC DHCP）を立てる
4) Client側にIBドライバ（例：OFED for Windows）をインストール
5) ClientのWindowsイメージをServer側のramdiskへ転写、HCAのromをブート用に構成
簡単にやるならこんな手順でしょうか。詳細が必要でしたら追記します。
587:不明なデバイスさん
12/07/06 13:30:31.55 RczeAfjz.net
>>554 横からすみません。
私もWin7Pro 64bitをSRP Target(SuSE or CentOS)から起動させようとしています。
参照する環境は>>525,528でよいですか？
ClientからSRP TargetへのOSインストールは失敗するので、
先にHDD/SSDにインストール->イメージをddという流れだと予想していますが、
以下を教えていただけないでしょうか。
・ディスクからブートしている時点で入れておくべきソフトとバージョン、設定(IPoIB等)
・鯖のdhcp.confの具体的設定(ib_srp以外にもkeep-sanいるのか等)
・WindowsのディスクイメージのSRP Targetファイル化方法
(HDDの方が大きいので、単純なddだとRAMディスクに収まらない)
588:不明なデバイスさん
12/07/06 20:27:50.97 47Kop7m/.net
>>555
環境は>>525,528のとおりです（正確にはCPUをCore i7-3930Kに変更しました）。
>・ディスクからブートしている時点で入れておくべきソフトとバージョン、設定(IPoIB等)
(1)OFED for Windows 3.1 （Setup時にSRP install を選択）
(2)sanbootconf 1.1.1
の２点です。IPoIBはconnected modeを有効にした以外は変更していません。
URLﾘﾝｸ(www.openfabrics.org)
URLﾘﾝｸ(git.ipxe.org)
>・WindowsのディスクイメージのSRP Targetファイル化方法
自分は60GBのSSDにWindowsをインストール後、その全体をddでイメージ化しましたので
あいにく実体験ではありませんが、下記を参考に、Windowsインストール時に例えば30GBの
パーティションをHDDから切り出しておく方法でいかがでしょうか。
URLﾘﾝｸ(etherboot.org)
URLﾘﾝｸ(etherboot.org)
・dhcp.confの件はレスを分けます。
589:556
12/07/06 22:55:45.80 47Kop7m/.net
・dhcp-client-identifierの末尾を、Initiator側のGUIDに置き換えてください。
・root-pathは"ib_srp::::dgid::service_id::id_ext:ioc_guid"で、それぞれTarget側のibsrpdmの結果と置き換えてください。
#cat /etc/dhcp/dhcpd.conf
ddns-update-style none;
ddns-updates off;
allow booting;
allow bootp;
option space ipxe;
option ipxe.keep-san code 8 = unsigned integer 8;
option ipxe.no-pxedhcp code 176 = unsigned integer 8;
shared-network "flexboot_network" {
subnet 192.168.0.0 netmask 255.255.255.0 {
option dhcp-client-identifier = option dhcp-client-identifier;
option subnet-mask 255.255.255.0;
next-server 192.168.0.50;
always-broadcast on;
range dynamic-bootp 192.168.0.51 192.168.0.52;
}
}
host host1 {
fixed-address 192.168.0.51; # the IP address to be assigned to the client
filename "";
option dhcp-client-identifier = ff:00:00:00:00:00:02:00:00:02:c9:00:00:02:c9:03:00:2f:XX:XX;
option root-path "ib_srp::::fe800000000000000002c903002fXXXX::0002c903002fXXXX::0002c903002fXXXX:0002c903002fXXXX";
option ipxe.keep-san 1;
option ipxe.no-pxedhcp 1;
}
590:556
12/07/06 23:06:45.52 47Kop7m/.net
・念のため、SCSTの設定です。
・TARGETの部分は、scstadmin -list_targetのib_srptの結果と置き換えてください。
#cat /etc/scst.conf
HANDLER vdisk_fileio {
DEVICE disk0 {
filename /tmp/windows7.img
}
}
TARGET_DRIVER ib_srpt {
TARGET 0002:c903:002f:XXXX {
LUN 0 disk0
enabled 1
}
}
少しでもご参考になれば良いのですが。
591:不明なデバイスさん
12/07/06 23:32:48.64 RczeAfjz.net
>>556-558
設定丸々ありがとうございます。
wikiも参考にしつつ、休日使って構築してみます。
592:555
12/07/08 16:35:29.53 TBXlFj1L.net
>>556
おかげさまでRAM上のSRP TargetからWin7がbootできました！
ありがとうございました。
ほとんどつまづくところはありませんでした。
強いて書くとしたら、SCST(srpt)のmake前に、
きちんとREADME.ofedを読んでおくくらいでしょうか。
593:556
12/07/09 20:07:38.07 bKS71sXG.net
>>560
うまくいったようで何よりです。
もし良かったら、逆にIB StackとSCSTの導入について教えてください。
自分自身、Mellanox OFEDを使わないで素のOSの状態から最新のOFA OFEDとSCSTを
導入する手順を詰めきれずにいます。
594:555
12/07/09 22:31:21.71 thMTPY1W.net
>>561 私の手順です。参考になれば。
OSはCentOS6.2のDesktopインストールからスタート。
基本的にSCSTのsrptディレクトリの中のREADME.ofedに従っています。
・準備
rm -rf /lib/modules/$(uname -r)/kernel/drivers/infiniband (怖いのでmvで逃がした)
rm -rf /lib/modules/$(uname -r)/kernel/drivers/net/mlx4 (そもそも存在しなかった)
cd /lib/modules/$(uname -r)/build
patch -p1 < ${SCST_DIR}/srpt/patches/kernel-${KV}-pre-cflags.patch (kernelバージョンに合わせて指定)
・OFED(1.5.4.1)
srpt=nを書いたconfファイル(その他y/nはREADME.ofed参照)を作り、./install.pl -c ofed.conf
足りないと言われるパッケージはyumで追加
・SCST
make scst iscsi srpt scstadm; make scst_install iscsi_install srpt_install scstadm_install
こんな感じでmake/installは終了。後はscst.confとか書けば動きました。
README.ofedに従うとibstat等のツールは作られないので、
後からOFED展開した中にあるsrpm使って作ってやらないとならない(rpmbuild --rebuild)と思います。
他
595:のコマンドでも最低限のチェックはできるため、まだ試していませんが。
596:不明なデバイスさん
12/07/10 16:48:35.44 PMbc7shq.net
tmpfs(ramdisk)並のスピード、でもディスクにも保存、とかいうのを実現したい場合、
仮想ディスクより多くのメモリを積んでおいて、起動時にddで空読みしてキャッシュさせればOK？
それともそれ目的のfs/moduleがある？
597:483
12/07/10 21:19:06.34 hak1uTFD.net
483でSRPの紹介してからの経過ですが、いまのところ順調です。
ESXi 4.1 u1: Intel 9550, 8GB DIMMからIntel i7 2600、DIMM 32GBへ変更
して、SRP targetで試験運用しています。IPoIBよりサクサク、機敏で気分
いいです。調子にのってもう一台SRP targetを接続しました。しかしESXi側
で認識しません。追加のdatastoreが作れません。これって仕様？
ESXI4.1u1のホストにHCAを2枚さしてそれぞれをCentOS6.2ベースのSRP
targetへつないでいます。これができるとdatastore間のファイル転送が早
くなるのでうれしい。
598:556
12/07/11 19:46:37.39 Fjsb51m4.net
>>562
大変ありがとうございます。詳細に助かります。
週末にもCentOSインストール後、素の状態から始めてみます。
599:不明なデバイスさん
12/07/11 20:55:53.80 eMf5rRgh.net
0Gのスイッチを探している人がいるかどうかわからないけど
個人輸入で安く買えそうなので、現状を参考までに
Mellanoxの8PortQDRスイッチが国内ではあまりに高いので、海外で
探していたところ、代理店の直販サイトが国内の半額くらいだったので
日本への発送が可能か聞いてみたところ可能とのことだった。
IS5022が国内だと27～8万のところ14万くらい、関税は0なので国内の税金5%&がかかる
送料はものによるが3kgで大体2万くらい？（FEDEX）
SMはついてないのでなんか別の小型サーバか接続するサーバに
立てる必要ありだけどスイッチがあるので適当な小型サーバで立ててもOK
やり取りはすべて英語ですが、翻訳サイト活用でなんとかやり取りは
できています。
非常に丁寧に対応いただいています。
（時差があるので、夜中に送るとすぐ返信がくる）
ちなみに最初に英語あんまり得意じゃないです！って伝えた
詳細は次レスで
600:566
12/07/11 20:58:34.04 eMf5rRgh.net
やり取り詳細箇条書きで
Colfax Direct
URLﾘﾝｸ(www.colfaxdirect.com)
・サイトでユーザー登録することをおすすめ。
・カートに商品いれて注文するところは、普通の通販と同様
・支払いはクレジット可能
・住所の書き方は適当にぐぐれ
・FEDEXアカウントを取得しておく必要あり（DHL,UPSも可能だが高い）
・FEDEXアカウントは電話でカスタマーに電話して申込書を
送ってもらう、それを送り返せば即日作ってくれる。
・クレジットカードが必要
・FEDEXアカウントナンバーを先方に伝える、これで送料関税等は代引での
取引が可能
・そこまで進むとINVOICEとクレジットカード情報を記入するPDFが送られてくるので
PDFを編集できるソフトなんかを使って内容を記述して送り返す。
・手書き署名が必要
今のところここまで進んでいます。ものが届いたらまた詳細報告します。
支払い情報を送ってから少し時間がかかっています。
ケーブルとか、
601:カードもソコソコ安いのでおすすめかと、国内でもおそらく 企業向けの仕切りは安いのかもしれませんが、個人ではなかなかディスカウントは 効きませんから・・・ これでいけるかどうかはまだわからないので、続報をお待ちください。 質問あればどうぞ～
602:566
12/07/11 21:12:40.28 eMf5rRgh.net
Mellanox製品はグローバルでの保守契約ができるようで、RMAも行える
みたいなので、一番下の保守契約のブロンズも発注しました。
登録もJapanで可能となってるのでおそらくRMAは英語で自分で送る必要が
あるので手間ですが、Ⅰ年保証+延長4年で1万7千円くらい、国内だと年額
5万近く取られます・・・
こちらについても詳細わかったら追記しますね。
個人使用ならブロンズで十分でしょう。
603:不明なデバイスさん
12/07/11 22:06:21.75 Fjsb51m4.net
>>568
Colfax Direct で先々月にケーブルの買い物しました。トラブル無しでちゃんと届きましたよ。
納期が少しかかりましたが、当然ながら在庫状況によるのでしょう。
保守契約には興味あります。詳細また教えてください。
604:566
12/07/12 04:04:03.06 AYAPwKwU.net
>>568
おお、先にもうされてる人がいましたか、状況にもよると思いますが、
支払い情報送ってからどれくらいで発送されたか覚えておられますか？
一週間くらいは見たほうがいいですかね？
保守契約はちょっと不安ですが、Mellanoxはグローバルでのサポート
を行なっているというのを売りにしているみたいで、日本法人のサイトにも
そのような記載があります。
IBMやHPと同様保守パックという形で販売されているので、おそらく
証書をおもとに登録することで有効になるものと思われます。
対応は日本法人ではなくアメリカサイトでのオンラインでのRMA受付
もいけるようなので、おそらくは問題ないと踏んでいます。
どちらにせよ1万5千円足らずなので、ダメでもそこまで痛くないかなぁと
国内でも同じレベルでのサポートを受けていますが、ボリすぎですね・・・
ブロンズが年間5万近くかかりとなると5年で25万・・・1台保守用が買えるレベル。
経験上結局こういうベンダーは、最終的にメーカに丸投げにするので、
自分である程度出来る人は自分で問い合わせたほうが早いことが多いです。
むしろここで聞いたほうが早かったり・・・
605:sage
12/07/12 13:38:17.58 il6QXaq1.net
お前いらない
606:不明なデバイスさん
12/07/12 19:05:43.12 AYAPwKwU.net
>>571
わかった
607:不明なデバイスさん
12/07/12 19:18:34.58 AYAPwKwU.net
sage忘れてた
608:不明なデバイスさん
12/07/12 19:23:59.85 JHFRU+6f.net
>>570
> 支払い情報送ってからどれくらいで発送されたか覚えておられますか？
２週間かかりました。
１週間経過時点で問い合わせたところ「メラノックスに確認してみる」と
返信がありましたから、在庫は持っていなかったようです。
609:不明なデバイスさん
12/07/26 12:33:35.97 uLURu+/D.net
XenServerでOFED動くか試してたのの結果報告。
結果から言うと、OFED 1.5.4.1をコンパイルしてやればSRP Initiatorまでは動きました。
XenServer用のDDK落としてきてインストールしてやり、その上でOFEDをコンパイル。
コンパイル用にいくつか足らないパッケージがあるので、それをCentOS5 i386のRepoから拝借してきてインストール。
できたパッケージを、XenServerのコンソールでインストールしてやればOK。
OpenSMとSRP Initiatorの動作は確認。SRP使ってSR作成できるところまでは確認した。
あと、Ubuntu12.04でOpen-iscsi使ってiSER接続も確認。
こっちはKVMのテストがてらやってみたんだけど。
debian OFEDから1.5.4のパッケージのソース取ってきてインストールしてやったらiSERは一応動作した。
iSER動作させるだけなら、特にOFEDのパッケージインストールする必要はないかも。
IPoIBでTCP接続に比べて、
610:300MB/s -> 600MB/sくらいに速度が上がった。 どちらも、ストレージ側のOpenIndianaのpoolがボトルネックになってるので、そこを速度アップしないと これ以上の速度アップは望めない状態。
611:不明なデバイスさん
12/07/26 12:45:00.10 uLURu+/D.net
上のに追記。
なんでテストしたかってと、ESXi5だとInfiniHost系が切られちゃってるので、他の仮想化環境で使えるか
試してみたかったからやってみたんだけど。
少なくとも、Linuxがベースの物はmthcaが動作するのでそれを使ってやれるってのが今回の実験結果でした。
次はWindows 2012でConnectX使ってHyper-Vのテストやってみます。
RDMA CIFSで共有かけてLiveMigrationとか試してみたいのでｗ
612:不明なデバイスさん
12/07/26 12:51:09.22 uLURu+/D.net
566さんの直接購入って方法もあるけど、英語でやりとりするのが面倒って人は個人輸入代行使うってのもありかな。
大体手数料として10%くらい上乗せ+送料って感じでいけるかと。
輸入代行だと、国内までの送料が大分安くあげれるので、トータルだとあんまり金額は変わらないと思う。
ただ、保守が乗っけられるかがわからんけど。
613:不明なデバイスさん
12/07/26 21:22:31.80 WGcIiuKZ.net
>>576
MLNX OFED for server2012はやっぱりInfiniHostはちっとも認識されなかったです←あたりまえ
ESXiとかxenはPCIe passthruがあるから親が対応してなくても対応してる仮想OS持ってくれば動かせる可能性あるけど、
server2012は対応してないからなー。
614:不明なデバイスさん
12/07/27 00:14:19.53 pEcPiSZa.net
>>578
でも、IBなんて広帯域のバスを使いたいのはホストのIOだから、
VM上だけで動いてもなんも嬉しくないというか、
ほとんどんの場合意味が・・・
2012の方は、SR-IOVに対応してきたから、
HBAが対応してくれば、複数のVMからほぼネイティブな性能を得られるから、
その点は、現状のESXiより優れてると思う。
615:不明なデバイスさん
12/07/27 12:52:27.83 3UadAdS1.net
SMB over RDMAがどの程度出るか遊んでみたかったんだけどね＞MLNX OFED
rdma前提ならInfinihostで動いてくれたっていいのに。
616:不明なデバイスさん
12/07/27 19:54:43.49 QmjfUt90.net
>>575
凄いですね。なんて濃いスレでありがたいことでしょう。
iSERのTargetは、tgtとMellanox VSAくらいしかないのかな。
某勉強会でVSAの管理画面だけ見せてもらったが個人には雲の上そうで。
617:不明なデバイスさん
12/07/27 21:19:48.85 tEeC1KCT.net
>>578
InfiniHostはEOLになっちゃいましたからね。
ConnectX以降って制限が意外ときついです。
ESXi5でConnectX-2以降って制限がかかってるので、ConnectXも何時までサポートしてくれるのか不安ではありますね。
>>579
Windows Server 2012もSR-IOV対応ですけど、Linuxでもサポート進んでるみたいで、Kernel 3.5でサポートが入るんじゃないかと。
linux-rdmaのMLを見てたら大量にパッチがでてましたので。KVMとかXenでもいけるようになると思います。
>>580
環境用意するのが大変なのが。
InfiniHostがいければ、イニシャルコスト落とせてありがたいんですけどね。
>>581
Mellanoxが前からSRPのサポートは止めるって公言してたので、仕方無く移行先の環境の検証をしてみた感じです。
うちのiSERのTargetはOpenIndianaです。
Linuxだとtgtになっちゃうんですか。MellanoxのVSAはtgt使ってるんじゃないかと思います。
VSAはFastcache + DRDB + tgtのカスタマイズ品に、Utility載っけてる感じなのかな～と思ってますが。
個人で触ってるだけなので、VSAなんてとてもとてもｗ
FreeBSDも9.1でCTLってレイヤが出来
618:たので、iSCSIとかSRPのサポートが比較的楽に出来そうな環境になりつつありますけど、 もう少し時間がかかるのかなー。 FCoEの環境も構築できたのでそっちも試してみたいんですが時間がｗ
619:不明なデバイスさん
12/07/29 22:14:05.29 tItsHmBE.net
＞FCoEの環境も構築できた
mjd? すごすぎ。
620:不明なデバイスさん
12/07/30 19:58:26.40 2Ff7vY1X.net
>>582
Mellanox VSAってそういう構成なんですね。
ちなみにRisingTide SystemsのRTS OSというのが中々使いやすくて
InfiniBand SRPのほかiSCSI、FC、FCoEのTargetになるんですが
中身はSLES11sp2＋lio でした。
621:不明なデバイスさん
12/07/31 10:13:56.54 Y6zS0eYl.net
OFED3.1の配布msiをorcaでいじってチェックはずしてServer2012bに入れてIPoIB程度は使えることを確認しました＞InfiniHost
SMBoRDMAは、うーん、無理だろうなあ。
622:不明なデバイスさん
12/08/09 00:53:49.32 MkoNp0NV.net
すみません。教えてください。
>>463>>464を参考にOpenindianaへOpenSMをインストールしようとしているんですが
どのバージョンのSunStudio12.1を入れればいいのでしょうか？
623:不明なデバイスさん
12/08/19 08:44:19.02 uUyPva8e.net
>>586
>463さんの方法でできませんか。
624:不明なデバイスさん
12/08/31 13:54:40.29 rKTiRpiU.net
ヤフオクのいつもお世話になってる人がSFS7000D売りに出してるなあ。もうSFF8470は見切ってしまわれたのか。
625:不明なデバイスさん
12/09/02 13:19:23.27 fRMkSfMZ.net
海の外から700Ex2-Q-1（ConnectX-2 MHQH29B-XTRのOEM品）2枚を3万ちょいでゲット。
Solaris系だとまだOFED周りの準備が面倒そうなので、
半人柱方向で、FreeBSDのIBoIP上のiSCSIでESXiと繋げられるかどうか、
頑張ってみる。
626:不明なデバイスさん
12/09/02 21:15:53.78 fRMkSfMZ.net
一応FreeBSD 9-STABLE+istgtでESXi5.0のiSCSIソフトウェアアダプタと接続出来た。
ESXi上のVMからRDMでBSDのmd0をistgtで公開してるターゲットへ繋げてCDMをテストした。
Readはともかく、なんかWriteが寂しいことに。
SRP使えないのが痛いぜ・・・
OIにOpenSM入れてテストしたいけど、コンパイルからっつーのが面倒だな。
-----------------------------------------------------------------------
CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo
Crystal Dew World : URLﾘﾝｸ(crystalmark.info)
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]
Sequential Read : 930.964 MB/s
Sequential Write : 159.334 MB/s
Random Read 512KB : 448.169 MB/s
Random Write 512KB : 278.414 MB/s
Random Read 4KB (QD=1) : 24.913 MB/s [ 6082.3 IOPS]
Random Write 4KB (QD=1) : 23.375 MB/s [ 5706.7 IOPS]
Random Read 4KB (QD=32) : 299.353 MB/s [ 73084.2 IOPS]
Random Write 4KB (QD=32) : 245.707 MB/s [ 59987.0 IOPS]
Test : 2000 MB [G: 0.8% (68.9/8189.0 MB)] (x5) <All 0x00, 0Fill>
Date : 2012/09/02 19:49:20
OS : Windows Server 2008 R2 Enterprise Edition (Full installation) SP1 [6.1 Build 7601] (x64)
627:不明なデバイスさん
12/09/02 21:21:40.40 fRMkSfMZ.net
ちなみに同じVMから今使ってるFC targetへのテストだとこんな感じ。
targetはSoraris11 MEM 32G 接続は4Gb FC
ん～・・・IBのWriteがもうちょい速くならないと、
FC 4Gbの方が、楽に性能出せるって事に
628:。 こっち繋ぐだけで済むからなー。 ----------------------------------------------------------------------- CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo Crystal Dew World : http://crystalmark.info/ ----------------------------------------------------------------------- * MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s] Sequential Read : 368.957 MB/s Sequential Write : 303.013 MB/s Random Read 512KB : 339.040 MB/s Random Write 512KB : 270.316 MB/s Random Read 4KB (QD=1) : 33.117 MB/s [ 8085.1 IOPS] Random Write 4KB (QD=1) : 19.863 MB/s [ 4849.3 IOPS] Random Read 4KB (QD=32) : 370.564 MB/s [ 90469.6 IOPS] Random Write 4KB (QD=32) : 18.663 MB/s [ 4556.5 IOPS] Test : 2000 MB [E: 57.4% (6168.7/10751.9 GB)] (x5) <All 0x00, 0Fill> Date : 2012/09/02 21:15:05 OS : Windows Server 2008 R2 Enterprise Edition (Full installation) SP1 [6.1 Build 7601] (x64)
629:不明なデバイスさん
12/09/07 00:00:29.31 c+Jir48n.net
>>590
ちなみにHCAはなんですか？
630:不明なデバイスさん
12/09/07 07:51:43.59 DS6LYi1Z.net
>>592
>>589に書いてあるけど、MellanoxのOEM品。
631:不明なデバイスさん
12/09/13 06:17:42.83 pnSIRLf4.net
>>590
ストレージネックじゃないの？
何やってるか分からないのでは。。
632:不明なデバイスさん
12/09/13 07:15:04.34 2Ed8aOAj.net
>>594
先週は時間切れで、ざっくりそのあたりまでしか検証出来なかった。
BSDとESXiを直結してるんで、netperfも取りようがなかったし。
BSD機のスペック書いてなかったな。
HPのG7にE3-1240/MEM 16GiB
ここからメモリー8GiBをmd0で切り出して、テストした結果が>>594
ただ、iSCSI経由とはいえ、md0に対して>>594この値はちょっとね、
リードはそこそこいい値出てるんだけど。。。
istgt自体は10GbEでRW600MBを超えられる位の能力は有るはずなんで。
Conectx-2のファームもBSD側は古いまま(2.7.0)なんで、offloadは恐らく動いてないし、
今週末もうちょっと色々弄ってみる。
でも、BSD側のIBはぶっちゃけパラメーターほとんど弄れない？んで、
チューニングのしようも無いかも。
キャプって無かったけどATTOでもベンチは取ってみてて、
こっちだとMAX Readで1.5GiB writeで800MiB位は出てた気がする。
633:不明なデバイスさん
12/09/13 10:18:12.01 j2tnsU52.net
>>595
ESXi5だから、IPoIBでConnectModeが使えるのでそれを使って、FreeBSD側もConnectModeを有効にしてやれば
もう少しパフォーマンス出ると思う。自分はFreeBSDでIB使ってないから何とも言えないんだけど。
FreeBSDのistgtが、CTL対応してiSER対応になるか、もしくはNFSがRDMA NFS対応になるとパフォーマンス上がると思う。
うちだと、DDR接続のiscsiでOpenIndianaをTarget(RAM Disk)でLinux InitiatorでiSERつかって2GB/s近くでたような。
ESXi5だと、SRP削除されてるからRDMA NFS使うしかないんだけど、そっちは測ってないから何とも言えないんだよなー。
つか、ESXiは色々と微妙になってきてるので、IB使いたいから他のHypervisorに移行するつもりなので。
634:不明なデバイスさん
12/09/13 17:15:16.99 2Ed8aOAj.net
>>596
あれ、ESXi5のIPoIBドライバー Connected Mode対応してたっけ？
Release NoteにはCMはむりーって書いてあった気がしたけど。。。
後で読み直してみるか。
RDMA NFSはまともに動いてる報告をみた記憶が。。。
今回のvSphere5.1 vs 2012 Hyper-V見るに、勢いはHyper-Vかなぁ、とは思う。
SMB Directも試してみるかなー。
635:不明なデバイスさん
12/09/13 20:19:35.10 j2tnsU52.net
>>597
ごめん、ManualみたらUDのみサポートって書いてた。
どこで勘違いしたことやら…。
Hyper-V Server 2012は、もう出てるね。
日本語のサイトはエラーになるけど、英語サイトだとページがちゃんとあるし。
コンソールで管理か、Win8か、Win2012で管理ってのは仰々しいので、5nineのツールでいいかなと思ってる。
636:不明なデバイスさん
12/09/16 08:58:36.08 TrRscT1e.net
SMB direct、Infinihost系でも使えんかなー。SOFS(SMB 3.0)上のvhdも試してみたいのに。
637:不明なデバイスさん
12/09/16 10:06:22.19 hOa0Gxe5.net
SMB Directテストしようと思ってたけど、テスト出来るまともなストレージが無いので、おあずけ。
記憶域プールでお試しだけでもと思ったけど、パフォーマンスがあまりにもあれすぎて、
辞めた。
正直これから出てくる新しい事やろうと思うと、最低ConnectX-2以上を
持つしか無いかもねぇ、高いけど。
ConnectXですら、怪しいラインになっちゃってるし。
カード自体はebayで1port $150位？ただ・・・
スイッチは諦めざるを得ないかも。。。
638:不明なデバイスさん
12/09/16 11:49:23.78 TrRscT1e.net
スイッチはいいけど、カードも1万超えると個人実験用にはなかなか、ねぇ。
639:不明なデバイスさん
12/09/16 16:56:09.15 hOa0Gxe5.net
>>591こいつのOSをFreeBSD 9-PRに換えて、同じテストやってみた。
-----------------------------------------------------------------------
CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo
Crystal Dew World : URLﾘﾝｸ(crystalmark.info)
-----------------------------------------------------------------------
* MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s]
Sequential Read : 745.893 MB/s
Sequential Write : 202.174 MB/s
Random Read 512KB : 642.518 MB/s
Random Write 512KB : 268.240 MB/s
Random Read 4KB (QD=1) : 22.020 MB/s [ 5375.9 IOPS]
Random Write 4KB (QD=1) : 19.750 MB/s [ 4821.8 IOPS]
Random Read 4KB (QD=32) : 192.159 MB/s [ 46913.9 IOPS]
Random Write 4KB (QD=32) : 22.640 MB/s [ 5527.4 IOPS]
Test : 1000 MB [E: 0.0% (0.7/10751.9 GB)] (x5)
Date : 2012/09/16 16:15:26
OS : Windows NT 6.2 Server Standard Edition (full installation) [6.2 Build 9200] (x64)
WriteはOSの特性かもなー。FC targetはOI使ってるけど、あっちは処理Kernelだし。
せめて4kmtuでも使えれば、もうちょっと良いのかもしれないけど、BSD側がなぁ。
OI上にSM立ててやった方が、速いかな・・・
OI上でのSubnetManagerコンパイルってどっかにまとまった情報ないかな？
640:不明なデバイスさん
12/09/17 15:00:31.14 Lg7nOABX.net
SMってどこにあってもスピードにはほぼ影響しないと思う。
641:不明なデバイスさん
12/09/17 23:16:28.85 /2xVCzNo.net
>>603
いやSMの場所じゃなくて、
OIのIBスタック+stmfのiSCSIの方が、恐らく速いかなと。
直結で相手がESXiだから、OIでSM動かさないと、リンクしてくれないじゃん。
642:不明なデバイスさん
12/09/18 12:27:07.15 5/s2fFRK.net
>>600
Windows Server 2012はConnectXのドライバが標準で入ってた筈。
今検証環境がないから、試せないけど。
ただ、IPoIBだけでしか動かないじゃなかったかな？
Mellanoxが出してるドライバは、Ethも動くようにしてるドライバ+SR-IOV対応だと思う。
あと、スイッチはDDRだったらebayで24ポートのものが$500で出てるのがあるよ。
CiscoとFlextronicsの2種類でてる。ただ、CX4だから、QSFPのカードだとCX4-QSFPのケーブルが必要になるけど
643:不明なデバイスさん
12/09/20 21:18:09.53 nyzewu3I.net
ありゃ？
644:不明なデバイスさん
12/09/20 21:49:59.60 nyzewu3I.net
ConnectXもすぐdisconになりそうで手が出せないんだよなあ。やっぱりX2？
DDRのスイッチは持ってるのでCX4-QSFPのケーブルとあわせてポート単価最低2万円かあ。
今持ってるのが比較的安く手に入れられたものだし、２万も出すとE55xxの鯖買えちゃうから考えちゃうな。
645:不明なデバイスさん
12/09/20 23:32:43.44 XdMXsCpD.net
>>607
SMB Directとか新しい事で遊ばないならXでもまだいけるんじゃないかな？ただ、QSFPモデルのが良いと思うけど。
Mellanoxドライバで切られても、OFEDに入っていれば使えるし。
これから出てくる新しい事で色々と遊ぶこと考えてるなら、
X2以上のが良いかなぁ。
ドライバで何とかなるレベルの違いじゃなさそうだしXとX2の差が。
646:不明なデバイスさん
12/09/21 13:42:00.45 Sxg5Fch7.net
でも使われているチップってConnectXでもX2でも同じ、なんでしょ？（MHQAは除く）
X2は10GbeのSFP+DAをサポート、みたいに読める。
X3は明らかに違うチップみたいだけど。
647:不明なデバイスさん
12/09/21 16:09:13.28 F953lT9P.net
>>609
基本設計は同じようだけど、チップそのものは別かな。
XとX2だと消費電力自体が変わってる。
シュリンクしたのか、物理設計を弄ったのかどっちかは知らないけど。
機能自体も、XだとUDPオフロードが出来なかったり、
X2はDCBに対応出来るけど、XはDCEだけだったりと、
細かいところで仕様に違いが有って、これがどうもチップの違いみたい。
というか、UDPのオフロードが出来ないから、それに関連するところで
違いが出てるんじゃ無いかと。
なので、XとX2見た目的にはほとんど変わらないけど、
製品としてははっきりとした違いがあるね。
648:不明なデバイスさん
12/09/21 16:31:08.91 9/GU1DUz.net
メラのfirm downloadのページにPCI devidがあるんだけど、connectXとX2のQDR品比べると26428で同じだったりするんだよね。
だから同じなのかなあ、と。
もちろんブランドで機能に何らかの制限かけてあることに関しては異存はないんですけど。
649:不明なデバイスさん
12/09/21 17:25:41.87 vuWYjKbs.net
>>611
CPUで言うところの、ステッピング変更みたいな感じかと。
デバイスIDは同じだけど、リビジョンまで一緒だったっけ？
650:不明なデバイスさん
12/09/21 17:33:34.75 vuWYjKbs.net
あれだPSIDが違うわ。
ファームとかドライバは多分、こいつもこいつ見てる。
651:不明なデバイスさん
12/09/21 22:47:43.34 /5pAb0UF.net
>>612
linuxでlspciするとわかるけど、RevAがConnectXでRevBがConnectX2だったはず。
652:不明なデバイスさん
12/09/23 03:00:16.85 CfX7KLcy.net
やっとWindows Server 2012の検証環境できたので、ConnectX系のカードがどれだけ使えるか調べられる。
手持ちのMHGH28-XTCは、OS標準のドライバでIPoIBが動いた。
こいつが動くってことは、多分他のConnectX系のカードも動くと思われ。
653:不明なデバイスさん
12/09/23 07:32:47.61 95xPUAUY.net
というころはSMBoRDMAを使うためにはIPoIBが必須(discoveryはIPoIBのIPアドレス経由)ということかな。
654:不明なデバイスさん
12/09/23 09:56:29.61 QAjq1N6b.net
OI 151a5でopen-fabricsのコンパイルを試してるんだが、
どうもうまくいかない。
コンパイル自体は全部出来てるんだけど、
gmake publishだと最後にリポジトリエラー出るし、
installのみだと>>470と同じ状況で
components/open-fabrics/prototype/i386にインストールされちゃう。
componentsのビルドシステムと設定方法が理解出来ん。
何か設定が抜けてると思うんだけど、何が抜けてるのか、どこから調べりゃいいのか。。。
むーん。
これどーやったら、うまくいくの・・・・（泣
>>615
どっかに書かれてたけど、IPoIBだけなら、InfiniHostでも動いてたはず。
当然SMB Directはダメだったみたいだけど。
655:不明なデバイスさん
12/09/23 10:36:48.08 CfX7KLcy.net
>>616
SMB over RDMA 試せる様にもう一台実験マシン用意するつもりなので、結果をお待ちを。
多分、その認識であってると思います。
>>617
その辺で参考になるのはilliumosのページかなー。
URLﾘﾝｸ(wiki.illumos.org)
この辺参考にやってみるとか。すでに見てたらごめん。
MS標準のドライバでSMB over RDMAが動作するかチェックしたいんですよ。
InfiniHostは駄目なのはスレのちょっと前に出てたので、ConnectXの安いやつでどうなるか試してみようと。
656:不明なデバイスさん
12/09/23 11:45:20.19 95xPUAUY.net
>>617
orcaでごにょってinfinihostにofedの入れたけど、SMBoRDMAは動かないと思って試してないというか、
RDMA経由でSMBが使われてるかどうかわからない、んだよね。
そういう意味でconnectxでの挙動がわかるとありがたい。
657:不明なデバイスさん
12/09/23 14:07:57.62 95xPUAUY.net
メモ：ofed3.1を展開してmsiファイルをorcaで開いてlaunchconditionの該当行をdrop row。
なんとなくだけどWindows2012がRDMAで使うapiはDAPLなような気がするから、DAPLとIPoIBが入ってれば
実は動くのかもしれないです。
658:不明なデバイスさん
12/09/23 14:11:00.66 95xPUAUY.net
Windows2012じゃねーよ。Server2012だよ。おっさん乙＞おれ
659:不明なデバイスさん
12/09/23 14:45:41.77 95xPUAUY.net
メモ：www.openfabrics.org/resources/document-downloads/presentations/doc_download/222-microsoft-overview-of-rdma-on-windows.html
SMBDirectされるかどうかはnicドライバがNDKPIをサポートしてるかどうかか。
660:不明なデバイスさん
12/09/24 20:03:23.89 UUPLKt8g.net
>>618
おー、ありがとー。
OIやillumosのコンパイル方法は結構出てくるんだけど、
componentの個別コンパイルの方法が、なかなか出てこなくて。
OI151a6上で、Open-fabricコンパイルとインストールまで出来たわー。
まだカード付けてないので、テストまでは出来てないけど、動きそう。
Kernel ABI Versionがあわねーぞ！とかエラー出てるけど、
これはカード付けてないせいだな、多分。
今度の週末にカード付けて、テストしてみるー。
ってのは良いけど、このパッチ、manifestにOpenSMの設定がなーい。
ので、自前で追加するか、マニュアルでinstallしないと。
後は、init.d周りも自前で準備しないとなのかな。
FreeBSD+IBの単純なパフォーマンスは悪くはないけど、
ZFSの読み書きが重なって負荷がかかったときの反応は、まだOIのが上だなー、さすがに。
OI+FCの時より、レスポンスが悪い。BSDのほうも10辺りでこの辺改善が入るらしいけど、
10-RELEASEなんて、まだ先出し、さすがにストレージにCURRENTは使えないｗ
後は、FreeBSDのOFEDがちゃんとメンテされていくかが不安なところかなぁ。
現状OFEDを力業で動くようにしましたって感じがするし。
IBのチューニングしようにも、インターフェースが無いというｗ
661:不明なデバイスさん
12/09/25 21:02:33.50 nbxX8hZI.net
・・・QSFPって線引っ張ると抜けちゃうね。ラッチの意味ないような。うちの子だけ？
662:不明なデバイスさん
12/09/25 22:26:24.66 q7HjFOrR.net
>>624
うまく刺さってないんじゃないかと。
ラッチがちゃんと引っかかってれば
引っ張ったくらいじゃ、あれは抜けない気が。
663:不明なデバイスさん
12/09/26 09:17:09.47 TSa2aNpM.net
機構そのものは10gbe XFPと全く同じだね。ケーブル変えても同じだから本体側かあ。中古だけど安価に手に入れたからよし。
QSFPのケーブル、I2C付きとI2Cなしがあるね。なしでも問題なくリンクするけど。
664:不明なデバイスさん
12/09/26 09:26:13.73 TSa2aNpM.net
メモ：members.infinibandta.org/kwspub/resources/QSFP-Cable-Implementation-Common-Mistakes-final.pdf
665:不明なデバイスさん
12/09/26 09:50:41.38 TSa2aNpM.net
でコネクタ部よくみたら、ラッチ破損してた（w
666:不明なデバイスさん
12/09/26 09:53:07.19 QTmfJO/d.net
>>626
前使ってた環境で、ラッチが中途半端にかかった状態で力任せに抜いたのかもね。
で、メス側の引っかかる部分なめたのかも。
667:不明なデバイスさん
12/09/26 11:38:41.73 6yCGUHQy.net
SFPとかXFPとかファイバ付きのやつはファイバ抜かないとラッチはずせないの多いから破損わかるんだけど、
QSFPはわかりやすいタプついてるのになあ。まあ撤去屋さんにとっては抜ければどうでもいいのか。
668:不明なデバイスさん
12/09/28 11:25:06.79 NkU1Rp1m.net
ConnectX[2,3]、QSFPケーブルが使われていくとして、InfiniHost
CX4ケーブルは廃棄されていくのかな。ebay半年みていると品数
が減ってきたように思う。
669:不明なデバイスさん
12/09/28 12:42:38.20 vhd3R4KF.net
>>610
F
670:irmのRelaseNote読んでて気づいたんだけど、ConnectX-2以降はSR-IOVに対応してたりで、 書かれてるようにConnectXとはチップ内部をかなり弄ってる気がする。 >>619 実験しようとしたら、実験マシン1のメモリが死亡してていまだ実験できず orz 直結でやろうとしてるんだけど、実験マシン2でRAM Diskのパフォーマンスが全く出なくてそっちの原因も追っかけ中です。 Xeon E5-2620+DDR3 1333だから、30GB/sくらいメモリの速度は出る筈なのにMemtest86+でメモリの速度みると 10GB/sくらいしか出てないのですよね。確かにRAMDISK作って実験したら、2GB/sとかしか出てないので。 あと、無印ConnectX使ってWindows Server 2012でOpenSM動かそうと思い、MellanoxのWindows Server 2012用の ドライバ類をインストールしたら、途中でエラーでこけるという症状が。 そんな状況なので前途多難です orz >>631 CX4のケーブルのebayでの流通が大分減ってますね。 あと、ConnectX(1,2)系が大分安くなってきてる気が。 気になるのが、WIN_OFED 3.2でConnectXでもSMB over RDMA使えるようになるんだろうか？
671:不明なデバイスさん
12/09/28 20:40:41.47 yJEos/vJ.net
CX4(SFF-8470)は10gbeでもSASでも使われるし、淘汰まではいかないと思う。(SASはねじ式がほとんどだけど)
この前某オクで3mだが2000円で大量に出てたしね。
672:623
12/09/29 11:36:45.37 5OlnIMzE.net
カード差してopensm叩いたら、core吐いてオチタorz
Solaris系でのSMはやはり敷居が高い・・・
コンパイルは出来てるんだけどなぁ。。。
673:623
12/09/29 15:09:26.31 5OlnIMzE.net
出てたエラーはこんなの
>libibverbs: Warning: no userspace device-specific driver found for /sys/class/infiniband_verbs/uverbs0
OIなら"/devices/ib"を見に行かなきゃなのに、なんで"/sys"見に行っちゃってんだ・・・？
ソース見てもパッチはちゃんと当たってるんだが。。。
cなんて学生時代に基礎さらっとやっただけで、その後使ってないから、覚えてないよ！
てか、このスレに他に何人かOIでコンパイル試してた人いたよーな気がするけど、
動いてるんだろうか・・・
674:470
12/09/29 23:17:08.11 t7QARQO2.net
>>635
こんばんは470です。いや、もしコンパイルできたとしても障害対策できない
と判断してOIはやめました。ほんとはOIで行きたかったです。泣き、、。463さ
んには助言を頂いてありがとうございました。結局ZFS on Linuxで様子見て
います。これはこれでいいと思うのです。OIで挫折して、FreeBSDとLinuxを
比較するとLinuxの方がまだ、篤いようです。FreeBSDは疎な印象で、current
は追っかけていませんが、10系を待たないと実用にならないかも。
ESXi4.1のSANとして使っていますが、HCAはInfiniHostです。SSDをいれて
補強していますのでしばらくはいけるでしょ。
675:不明なデバイスさん
12/09/30 00:35:44.60 s4yf0m3y.net
>>636
なるほど。
こっちも、OIでSM建てるのはかなりあきらめ気味。。。
ただ、ESXiもストレージシステムとしては、FC or FCoEがメインで
IBはあまり力を入れてない＆今後のライセンスがちょっと。。。
ってのが有るので、Hyper-V他への乗り換えもまじめに検討しようかと。
ESXiがIBに力を入れられないのは、ベースになるOFEDがLinuxカーネルに
依存しすぎてて、コアに組み込むのが大変だからじゃないかと・・・
（せっかくESXiでLinuxの
676:ユーザーランド消したのにってところで） OIやBSDへの移植でも、結局苦労してるのは、カーネルインターフェース周りっぽいですし。
677:不明なデバイスさん
12/09/30 00:47:55.41 s4yf0m3y.net
MellanoxがESXi5.1の発表後すぐにIBIFのSR-IOV対応の発表をしたのも、
結局ESXi自体ではIBをまともに使えないからじゃ ないかと。
Mellanoxとしては、VM上で使ってももらえないと、
対ESXiでの商売がやりにくいんだろうなぁと、発表みて思ってみたり。
（あくまで個人的意見ですがｗ）
10GbEやCNA系のIFも当然SR-IOVに対応してる＆するでしょうけど、
すぐに大々的な発表したところは無かったとおもうし。
678:不明なデバイスさん
12/09/30 16:56:16.85 q1AgKrFW.net
SR-IOVってNICとかIBAとかでは負荷低減需要＜仮想スイッチ需要、で流行らないような。
679:不明なデバイスさん
12/10/01 09:43:42.36 xg1W/DsN.net
>>639
ESXi上で直接DCBとか、動かせないからじゃないかなぁ。
なので、SR-IOVで、VMから直接使ってもらうつもりなんじゃないかと。
ESXiのインフラとして、ENモードの10 or 40GbEだけじゃ、推しが弱いとか。
680:不明なデバイスさん
12/10/01 13:28:22.93 egqmwt5p.net
10GBeだとSR-IOVは仮想スイッチと相反するし、いまひとつ利点が感じられないけど、
IBだともともとスイッチはおばかさん（w なんでSR-IOVでも十分利点があるか。
スイッチ、進化ないなあと思ってたらFabric Collective Acceleratorとかあるみたいだけどよーわからん。
681:不明なデバイスさん
12/10/04 09:34:30.70 q8KSh1WI.net
OI上でOpenSMがうまく動かない事にカッとなって、vSphereからHyper-V 2012へ移行した、反省はしてない。
で、>>602と同じ事をやってみた。今回すでにデータが入っちゃってるので、全く一緒では無いけれど。
大分良い感じになってきた。てか、Hyper-VもVMがWindowsならかなり良い仕事するな。
WS2012のメラOFEDだとCMが使えない＆targetのFreeBSD側がUD modeで4k mtuを
使えないのでmtuは2044。これでtargetをOIに戻して、4k mtuで接続出来れば、Random 4KB辺りは
もうちょっと改善するかも？ZFS自体の能力はもうちょっと余裕有りそうなので。
シーケンシャルはそんなに変わらないかなぁ、多分。
今週末、試してみよう。
ちなみにHyper-VホストとiSCSIターゲットの間でiperfやってみたら、TCP Window 2MiBの状態で、10Gpbs弱だった。
もうちょっと出てほしいなぁ。
Sequential Read : 697.423 MB/s
Sequential Write : 406.635 MB/s
Random Read 512KB : 580.026 MB/s
Random Write 512KB : 393.651 MB/s
Random Read 4KB (QD=1) : 24.180 MB/s [ 5903.3 IOPS]
Random Write 4KB (QD=1) : 27.052 MB/s [ 6604.5 IOPS]
Random Read 4KB (QD=32) : 203.598 MB/s [ 49706.6 IOPS]
Random Write 4KB (QD=32) : 52.651 MB/s [ 12854.3 IOPS]
Test : 1000 MB [E: 45.9% (4932.4/10751.9 GB)] (x5)
Date : 2012/10/03 16:51:20
OS : Windows NT 6.2 Server Standard Edition (full installation) [6.2 Build 9200] (x64)
682:不明なデバイスさん
12/10/04 10:11:30.18 cZXIsbOX.net
UDでmtu 2044なのはInfinihostIIIとかの制限じゃないの？（彼らはIBパケット2Kまで）
connectx系なら4Kまで設定できちゃうんじゃ？
683:不明なデバイスさん
12/10/04 11:36:27.21 q8KSh1WI.net
>>643
FreeBSDにマージされてるOFEDは一応1.5.3ベースらしいから、
ConnectXで4k mtuを扱えるはずなんだけど、そのままifconfig ib0 mtu 4092とやっても
エラーで弾かれる。
で、色々調べていくと、どうもmlx4_coreに4k mtu使うぞってフラグをセットしてあげなきゃ
ダメみたいなんだけど・・・
FreeBSD側にそのフラグをセットする方法が、現状無いという。。。
Linuxで/etc/modprobe.conf辺りを使ってセットするパラメーターを
FreeBSDじゃ今のところ弄る方法がなさそうなんだよねぇ。
で、お手上げ状態。
FreeBSDのInfinibandは、とりあえず
684:動くようになりました－！って感じかな、今は。
685:不明なデバイスさん
12/10/04 12:27:36.46 cZXIsbOX.net
なるほど。sysctlでもだめそうですね。
686:不明なデバイスさん
12/10/04 12:31:42.39 Bv7qllnj.net
>>645
ソースを見ると sysctl で設定できるように、変換のレイヤーがあるにはあるんだけど、上手く動いてないっぽい。
687:不明なデバイスさん
12/10/04 12:50:05.17 cZXIsbOX.net
はー、msのセミナ用に時間あけてあったのに対応待ちで出かけられず、おじちゃんIBのスイッチに火いれちゃうぞ。
688:不明なデバイスさん
12/10/04 15:15:55.18 3db+5b01.net
>>645
なので、ソースのデフォ値を弄って、
カーネルリコンパイルしてどうなるか、
試してみようかと。
上手くいったらラッキー、駄目だと完全に、お手上げ、開発の修正待ちかなぁと。
689:不明なデバイスさん
12/10/05 09:02:26.62 kI4XMrAH.net
デフォ値修正を試したけど、ブートでカーネルが転ける。
やっぱBSDで4kは、まだ無理ぽいねぇ。
690:不明なデバイスさん
12/10/05 16:13:24.75 qtgdw3kY.net
そうなんだ、残念。
しかしQDRの試験とかしようと思うとストレージのスピードとかいろいろ気になって出費がすごいな。
691:不明なデバイスさん
12/10/05 17:01:52.61 XSHaOL9o.net
>>650
テストだけなら6GpbのSSDでRAID0組める環境あれば、まぁ、何とかなると思う。
もっと限定すれば、４GB位のRAMディスク作れれば。
そしてOI入れてみた。
#dladm show-linkprop
LINK PROPERTY PERM VALUE DEFAULT POSSIBLE
pFFFF.ibp0 linkmode rw ud cm cm,ud
pFFFF.ibp0 autopush rw -- -- --
pFFFF.ibp0 zone rw -- -- --
pFFFF.ibp0 state r- up up up,down
pFFFF.ibp0 mtu r- 2044 2044 2044
( ﾟдﾟ) ・・・(つд⊂)ｺﾞｼｺﾞｼ
(；ﾟдﾟ) ・・・(つд⊂)ｺﾞｼｺﾞｼｺﾞｼ
（；ﾟДﾟ） …！？
おぃ、Solaris 10から4k mtu使えるんじゃなかったのかYo！？
ぅー、どうしたものか。。。
692:不明なデバイスさん
12/10/05 17:36:54.84 qtgdw3kY.net
RAMディスクでいくか・・・でも肝心のボードを手に入れないとなあ。
connectX:10GBASE-CX4にもなる。
connectX2:10GBASE-CX4の他、QSA利用等で10GBASE-SFP+にも対応。
connectX3:PCIe GEN3、40GBASE-QSFP+に対応。
693:不明なデバイスさん
12/10/06 01:22:43.93 R47V3Mle.net
>>651
うちだとこうなってるけど、
pFFFF.ibp0 mtu r- 65520 65520 65520
OIのIBスタックって作りかけだから、試すならSolaris11の方がいいかも。
前にsunsolveで見たときに、Solaris11になるまでに相当IB回りに手が入ってた記憶が。
WindowsのOFEDでiSERのminiportドライバ用意してくれれば、iSCSIで十分パフォーマンス出るんだけどね。
うちは実験で、OIでRAMDSIK作ってそれをiSCSI iSERのTargetにし、
Linuxをinitiatorの環境作ってddでテストしたら800MB/s位で頭打ちになった
ddを4つ走らせると、3GB/s位まででたけど。
>>652
LinuxのKVMとXenで行くならInfiniHostでも十分いけるんだけどね。
WindowsやVMWareだと、ConnectX以降じゃないと駄目だからなー。
694:不明なデバイスさん
12/10/06 02:31:58.17 YO6CoMgL.net
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
そうかﾀﾋね
695:不明なデバイスさん
12/10/06 03:31:10.73 6h7fbKug.net
>>653
それ、CM modeだね。
うち、対向がWin Srv 2012で、まだCM対応してないんだ。
なので、UD modeなんだけど・・・
Solaris 10 10/9でUD modeの4k mtu対応って情報は見つかるんだけど、
設定方法が見つからない(´・ω・｀)
さくっとテストした感じだとやっぱ、iSCSIはカーネル処理してるSolaris系のが
良いね、特に小
696:さアクセスは。 CDMの4kランダムQ32で、BSDだと200M位で頭打ちのところ、OIだと400M超えた。 まぁ、現状でもストレージの性能からすれば、悪くない値出てるし、不都合は無いんだけど。 やっぱ11かぁ・・・けどパッチは有償だし、常用の鯖としては、 あんま使いたくないなぁ・・・
697:不明なデバイスさん
12/10/15 13:05:22.10 PlTz/tmm.net
やっぱりlinux+ZFSになるんじゃ（w
server2012の3-way mirror、5台以上なんていう奇妙な制限あるから実はraid6か、と思って試したけど、
やっぱり容量1/3になった。いらねー。
698:不明なデバイスさん
12/10/15 13:27:42.72 zycq5SmK.net
split-brainを防ぐためにメンバの過半数が生きてないといかんからね
699:不明なデバイスさん
12/10/15 13:42:07.40 PlTz/tmm.net
なるほど、そーいうことね。一旦死亡フラグ立ったら復活しないのかと思ってた。
700:不明なデバイスさん
12/10/20 22:45:37.89 JpS8HpXc.net
結局、Solaris 11ではOpenSM動くのかな。
URLﾘﾝｸ(syoyo.wordpress.com)
っていう報告があるみたいだけど、スレでは盛り上がってないよね。
701:不明なデバイスさん
12/10/20 22:47:06.44 2C+57N3U.net
>>659
Unfortunately, running opensm on OpenIndiana(Illumos) is not possible since there is no corresponding kernel driver(kernel component of OFED 1.5.3 Solaris port) on it at this time.
Oiで動き出せば多少状況が変わるんじゃね？
702:不明なデバイスさん
12/10/25 13:50:46.18 BwYCFKPN.net
つーかスイッチが高すぎる現状ではQDRはなんとも。
connectX(2)をDDRで使う、というのが実用解としてはありなのかも。
703:不明なデバイスさん
12/10/25 14:51:26.41 RXPxgTMt.net
>>661
8protなら個人でも手を出せない額じゃ無いけどな。
その金額をかけるかどうかは、別の話だけど。
704:不明なデバイスさん
12/10/28 20:30:57.41 m4SqO96l.net
URLﾘﾝｸ(shop.maxserve.co.jp)
在庫あるみたいです。