5ちゃんねる ★スマホ版★ ■掲示板に戻る■ 全部 1- 最新50  

■ このスレッドは過去ログ倉庫に格納されています

InfiniBandについて語るスレ

1 :不明なデバイスさん:2011/05/16(月) 22:25:36.24 ID:uoQmaZZN
InfiniBand(IB)について語るスレ
普通に買うと高いけど、ebayなどで安価なHCAやスイッチを購入可能です。

主要ベンダ
http://www.mellanox.com/
http://www.qlogic.com/

規格・管理ソフト等
http://www.openfabrics.org/

使用可能OS
Windows・Linux・vSphere Server・Solaris・HP-UX・AIX

参考
http://www.atmarkit.co.jp/fnetwork/tokusyuu/51ib01/01.html
http://ja.wikipedia.org/wiki/InfiniBand

2 :不明なデバイスさん:2011/05/16(月) 22:25:52.29 ID:uoQmaZZN
用語
HCA(HostChannnelAdapter)
 ホストに刺す物理インターフェイス
SM(SubnetManager)
 InfiniBandネットワークでは必須。ないと動かない
IPoIB(IP over IB)
 InfiniBand上でIPネットワークをカプセル化するためのプロトコル
RDS(Reliable Datagram Sockets)
 InfiniBandネイティブでUDPの変わりに使用するプロトコル
SDP(Socket Direct Protocol)
 InfiniBandネイティブでTCPの変わりに使用するプロトコル
SRP(SCSI RDMA Protocol)
 InfiniBand上のSCSIコマンドをカプセル化して使用するためのプロトコル
MPI(Message Passing Interface)
 メモリ分散型の並列計算をサポートするためのライブラリ。

3 :不明なデバイスさん:2011/05/16(月) 22:26:05.45 ID:uoQmaZZN
必須ソフト等
・P2Pネットワークで組む場合には、OpenSM等のSubnetManagerが必須。
・スイッチを使用する場合でも、SubnetManagerが組み込み出ない場合には
 OpenSM等を動かす必要がある。
・OpenSMはLinux・Windows用が提供されている。

ドライバ等
Windows・Linux
HCAメーカが配布してるパッケージでインストールするのと、
OFEDが配布しているパッケージでインストールするのがある。
メーカ配布のパッケージもOFEDのパッケージが元になってる。

vSphere Server
Mellanoxの場合はメーカの配布しているドライバを使用する。

Solaris・HP-UX・AIX
OSに標準でドライバが入っている。

※注意点
ファームウェアのバージョンによって対応ドライバが変わったりするので注意。

4 :不明なデバイスさん:2011/05/16(月) 22:29:11.58 ID:uoQmaZZN
IBスレが見あたらなかったので適当にまとめてたててみました。
ebayで探すと安いのは$20くらいからあるので10GbE導入するよりは安そうなんですが
iSCSI用に個人で使ってる人とか居ませんか?
個人じゃない方も大歓迎ですが

5 :不明なデバイスさん:2011/05/16(月) 23:28:26.78 ID:uoQmaZZN
InfiniBandのベンチ結果
SDR IPoIB
http://blog.systemworks.co.jp/?p=456
DDR iSER
http://blog.systemworks.co.jp/?p=492

色々条件が違うので単純に比較は出来ませんが

6 :不明なデバイスさん:2011/05/16(月) 23:30:44.66 ID:6iU56ni9
おうち用に使ってます。

IBって10GbEみたいに繋いで終了じゃないので、そこが取っつきにくいのかな?
あと、HPC関連がメインだったので他の用途だとあんまりつかわれてなかったのが大きいかも
ネタ的にほとんどでてこなかったし

7 :不明なデバイスさん:2011/05/16(月) 23:36:27.73 ID:0yxGtDwI
10GbE欲しいけど価格から躊躇してる人間としてはちょっと興味がある。
前提知識が全くないんだがiSCSIやるのに何を購入して何をセットアップすりゃいいの?

8 :不明なデバイスさん:2011/05/17(火) 00:03:37.09 ID:jzL2nqJU
>7
うちでiSCSIテストしたときは、クライアント二台だったんだけど
ハードはカードとケーブルだけでいける。
ソフトとドライバは、カードメーカかOFEDから落とせばおっけー。
OpenSMってソフト動かさないと実際にはIBネットワークには繋がらないので、
そのへん注意ね。

ただ、安いカードだとIPoIBの上でiSCSIが動くのでパフォーマンスがそれなりにおちる。
高いカードだと色々ハード側で処理してくれるのでそんなにパフォーマンス落ちないんだけどね。

で、うちはiSCSIの変わりにSRPってプロトコル使うようにした。
TargetにOpenSolaris使ったらWindowsのinitiatorから繋がらなかったけど、Linuxを使ってやったら繋がった。

ちなみに、OSは何使うんでしょ?

9 :不明なデバイスさん:2011/05/17(火) 00:14:03.80 ID:37nTlESG
InfiniBand興味あるけど、日本語の文献が少ないのがネックだな。

用語集に追加
RDMA(Remote Direct Memory Access)
 リモートDMA。あるPCからリモートのPCへのDMA転送を行うこと
iSER(iSCSI Extensions for RDMA)
 iSCSIのデータ転送をRDMAにて行うことによって速度を向上させる。

10 :不明なデバイスさん:2011/05/17(火) 00:21:52.00 ID:9sMttnxG
>>8
TargetはOpenSolarisでInitiatorはLinux(KVM)、ESXiあたりかな。
ひとまずKVMが使えればいいとおもってます。

カードとケーブルか・・・価格帯もピンキリですかね。

11 :不明なデバイスさん:2011/05/17(火) 01:08:04.82 ID:jzL2nqJU
>>10
その構成だったらOpenSolarisがカード選ぶので、そこを気をつけて。
うちは、全部MellanoxのMHEA28-XTC購入してたんですが、Solarisのドライバが対応してなくてはまりました。

ESXiはMellanoxのIBカードは対応してるので大丈夫。
LinuxもOEFDのソフトがあるディストリだったら大丈夫かと。
メーカ純正のドライバじゃないとまずいって話だったら、RHELかSLSとかになっちゃいますが

カードですが、現行のモデルのものはやっぱり高いです。
ケーブルはCX4(旧)とQSFP(新)の二種類ありますが、値段はそんなに変わらないかと。
自分買ったのはeBayの国際配送してくれる業者から買いましたが、新品カード一枚$50と中古3mケーブル1本$25くらいでした。
新しめのカードだと、IBだけじゃなくて10GbEが喋れたりすのですが、OEM物の安いので$150くらいでしたね。
あと、新しいIB環境のソフトで動かそうとすると、ファームのバージョンによっては動いてくれなかったりするので、
カードのファームとIB環境のソフトは推奨の物を使用するようにした方がよいです。(各ホスト単位の話です)

自分がテストしてみた事ならネタ吐き出してきますので。

12 :不明なデバイスさん:2011/05/17(火) 01:21:46.19 ID:jzL2nqJU
資料的な物


CISCOのInfiniBandについての説明

http://www.cisco.com/japanese/warp/public/3/jp/service/manual_j/snv/sfs7/sfsemug/appendixA/9161_04_appendixa.shtml

HPのIBでのRDMAプロトコルの説明

http://h50146.www5.hp.com/products/servers/proliant/whitepaper/wp049_060331/p03.html

UbuntuでのInfiniband環境構築

ttp://www.sepia-days.org/20110104.html

13 :不明なデバイスさん:2011/05/17(火) 02:31:39.12 ID:mxJmm7VE
最近、某通販でMellanox MHGA28-1TCの中古が2万円ちょっとで出ていたので3枚衝動買いした。
Dual port HCAなので3台をcable 3本で直結すればswitchなしでそれぞれ通信できる予定。


14 :不明なデバイスさん:2011/05/17(火) 02:33:47.34 ID:mxJmm7VE
Cableがまだ届かないので遊べない(-_-;
探した中でHPの10Gbase-CX4用(444477-B22)が安そうだったので購入。
10Gbase-CX4用だったらSDR Infinibandは確実にokなはず、
20GbpsのDDRでも多分動くと思うけど、届いて動作確認できたらまた書き込みマス。


15 :不明なデバイスさん:2011/05/17(火) 12:41:06.69 ID:AGSIiUzQ
おおお、ebayでHCAを個人輸入しようか迷っていたところにタイムリーなスレが。
月末あたりにIYHしちゃいそうだ。

16 :不明なデバイスさん:2011/05/17(火) 13:08:18.90 ID:5Mvxlyak
結構送料が掛かるから集団IYHしたいなー(チラッチラッ


17 :不明なデバイスさん:2011/05/17(火) 16:01:46.63 ID:jzL2nqJU
MellanoxのInfiniBandのカードで調べたことの個人的なまとめ

Infinihost
PCI-Xの世代のカード。eBayで$60くらいか

InfiniHost III Ex
PCIe Gen1 世代のDualPortカード。eBayで安いのは$50くらいから
型番は MH*A28
最初の*がEはSDR、GはDDR。
※メモリ付きはSolaris系で動作可。なしは動かず。

InfiniHost III Lx
PCIe Gen1 世代のSinglePortカード。eBayで安いのは$40くらいから
型番は MH*S18 MHES14
最初の*がEはSDR、GはDDR。
※Solaris系では動かず。

18 :不明なデバイスさん:2011/05/17(火) 16:37:04.34 ID:jzL2nqJU
MellanoxのInfiniBandのカードで調べたことの個人的なまとめ2


ConnectX
PCIe Gen2 対応が入る。eBayで$160くらいから
型番はMH*H**
最初の*がEはSDR、GとRはDDR、JとQはQDR。
RとQはコネクタがQSFPなので注意。それ以外はCX-4の形状。
二番目の*が1は1ポート、2は2ポート
最後の*が8はPCIe Gen1、9はPCIe Gen2。
この世代からは、10GbEも喋れたり FCoCも喋ったりで何でもあり。

ConnectX-2
PCIe Gen2 対応。eBayで$400くらいから
型番はMH*H*9A MH*H*9B MH*H*9C
ConnectXの型番の最後にAだのBだのが付いてたらConnectX-2。
チップのプロセスが変わって省電力・小サイズになってる模様。


型番の-以下三桁の意味
一桁目 Xはメモリなし、1が128M、2が256M、3が512M
二桁目 ブラケットの大きさ SはLowProfile、Tは普通のサイズ
三桁目 RoHSの対応なので(ry

19 :不明なデバイスさん:2011/05/17(火) 19:36:14.30 ID:5Nao61Kt
ESXiとoi直結して使いたいんだが、oiなどsolaris系で動くSMてあるのかな?
スイッチは高いしなによりうるさそうで。8ポートぐらいで静かなのあればそれでもまあいいんだけど。

20 :不明なデバイスさん:2011/05/17(火) 20:51:14.84 ID:jzL2nqJU
>>19
残念ながら今のところSolaris系で動くSMはないみたい
スイッチも安いやつだとSM入ってないのばっかりですわ

21 :不明なデバイスさん:2011/05/17(火) 23:28:58.84 ID:OXLsK0bK
これIsilonのハブになってるアレのことでつか?

22 :不明なデバイスさん:2011/05/18(水) 01:00:28.29 ID:cgorjo85
>>21
そうでつ。

ちなみにどちらのInfiniband Switchが付いてきました?
うちはシスコだったけど、最近変わったそうなので。

23 :不明なデバイスさん:2011/05/18(水) 01:24:36.29 ID:49SoN4a9
TopSpin 120 (CISCOSFS 7000 )はSM付いてるみたい
Voltaireо Grid SwitchTM ISR 9024 は不明
FlextronicsのシリーズはSMはなし
Mellanoxの高いのはSMがオプションでつけれる感じ

24 :不明なデバイスさん:2011/05/18(水) 03:39:58.13 ID:awUL+Jz8
>>18
これらはsolarisいけるの?

おもしろそうではあるが、自宅はESXiとoiのNFSに全部集約してしまったからSMが鬼門すぎるなあ・・・
8ポートのSM無しスイッチ買って、SM用にlinux1台立ち上げるのが自宅サーバで出来る範囲かな

25 :不明なデバイスさん:2011/05/18(水) 09:15:36.04 ID:49SoN4a9
>>24
うちではSolarisでConnectX使ってるけどIBは動いてる
ただSolarisだと、ドライバがIB以外の機能にいまのところ対応してなかったはず。

ごめん、誤解ある書き方だったね。
そういう構成だったらスイッチなくても動くよ。

PC1 -- PC2 -- PC3

PC2にDualポートのカードいるけど。
って繋ぎ方で動く筈。

使ってるOSがうちと一緒だから、週末にでも実験してみるよ。

26 :不明なデバイスさん:2011/05/18(水) 11:48:33.87 ID:FWkokymc
>>22
うちはCiscoでしたよ。

27 :不明なデバイスさん:2011/05/19(木) 00:24:20.45 ID:BcvamnEz
http://wikis.sun.com/download/attachments/216507438/David-InfiniBandSolarisDay.pdf
SolarisのInfinibandサポート状況

OpenSMをポーティングしてるって書いてあるね。
ReleaseはTBDになってるけど。

28 :不明なデバイスさん:2011/05/19(木) 08:09:35.22 ID:kAmay8pb
> この世代からは、10GbEも喋れたり FCoCも喋ったりで何でもあり。

ってのがわからんけど、物理層が同じだからファーム書き換えると
10GbEになったりIBになったりするってこと?それともシリーズ内に
10GbEのHCAやIBのHCAがあるってだけ?

29 :不明なデバイスさん:2011/05/19(木) 17:10:10.14 ID:nBF1lFc5
>>28

ドライバで10GbEやIBになる。
2ポートあると、片方はIBでもう一つは10GbEとか出来る。
ただし、対応してるOSが限定されている。
Windows、Linux、ESX(ESXi)しか対応してない。

Solarisは対応準備中だったはず。
http://opensolaris.org/jive/thread.jspa?threadID=132304

ファーム違いで10GbEのみボードもある。

30 :不明なデバイスさん:2011/05/19(木) 20:32:24.76 ID:/NhMJPL1
あらおもしろい

31 :不明なデバイスさん:2011/05/19(木) 20:41:18.70 ID:kAmay8pb
じゃあIBが勝とうが10GbEが勝とうが、勝つのはMellanoxですか。
どっちが勝つか判らんうちから安心して買えると言うのは強いなぁ。

32 :不明なデバイスさん:2011/05/19(木) 21:03:17.16 ID:/NhMJPL1
さすがにebayでも$20レベルのものはシングルポートか

33 :不明なデバイスさん:2011/05/20(金) 00:36:05.08 ID:c4daKf1Z
>>31

10GbEは実際に試してないからわからないけど、マニュアル読むと動くみたい。
あと、コネクタの変換アダプタが必要ですが。
http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=78&menu_section=36

>>32

安いのはシングルポート、IB機能だけになるよ
IBの機能だけでいいのだったら安いので十分。

ConnectXがいい人は、OEMのメーカのやつだと安くでてたりするのでそっちを狙うのもありかな

34 :不明なデバイスさん:2011/05/20(金) 09:15:01.43 ID:GBq4tJE5
個人で中古のciscoルータやスイッチ買うような人間が、ちょっと手を伸ばしやすいIB スイッチはFlextronocs sdr 8port なのかな。もちろんSubnet Managerは別途手当てとして。

35 :不明なデバイスさん:2011/05/20(金) 15:48:03.16 ID:QfWu1eCb
>>34

買いやすいのは、言われてるようにFlextronicsのF-X430066ですね。
国内じゃ定価40万位するけど、海外だと$700切るくらい。

F-X430060使ってるけど、1Uサーバのファンが全開で回ってる位の騒音だしてるので
ぶっちゃけ24ポートのはお勧めしないw

8ポートのでもファンは付いてるみたいだけど、どの位の音するのかな?
使ってる人いたら是非レポートをw

36 :不明なデバイスさん:2011/05/20(金) 15:55:28.61 ID:gkIMASDV
>>35
やっぱりそうなのね。
個人で検証したいのでsdrレベルで一式揃えようかと画策してたり。送料とか込みでサーバ抜いて10万ぐらいあれば環境が整うのか。



37 :不明なデバイスさん:2011/05/20(金) 20:32:59.58 ID:Lvj8lyIq
>>35

職場でF-X430066使ってる。
HPの2U鯖(DL380G6)と一緒のラックに入っているが、
特にF-X430066がうるさい感じはしない。
単体で音を聞けば確かに音はするが、
そんなにひどくないように思う。

38 :不明なデバイスさん:2011/05/20(金) 20:42:50.54 ID:Lvj8lyIq
ついでに書くと、QSFPのConnectX-2(MHQH29CのHP向けOEM)とF-X430066を
CX4-QSFPのhybrid cableで繋いで問題なく使えてる。もちろん10Gbpsだけど。

F-X430066は中身MellanoxのInfiniscaleでfirmwareもMellanoxからでているぐらいなので、
見てくれは怪しいけど(?)普通に動く。

39 :不明なデバイスさん:2011/05/20(金) 23:41:49.92 ID:YrxIPrqk
>>37
家にラック置くとあまりのうるささにびっくりするぜ?
マシンルームだとそこら中でファンが回りまくってるからわからないけど

40 :不明なデバイスさん:2011/05/21(土) 02:07:56.19 ID:JoUxFHPP
>>37

使ってる人から書き込みが。
意外とうるさくないですか?
F-X430066って小径ファンが三つはいってるので、爆音なのかなとも思ってたんですが。

>>39
1GbEのスイッチがL3 Switchなのでかなり音がするなーと思ってたんですが、
今回入れた、F-X430060は、それをかき消してくれるような存在感ですw

ブックマークにあったIB関連の資料

日本語資料

しーごさんところ
http://www.viops.jp/ibday02-BASIC-xsigo.pdf

あるてらさんところ
http://www.altima.co.jp/products/mellanoxtechnologies/mellanox_techinfo.html

MSのHPCでの資料
http://technet.microsoft.com/ja-jp/library/dd391828%28WS.10%29.aspx


英語資料

OpenSMでのルータ設定
https://wiki.chpc.utah.edu/display/CHPC/Ember+Cluster+OpenSM+Configuration+Notes

41 :不明なデバイスさん:2011/05/22(日) 23:59:22.02 ID:WIbvPNze
37です

>>39 , >>40
職場の奴は専用のサーバー室じゃなくて事務所の一角でつかっています。
そのため、極力静かな鯖ということでHPのDL380(+防音ラック)を選んでいたりします。
DL380G6は調べてもらえば分かりますが動作時28dBAの音圧レベルです。
これと比べて大したことないので大きめに見積もってもF-X430066は
30dbA〜35dbAぐらいじゃないでしょうか。
Z800 WorkstationのDVD読み取り中騒音が36dbAという数字で、
確かにDVDが全開で回っているのよりはF-X430066の方がマシと思えます。



42 :不明なデバイスさん:2011/05/23(月) 00:00:35.88 ID:WIbvPNze
>>41 続き

音の質からして、F-X430066のfanは割と低回転で回っているようで
メンテナンスで6台の鯖すべてを落とすと、IB switchの音が聞こえてくる
(防音ラックの前後扉開放状態で)という程度です。
爆音というレベルではないですがさすがに静かな自宅に置くとなると
多少耳障りかもしれません。

43 :不明なデバイスさん:2011/05/23(月) 00:17:16.39 ID:YyCzI+YK
Linuxで使っているので何点か情報提供。

(1)
Redhat Enterprise Linuxの場合、OFED相当のRPM packageが用意されているので
OFEDを別途入れなくてもInfinibandを使うことができる(ちょっと古いけど)。
ただ、RHEL<=5.4はbugがあるのかMPIがちゃんと動かなかった。
RHEL 5.5, 5.6, 6.0ではRHEL付属のpackageで問題なく動いている。

(2)
LinuxでNFS/RDMAを使おうと思っている人は期待しない方がよい。
大きなfileを書き込んだりするとNFS clientが止まってしまう。
OFED 1.5.2以降で安定性の問題からNFS/RDMAが外されてしまっているので、
開発元でも動きが怪しいのは認識されているっぽい。
そのうちまともに使えるようになるといいな。
NFS over IPoIB に関しては安定して動いている(が遅い)。


44 :不明なデバイスさん:2011/05/23(月) 00:37:21.14 ID:YyCzI+YK
(3)
RHEL 5.6 & 6.0の環境でConnectX-2のfirmwareを2.7.0から2.8.0にしたら
opensmがちゃんと動かない状態になった。
具体的には、rebootしたhostがあってもopensmが状態変更を検知できないのか、
reboot後にlink-upしないままになってしまう。
opensm.confで"force_heavy_sweep TRUE"にするとちゃんと動いているようにみえるが、
これが正しい解なのかはよくわからない。


45 :不明なデバイスさん:2011/05/23(月) 09:14:45.81 ID:jrVmGyIB
自宅でCisco SFS7000Pと
Mellanox MHGH28-XTCを使用しております。

SFS7000Pのファン交換をやってみましたのでご報告します。
今回採用したファンは以下の物となります。
http://www.ainex.jp/products/cfy-40.htm

交換自体は難しくないのですが、注意点があります。
工場出荷時に搭載されているTopSpinOS2.70だと
ブート時にエラー検出し、LEDが橙点灯となります。
その状態でTopSpinOS2.90に上げたところ、
エラー検出されず、LEDは緑点灯となりました。

以上、ご報告まで!

46 :不明なデバイスさん:2011/05/23(月) 18:41:12.73 ID:vKvabkkR
なんという濃い情報スレ。
これはブックマークせざるを得ない。

47 :不明なデバイスさん:2011/05/23(月) 18:44:33.14 ID:m2QhIic8
濃すぎる位だなw

うちも、ストレージ用に使ってみたいが、
今は先立つものが無い(泣

48 :不明なデバイスさん:2011/05/23(月) 19:22:30.56 ID:fivYbFgl
あやうくIB-HBAをいくつかとIBSWを買ってしまいそうになるヤバスレ

49 :不明なデバイスさん:2011/05/24(火) 00:57:03.14 ID:vePc/kCe
25です。

週末に25で書いた接続をテストしてみたんですが、カードがまずいのかOSがまずいか
わからないだけど、上手く動かなかった。動かなかったのは、NexentaCore 3.01 と
OpenSM動かしてるLinuxの間。
普段はIB Swichで動かしてるけど、そっちだと問題なしなので、カードとPCを追加で
確保して環境を変えてチャレンジしてみます。
Solaris + ESXi + SMマシンって構成のSwitchless運用の需要がありそうなので、
何とか動かしてみたいんだけど。

別でDebian sid + Windows 2008 R2 のケーブル直接続での、IPoIB・SRP接続
は普通に動いた。

自分が動かした SRP Terget はSCSTだったので標準パッケージになってないから、
自前でビルドしてインストール。
あと、Debian sidの入ってるOFEDのパッケージだと1.4.1と、ちょっと古いのでDebian OEFDの
サイトから、1.5.2のパッケージの元を引っ張ってきて、自前でpackage ビルドしてインストール
したけど、テスト環境のLinuxのDiskが遅いので150MB/sでSRPは頭打ち。
ネット上で見てると、SSDのRAID0で1GB/sとか出てるみたいだけど。

50 :不明なデバイスさん:2011/05/26(木) 23:54:59.37 ID:NnZG8Yuz
14です。

ようやくCX4 cable(HP 444477)届いた。
国内在庫がなかったのか半月ほど入荷に時間がかかった。
これだけかかるならeBay個人輸入の方が安くて良かったかも。

思惑どおり10Gbase-CX4用cableでDDR IB 20Gbpsの通信可能。
まあ、1mの短いやつだからDDRでもokなだけで、
長いとSDR IB 10Gbpsまでしか無理かもしれないけど。

※信号線1対あたりの伝送速度は
SDR IB 2500Mbps < 10Gbase-CX4 3125Mbps < DDR IB 5000Mbps




51 :不明なデバイスさん:2011/05/27(金) 00:16:16.14 ID:6SzE5UYA
RDMAのプログラミングってどうやってみんなやってるの?
排他制御関係の文献ってしりませんか?


52 :743:2011/05/27(金) 18:53:44.86 ID:t1meQjEb
サンプルコード様に頼り切りの世界。
大学のHPC方面の人なら夢で書けるレベルなんだろうな。

53 : 忍法帖【Lv=18,xxxPT】 :2011/05/27(金) 23:41:15.16 ID:QkWBmJAU
RDMAはDBやクラスタアプリから利用するものであって
直接叩くものではないと思っていた
ツールキット開発者さんですか?

54 :不明なデバイスさん:2011/05/31(火) 00:44:46.36 ID:TL6QVeno
ツールキットは作ってないけど、RDMAのゼロコピー性とか、
リモートのメモリに直接アクセスできる機能は
使えるんじゃないかと思って試行錯誤してますよ。

55 :不明なデバイスさん:2011/05/31(火) 13:52:55.91 ID:YaCOyw5G
なんぞこれ
http://www.slideshare.net/syoyo/diy-infiniband-networking

てか、ここの住人?

56 : 忍法帖【Lv=2,xxxPT】 :2011/05/31(火) 21:12:08.30 ID:aHkwviVG
>>55
4CPUで済む用途ならIB奢るより4CPUサーバを調達した方が管理運用に手間がかからなそう

57 :不明なデバイスさん:2011/05/31(火) 22:28:52.09 ID:vhMeOsQy
>>56
DYIだからねw
某テレビ局のCG作成室にもIB転がってたし、
CG屋さんてけっこう高速I/F知ってるみたい


58 : 忍法帖【Lv=2,xxxPT】 :2011/05/31(火) 22:40:43.81 ID:aHkwviVG
組立テスト管理工数に掛かる人件費を限りなくゼロと査定すればIBいいね
マザーCPUもメモリもトータルで安価だし
まるでどっかの原発みたいだなw

59 :不明なデバイスさん:2011/06/01(水) 00:14:08.66 ID:HxBFG9mg
>>54
排他制御どうしてるのですか?直接メモリにアクセスできるのはいいけど
メモリのアドレス勝手に変わってしまうし。かと言って、CASじゃ無理だし
どうすればいいの?

60 :不明なデバイスさん:2011/06/01(水) 11:13:49.40 ID:/Gb6XrGK
>>43
NFS over IPoIBって安定して動いてますか?

NFS/RDMA同様と大容量を送ろうとすると、
NFSclientがハングアップする現象に遭遇しておりますが><;;;


61 : 忍法帖【Lv=3,xxxPT】 :2011/06/01(水) 12:02:09.17 ID:nVcMMHmM
LinuxのNFS()

62 :不明なデバイスさん:2011/06/01(水) 18:08:27.45 ID:FD6RSKjP
このスレ、過疎ってるかと思ったら勢いあってワロタwww

63 :不明なデバイスさん:2011/06/02(木) 10:36:59.30 ID:t8C/X1f7
eBay見てると安いのだと$40とかであるのな
日本でも気軽にこの値段で手に入れば自作マシンで遊びで使えるのに

64 :不明なデバイスさん:2011/06/02(木) 20:12:58.75 ID:rIFcC7xE
こんないいスレあったのか

自分はMHEA28-1TCを3枚で、Windows Server 2008 R2をiSCSIターゲットにしてESXi動かしてます
やっぱりCOMSTAR使いたい!

QlogicのFCoE CNAもあるんだけど、こっちはこっちで光トランシーバが高い

65 :不明なデバイスさん:2011/06/02(木) 23:09:17.53 ID:gAmt3Mh7
ブロックアクセスだと今はSRPが安定してるね。
パラメータさえ決まれば問題なく動く。
iSERはMellanoxのVSAでないとまともに動かないと思われ。

GlusterFSのRDMAアクセス試してみた人いる?
マニュアル見ると割と簡単に構築できそうだけど。
Lustreは一般ユースでは駄目ぽ、あれは完全に計算クラスタ用途だった。

66 :不明なデバイスさん:2011/06/03(金) 23:07:56.17 ID:sPzjPH3p
>>60

NFSv4 TCP なら安定して動いています。
環境はx86_64, RHEL5.6 (ただしkernelだけRHEL6の2.6.32-71を使用)、
Mellanox MHQH29C firmware 2.8.0 です。

HPC用途なので数GBの計算結果がまとめて書き出しされたりしていますが、
hang upしたりといったことは起こっていません。

67 :不明なデバイスさん:2011/06/04(土) 07:51:45.99 ID:2zicZIpD
>>66
ありがとうございます。
こちらもNFSv4 TCPなんですけどねぇ。

Firmware2.7から2.8にあげるか思案中です。
OSのカーネルもあげてみようかしら。

こちらもHPCで、いくつかのノードから20GB程度のファイルを
複数送信しようとすると、いくつかハングアップって感じです><;;;

68 :不明なデバイスさん:2011/06/16(木) 10:12:26.34 ID:o/wylCt6
ESXiのデータストア用にZFSなストレージサーバ組みたいけど、
ZFSとSMを両立するのって難しいのかな。

69 :不明なデバイスさん:2011/06/16(木) 18:12:16.57 ID:BEzIFhGo
>>68
自分もやってみたんですがSolarisのSMが見当たらないのでどうにもなりませんでした
システムワークスさんのツイートに触発されてSolaris11でSRPターゲットを作り、Hyper-V Serverで接続したときは300MB/sを超えるスピードを出したので
ぜひESXiホストにも使いたいと思ってるんですが

70 :不明なデバイスさん:2011/06/16(木) 18:49:05.95 ID:o/wylCt6
>>69
やっぱりSolarisにSMが無いのがネックになりますか、残念です。

ESXiに各種鯖を統合、HDDはSolarisに集約、という具合にして両者をIBで直結させたら
非常にスマートかなぁと妄想してたのですけど。
ESXi単体では難しい各種アラートの処理や、UPSとの連携をSolarisに担当させたりして。

IB使うなら CentOS辺りが無難なのかな。
ただそうなるとRAIDZが…う〜む...

71 :不明なデバイスさん:2011/06/17(金) 22:39:57.10 ID:yRMUcWUs
IPoIB使うと、InfiniBandの利点の低レイテンシも損なわれたりする?

72 :不明なデバイスさん:2011/06/17(金) 23:06:54.98 ID:EbdMWyYy
そういったことをこまこまと試したいので手元にブツが欲しいのさ

73 :不明なデバイスさん:2011/06/19(日) 20:40:20.10 ID:jN7m8XFB
ebayで買った中古のF-X430066のスイッチが届いたんでレポ。
ちなみにかなりうるさい。これは自室に置いておくのは躊躇する。ML115が全開でファンがまわってるときと変わらない。
あと、ファームの更新もi2c経由でしか出来ないのかな。mlxburnで更新しようとしたけど駄目って言われる。

74 :不明なデバイスさん:2011/06/19(日) 20:55:44.17 ID:GCXklOT4
常にML115全開並ってのは凄いな。掃除機クラスか。

75 :不明なデバイスさん:2011/06/19(日) 21:42:18.05 ID:4bdRaneo
消費電力30Wとか書いてあるけど、爆音なのか?
分解してファンはずしちゃえ。

76 :不明なデバイスさん:2011/06/19(日) 23:34:45.44 ID:jN7m8XFB
>>74
確認でML115全開と聞き比べたけど、それよりかは静かだったよ。
リビジョンが何種類かあるので、上の方で書かれてる方のように最近のは静かになってるのかも

>>75
小径ファンが3つ付いてる状態なので、取っ払うのは流石に怖いw

暫く運用してみて、温度的にファン交換可能そうなら交換してみるか・・・

77 :不明なデバイスさん:2011/06/20(月) 23:00:50.14 ID:OGPYHtLA
F-X430066割とコンパクトでいいなぁ…と思ったんだけど
やっぱりSMはない…よね?

78 :不明なデバイスさん:2011/06/20(月) 23:46:23.98 ID:Npj7EgJt
>>77
残念ながら、SMはついてないですね。

79 :不明なデバイスさん:2011/06/21(火) 00:24:21.32 ID:vUI3pKms
MellanoxのサイトにConnectX-3のページがいつの間にか出来てるね。

FDR(56Gbps)のPCIe Gen3対応か・・・。
お値段どのくらいででてくるんだろう

80 :不明なデバイスさん:2011/06/25(土) 07:17:30.12 ID:NL9OWVZg
人いないなぁ...

eBayで安く手に入るとは言っても さすがにニッチすぎるか、家庭内IB。

81 :不明なデバイスさん:2011/06/25(土) 10:52:21.00 ID:vpPpvWLJ
まだ入手してないしな

82 :不明なデバイスさん:2011/06/25(土) 11:15:27.34 ID:PGof8tnT
とりあえず、IPoIB と nfs over rdma を3台くらい
試したいんだけど、どの SW とどの HCA 買えばいいかを
しりたいな
予算全部で10万ぐらい、solaris と linux で試す予定


83 :不明なデバイスさん:2011/06/25(土) 15:32:40.86 ID:my+ve5G+
>>82
個人的なお勧めは

SWはF-X430066。
Linux用カードは、基本何でも動くので気にしない。
Solarisはカード選ぶので、MellanoxのConnectX系かInfiniHost III Exのメモリ付きで。

上の構成だとebayの中古で買えば10万はかからないかと。
国内は物が少なすぎて微妙っすね。

うちで動作確認したカード
Windows・・・MHEA28-TXC,MHGA28-XTC,MHES18-XTC,MHGS18-XTC,MHEA28-1TC,MHGH29-XTC,MHQH19-XTC,MHQH19B-XTC
Linux・・・MHEA28-TXC,MHGA28-XTC,MHES18-XTC,MHGS18-XTC,MHEA28-1TC,MHGH29-XTC,MHQH19-XTC,MHQH19B-XTC
OpenSolaris・・・MHEA28-1TC,MHGH29-XTC,MHQH19-XTC,MHQH19B-XTC

ファームのバージョンとかドライバの組み合わせによっては動かない事のがあるので注意

84 :不明なデバイスさん:2011/06/25(土) 16:06:14.35 ID:4SqyV/vi
乙すぎる。

実質、この人一人でスレ回ってるんじゃなかろうか。

85 :不明なデバイスさん:2011/06/30(木) 23:37:48.88 ID:rLhDp1ew
ちとスレ違いかもしれんが、海外通販の
コツみたいのはありますか?
ボードはなんとか国内で揃えられたんだが
ケーブルが安く揃えられん・・・

86 :不明なデバイスさん:2011/07/01(金) 00:52:26.92 ID:af7NYHX5
国内だとCX4とかQSFPのケーブルは安くはないですね。
自分は中古をebayの業者から購入して、転送サービス使ってカードとケーブルをまとめて日本に発送ってやりました。
個別に買ったのだと、中国から3mのケーブルで一本あたり送料込みで$30くらいでした。
ケーブルがごついので長くなればそのぶん重量が増えるますのでご注意を。

87 :不明なデバイスさん:2011/07/02(土) 17:44:49.37 ID:R9lYTKS4
とあるスレみてたらInfinibandという言葉が出てきたので何ぞや?
と思い調べてみたら興味を持ちました。

Infiniband環境を構築するにあたり疑問点
・スイッチのSM有無によるメリットデメリット
・非力なPCにDDRやQDRのHCA搭載した場合のデメリット(CPU負荷が高くなりすぎるので他の作業ができなくなるなど)


88 :不明なデバイスさん:2011/07/02(土) 21:15:59.88 ID:ZQOVkE/d
>>87

スイッチにSMある場合のメリットは、SMの専用サーバが不要。
SMサーバのLinuxもしくはWindowsが不要。
SolarisとかESXiみたいにSMが乗っからない環境だけで構築できるのがメリット。
デメリットは、OpenSMだと色々拡張されていってるけど、スイッチのSMだとその機能拡張が
すぐには使えないのがデメリット

非力なPCってのがどのくらいか解らないけど、参考程度に
PC二台でのIPoIB計測結果。
PC1 Xeon X3430 X3420チップセット OpenSolaris 134b
PC2 Athlon X2 5000+ MCP55チップセット Linux Debian OFED 1.5.2
PC1のカードは、ConnectX使用。
PC2のカードは、InfiniHostExとConnectXの二種類で計測
接続はSDRのSW挟んでます。
iperf -w 128k -N での計測結果

PC2がInfiniHostExの場合
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 2.26 GBytes 1.94 Gbits/sec

PC2がConnectXの場合
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 4.79 GBytes 4.11 Gbits/sec

チューニングは全くしていない状態の結果です。

89 :不明なデバイスさん:2011/07/02(土) 21:35:23.88 ID:R9lYTKS4
>>88
丁寧な説明ありがとうございます。
一応以下の条件で組んでみようかと思っています。
[台数] 4台
[O S] 全部Windows
[CPU] Xeon搭載が1、他はAtomやらZacateの非力自作
[条件]
XeonPCは消費電力高すぎるのでたまにしか使用せず
メイン使用はZacatePC(常時稼動可)、他は未使用時電源断

↑の場合だとスイッチのSM有無はあまり関係なさそうですね?
SM無スイッチ+1ポートHCAx4(1台SM用サーバー化)という構成でお財布と相談してみようと思います。

90 :不明なデバイスさん:2011/07/02(土) 22:30:47.34 ID:ZQOVkE/d
>>89
Windows OnlyだとSM無しの安いSWで十分ですね。
カードサイズがほとんどPCIe x8なので刺さるかご注意を。
MHES14だけがPCIe x4です。

91 :不明なデバイスさん:2011/07/02(土) 23:41:56.97 ID:RVtffYdX
>>88
ConnectX同士でつないだときの速度がぱないな
DDRやQDRなら、OpenSM使って間にSW挟まずにConnectX同士を直結した場合は
もっと速くなるんでしょうか?

92 :不明なデバイスさん:2011/07/03(日) 03:16:49.02 ID:DH3OQKCt
>>91

現在運用中だから、今度サーバ再構成するときにでもConnectX同士でテストしてみるよ。
ただ、うちの環境は遅すぎる気がしてますがw

93 :不明なデバイスさん:2011/07/07(木) 18:41:19.59 ID:Jz1twUW9
FreeBSD CurrentにOFED1.5.3が入ってたのでInfiniBandが動くか試してみたけどダメだった orz
OFED有効にした userland と kernelのコンパイルは通ったけど、ドライバがロードできなかったよ

94 :不明なデバイスさん:2011/07/09(土) 03:21:39.93 ID:Na6r7+An
このスレに触発されて買っちゃった・・・
MHGA28-XTC、送料込みで2個 16,000円

ケーブルってSASで使ってたケーブルがそのまま使えるんでしょうか?
SASで使ってたやつはスクリュー型だけどそれはおいて置くとして。

95 :不明なデバイスさん:2011/07/09(土) 15:11:50.11 ID:jT0RsmWp
>>94
お、どこで買ったの?
結構安くね?

96 :不明なデバイスさん:2011/07/09(土) 15:29:40.79 ID:3U6rQuQD
>>94
MHGA28がそのお値段なら安いですね。

ケーブルなんですが、SASのケーブルだとDDRではリンクできなかったりするかも。
あと、カード側のラッチの固定部分とスクリューのネジ部分が干渉してつかない可能性が

別の話題ですが、ケーブルついでに、
10GbE-CX4のケーブルとInfiniBandのCX4ケーブルだとこういう違いがあったりします
http://www.gore.com/en_xx/products/cables/copper/networking/cx4/cx4_faqs.html

97 :不明なデバイスさん:2011/07/10(日) 17:25:40.63 ID:894QQ/qI
CX4のケーブル買いたいンだけど、海の向こうじゃ半端なく安いな。
goreの5mでも\2000切るんだけど。

んで、送料で\4000取られる・・・3本だと送料\7000とか言われる

98 :不明なデバイスさん:2011/07/10(日) 17:32:15.54 ID:KOanqNFR
ならば1000本単位ぐらいで買えば一本あたりの送料は安くなるんじゃね?

99 :不明なデバイスさん:2011/07/10(日) 18:31:22.86 ID:ZWi46bTu
>>97
スピアネットとかで転送しても安くならない?

100 :不明なデバイスさん:2011/07/10(日) 19:47:26.35 ID:EE1BGMqP
>>97

自分がCX-4の2mケーブルをebayで買った業者だけど、ご参考に

http://cgi.ebay.com/ws/eBayISAPI.dll?ViewItem&item=160479235633

震災の時期に被ったので到着まで一週間くらいかかったけど

101 :不明なデバイスさん:2011/07/11(月) 00:50:43.66 ID:3cmD+WIe
>>100
Thanks. 送料安いね、そこ。
ただ、SAS用のケーブルってDDRでも大丈夫なのかちょっと気になる。短ければ
>50 みたいに行けそうだけど。

102 :不明なデバイスさん:2011/07/13(水) 22:25:21.89 ID:WWfQMii3
ちょっと聞きたいんだけど
X4ってのはまさかマシンの後ろに4本ケーブルが刺さってるってこと?
1本のケーブルに4軸入ってるってこと?
まさか4本刺すわけ…と思ったがケーブルが2本刺さるカードもあるし…とか考えちゃったよ

103 :不明なデバイスさん:2011/07/13(水) 23:26:14.90 ID:q8ka45Ix
>>102
4レーン

104 :不明なデバイスさん:2011/07/15(金) 23:24:37.59 ID:YIgsY4+t
WindowsでOpenSMを開始させようとすると下記エラーが出ます。
原因お分かりになる方いらっしゃいますか?

ローカルコンピュータのOpenSMサービスを開始できません。
エラー 1063:そのサービスは指定時間内に開始要求または制御要求に応答しませんでした。

環境は下記の通り
Windows2003 32bit & 64bit
Qlogic HCA 7104-HCA-LPX1P

105 :不明なデバイスさん:2011/07/16(土) 03:02:28.32 ID:2FtEqgxo
>>104

後欲しいの情報は入れた、OFEDのバージョンとかがないと解らないです。
Qlogicのメーカ純正のOFED入れたのか、それともOFED本家のバージョン入れたか。

あと、カード自体は認識されてますでしょうか?
OpenSMのバグってか使用で、カードが無い状態だと転けるってのがあった気が。

106 :不明なデバイスさん:2011/07/16(土) 13:36:48.65 ID:IytOh3Qz
カードだけ届いてケーブルがまだ来ない(´・ω・`)ショボーン

しかし、結構な値段がする割には、見た目はしょぼいね。特にメモリなしだと。
しかもこれで10Gbとか20Gb叩き出すとか一体。

10GBaseのnicとか見た目はもっとごついのに。

107 :sagat:2011/07/17(日) 14:57:53.75 ID:ubaITYh/
>>3

>ドライバ等
Windows・Linux
>OFEDが配布しているパッケージでインストールするのがある。

OFEDが配布しているWindows用パッケージってどこからdownloadすればいいんでしょうか?
OFAのページを探しても見つかりませんでした。

108 :不明なデバイスさん:2011/07/17(日) 18:39:41.38 ID:ckeIgqlU
>>107
http://www.openfabrics.org/downloads/Windows/
これじゃないの

109 :不明なデバイスさん:2011/07/17(日) 18:50:22.92 ID:04RP8GSy
>>107

http://www.openfabrics.org/downloads/ のWinOFのしたですね。

Topのページからだとわかりにくいですけど、
メニューのOFED/OFA RECOURSES -> OFED for Linux / OFED for Windows -> Source Code Download
からいけます。

110 :不明なデバイスさん:2011/07/18(月) 17:12:06.83 ID:hxLwN5/0
このスレお見てIBに興味お持ったんですが、Windows間お直接繋ぐような使い方
でも導入に意味はありますでしょうか?WinServer2k8r2とwindows7を繋ぐ予定
です。

IBoIP、SMBという辺りがネックになって10GBaseとそんなに変わらない速度しか
出ないようなら素直に10GBase-TのNIC買った方がいいのかな、とも思ったんで。

111 :不明なデバイスさん:2011/07/18(月) 18:44:24.11 ID:o2pJezcj
>>110
SDRのIBでIPoIBだと10GbEと速度はあまり変わらないはず
ただし価格はだいぶ安い

112 :不明なデバイスさん:2011/07/18(月) 18:45:08.29 ID:qjg07J1o
>>108-109
どっちも一緒じゃない?

>>110
10GbE買うお金があるなら素直に10GbEにしたらいいんじゃないかな
SMBって時点でInfinibandの利点は価格ぐらいしか無い気がする

113 :不明なデバイスさん:2011/07/20(水) 13:25:44.78 ID:2a+1GaUt
>>112
価格面のメリットも薄いと思われ。安い10GBase-CX4なら1万切ってるし。
というか安いカードでWindows間を繋いだら、10GbEどころか1GbEとも差が無い程
度の速度しか出ないよ>IB

結局SRPとかで繋がないと真価を発揮しない辺りが個人ユーザにイマイチ普及しな
い原因ではないかと。

114 :不明なデバイスさん:2011/07/20(水) 16:43:45.27 ID:qTBnBHY+
個人向けに普及しない理由は個人向けじゃないからだと思うがw

115 :不明なデバイスさん:2011/07/20(水) 20:16:49.60 ID:+DnobmOy
InfiniBandで変わるデータセンター内通信(後編) − @IT
ttp://www.atmarkit.co.jp/fnetwork/tokusyuu/61ib02/01.html

116 :不明なデバイスさん:2011/07/22(金) 23:08:03.53 ID:gRX2QWPt
COMSTARでSRPターゲット作ってストレージにして、2k8R2つないだら感動的な速度でした
自分が担当している教室のシステムがHPのMultiPoint Server 2011とシンクライアント構成になる予定なので
ストレージの性能が必要だと思い、ストレージを別サーバにしてIB入れてSRP接続できないか提案しているところです

ていうかむしろ俺にやらせろみたいな言い方してるんですがw
でもそんな安い10GbEカードあるんですか?

117 :不明なデバイスさん:2011/07/23(土) 11:39:45.21 ID:1mXU3R0i
個人向けに普及、というフレーズはIBとは馴染まないこと馴染まないこと
まあ>>114なんだけど

118 :不明なデバイスさん:2011/07/24(日) 01:02:30.92 ID:e428/8Uh
ESXi 4.1u1での最新Mellanoxドライバの動作検証終わった。
Supported Host Channel AdaptersからInfiniHost系が消えてたので動くかチェックしてみた。
手持ちの、MHEA28-XTC MHGA28-XTC MHES18-XTC MHGS18-XTC MHEA-2TCのIPoIBでの動作は確認した。

119 :不明なデバイスさん:2011/07/24(日) 15:10:52.04 ID:ju95rzxV


120 :不明なデバイスさん:2011/07/25(月) 01:31:36.35 ID:IkZEl5nQ
SRP TargetっていうとどうもCOMSTARばかりが話題になるようですが、誰か
LinuxでSCST使ってる方はいませんか?Mellanoxのメモリ無しのHCAなんで
Solarisという選択肢が無い、、、

121 :不明なデバイスさん:2011/07/25(月) 02:02:21.96 ID:HsVPxVWL
>>120
SCST、テスト動かした事はありますよ。
WindowsとLinuxで接続して動作させてました。
HDDが余ってなかったので二台のHDDをstrip化し、volumeをそのまま使用した環境で
200MB/s弱くらいは出てました。
長時間のテストはしなかったんで安定性については何ともです。

おまけで、機材一緒のままでLinuxのnative ZFS使用して同様の環境作りましたけど、
こっちは40MB/sと一台の時より遅かったです・・・

122 :不明なデバイスさん:2011/07/25(月) 13:32:02.80 ID:PbQPyy/F
やはりこの辺で遊ぶには、OpenIndiana辺りはマトモに管理できるように
練習しとかないとダメですかねぇ。
LinuxとWinServerだけしか普段弄らないので最初のハードルが…

123 :不明なデバイスさん:2011/07/25(月) 20:48:56.37 ID:RyRRAInK
>>122
Linuxとさほど変わらないから、違いだけ調べればいいんじゃね?
SMF、ZFSあたりと、細かい所でRUNLEVEL、NFS、mountコマンド...etcだけ把握するくらいで。

124 :不明なデバイスさん:2011/07/25(月) 21:03:04.07 ID:QpgtTAbI
>>122
自分もCOMSTARを知って初めてOpenSolarisに手を出したのですが
Linuxに慣れているならなんとかなりますよきっと
ZFSの黄色い本はおすすめです

125 :不明なデバイスさん:2011/07/25(月) 22:02:39.94 ID:PbQPyy/F
>>123-124
ああ、こんな独り言にちゃんとしたレスが。有難う。
取り敢えず、ESXiの上にOIインストールして、zfs/COMSTAR使えるように練習するよ!
一段落したらMellanoxのカード買ってみようかな。

126 :不明なデバイスさん:2011/07/27(水) 22:46:13.43 ID:GbTPRwJZ
ヤフオクにCiscoのSFS-HCA-E2S7-A1が出てたんで即行で落札してきた
ebayに比べたら高いんだろうけど

Ciscoの中身はTopspinのはずだからLion Cub SDRとして使えるはず
メモリもついているみたいだしね
ただロープロなんだよな〜

127 :不明なデバイスさん:2011/07/27(水) 23:52:29.21 ID:GI1f1X31
>>126
ebayだと半値だけど、送料だの手間を考えるとヤフオクのが良い気がする。
国内の中古はロープロが多いね。2UとかでHPCやってたとこのがながれてるのかな
過去自分はebayで落札したら、チップがはがされた状態のカードが届いた事がある orz

128 :不明なデバイスさん:2011/07/27(水) 23:54:09.05 ID:GI1f1X31
参考までに、結果の一部省略してます。DDR接続でのベンチの結果
Number of qp's running 1
Number of iterations 5000
Massege size 65536
Mtu : 2048
------------------------------------------------------------------
#bytes #iterations BW peak[MB/sec] BW average[MB/sec]
2 5000 4.49 2.28
4 5000 8.98 4.56
8 5000 17.96 9.13
16 5000 17.96 15.98
32 5000 71.85 36.10
64 5000 143.70 72.48
128 5000 287.41 144.98
256 5000 287.41 276.33
512 5000 574.82 535.71
1024 5000 1149.63 780.73
2048 5000 1149.63 995.09
4096 5000 1149.63 1103.80
8192 5000 1226.27 1193.75
16384 5000 1226.27 1211.56
32768 5000 1226.27 1222.56
65536 5000 1226.27 1224.35
131072 5000 1226.27 1217.37
262144 5000 1138.51 1122.76
524288 5000 1123.30 1109.40
1048576 5000 1122.77 1108.25
2097152 5000 1123.57 1109.81
4194304 5000 1116.78 1109.91
8388608 5000 1117.90 1101.56
------------------------------------------------------------------

129 :不明なデバイスさん:2011/07/27(水) 23:55:33.38 ID:GI1f1X31
SDRだと、こんな感じ
Number of qp's running 1
Number of iterations 5000
Massege size 65536
Mtu : 2048
------------------------------------------------------------------
#bytes #iterations BW peak[MB/sec] BW average[MB/sec]
2 5000 2.25 1.82
4 5000 4.49 3.85
8 5000 8.98 8.05
16 5000 17.96 14.64
32 5000 35.93 26.34
64 5000 71.85 56.59
128 5000 143.70 134.10
256 5000 287.41 245.50
512 5000 574.81 411.93
1024 5000 766.42 667.77
2048 5000 919.70 859.63
4096 5000 919.70 823.72
8192 5000 919.70 895.42
16384 5000 919.70 904.50
32768 5000 931.34 907.27
65536 5000 919.70 914.02
131072 5000 931.34 903.33
262144 5000 929.87 888.43
524288 5000 895.22 888.63
1048576 5000 924.76 891.21
2097152 5000 913.28 889.02
4194304 5000 892.85 888.73
8388608 5000 888.80 888.44
------------------------------------------------------------------

130 :不明なデバイスさん:2011/07/27(水) 23:57:35.09 ID:GI1f1X31
上二つはWindows 7同士でRDMA使った状態での転送速度です。
ご参考までに。

IPoIBだと、tttcpで6Gb/sくらいが限界でした。

131 :不明なデバイスさん:2011/07/28(木) 00:18:36.64 ID:6P3uh70d
おお情報thx
やっぱりピーク性能にはそれなりに差があるもんだね
TopspinのPCI-Xのやつはたまーにヤフオクに出るし2枚あるけど
バスとかメモリ周りで差が出てる感じがする

とりあえず届いたらウチのMicroServerとMX130S1に載せて試してみるよ

132 :不明なデバイスさん:2011/07/30(土) 14:12:48.29 ID:9Qu0FVow
メモリレスなカードって、基本的に安価版でレイテンシとかはやや遅目っていう理解でいいのかな。
コネクション毎の管理情報の上限はメインメモリ使えるから緩いけど、性能は妥協してね、っこと?
ベンチ資料でそんなには変わりませんよとかMellanox出してはいるけど。

まとめるとビデオカードのUMAと同じ、でOK?

133 :不明なデバイスさん:2011/07/31(日) 13:29:34.33 ID:bIvYWTF/
ちょっと教えてほしいんだけど、何度かSolarisにSMが無いって話が出てるけど
たとえばSolarisにDualポートのカードつけて Linux−Solaris−ESXi とつないで
LinuxでSM動かせばSolaris−ESXi間もUPになるの?

134 :不明なデバイスさん:2011/07/31(日) 18:34:37.74 ID:tEJyCNWX
>>132
カードのメモリはバッファになるかと。AMDのビデオで例えるとSidePortメモリかな
昔のカードだと、CPUメモリに書き込みいくと処理追っつかないので、ある程度貯めて書く
最近のメモリ無しカードだと、都度書き込みいっても処理が追いつくのでメモリ無しになってると
レイテンシだけど、SDRスイッチ有り無しでこれくらい変わる
スイッチ無し
#bytes #iterations t_min[usec] t_max[usec] t_typical[usec]
2 1000 2.97 25.27 2.97
4 1000 2.97 12.95 2.97
8 1000 2.97 14.44 3.19
16 1000 2.97 8.28 3.19
32 1000 3.61 8.28 3.82
64 1000 3.61 12.74 3.82
128 1000 3.82 11.68 4.03
256 1000 4.03 15.08 4.25
512 1000 4.46 25.70 4.88
1024 1000 5.95 20.17 6.16
スイッチ有り
#bytes #iterations t_min[usec] t_max[usec] t_typical[usec]
2 1000 2.97 33.34 3.40
4 1000 3.19 10.83 3.40
8 1000 2.76 39.92 3.40
16 1000 2.97 557.46 3.40
32 1000 3.19 285.63 4.03
64 1000 3.19 24.42 4.25
128 1000 3.82 96.84 4.46
256 1000 4.25 319.82 4.88
512 1000 4.88 280.53 5.31
1024 1000 5.73 45.87 6.58

135 :126:2011/08/01(月) 12:52:14.66 ID:LYGmsPhs
特価で買ってきたCiscoのSFS-HCA-E2S7-A1
OpenIndianaにTavorドライバ入れてあっさり動いたよ
やっぱりInfiniHost III Ex(MT25208)と表示された
ヤフオクにまだあるみたい

136 :不明なデバイスさん:2011/08/02(火) 02:28:09.34 ID:BN0+z2Ml
>>135
動作確認乙
物はMHEA28-1TCかMHEL28-1TCな筈だったので動くだろうとは思ってたけど。

こっちは、MEHA28-2TCでSolaris 11 Expressでtavorの動作は確認。
SRPでWindowsと接続しようとしたらやっぱり駄目で迷走中
あと、Solaris 11 ExpressはOFEDのコマンド追加されてるって話だったので
試してみたら、libのバージョンが違うのかumad使ってるコマンドがエラーで動かないですね。

137 :不明なデバイスさん:2011/08/02(火) 02:55:18.05 ID:14tka3XQ
mellanoxのInfiniHostIIIってちょっと熱くなりすぎません?
日本のALPHAのヒートシンクが付いてたりするけど、ちょっと怖いほど高温に
なるんですが。かなり積極的に風を当てないと駄目ですかね。

138 :不明なデバイスさん:2011/08/03(水) 00:55:42.08 ID:y1JWtZCq
確かに発熱は気になるけど、もともと風洞みたいにファンの並んだラックサーバで使う前提設計だったんだろうしなぁ…
MX130S1に突っ込んだやつもかなり熱持ってるけど、アレイコントローラと五分五分なんで
まあその程度で壊れるやわなシロモノではないだろうと割り切ってる

ところで特価のCisco SFS-HCA-E2S7-A1だけど、ESXi4.1u1もMellanoxから落としてきたドライバで余裕でした

139 :不明なデバイスさん:2011/08/03(水) 16:18:05.52 ID:AJBYXtWy
何も考えずにヤフオクの「Cisco SFS-HCA-E2S7-A1」に
入札したけど、ケーブルとかわかってないんだけど。
どうしたらいいんだろう(´・ω・`)
とりあえず 2台の間を繋ぎたいだけだから、
適当な長さの CX4 のタイプ買えばいいのかな

140 :不明なデバイスさん:2011/08/03(水) 20:28:52.21 ID:9GEihJbI
>>133

その構成でやってみたけど、自分の技量では動かせなかった orz
この辺かなーって資料は、
http://www.mellanox.com/pdf/MFT/MFT_Windows_user_manual.pdf
のAppendixDが参考になるかな。

>>139
買うならスクリューじゃなくてラッチタイプのCX4ケーブルを買うといいよ。
上の方では10GbE CX-4用のでも動いたって動作報告あったけど

141 :不明なデバイスさん:2011/08/03(水) 21:49:19.46 ID:y1JWtZCq
>>139
SFF-8470というコネクタタイプのSASマルチレーンケーブルでも使えます
というかほとんど同じもの
自分は秋葉原のオリオスペックというお店で買ってきました

142 :不明なデバイスさん:2011/08/04(木) 08:15:43.63 ID:zLfXnY8+
olioは地味にぼったくりだからなぁ

143 :不明なデバイスさん:2011/08/04(木) 13:56:08.98 ID:S9scllI9
ケーブルならOTTOで買えるんじゃないの
前にMHEA28-1TCが置いてあったことがあるし

144 :139:2011/08/05(金) 21:27:10.66 ID:qsmBFmwN
皆さんありがとうございます。
SFF-8470 のケーブルは使ったことがあるので、
イメージが出来ました(`・ω・´)。
土日にでもケーブル探しに出かけてみます

145 :不明なデバイスさん:2011/08/05(金) 23:47:22.20 ID:O+9arxti
Solaris 11 ExpressのSRP TargetとWindows 7のSRP Initiatorでの接続動作確認。
WindowsのドライバをMellanox純正使わず、OFEDのWinOF 2.3でいけた。

次はSRPブートにチャレンジしてみるつもりだけど、失敗しそうだな。

146 :不明なデバイスさん:2011/08/08(月) 20:44:41.69 ID:0ivpUn1m
ワットチェッカーを手に入れたのでスイッチの無負荷消費電力測ってみた。

F-X430066(8Port) 22W
F-X430060(24Port) 26W

あと、新品のF-X430066はかなり静かでした
自分が買った中古のF-X430066がファンが終了しかけてるだけだっというオチ orz

147 :不明なデバイスさん:2011/08/12(金) 00:33:13.28 ID:I8VfOrHx
個人で買うようなデバイスじゃないだろ。業務用のサーバー用途だろ?

148 :不明なデバイスさん:2011/08/12(金) 10:16:47.64 ID:kDFd2bwC
>>147
自宅の鯖2台を直結してLAN高速化とか、個人でも中々便利

149 :不明なデバイスさん:2011/08/12(金) 10:32:26.66 ID:G5ROjnAY
うん、それは個人用途のレベルを超えていると思うよ

150 :不明なデバイスさん:2011/08/12(金) 10:41:59.16 ID:x6BXOvGg
違法行為じゃあるまいし、個人でどんなパーツ買って使おうが、
他人にとやかく言われる筋合いはないな。

151 :不明なデバイスさん:2011/08/12(金) 10:53:44.92 ID:HW8W/uhM
個人の趣味に業務用だからどーたらとか寝言ほざいてるバカがおる

152 :不明なデバイスさん:2011/08/12(金) 20:58:56.21 ID:LthufKGa
>>149
じゃあ、ファイルサーバーに置いた自炊エロ本のページめくり超高速化のためなら?

153 :不明なデバイスさん:2011/08/14(日) 02:32:40.79 ID:eeeEG5Sh
>>148
その使い方じゃあまり幸せになれない
DDR同士で直結してるけど、netperfで2GB/sしか出ないし、エクスプローラで
のファイル転送に至っては1000Base-Tに毛が生えた程度の速度。

154 :不明なデバイスさん:2011/08/14(日) 05:07:52.10 ID:Uwh/5Esp
2GB/sでれば万々歳だと思うけど。

155 :不明なデバイスさん:2011/08/14(日) 14:15:46.50 ID:UWMI6Ovp
>>153
ドライバをWinOF 2.3に変えて、IPoIBドライバの詳細設定でConnectModeをenableにするともう少しパフォーマンス上がるかも。
うちだと、sleep時にBSOD出るようになっちゃったが。

156 :不明なデバイスさん:2011/08/15(月) 09:10:08.40 ID:KKs7kM1K
>>153
DDRは20Gbpsといっても実質16Gbpsだろ?
それで2GB/sなら完全に出し切ってる。

2Gbpsの間違いなら、SDR直結でももっと出てるので、
性能が出し切れてないような。

157 :不明なデバイスさん:2011/08/16(火) 20:24:10.48 ID:PTWJ9/Uc
2GB/secか
夢がひろがりんぐ

158 :不明なデバイスさん:2011/08/26(金) 10:44:43.01 ID:nDP7RB3j
age

159 :不明なデバイスさん:2011/09/04(日) 00:06:48.20 ID:45Fw6R6/
IPoIBでHyper-V LiveMigration試してみた。

鯖:HP Proliant ML115 G5 [PhenomU X4 940BE/8GB/160GB] ×2
HCA:MHGS18-XTC
ドライバ:メーカーサイトにあった最新

Hyper-VクラスタのLiveMigration時で平均320MB/S
netperfで計測したら 1.3GB/S位は出ているらしい
マイグレーションはCPUとメモリがネックになってるのかも

メインのクラスタがi7-860 DDR3 16GBなので
@2枚買ってきて、4枚で試してみる予定



160 :不明なデバイスさん:2011/09/04(日) 01:30:26.98 ID:cFyRtlB5
>>159
うお、速い。
ML115 G5でそれだけスピードでるんですね。
うちもDDRだけど、netperfでそこまでスピード出てないです。
ちなみに、ドライバはMellanoxのでしょうか?

161 :不明なデバイスさん:2011/09/04(日) 06:21:38.13 ID:45Fw6R6/
>>160
Mellanoxのサイトから落としてきたやつです。

MLNX_WinOF_VPI-2_1_3_win7_x64


162 :不明なデバイスさん:2011/09/04(日) 22:28:33.38 ID:45Fw6R6/
二枚届いたので、IPoIBでHyper-V LiveMigration試してみた。

鯖:HP Proliant ML110 G6 [i7-860/16GB/160GB] ×4
HCA:MHGS18-XTC
ドライバ:>>159と同じ MLNX_WinOF_VPI-2_1_3_win7_x64

とりあえず、二台で試した結果

Hyper-VクラスタのLive

163 :不明なデバイスさん:2011/09/04(日) 22:37:35.17 ID:45Fw6R6/
途中で送信してしまった…


二枚届いたので試してみた。

鯖:HP Proliant ML110 G6 [i7-860/16GB/160GB] ×4
HCA:MHGS18-XTC
ドライバ:>>159と同じ MLNX_WinOF_VPI-2_1_3_win7_x64

とりあえず、2ノード直結で試した結果

Hyper-VクラスタのLiveMigration 380MB/s〜530MB/s 結構幅がある、ML115 G5よりは少し早くなった
netperfで計測したら 80MB/s位とやたら遅い、トラフィックモニタ見ても何か壁に当たってる感じ、ぴったりそこで止まる。

メモリ13GBのゲストOSをLiveMigrationしたときの時間、5回実行して平均。
IPoIB:44秒
GBE:130秒

予想より遅いので色々弄ってみたものの変わらず
今度別のドライバで試してみる。

164 :不明なデバイスさん:2011/09/08(木) 00:24:23.92 ID:GjXTbwgh
ヤフオクVoltaire の10Gスイッチが49800であったので迷わずぽちってしまった。
SM搭載のISR9024S-M
ケーブルも6本CX-4が付属
関税やら運送費考えると、海外から取り寄せるよりおそらく安いかなぁと
今ケーブルとカードいつもより出品されてるので、チェックしてみるといいかもしれない。

カードは大量にあるので、使用感は別途レポート予定です。
NexentastorあたりでのSRPTargetにて環境構築予定
もしかしたらVMにのせてその上で動かすかもしれない。

165 :不明なデバイスさん:2011/09/08(木) 05:29:32.28 ID:af8CHQGe
>>164
うちはSFS7000Dを海外からぽちっと行きましたがなんだかんだで5万くらいでしたね。
SM搭載してるけど、未だにこっちは設定してないですわw
マニュアル読んでる最中なので。

丁度テストでNexentaCoreでSRPとiSCSIの環境作ってるのでレポートしますねん。
zfs stripeのシーケンシャルリードで1.2GB/sくらいのストレージが出来たのでw
クライアントはWindowsになるかと思いますが。

166 :不明なデバイスさん:2011/09/10(土) 17:52:05.44 ID:+Gl+1Y5W
Solarisの絡みの話になるのでここに書くのはちょっと気が引けるのですが、
Solaris系でSRP Target使いたいけどわからんって人向けに、とりあえず使えるようにする方法書いときます。
当方が使ってる環境がNexentaCoreなので、そこら辺は適時読み替えをお願いします。
SE11とかだと、標準ではsrpのドライバは入ってなかった筈なので、
@solaris:~# pkg search -r srp
INDEX ACTION VALUE PACKAGE
pkg.summary set Sun SRP COMSTAR Port Provider pkg:/driver/network/srpt@0.5.11-0.151.0.1
このドライバ入れてやりましょう。

Sunの使い方のページでみたい人はこっちでどうぞ。
http://wikis.sun.com/display/OSOLDesign/How+to+Enable+the+SRP+Target+Service

InfiniBandのHCAでsrpが認識されているかチェック
root@nexenta:~# cfgadm -al | grep -G ib::srpt
ib::srpt,0 IB-PSEUDO connected configured ok

SRP TargetもCOMSTARの一部なので、ターゲット上げてやる必要があります。
root@nexenta:~# svcs -a | grep srp/target
online 23:55:20 svc:/system/ibsrp/target:default

になってればOK
なってなければ、
root@nexenta:~# svcadm enable -r ibsrp/target
で有効にしてやりましょう。

SRP Targetが動作しているか確認
root@nexenta:~# stmfadm list-target
Target: eui.0002C903000XXXX

つづく

167 :不明なデバイスさん:2011/09/10(土) 18:11:38.17 ID:+Gl+1Y5W
Target: eui.0002C903000XXXX
の、eui.以下の部分ですが、NODE GUIDになっているはずですので、ご確認を。
cfgadm -al | grep hca
で出てくる数値と2C以下のところは一緒な筈です。

たとえばポートが複数あるカードでもtargetとしては一つしか出来ませんのでご注意を

SRP Targetの場合iSCSIの場合と違って自動でTargetが作成されます。
あとは、iSCSIと同様にtarget-groupやviewやluを作成してやれば動作します。

注意事項
VMwareESX等では、そのままInfiniBandのドライバを追加してやれば、SRPのTargetに
接続できますが、Windowsの場合はOFEDの配布している最新の2.3を使用しないと
接続できません。また、うちの環境での話ですが、同一IBネットワーク上にSRP targetが
複数存在している場合には複数同時には使用できませんでした。
使用しないSRP targetのibsrpドライバを無効にしてやると動作はしました。

ちなみに、Windows上で最新のOFEDのドライバを使用しないと接続できないのは、
Solaris自体のバグです。OI最新/SE11でも直ってないみたいなのでだれかバグ報告をw
http://src.opensolaris.org/source/xref/nwam/nwam1/usr/src/uts/common/io/comstar/port/srpt/srp.h

49 SRP_IO_SUBCLASS = 0x690E

49 SRP_IO_SUBCLASS = 0x609E
に修正するだけなんですけどね。

OFEDのドライバ側にSolarisのSRP Targetの場合は間違えた値で処理するように変更が加えられてるので
動作するようです。

168 :不明なデバイスさん:2011/09/11(日) 08:44:15.26 ID:QOrC8UPf
>>165
opensmはトポロジの構成ポリシを選べると聞くけど、SFS-7000のsm設定は
あんまり設定項目自体がないので機能が低いとかあるんですかね?
IBでスイッチングポリシがどう決まるのかイマイチわかってない。

169 :不明なデバイスさん:2011/09/12(月) 21:33:50.69 ID:pTpZeoUy
>>168
自分、そのこら辺まで追っかけれてないので、いまいちよくわかってないのですが、
ファットツリーとトーラスとかのアルゴリズムのお話ですよね?
最近ofwのMLで話題になってた3Dトーラスのアルゴリズムが云々てのがありましたが。

一応、この辺のことなのかなーと言う資料は見つけたので、はっつけときます。
http://www.cisco.com/japanese/warp/public/3/jp/service/manual_j/snv/sfs7/sfsemug/appendixA/9161_04_appendixa.shtml
これの「Subnet Manager のルーティング」って辺りですかね?

170 :不明なデバイスさん:2011/09/14(水) 10:44:22.16 ID:jclKgVIV
それそれ。まだ高速バカハブ状態でしか使ってないので、
routing/partition/virtual-laneをもっと真面目に詰めてみたい。

171 :不明なデバイスさん:2011/09/15(木) 00:03:58.01 ID:5IxCN9J3
すまない、このスレみたらInfinibandなるものが欲しくなってきた!
まだ調べ始めたばかりなんですが、とりあえずHCAとケーブルとSMが
必要なのはわかった!で、最小構成で検証しようとすると…

・SDRかDDRなHCAが2枚
・CX4なケーブルが1本
・Windowsが2台/もしくはLinuxが2台/もしくはWindowsが1台とLinuxが1台

でいずれか一方にOpenSMを入れて、2台をケーブルで直結すれば接続、
どちらかをストレージサーバに見立てて、もう片方をクライアント
にって感じで可能なのかな?

172 :不明なデバイスさん:2011/09/15(木) 00:06:24.10 ID:5IxCN9J3
171だけど、連投疑問ですまない+いまさらなんだけど >>25 の構成例って

PC1<---+
    |
    +--->P
       C
    +--->2
    |
PC3<---+

・PC1とPC3は1ポートのHCA搭載
・PC2は2ポートのHCA搭載で単なるIBスイッチ兼SMになってる
って理解でおk?

173 :不明なデバイスさん:2011/09/15(木) 04:42:23.32 ID:yVdqg89L
Windows2台を直結して使っても大して幸せになれない
現状、SRP targetが動くOpenSolaris系かLinusを1台含めないと大して恩恵はない。

174 :不明なデバイスさん:2011/09/15(木) 07:30:43.61 ID:c9Wr80wJ
Linusか・・・どうやって調達しようか。


175 :不明なデバイスさん:2011/09/15(木) 22:51:05.27 ID:h2p44VeH
>>172
25だけど、ごめんよー単純にそのままだと動かなかった。
Switch less InfiniBandでググれば事例がでてくるけど、
設定の細かいところまでは出てこなくて、動作のさせ方がいまいちわからんままなのよ。

ちなみに、最低限の構成は171の構成で動くよ。

>>173,174
吹いたわw

176 :不明なデバイスさん:2011/09/16(金) 00:09:46.55 ID:5Gp5R8c6
171です、ありがとー!
>>173 とりあえず最初は繋げてみるだけって検証かなーと思ってたんで、その後
は、確かにZFSを混ぜた構成を作ってみたいね。

>>175 Switch less InfiniBandのポイントありがとー!ちょっと調べてみる
よ!あと一応2台で最低限動かせるって分かって、助かりました!

>>174 同じく吹いちゃったよw



177 :不明なデバイスさん:2011/09/16(金) 20:57:17.74 ID:5YKcju3m
>>167
どっちにしてもSolarisとVMwareESXiの組み合わせじゃSM載せたスイッチ必要なんでしょ?

178 :不明なデバイスさん:2011/09/17(土) 01:21:48.18 ID:NnPwrZft
>>177
そうです。
って、最新のSolaris 11だとOpenSM入ってたりするか見てみるわ。
InfiniBand関係の修正が大量に入ってたので。

179 :不明なデバイスさん:2011/09/17(土) 07:23:58.22 ID:e9DYcXZA
InfiniBandのポートが8個ぐらいとGbEポートが32個ぐらいついたスイッチってないの?

ストレージサーバーをIBでつないで、クライアントをGbEでつなぎたいんだけど

180 :不明なデバイスさん:2011/09/17(土) 16:38:27.50 ID:AqMmxQix
ストレージならIBよりも、FC(FCoE)のほうが一般的じゃないか?

181 :不明なデバイスさん:2011/09/17(土) 17:28:38.24 ID:cCc0qfdC
>>179
そういう製品ある。
ただ、そこまでポート数は多くないけど。
多いやつもあるっちゃーあるが、1Uとかのサイズじゃなくなるよw

http://www.servants.co.jp/mellanox/products/gateways/index.html

ちなみにIB/10GbE/FCをブリッジしてくれる。
ただ、お値段は7ケタだったような

182 :不明なデバイスさん:2011/09/17(土) 17:42:43.38 ID:HZYfwgus
エンタープライズはともかく,1Gbps越えのローカルな通信だと
intel の lightpeek とかの方が現実的なコストで出来そうな気も

183 :不明なデバイスさん:2011/09/17(土) 18:59:30.98 ID:gXeLKjbG
>>165
NexentaCoreでinfinitband使う場合、やっぱメラのカードだとメモリ付きじゃ
ないと駄目なんでしょうか?メモリなしのXTCでも行けますか?

184 :不明なデバイスさん:2011/09/17(土) 21:17:46.55 ID:NnPwrZft
>>183
メラノックスの製品で言うと InifiniHostEX・Lxのメモリなしは動きません。
ConnectX系のメモリなしのは普通に動きます。てか、メモリなししかありませんが。

>>179
181だけど、業務での話よね?
よく考えてみたらら、10GbEのカードと10GbEが4ポート使えるスイッチでやるのが現実的かと。
FCoE使うとでは無ければ HP ProCurve Switch 2910al とか、DellのPowerConnect 6224とかで
やると比較的安くはなるけど。

個人だったら、そのクラスの中古を頑張って漁るんだ

185 :不明なデバイスさん:2011/09/21(水) 23:54:19.23 ID:hITJymLj
FreeBSDで物凄いpps性能のスタック作ったとか話聞いたから、そいつにIB-10GbEのルータとかさせたらいいのかも。

DMA機能あるんだからNIC間で勝手にフォーワーディングとか設定できないのだろうか。

186 :不明なデバイスさん:2011/09/21(水) 23:55:48.70 ID:hITJymLj
ConnectX2あたりからそんな機能ないのかな。どうもこの世代から色々断絶があって泣いてる。

187 :不明なデバイスさん:2011/09/24(土) 02:42:44.94 ID:OVoOXtwQ
>>186
ConnectX系だといけそうだけど、BridgeX売ってる関係上やらないんでしょうねー。
BridgeXのチップ自体の単体販売してるけど、PCIeのコントローラ付きで15W弱の
消費電力だったから、PCIeカードにすることも可能な気が。

188 :不明なデバイスさん:2011/09/24(土) 02:46:26.93 ID:OVoOXtwQ
あと、Solaris 11 Early Access版でIBの機能増えてるか試してみた。
残念ながら、OpenSMの機能は未実装だった。
あと、メモリ有りのInfiniHost Exは、動作した。
メモリなしのでも、週末にでも試してみるよ。
(たぶん、OracleがメモリなしのInfiniHostを売ってないので無理だとは思うけど)

189 :188:2011/09/28(水) 19:40:03.97 ID:ucm47yZS
Solaris 11 Early Access 版でも、メモリなしのInfiniHost Exは駄目ですな。
デバイスドライバで認識されないわ。
OpenSolaris 134bとかだと、ドライバのアタッチされて、このカードでは動かないよメッセージでてたんだけど
それすらでなくなってるね。

190 :不明なデバイスさん:2011/09/30(金) 15:24:34.35 ID:PRUUnQBj
SRPとかで使うんじゃなくてIPoIBしか使わない場合、ConnectX世代のカード
だと全然速いんでしょうか。

もしそうなら、10GBaseのNIC買う代わりになるのかなぁ、と思ったんですが。

191 :不明なデバイスさん:2011/10/01(土) 01:40:33.57 ID:vH/wN4Ss
>>190
IPoIBが無茶苦茶速くなるって事も無いかな。
家だと、チューニングなしで1.5倍くらいにはなったけど。

ちなみに、ConnextXは10GbEのNICにもなるよ。
ファーム上げてやらないと駄目だったかもしれないけど。
QSFP->SFP+の変換のアダプタがMellanoxから出てるんで、それ使えばSFP+で接続可能。
国内だと結構良い金額してるけど、海外で買う事に抵抗なければ$50弱くらいで変換アダプタ買えるし

192 :不明なデバイスさん:2011/10/01(土) 01:43:59.20 ID:vH/wN4Ss
肝心のスピード書いてなかった。
InfiniHost ExからConnectXに変えたら 4Gbit -> 6Gbit くらいにはなったよ。

あと、変換アダプタはConnectX-2対応って書いてた気がする。
ConnectXでは動作するかはちょっと解らないので博打になる可能性もあるからご注意を

193 :不明なデバイスさん:2011/10/05(水) 09:51:57.22 ID:t5R12IRJ
connectX世代だと中古漁りでも10gbeカードと大して値段変わらん気がするけど。
10gbeカードもメーカでスピードまちまちなんで、スピードの面で10gbeに期待するのはまちがいかと。

194 :164:2011/10/07(金) 21:23:33.74 ID:BJUPjlLf
ひとまず>166のおかげでOpenIndiana+napp-itで
SRP Targetの構築はできたけどWindows側のSRP InitiatorのIDの見方が不明
HostGroupとTargetGroupで接続制御したいので、HostのInitiatorIDが確認
できたらなぁと、何かしらのコマンドで見れるのかしら?

eui.xxxx の形式なんだろうけど情報がない><

もしかして、Target作ったときのIDと同じ?
(同じサーバでOS入れ替えて同じカード確認しているので)

わかる人おりますか?

カード:InfinihostVEx DualPort
OS:Windows2008R2 
WinOF:Ver2.3 SRP Driver導入済み


195 :不明なデバイスさん:2011/10/07(金) 21:52:15.20 ID:HxWg2i0P
>>194

Windows側じゃなくて、OpenIndiana側で良ければ
# stmfadm list-target -v
で、接続しているデバイスは解ると思う。

多分、eui.xxxxxのxxxx部分は、Windows側のNode GUIDじゃないかな?
windows 側から確認したったら、ibstatコマンド叩いて確認すれば解るよ。
0x1234567890123456 形式で表示されるので。

196 :不明なデバイスさん:2011/10/08(土) 15:03:48.47 ID:d+p2xxZ/
Fibre channel のスレ無いのでこのスレでおk?

ストレージサーバー5台ぐらいとクライアント(GbE)100台ぐらいをつなぐのに Fibre channel を
考えてるんだけど最近 FCoE を知りました。

FCoE カードがついたストレージサーバーとFC+CEEのスイッチさえあれば簡単に構築出来るの?



197 :不明なデバイスさん:2011/10/08(土) 15:28:34.73 ID:S6UWp2fC
どう考えてもスレチ
まだSCSIスレの方がマシだと思うが、それでもスレチ認定だろうな

198 :不明なデバイスさん:2011/10/08(土) 21:32:31.11 ID:GfdeDDww
>>196

FCoEなら、こっちのが良いかな
http://hibari.2ch.net/test/read.cgi/hard/1208537897/

199 :196:2011/10/09(日) 00:47:35.70 ID:egi+JrWx
>>197
スマン
でもFCスレって無いんだよなあ

>>198
ありがとう
そちらのスレにポストしてみるよ

200 :不明なデバイスさん:2011/10/09(日) 15:44:57.09 ID:QU9miVLk
>196 テラカワイソス(´・ω・)

563 : 不明なデバイスさん : 2011/10/09(日) 00:47:47.79 ID:egi+JrWx
Fibre channel のスレ無いのでこのスレでおk?

564 : 不明なデバイスさん : sage : 2011/10/09(日) 15:36:54.47 ID:cAvJgjP0
>>563
おkじゃないので、お帰りください


201 :不明なデバイスさん:2011/10/09(日) 16:39:33.92 ID:0roytR2h
メーカー依存話だったら通信技術のメーカースレでやれば良いとは思うがそうでもなさそうだしな

202 :anonymous:2011/10/11(火) 13:23:07.14 ID:oPjvvx4y
FiberChannelのスレ、って昔みた気がするんだけど。通信技術板かな。

203 :不明なデバイスさん:2011/10/13(木) 03:26:54.15 ID:CT6+S7kD
SCST+SRP targetとかtgt(Linux SCSI target framework)+iSERとか試してみたい
けど中々時間が取れない・・・



204 :不明なデバイスさん:2011/10/13(木) 11:47:00.71 ID:5RgjVfbP
おおお

https://docs.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/6-Beta/html/6.2_Release_Notes/storage.html

>>iSCSI extension for RDMA (iSER) initiator and target
>>iSER initiator and target is now fully supported.
>>Red Hat Enterprise Linux can now function as an iSCSI initiator
>>and storage server in production environments that use
>>InfiniBand and where high throughput and low latency are
>> key requirements.

205 :不明なデバイスさん:2011/10/23(日) 18:35:14.87 ID:Mgpu9bCC
Dual port な HCA を使って冗長構成を取ってる人っています?
資料を探しても Cisco のコンフィギュレーションガイドが出てくるばっかりで。

具体的には ConnectX を積んだ PC 2台を2本の線で直結して、IPoIB でネットワークを作ろうと思ってる。
このときに1本が断線しても通信が続いてくれるのが目標なんだけど・・・・・

206 :不明なデバイスさん:2011/10/23(日) 23:14:33.00 ID:LQaf9qNz
>>205
OSはなんでしょ?
LinuxだったらIPoIBのBondingの設定はMellanoxのマニュアルに載ってたけど。
WindowsやSolarisだとちょっと解らないです。

207 :不明なデバイスさん:2011/10/24(月) 04:40:36.75 ID:62XHfwnu
IBってBondingできるの?!

208 :不明なデバイスさん:2011/10/24(月) 18:52:44.34 ID:+eooRvaQ
>>207
自分はそこまで突っ込んでやってないけどIB自体の冗長構成も出来たはず。
206の話はあくまでIPoIBでの話っす。
ググったらでてきた。アルテマさんのところの資料だけど
http://www.altima.co.jp/products/mellanoxtechnologies/ib-bonding.html

209 :206:2011/10/24(月) 19:12:45.64 ID:lzrwZgjB
>>206
ありがとうございますー!
本当は Open Indiana 同士がいいんだけど、SM をどうしようもないんで
片一方は Linux の予定です。

確かに改めて調べてみたら IPoIB だと Bonding をサポートしてるという話が
ちらちら出てきたので、それを切り口に、もう少し探し回ってみようと思います。

なんか出てきたら報告しますねー

210 :不明なデバイスさん:2011/10/24(月) 20:46:22.12 ID:+eooRvaQ
>>209
OpenIndianaでも多分IPoIBのBondingは出来るんじゃないかな。
その辺できるようにIPoIBのドライバに大分手が入ってるから。
うちはNexentaCoreなのでその恩恵には預かれないけどw

211 :不明なデバイスさん:2011/10/24(月) 21:46:52.65 ID:+eooRvaQ
210に追加
http://download.oracle.com/docs/cd/E18476_01/doc.220/e18478/network.htm
を見る限りSolaris11系だと、IPMPでは動くみたいですね。

212 :不明なデバイスさん:2011/10/30(日) 21:16:46.77 ID:cjjsNR0s
WinOF 3.0-RC1 出てるね。
IPoIBがConnected Modeが正式にサポートされてる。
これでWindowsのIPoIBの速度が上がるかな

213 :不明なデバイスさん:2011/10/30(日) 22:45:55.96 ID:SbwOU+6u
Solaris系OSでSRP targetが試してみたくてMHGA28-1TCをポチってしまった。
後悔はしていない。LowProfileのブラケットしか付いていないので送料込み
で90ドル。この瞬間だけは超円高マンセー

とりあえず簡単にNexentastorを試したい

214 :不明なデバイスさん:2011/10/31(月) 00:22:45.24 ID:UoieX4Kj
>>213
NexentaStoreだとSRPはWebGUI上から触れないよ
それがあってNexentaCoreにした

215 :不明なデバイスさん:2011/11/04(金) 02:31:58.35 ID:nUkUdMrc
あ、あれ?
FreeBSD-9.0RC1でMHGA28-XTCを認識しない。。。
どういうことなんだ?キバヤシ

216 :不明なデバイスさん:2011/11/04(金) 10:10:04.86 ID:KuHYChLX
>>215
過去に自分がFreeBSD 9.0-current(5月くらいかな)で試したときは、
自分が持ってるInfiniHost系は全滅でした。
当時はConnectX系持ってなかったのでテストできなかったんですが、
移植された方はConnectXのENモードで使ってるっぽい記述を見た記憶があるので、
近々、ConnectXでFreeBSD 9.0に再度チャレンジしてみます。

しかし、ドキュメントが全くないのでどういう状況なのかが全く分からないんですよね


217 :不明なデバイスさん:2011/11/04(金) 10:50:05.61 ID:w8qmjF1B
ソース真理教。

218 :不明なデバイスさん:2011/11/07(月) 23:25:03.50 ID:mBSUlx73
InfiniBand 全然知らないんだけど自宅でクライアント5台とIBを使った鯖をつないでみたい。
ものすごいスピードでIBの鯖のRAIDにアクセスしたい

クライアント達はGbEのハブでつながってるんだけど何があればIBを使った鯖をつなげるんだ?
このスレよんでると10GbEより安くてパフォーマンスがいいんだよね

219 :不明なデバイスさん:2011/11/08(火) 03:11:48.63 ID:wSYBbrGm
>>218

InfiniBandでその台数を繋ぎたかったら、スイッチが必須かも。
ちなみに、iSCSIで接続とかSMBで接続って事だったら、無茶苦茶には速度上がらない。
うちだと、iSCSIで接続すると、シーケンシャルのReadが220MB/s Writeが120MB/sくらい。
SMBは試してないので不明。過去ログ読むと出てるけど。

・クライアントとサーバにIBのHCAカード。
・IBスイッチ
・スイッチとクライアント・サーバを接続するケーブル
ってことろかな?

サーバのOSとかクライアントのOS書いてもらえるともう少し突っ込んだ内容がかけるけど。

10GbEで5台以上接続するとなると、比較的高価なスイッチが必須。カード自体はそこそこのお値段かな。
IBだと、カードがヤフオクで8k円くらい(これもピンキリだが)、スイッチが3万で今は出てるね。
あと、ケーブルは欲しい長さの物があればヤフオクなりで。

ちなみに、個人的に検証したときはTCP/IPのパフォーマンスは、IBより10GbEのが1Gb/sくらい良かった。

220 :不明なデバイスさん:2011/11/08(火) 13:02:59.07 ID:9HdOCYcY
>>219
両方とも Linux (CentOS) です。

>ちなみに、個人的に検証したときはTCP/IPのパフォーマンスは、IBより10GbEのが1Gb/sくらい良かった。

これが気になったんですがIBじゃなくて10GbEで接続した方が管理もスピードも楽って事ですか?
SubnetManager も必要ないし・・・。

221 :不明なデバイスさん:2011/11/08(火) 14:52:59.02 ID:gi2tiSuM
IPoIB が 10GbE より優れてる点はコストぐらいじゃないかな
10G以上で繋ぎたいとか、IP以外(NFS/iSCSI)でも使いたいというときに、
はじめてコスト以外のメリットがあると思う。

ちなみに、今日から(だったっけ?)サービスが始まる
「さくらのクラウド」もIB使ってるらしい。
「さくらのクラウド」を例に見るネットワーク仮想化の設計と実装 ? さくらインターネット研究所
http://research.sakura.ad.jp/2011/10/11/hbstudy27/
# 資料の P.51〜 IB 利用について説明

さくらは @IT とかの記事も書いてたから、かなり IB に
力入れてる印象があるから、あえて使ったのかもしれないが

222 :不明なデバイスさん:2011/11/08(火) 17:09:31.11 ID:VtaymO8o
>>220

219だけど、スピードはSDR(10Gb)接続の場合の話ね。
ConnectX系使って、DDR(20Gb)で接続するとIPoIBの方がパフォーマンス出たよ。
接続は、Solaris Express 11 と Windows 2008 R2 とで900MB/sくらい出た。
Windows側のOFEDは3.0-rc1使ってCMをonにしてる状態だけど。

個人的な意見だけど、一対一だと10GbEの方が楽だと思う。
これが複数の接続になるとコスト的にはIBに軍配上がるかな。
10GbEでフルスループット出るSwitchって、IB Switchに比べると倍以上違うので。

221さんが言われてるに自分も同意です。

>>221

さくらさんの場合は、ConnectX系使ってEoIBまで使ってるのが大きいかと。従来の
Etehrnet部分もIBに全部集約してるので、ケーブリングが単純になるのが大きいんで
しょうね。確かにストレージ系ネットワークもEthernetネットワークも全部IB上で集約する
ってのは合理的だなーと思います。

223 :不明なデバイスさん:2011/11/08(火) 23:01:08.89 ID:Y+Qguiin
また聞きだけど、さくら のストレージはIPoIBのNFSという話を聞いた。

224 :不明なデバイスさん:2011/11/09(水) 10:30:22.48 ID:/k5Q3TVO
>ちなみに、個人的に検証したときはTCP/IPのパフォーマンスは、IBより10GbEのが1Gb/sくらい良かった。
あれ、ベアラスピードは10GBeは10Gbpsだけど、SDRは8Gbpsじゃなかったっけ?
ひょっとしたらIBのほうがプロトコル効率いいのか??

225 :不明なデバイスさん:2011/11/09(水) 11:43:23.89 ID:wiWuojdl
某オクのCisco IBスイッチ
Paswd解除してやろうと思ったらデフォのままだった…

ちなみに↓のマニュアルの方法でリセットできるようだ
ttp://www.redbooks.ibm.com/redpapers/pdfs/redp4095.pdf

226 :不明なデバイスさん:2011/11/10(木) 00:48:25.32 ID:M1ZsPNQU
>>223
ほうほう、ってことはrNFS使ってるっぽいですね。

>>224
ベアラスピードは書かれてる通りですね。
計測したときは片側がWindowsだったんだけど、当時はConnected Mode対応じゃなかったので
余計に遅かったのもあるかも。手元の環境でIPoIBをiperf使ってチェックしてみたら、現状はこのくらいでてますね。
ちなみにLinux(Sientific6.1) - Solaris Express 11をDDRスイッチかまして接続してる状態です。

------------------------------------------------------------
Client connecting to 192.168.17.7, TCP port 5001
TCP window size: 193 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.17.241 port 60775 connected with 192.168.17.7 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 11.5 GBytes 9.90 Gbits/sec


某オクでCiscoIBスイッチ落札された方向けネタを一つ。
最新のSFS-7000系のTopspinOSは、IBMからおとせれますよーっと。

227 :225:2011/11/10(木) 01:18:17.69 ID:A9d72Ii/
>>226
あんがとー
TopspinOS Release 2.9.0 Update 2 が最新かな?
既にそのVerのようでした

速度についてはレイテンシとオーバーヘッドの点でIBが優位ってとこなんでしょうかね
俺も早く試したいけど、まだHCAが1枚もない・・・

228 :不明なデバイスさん:2011/11/10(木) 01:53:04.67 ID:M1ZsPNQU
>>227
ありゃ、最新ですか。
うちで確認したところ、
OS loaded is TopspinOS 2.9.0 releng #170 06/26/2007 16:40:42
で最新な筈です。

DDRだったら10GbEとほぼ変らないスピード出ると思います。
Windows(WinOF 3.0-RC1) - Solaris Express 11(OS標準ドライバ)のIPoIBで900MB/sはでてますから。
ただ、DDRのカードの出物が少ないのでちょっと手に入れるのが大変かも。
SDRのカードだったらそれなりにオクに出てるんですが・・・。

229 :不明なデバイスさん:2011/11/10(木) 02:28:42.29 ID:A9d72Ii/
ふぅ。ラックにマウント完了・・・

>>228
レス恐縮です。
IPoIBで900MB/sなら10GbEと比べて遜色ないですね
DDRカードが欲しいのでeBay漁ってみようと思います


ちなみに、*BSDなZFS Storage(OS用)とESXiのIB接続、
別筺体のZFS Storage(ファイル鯖)とESXi GuestやClientPCの接続を考えてます。

前者は単にIB Switch<->HCAで良いと思うのですが、
後者はStorageServerに10GbE NICとHCAを挿して、ClientPCは10GbE UplinkがあるGbEエッジスイッチ経由、
ESXi GuestはHCA経由での接続が安上がりかなーと思ってます

IBド素人ながら、はてなさんの構成が激しく気になります

230 :不明なデバイスさん:2011/11/10(木) 02:34:12.70 ID:A9d72Ii/
はてなじゃないや、さくらたんだ。失礼しました。

231 :不明なデバイスさん:2011/11/10(木) 06:48:37.62 ID:YOghaSxJ
はてなたんってDQ45CBのまな板とか並べてたんじゃなかったっけ?
石狩のアレがそう(ブレードじゃない)ならちょっと笑う。

DDRといえばqlogicの9000 DDRがオクに安価で出てるけど、さすがに1枚目はメラのほうがいいだろーなー。

232 :不明なデバイスさん:2011/11/10(木) 07:12:02.87 ID:dQvOBEfS
Solaris 11が正式リリースされたよー
ttp://www.oracle.com/technetwork/server-storage/solaris11/overview/index.html

233 :不明なデバイスさん:2011/11/10(木) 09:17:57.94 ID:M1ZsPNQU
>>229
*BSDでの動作って、今のところ移植された方のBlog見るとConnectX系でそれもETHモードでの動作だけな気がします。
近々、ConnectX積んだPCが空くのでそっちでFreeBSD 9.0をテストしてみる予定ですが。
FreeBSDのInfiniBandの移植ってLinuxKernelの必要なSystemCallをFreeBSDのSystemCallに置き換える層を
作って移植してるんですな。ソース見てて知りました。

>>231
ちょっと前に、ITmediaかなんかでさくらさんとはてなさんの対談が載ってたけど、はてなさん最近はメーカーもののサーバ使う
ようになってるって話が出てた気がします。
Qlogicは、自分持ってないのではっきり言えないんですが、QlogicサイトのWebで見てるとWindowsとLinuxのみのサポート
みたいですね。最新のQDRの物に関しては今のところLinuxのみのサポートみたいで。Windowsにも移植中ってのはOFED
のML見てると書いてありましたが、WinOF3.0に間に合わないかも的なメールが流れてました。

>>232
情報ありがとうございます。
早速ダウンロードしました。仕事終わったら早速インストールしてみますw

234 :不明なデバイスさん:2011/11/10(木) 15:36:02.46 ID:lB6LKqjO
>>229
個人的な意見ですけど、DDRで揃えられるつもりなら、InfiniHost系よりもConnectX系をお勧めします。
それもConnectX系でもQSFPのポート方で。CX4のポートのもの(MHGH系)はサポート終了みたいなので。
OEM物でも、自己責任で最新ファームに書き換えできるようになってるので、安ければそれで。
ebayだったら出物がそれなりにあるので、根気よく探せば格安で手に入ると思います。
6月くらいまでは、refurbishedのConnectXが大量に流れてたんですが売れちゃったみたいで、最近はぼつぼつ出てる感じです。
あと、QSFP-CX4のケーブルが意外と値段しますので、その辺りをトータルで見ながら購入されるのがよろしいかと


235 :不明なデバイスさん:2011/11/10(木) 17:55:16.13 ID:YOghaSxJ
でもお高いんでしょう?

236 :不明なデバイスさん:2011/11/10(木) 21:05:13.98 ID:M1ZsPNQU
>>235
今ならなんと$65でって、その値段で先週まででてたんですけどねw
定期的に売りに出してる業者がいるからちょっと待てば$100くらいで出てくるかと。
在庫が200枚程あるからまとめ買い交渉受け付けるよって書いてましたが。

237 :不明なデバイスさん:2011/11/10(木) 23:52:45.40 ID:FSXMY8oa
IBoE に対応したスイッチって高いの?

IBoE と GbE を使った鯖、クライアントを混在させたいんだ

238 :不明なデバイスさん:2011/11/11(金) 00:18:05.51 ID:Xwcef8hc
>>237
GbEだったら安い中古のあるんじゃないかな。
eBayで何回か見かけた事ある。
10GbEになると、現行のBridgeXになるから100万越えになっちゃうけど。

239 :不明なデバイスさん:2011/11/11(金) 00:34:24.53 ID:Buer1oZq
>>238
スイッチ自体がGbEまでしか対応してないと IBoE もGiga止まりですよね?

そうなると困るのでせめて IBoE だけは 10GbE でつなげるようなスイッチって無いんですかね?

240 :不明なデバイスさん:2011/11/11(金) 01:35:28.57 ID:Xwcef8hc
>>239
残念ながら、EoIB、FCoIB等のプロトコル変換出来る機械は安いのがないんですよ。
古いものだと238であげたように、GbEしかついてないですし。
LinuxとかでEoIB-10GbEのGatewayが簡単に作れればいいんですけど、
現状ではそういう風になってないんですよね。
あと、EoIBを喋らせようと思うと現状ではEoIBを理解できるGatewayがいないと設定すら
出来ないと思います。ここら辺は、自分も勉強不足なので間違ってるかもしれません。

参考までに、現行品で挙げますが
http://www.xsigo.co.jp/products/io_director.html
http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=77&menu_section=52#tab-three
どちらも個人で買えるような代物ではないですね・・・

241 :不明なデバイスさん:2011/11/11(金) 06:44:38.15 ID:xvd3rYLC
>>240
ifをbridgeすればいいんじゃない? linuxならbrctl addif br0 eth0 eth1みたいに。
ただ、スループットは期待できないと思う。貧乏人のルータ、ってやつですな。
>>236
やっす。 connectXは10GBeにもなるからなあ。

242 :不明なデバイスさん:2011/11/11(金) 17:11:42.84 ID:0f3BvgVE
一番安い IBoE 10GbE スイッチっていくらぐらいなんでしょうか?

8ポートぐらいの IBoE スイッチに鯖を4台ぐらいつないで、
IBoEスイッチから10GbEリンクを持ったGbEスイッチをつないで
GbE のクライアントにつなげば比較的安く上がるかな?

243 :不明なデバイスさん:2011/11/11(金) 17:26:49.47 ID:xvd3rYLC
IBoEとEoIBで話がかみあってない気が。
いずれにせよ3桁万円コースだと思うけど。

244 :不明なデバイスさん:2011/11/11(金) 22:52:14.60 ID:Xwcef8hc
>>241
IPoIB - 10GbEのルータは作ってみるつもりです。
間違い無くフルレートは出ないでしょうけどw

オークション形式で出てるので、実際はもっと上がる可能性ありますけど、
それでも安いとは思います。普通だと$300くらいからスタートなので・・・

>>242
あー、ごめんなさい。勝手にEoIBと勘違いしてました。
ちょっと調べてみたところIBoE対応製品って比較的最近の物しかないかと思います。
CiscoのNEXUS 5000系は対応してるみたいですが。ポート数が少ないもので
言われてるような機能を持った製品はまだ市場に出てないんではないかと思います。

>>243
ご指摘ありがとうございます。その通りでした(汗)
どちらにしろ、お値段は3桁万円コースですね。

245 :不明なデバイスさん:2011/11/12(土) 08:57:59.40 ID:JAZFyoDP
>>5
systemworks ってFCほとんどあつかってないし、ベンチもないな

なんでIBはやってFCはやらないんだろう・・・

246 :不明なデバイスさん:2011/11/12(土) 12:18:25.71 ID:hfBB53D+
今さらFCでなにするよ。
先進性のあるもの取り上げないと、面白くないしね。


247 :不明なデバイスさん:2011/11/12(土) 16:12:20.13 ID:JAZFyoDP
FCoE とかか?

248 :不明なデバイスさん:2011/11/12(土) 20:51:33.87 ID:61ogkybw
>>245
あそこはHPC屋さんだからFCは殆どやってないのではないかと。

249 :不明なデバイスさん:2011/11/12(土) 20:57:32.87 ID:oL/AVp5D
linux のブリッジだとCPUがネックでろくな性能出ないんじゃないか。
少し前はGbE でもギリギリだったが

250 :不明なデバイスさん:2011/11/12(土) 21:33:31.95 ID:8K8Rsbn/
ブリッジングなら(EoIB)、最近のPCIeならそこそこ性能出るんじゃないかと。でも2G〜3Gbpsぐらいだろうけど。
ルーティングだと(IPoIB)、遅そう。
って実際にやってみればいいんだけど、PCIex8が2本以上あるようなマザーがねーよ。というかショッパイPCしかない。

251 :不明なデバイスさん:2011/11/12(土) 21:48:14.04 ID:JAZFyoDP
>>248
HPCだとネットワークはやらないのか・・・
ネットワーク屋ってのが別にあるのかな?

252 :不明なデバイスさん:2011/11/12(土) 22:26:57.27 ID:bWVzVMqr
HPCで計算機結ぶのにFCなんざ使う理由がない
FCの話がしたいなら他所へ行け

253 :不明なデバイスさん:2011/11/12(土) 23:09:24.27 ID:oNSrxNQT
ストレージとESXiホストそれぞれにDual portなIB HBAを付けて2本の線で2台を接続、
それぞれのリンクを
・ESXiホスト <-(SRP)-> ストレージ
・VMs <-(NFS, IPoIB)-> ストレージ
にして運用する、とかできるのかな

254 :不明なデバイスさん:2011/11/13(日) 08:06:51.88 ID:Yqxpy+ON
SRPだとストレージはsolaris系?
SM搭載スイッチかlinux or windowsでSM立てないとリンク上がらんよ。


255 :不明なデバイスさん:2011/11/13(日) 19:04:49.47 ID:TC+oayOa
はやくSolaris11系かESXi5系でOpenSMが動くといいんだけどなぁ

256 :不明なデバイスさん:2011/11/13(日) 19:57:39.05 ID:Yqxpy+ON
ESXiの設計では、おそらく出ないと思われる。
基本的にホストOSでアプリを動かすようにできてない。
Solaris系は、OF次第じゃないかな。


257 :不明なデバイスさん:2011/11/13(日) 20:38:58.94 ID:DqZ1whGS
>>253
ESXi は SRP に対応してない、というより IB デバイスに対応してないよ。
Mellanox + ESXi だと、Mellanox ドライバが Etherデバイス + FCデバイス にみせかけてくれる。

FCoIB で FCターゲット
IPoIB で NFS
の2択じゃないかな。

258 :不明なデバイスさん:2011/11/14(月) 00:06:22.29 ID:A3KUkwg6
>>253
254さんの言われてるように、ストレージがSolarisだと現状は無理ですね。
LinuxでされるならSCSTをSRP Targetに使えば可能です。
あと、ESXiは5系をつかうとなるとInfiniBand自体が使えないので注意です。
ドライバがまだMellanoxから出てないので。

>>255
FreeBSDも忘れないであげてくださいw
調べてみたら、ESXではOpenSM動いてたみたいですね。
ESXiだと256さんが言われてるように、アプリが動かせないので無理じゃないかなーと。

>>256
OFの出来はどうなんでしょうね?
Solaris11でOFEDからかなり移植してるので、コンパイルだけで動いたりしないかなー。

>>257
言われてるように、ESXiは標準ではInfiniBandとSRPとIPoIBには対応してないですね。
ただ、Mellanox配布のOFEDドライバを入れるとSRPとIPoIBのドライバも入るのでSRPは動作します。
実際うちではそれで動いてますから。
http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=36&menu_section=34
でマニュアルみるとプロトコルの対応状況が書いてあります。今のところFCoIBの対応はしてなかったかと思います。
あとは、rNFSとかも対応してないですね。かなり機能限定されてるドライバなので。

ちなみに書かれてるのって、VMWareのサイトで配ってる以下のMellanoxの10GbEのドライバの方でしょうか?
http://downloads.vmware.com/d/details/dt_esxi50_mellanox_connectx/dHRAYnRqdEBiZHAlZA==
こっちだと、書かれてる内容的に納得なんですが。

259 :不明なデバイスさん:2011/11/14(月) 00:36:19.45 ID:H+ydeSaH
>>258
ご指摘ありがとうございます。

> ちなみに書かれてるのって、VMWareのサイトで配ってる以下のMellanoxの10GbEのドライバの方でしょうか?
おそらくそうです。10GbEの方で見た画面で間違って理解していました。

OFEDドライバも別にあったのですね、というかVMware公式で
配布しているのは10GbEでENが付いている製品用で、
OFEDドライバはENが付かないIB/VPI製品用なのですね。

260 :不明なデバイスさん:2011/11/14(月) 00:52:08.68 ID:A3KUkwg6
>>259
いえいえ、普通はVMware公式に有るとそっちで動くって思うでしょうし。

MellanoxのサイトにVMwareで配布してるものドライバのReleaseNoteがあったので
読んでみたんですが、10GbEドライバで使用できるものの中にはConnectXのENつく
もの以外の製品も有ったので、10GbEのみで使うならConnectX系(VPIが使用可能
な製品)は使えるのではないかと思います。調べてみたら、この辺ややこしいですね(汗)

どうなるか、一回テストしてみるのがよさそうなので環境組んでやってみます。

261 :不明なデバイスさん:2011/11/14(月) 01:24:40.84 ID:A3KUkwg6
OFEDの最新RC版がでてるので、人柱な方はどうぞ

OFED for Windows 3.0 RC2
http://www.openfabrics.org/downloads/Windows/v3.0_RC2

OFED-1.5.4-rc4 for Linux
http://www.openfabrics.org/downloads/OFED/ofed-1.5.4/

262 :不明なデバイスさん:2011/11/14(月) 02:14:55.28 ID:neCXws3K
【SAN,NAS】ストレージ鯖総合【iSCSI,FC,IB,10GbE】
http://hibari.2ch.net/test/read.cgi/hard/1321055812/

263 :不明なデバイスさん:2011/11/14(月) 06:38:00.74 ID:Exe1zPrl
>>260
チップ自体はENも非ENも変わらなくて、ENはPXEとかiSCSIブート用にEEPROM持ってるんじゃないか、と想像してます。

264 :不明なデバイスさん:2011/11/14(月) 23:13:41.39 ID:A3KUkwg6
>>263
チップ自体は一緒ですね。ENはほぼファームが違うだけだと思います。
あとはPCIのデバイスIDとかそこら辺が違うのかな。

で、BootROMはENとVPIのカードでも多分一緒ですね。
これFlexBootととして配布してるのが同じものなので。
VPIカードも書かれてるような、EhternetからのPXEとかiSCSIのBootが可能です。
すごく汎用的に出来てますね。

265 :不明なデバイスさん:2011/11/15(火) 12:14:16.36 ID:Oz8F4jwP
はじめての速度測定。両側:windows 7, Pentium D 2.8GHz, infinihost Lx DDR,直結。
netpipe371_win32_tcpで最高速度が1500Mbps・・・・・・うゎゎゎゎぁぁぁん。
やっぱりそれなりのマシンじゃないと速度でないのね(笑)

266 :不明なデバイスさん:2011/11/15(火) 12:31:16.56 ID:Oz8F4jwP
で同じマシンでmyricom-CX4で接続すると最高速度は2500Mbps。
IBというかIPoIBって意外とCPU喰うん?

267 :不明なデバイスさん:2011/11/15(火) 13:25:07.63 ID:Oz8F4jwP
CPU使用率メモ。infinihostで50%、myricomで40%。one-threadっぽい動きなので50%でサチってる。

268 :不明なデバイスさん:2011/11/15(火) 20:48:06.44 ID:mXVOpU0d
>>267
CPUは何を使ってる?

269 :不明なデバイスさん:2011/11/15(火) 21:06:44.30 ID:Oz8F4jwP
>>268 >>265
ConnectXが速いのは、オフロード(チップ内処理)してるからでしょうね。

270 :不明なデバイスさん:2011/11/15(火) 21:12:13.11 ID:RTDTZQao
>>268
>>265に(遅くて熱い)Pentium D 2.8GHzと書いてあるねw

271 :不明なデバイスさん:2011/11/15(火) 21:57:41.46 ID:mDQ+OOPG
>>265
InfiniHost系なら、上に書いてるWinOF 3.0のRC版を入れるのがお勧め。
Connected Modeが使えるようになって速度が大幅に上がるはず。

っと、これだけだとアレなので、Firm更新してて気づいたネタを書いておこう。
ConnectXはEtherModeだとUDPのオフロードがないみたい。
ConnectX2はUDPオフロードしてくれる。

272 :不明なデバイスさん:2011/11/15(火) 22:00:31.55 ID:Oz8F4jwP
>>271
Connectedでも大して変わらんかったです。SMの仕事がちょっと減る、とかそんなもんかなー。

ConnectXとX2の違い、チップのブローシャ見てる限りはfloating point engineぐらいなんだけど(GPU offloadで使う?)、
微妙に内部のメモリ量とかオフロードエンジンのプログラミング能力とか違いそうですね。

273 :不明なデバイスさん:2011/11/16(水) 00:22:56.87 ID:ML89bY3o
>>272
あらま、変らなかったですか・・・。
DDR接続で InfiniHost Lx の Linux - ConnectX の Solaris 間のIPoIBで10Gb/sくらいでてました。
Linux側がML115 G1のAthlon X2 5000+ で Solaris側がXeon X3460です。

ConnectXとX2でファームが完全に分かれてるから、なんらかハードの差があるんでしょうね。
最初はそんなに差なんてないだろって思ってたんですが、同一環境上のConnectXとConnectX2で
BootMessageでUDPのオフロードが有効にならんよってメッセージが出て驚いたんですがw

274 :不明なデバイスさん:2011/11/16(水) 01:04:24.46 ID:m55q9mhU
興味は有るのだが、このスレ濃すぎて何言ってるのかわからん。
みんな本業が運用系のエンジニアって訳じゃないよね。
どうやって基礎知識得たの?

275 :不明なデバイスさん:2011/11/16(水) 01:57:29.88 ID:ML89bY3o
>>274
職場はコンピュータ系とは全く別の業種ですw
ネットワーク系のことは全くの趣味ですね。

基礎知識ってInfiniBandのですかね?
自分は元々ネットワークの技術ずっと追っかけしてたので、
最初に幾らか資料読んで、あとは実践でひたすら覚えていってる感じですね。
実質InfiniBandを触りだして半年くらいですから、そんなに詳しいわけでもないんでw

InfiniBand自体、技術的には昔からあるんですが、ノウハウの部分があんまり表に出てない
(というか、触ってる人が少ない)ので、自分がやってて貯まったノウハウとかを書込していってる
感じです。後からやろうとしてる人が楽できるように。

276 :不明なデバイスさん:2011/11/16(水) 02:24:48.45 ID:ML89bY3o
MellanoxのOEMもののカード使ってる人向けネタ

最新のファームの適用方法
https://forums.oracle.com/forums/thread.jspa?threadID=1905893
PXEブートとかいらないんだったら、途中のiniファイルの編集は不要。

うちで書換を確認したのは、以下のカード
・VOLTAIRE HCA 410 Ex-D (InfiniHost Lx MHGS18-XTC)
・HP 380298-B21 (InfiniHostEx MHEA28-1TC かな?)
・HP 448397-B21 (ConnectX MHGH28-XTC)
・IBM 44R8728 (ConnectX MHGH29-XTC)

VOLTAIREのカードは、iPXEの最新のBootROMを焼いてみたけど、
PC起動時にiPXEのメッセージが出てくるところまでは確認。

TopSpin(Cisco)のカードは上記方法では出来なかった。
1枚カードがあぼーんしたので注意を orz
とりあえず、IBMのサイトから最初に入ってるイメージよりも新しいFirmは入手できたから
そっちを突っ込んだ。

277 :不明なデバイスさん:2011/11/16(水) 09:18:14.08 ID:RIs8d0AX
>>276
tombstone化してしまいましたか(w
mst statでconfig側のインタフェースぐらい見えてるのなら、flintに強制書き込みモードがあった気がする。

278 :不明なデバイスさん:2011/11/16(水) 17:09:42.38 ID:dtxIRgpn
スパコンとストレージ用途以外の使い道ってあるのかな?


279 :不明なデバイスさん:2011/11/16(水) 18:41:38.65 ID:ML89bY3o
>>278
FCとかEtherとかをIBの上に乗っけれるので、ケーブルが集約出来るのはメリットかな。
さくらさんがIBで組んでるのは上記理由もあるかと。

最新のiPXEのInfiniHost系Memfree用(ExとLx用)のBootROM作ったけど、
人柱になってくれる人いるかな?
自分ところは、BootROMの書込までは出来たんだけど、SAN Bootの環境は
作ってないのでテストできないので実際Boot出来るかは不明なんで

280 :不明なデバイスさん:2011/11/17(木) 10:20:31.95 ID:AZ3cVfJP
EoIBのブリッジかFCoIBのブリッジが必要じゃない?>BoIB
ふつーの人は絶対持ってないような(w

infinihostIIIのファーム覗いてみたけどわけのわからんコード。どこのCPUだろ?全くの独自、ってわけではなさそうだけどなあ。

281 :不明なデバイスさん:2011/11/17(木) 20:29:16.26 ID:ymMYiwA7
>>280
いやいや、ブリッジいらんですw
IPoIB iSCSI Boot か SRP Bootになるんでw
起動用の環境つくるのが、ちょっと面倒なだけですわ

えらいもんおっかけされてますね。

282 :不明なデバイスさん:2011/11/18(金) 06:32:18.65 ID:WGcIiuKZ
>>281
失礼しました、IPoIB iSCSIでOKなんだ。だったらMS iSCSI target(最近無料化)でもいけるかな。

linux(debian)のnetpipe-mpi使ってMPIoverIBのスループット計りたいんだけどやり方さっぱりわからん。

283 :不明なデバイスさん:2011/11/18(金) 21:24:16.77 ID:WGcIiuKZ
linuxで速度測定。両側:debian6.0.3, Pentium D 2.8GHz, infinihost Lx DDR,直結。
netpipe-tcpで最高1150Mbps、connected modeで850Mbps、ちなみにmyricom CX4だと4100Mbps。
・Debianはmodprobe ib_ipoibだけでib0がifconfigに現れる。
・opensm及びinfiniband-diagsには要ib_umadモジュール。
・なんかますます10Gbeとの差が。貧弱なマシンはConnectX必須かと。

284 :不明なデバイスさん:2011/11/18(金) 21:52:06.63 ID:Ac+1XDLH
>>282
多分いけますよ。FlexBootのマニュアルみてると、ISC DHCPのサーバにパッチ適用しないと
駄目みたいですけど。

>>283
PCのスペックが低いとInfiniHost系だとしんどいんですね。
しかし、Connected modeのが遅いのが意外でしたわ。

ちなみに、Debianに標準で入ってるOFEDのベースは1.4.1とかだったはずなので、
ベースが古いってのもあるんですかね。自分は、sid(Kernel 2.6.38辺り)ベースで、
Debian-OFED(1.5.2)を突っ込んで試してみたことはあるんですが、標準のは使って
なかったので、比較出来ないです。

285 :不明なデバイスさん:2011/11/18(金) 22:01:37.07 ID:WGcIiuKZ
>>284
connectedは説明みると「UDPのでかいパケットか、TCPの特定条件だと速いよ」みたいな書き方だったので、
netpipe-tcpだと合致してないのかも。
新カーネルやofedは試してみたいところですが、ま、infinihostは見放されつつあるので期待はしてないです。

286 :不明なデバイスさん:2011/11/19(土) 16:18:58.97 ID:JhNlkJWS
もう一度Win7で計り直したら、connectedのほうが速かった。すまん。
#再起動しないとだめなのかも。
connectedで2200Mbps、no connectedが1500Mbpsだった@Pentium D 2.8GHz。

287 :不明なデバイスさん:2011/11/21(月) 02:15:30.70 ID:aB9kUHsV
>>286
とりあえずちょっと速くなったようでなにより。
むむ、再起動すると大丈夫だったのね。以前WinOF 2.3でConnected ModeをOnに
してると、起動時にOnに出来なかったってメッセージが出てたから、ドライバの制限で
起動時だけ変更可能なんでしょうなー。

おまけ、ConnectXのブラケット見てて気づいた。
InfiniHostEx系のブラケットがそのまま使えるのね。
ConnectX2の1ポートだと、InfiniHostLxのブラケットがそのままいけそう。

288 :不明なデバイスさん:2011/11/21(月) 02:28:48.08 ID:/PxAlNbd
どっかにDualPortのInfinihostIIIのブラケットだけ落ちてないかな(´・ω・`)


289 :不明なデバイスさん:2011/11/21(月) 03:10:55.23 ID:YhwOt2i6
さてはロープロだったな

290 :不明なデバイスさん:2011/11/21(月) 09:42:02.09 ID:ORwXW+2F
>>287
connectedとdatagramは切り替わってたぽいんだけど、MTUが切り替わってなくてスピード変わらなかった感じ。
つまるところ、connectedでのスピード向上はMTU上昇による上位層での処理減少、って奴っぽい。
#icmpはうまく実装されてないみたいで、ping -l 10000 とかやるとインターフェースがdownします(笑)
debianでスピードが逆に落ちたのもMTUが変わってなかったからかも。
>>288
SFF8470、ケーブルごついからねー。24AWGだとアスパラガスぐらいあるし。
うちはPA-010ME(メッシュカバー)をハンドニブラで適当に加工した。どーせ趣味だし。

291 :不明なデバイスさん:2011/11/21(月) 10:03:03.09 ID:ORwXW+2F
補足。
・メッシュカバーはニッパでも加工可能。ニッパの歯が傷むかもしれないけど。
・ケーブルの太さと伝送距離の関係は下記参照。(パッシブケーブル)
www.meritec.com/productfiles/categ_24/4x%20Wire%20Gauge%20vs%20Performance%20Over%20Length%20Test.pdf
・ケーブル刺す時に接点のタイミング?で1Xでリンクアップする場合があるので、ibstatやvstatでちゃんとX4でリンクしてるか
確認したほうがいい。

292 :287:2011/11/22(火) 02:58:39.55 ID:cd+8LQp2
ConnextXのブラケットだけど、試してみたけど駄目だった orz
ConnectX2の1ポートのブラケットは、2mmくらい穴位置がずれて駄目。

なんで、スペアパーツで出ないかと思って調べてみたら、こんなのが
Mellanox Short Bracket MT90837A01 Mellanox InfiniHost III Ex Single-Port InfiniBand HCA Card
Mellanox Tall Bracket MT90839A01 Mellanox InfiniHost III Ex Single-Port InfiniBand HCA Card
物の写真がないので、不明なんだけど使えるんだろうか?

誰か人柱をw

293 :不明なデバイスさん:2011/11/23(水) 12:30:40.22 ID:qJQ4G9BY
ESXiのストレージ接続としてIB良いなぁと思うも、
SMをどうするかって問題が。

ZFS使ってるから、Solaris系かBSDでSM動いてくれないと・・・
ん〜4Gbpsになっちゃうけど、環境整うまで
FCに逃げるしかないのかなぁ。

294 :不明なデバイスさん:2011/11/23(水) 13:14:18.13 ID:1GkMTiHn
>>293
IBスイッチでSM積んでるものあるから、そういうの選べば一応行けるけど。

295 :不明なデバイスさん:2011/11/23(水) 15:51:06.10 ID:ZxF+eDmL
>>293
家でやるなら デュアルポート片方をDirectPathI/Oで仮想マシンに生で見せる。
んで、仮想マシンにLinux+SM
もう片方のポートはESXに見せる

やったことないのでアイディアだけっす

296 :不明なデバイスさん:2011/11/23(水) 18:02:26.38 ID:pnhbD8t7
今ちょうど某オクにSM付きスイッチ出てるべ?

297 :不明なデバイスさん:2011/11/23(水) 19:59:36.44 ID:1GkMTiHn
>>295
残念ながらDualPortのカードって1枚にしか見えないからポート単位のDirectPathI/Oは不可能ですね。
あと、カードわけたとしてもESXiとLinuxの間がスイッチないと駄目ですね(スイッチ前提で考えてたらごめん)。
ESX4.1だったら、OpenSM動くんだけど。Solaris系をストレージに使うとなると色々制限が厳しい。

298 :293:2011/11/23(水) 21:34:25.89 ID:uialXv1r
>>294
>>296
やっぱSMスイッチですかねぇ。SDRってのがちょっと気にくわないというか、
どうせならDDR位と思っちゃう所もありまして。

>>295
>>297
実はその手も一瞬考えましたw
ただ、3台数珠繋ぎでのはっきりした動作例が無かったのと、
VT-dでまともに動いてくれるか?って所もありますし。

ESXi-ストレージ間の帯域増やせたら、あわよくば、単独で動いてる
ファイルサーバーまでESXiの上に乗っけちゃおうかと目論んではいるんですが、
なかなかいい手がないなー。


299 :不明なデバイスさん:2011/11/23(水) 22:43:17.02 ID:TA46mxrp
ESXiとSolaris系のZFSなストレージを組み合わせたいというニーズが大きいのはよくわかったw

300 :不明なデバイスさん:2011/11/23(水) 23:42:18.38 ID:1GkMTiHn
>>298
楽するならSMスイッチ。
ただ、自分はスイッチのSM設定ってした事ないので何とも言えずw
DDRになると、カードの値段がSDRに比べると無茶苦茶に高いわけじゃないですが
ちょっと高い気が。

VMwareのサイトで見たのは、ConnectXだったかをESXi上でパススルーすると
動作がおかしいってのは見た事あるけど、実際どうなのかは不明。


個人使用っぽいので、アレな方法を書いてみる。
とりあえずDirectPathI/Oが使えるのが前提
耐障害性がーって言われると困る構成&スレ違いネタになる部分が多々だけど
・ESXiでSolarisを動かすだけの最低限のデータストア用意
・ESXi上にSolarisインストール
・DirectPathI/Oで、ストレージカードとIBか10GbEをSolarisVMにマッピング
(ESXi側で共有かけたかったらネットワークカードのマッピングは不要)
・ストレージカードにZFSの共有かけるPoolのDiskを追加して、Pool作成
・作成したPoolの一部をESXiのデータストア用に切り出し、iSCSI Target設定
・SolarisVMのiSCSI TargetにESXiから接続。他のVM用のデータプールに。
・SolarisVMの余ったPool部分ははファイルサーバ用にも使える
元ネタは海外のサイトだけど。
この構成だと、IBなり10GbEに繋げるのは一台になっちゃう。
あと、IBだとSolarisVMと接続できるのは、WindowsかLinux限定になるか。

301 :293:2011/11/24(木) 00:07:39.78 ID:xCIMl9Wd
>>300
やっぱSMスイッチが一番楽ですよねぇ、構成縛られないから。
SSDでストレージ組んでる訳じゃないので、
ぶっちゃけSDRの帯域でも使い切ることは無いとは思ってますがw

で、アレな方法ですが、えぇ、思い切り個人使用です、はい。
で、なるほど〜と思いつつ、よくよく考えてみたら、
その方法の場合、IB直結で別PCに繋ぐ必要が無いときって
IBいらなくないっすか?w
10GbEは別の意味で必要かもしれませんがw
内部SwitchをESXiのソフトだけで賄うと結構負荷が高いかも?
VT-cでも使って、10GbE AdapterをSwitch代わりに使えば、
負荷は問題なくなるかもだけど、余りにも贅沢な使い方にw
(物理ポートがLinkDownしてる状態で動くのだろうか・・・
いや、多分動かないだろうなw)

ストレージ部分だけDirectpathでVM直結で、
ESXi他はiSCSIでVMと内部Switchで接続って事ですよね。
確かに方法としては良さそうなんですが、
ZFS自体メモリイーターなのと、ESXi上で、現状複数のVMに10G以上
メモリーを使われてる事を考えると、ESXiの鯖に
32GB付けないと、まかないきれないかも・・・?



302 :不明なデバイスさん:2011/11/24(木) 01:07:54.96 ID:/I0TOwaL
>>293
構成的には楽なんですけど、設定が楽なのかがよくわからないんですよね。
某オクに出てるのは、TopSpinOSのだから、このスレでも使ってる人が何人か
いますけど、スイッチのSM使ってる人っているのかな?

アレな方法ですけど、IBスレなのでなんとなくおまけで付けてただけですw
自分も接続するクライアントに速度が必要じゃなければ、いらないよなーと
思いながら書いてたのでw

ホストとゲストで内部Switch使う場合って、VMCIを有効にしても速くなら
ないんでしたっけ?実際に自分で試してみればいいんですけど・・・
他のVMが、大量にメモリ使ってるならちょっとアレな方法はしんどいですね。

303 :不明なデバイスさん:2011/11/24(木) 09:25:32.79 ID:txlbh1FE
ESXiってローカルループバックアダプタ(ダミーNIC)って設定できないの?

スイッチのSMってまああってもなくてもいいものだとは思います。結局Linuxこさえて繋げば同じことなので。
設定はいずれにせよ簡単(topspinのだとSMをデフォルト値でcreateするのみ)。
ただ、SMの目的のためにスイッチ買ったりlinuxこさえたりするぐらいなら、10GBeのほうがずっと簡単&安上がり、では?

3台またぎのスイッチなし、って結局サブネット2つできることになるので、だめじゃないかなー。誰か試したんだっけ?

304 :不明なデバイスさん:2011/11/24(木) 09:35:00.24 ID:txlbh1FE
しかし某オクの相場、ってよーわからんなあ。
super/superを知らないから安かったり、よくわからん製品だから安かったり。
まあユーザ(買う方)も少ないから釣り合い取れてるのかな。

305 :不明なデバイスさん:2011/11/24(木) 20:29:36.24 ID:/I0TOwaL
>>303
ローカルループバックアダプタ設定できますよ。
今回話題にしてるのは、そのローカルループバックアダプタのパフォーマンスがどの程度って話ですね。
ホストのスペックがそこそこあれば、十分パフォーマンスは出るみたいですけど。動いてるゲストの数とか
ゲスト側の負荷とかで色々条件が変るので。

スイッチのSMはそんな感じで設定するんですね。
うちも設定してみようかなー。ただ、セカンダリのSMに設定するとは思いますが。
台数少ないと、間違いなく10GbEの方が簡単で安上がりですね。
ただ、スイッチの出物がすごく少ないのがネックですね。

三台またぎのスイッチ無しはやった事ありますが、InfiniBandのネイティブだと設定の仕方が解らず挫折してます。
IPoIBだと、言われてるようにサブネット二つにしてルーティングしてやればTCP/IPでの通信はできました。
言われてるサブネットがInfiniBandのサブネットだったら意味なしの返答なのでご了承を。

確かに某オクの相場は意味不明ですなぁ。
知ってる人だったら、激安ってのが多々出てますね。出品者側が価値を解ってないからってのが大きいんだと。
特殊用途の製品&一般だとあまり知られてないってのが大きいんでしょうね。

306 :不明なデバイスさん:2011/11/24(木) 21:30:10.15 ID:txlbh1FE
infinibandのサブネットです。>数珠つなぎ
でサブネット間のルーティングって(infinibandの)ルータが必要じゃないのかな。
でinfinibandのルータ、ってたぶん死ねるような値段かと。

307 :不明なデバイスさん:2011/11/24(木) 22:35:32.73 ID:/I0TOwaL
自分でかなり最初に書いてたけど、OpenSMでこの設定したらルーティングできそうなんですよね。
(自分で書いておいてすっかり忘れてたw)
https://wiki.chpc.utah.edu/display/CHPC/Ember+Cluster+OpenSM+Configuration+Notes

あと、リング接続で動かされてる方も
http://www.slideshare.net/syoyo/diy-infiniband-networking
出来そうってのは解るんですけど、どうやって設定するってのがよくわからない。

どちらにしろOpenSMが動作してる環境は必須なんですが。

308 :不明なデバイスさん:2011/11/24(木) 22:43:47.68 ID:txlbh1FE
2ポートのカードなら同一サブネット可能なんでしょうか?
なお、上のほうの「routing_engine」って同一サブネット内に複数経路ある場合の経路選択アルゴリズム、だと思います。

309 :293:2011/11/24(木) 23:13:11.29 ID:xCIMl9Wd
えぇ、色々考えて、今回はFCで行くことにしましたw
さすがに8Gbpsは高いので、4Gbpsですが。

実は、別にあるファイル鯖がWin機でそこにMS iSCSI targetを入れて
使ってた事もあったんですが、OSにパッチ当てる→要再起動のたびに、
ESXi上のVM全部落とすのが面倒で。
その為にBSD+ZFS+istgtで1台仮想鯖用にストレージ立てました。
Linuxはどうかと言えば、もうこれは宗教に近いと言いますか、
かれこれ20年近く鯖用にBSDしか扱ってこなかったんで、Linuxのお作法になじめないんですよね。
Solarisは仕事で触ってたことがあるんで、まだ良いんですが。
まぁ、ESXiも5.0に上げる予定が有ったので、ドライバ出るまで
SRPが使えないって問題もありますし。

FreeBSDか、SolarisでSMが動くようになってESXiにドライバ来たら
再度IBへの移行を考えるかも。
その時までFCで遊んでますw


310 :不明なデバイスさん:2011/11/24(木) 23:35:51.83 ID:txlbh1FE
FC、emulexの8G品がオクで安価に(笑)
#SFP付きだし。

311 :不明なデバイスさん:2011/11/25(金) 00:06:51.32 ID:7fJvbJKx
>>308
ごめんなさい、ご指摘の通り上のルーティングは同一サブネット内の経路選択アルゴリズムでした。

下の資料みてると2ポートのカードなら可能そうに見えるんですけどね。
どういう設定をしているんだろうかと思ってるんですが。

>>309
あら、FCで決定ですか
FreeBSD 9.0にもOFEDは移植されてるので、近いうちに動くようになるとは思いますけどw
IBがもう少し楽に動くようになったら、戻ってきてくださいねw

312 :不明なデバイスさん:2011/11/25(金) 01:52:16.23 ID:MwOgxDY8
10GbEが糞だからFCとかIBを使わなくてはいけないんだよなあ



313 :不明なデバイスさん:2011/11/25(金) 02:22:10.39 ID:Vvp6BG2d
10GBase-Tがもっと値段下がればなぁ
サーバセグメントはIB、端末は10GBase-Tにしたい

314 :不明なデバイスさん:2011/11/25(金) 09:33:38.28 ID:Cx0E5TL2
>>309
20年前にBSD系というと・・・SparcStation2+SunOS4.1.3とかしか思いつかん。
#Solarisは2.1のころからのつきあいだけど、oracleになってから一切さわらず。
>>313
10GBase-Tは電力喰う、レイテンシあり、SFPのところに入らない、などの理由で普及しないと思われ。

315 :不明なデバイスさん:2011/11/25(金) 23:31:04.57 ID:ny+HkQzw
>>312
糞、というか。
FCでもIBでも10GBeでも、結局SFP+なりQSFPなりのインターフェース+PCIeインタフェース+オフロードエンジンなわけで、
オフロードエンジンをプログラム可能にしちゃうと結局これらには差がないわけで、
だからemulexもqlogicもmyricomもmellanoxもみんなCNAに走るわけで。
但し単に「切り替えられますよー」のCNAから今はFCoEやEoIBなどの「なんでもこれ経由で出せますよー」の第2世代CNAになってるわけで。

その場合のベースとして、例えばFCをベースにしてIPFCでIP転送、というのも考えられるけど、FCは基本接続台数は127台。
EtherをベースにするつまりFCoEが(いろんな機器あるので)コスト安そうなんだけど、Etherはパケットロスがあってもいい規格で、
この上にFCを載せると非常に都合が悪い。それで結局Etherにいろいろ拡張せにゃならん。
でIB。接続台数は6万台だし基本パケットロスないし、EoIBやFCoIBがやりやすい。
しかもmellanoxは早々と40Gb速度品を比較的安価に出してきてるわけだしベア性能はTop500で証明済み。

と書いたけど結局ふつうの企業のクライアントは1Gbeなわけで、EoIB←→1Gbe x24とかのブリッジスイッチが
例えば30万程度で提供されない限りいろいろ普及は無理だなー、って思う。

316 :不明なデバイスさん:2011/11/26(土) 01:03:28.50 ID:Uj9619ub
3行にまとめて

317 :不明なデバイスさん:2011/11/26(土) 02:57:15.33 ID:7BYpr4oz
>>316
EtherもIBもFCも全部似た方向に行ってる。
IBはその中で大量の1セグメントのネットワークが可能な上にカード自体はかなり安い。
でも、普通の企業だと1GbEがメインなんで、IBとEtherを接続する機械が低価格で出ないと復旧は無理

318 :不明なデバイスさん:2011/11/26(土) 21:47:26.77 ID:ZVKGS/hp
cisco 7000dはIB側(IPoIB)にも管理用のIPアドレスを振る事ができるので、
Etherの管理IPアドレスとの間で簡易ルータにならないかと思ってやってみた。
だめだった。まあ可能だったところで100BASE-TXのスピードなんだけどね。

319 :不明なデバイスさん:2011/11/27(日) 15:29:34.34 ID:sf/QJNdv
>>313
10Gbase-Tはエラー率、温度がやばすぎて使おうとは思えない。
Twinaxのほうが現実的。

320 :不明なデバイスさん:2011/11/27(日) 17:20:19.22 ID:Z+wYwGUN
導線だと取り回しが楽なんだよな
光は曲げられないから大変



321 :不明なデバイスさん:2011/11/27(日) 17:29:43.87 ID:6EdWlT3r
>>320
このスレの住人は決してそう思ってないぞ。AWG24のSFF-8470なんてなあ、(w
#ちなみにSMFでも最小曲げ半径15mmとか25mmとかが普通なんで気にする必要全くなし。

322 :不明なデバイスさん:2011/11/27(日) 18:06:42.99 ID:cauGjWgL
>>320
は?
逆だろ?
お前、ファイバー使ったことないだろ?

323 :不明なデバイスさん:2011/11/27(日) 19:17:35.44 ID:YH0In5V+
>>320
最近CX4のケーブルをファイバーに変更して取り回しが楽になったと喜んでる人が通りますよw
って、321の方がおっしゃってるようにInfiniBandのケーブルはAWG28で約8mmくらいあるから
ファイバーのが逆に取り回しが楽になるんですよね。

324 :不明なデバイスさん:2011/11/27(日) 21:49:47.34 ID:526o+p7N
>>317
GbEとIBの間でいいのなら、PCルータで十分じゃね?
問題は10/40GbE<->IBの部分。

325 :不明なデバイスさん:2011/11/27(日) 23:57:08.83 ID:osYvCsYL
>>320
最近のファイバーは曲げ耐性スゴいぞ
下手しなくても銅配線材の方がまがらないくらい
フレッツを入れたときに屋内配線用にコネクタを取り付け済みのファイバーケーブルが来たけどこれがめっちゃ柔らかくて進歩を実感したよ

326 :不明なデバイスさん:2011/11/28(月) 08:06:50.72 ID:rvCCgUX8
>>324
40GbE<->QDR IBのPCルータとか胸が熱くなる・・・

327 :不明なデバイスさん:2011/11/28(月) 08:29:31.79 ID:yE0D/2Sa
>>326
PCI-e 3.0のx16でも、16GiBだからなぁ。
いつワイヤースピード出せるようになるのか・・・

328 :不明なデバイスさん:2011/11/28(月) 08:30:55.17 ID:yE0D/2Sa
>>327
あ、16あればたりるのか。


329 :不明なデバイスさん:2011/11/28(月) 08:49:39.22 ID:19Vkbmpx
ショートパケット無視でも10GbEって6MppsだからPCルータだとさすがにちょっと届かない位か?
GbEは用途を選べば実用の領域に入ってる。

330 :不明なデバイスさん:2011/11/28(月) 09:37:01.24 ID:+KpZj0mL
GbeとIBの間でいいんだけど、Gbeが24本あってIBとの間でワイヤスピードやpps考慮するとPCルータじゃ無理でしょ。
市販の10Gbe←→Gbeルータが仕切り20〜30万であることを考えると、その価格帯になれば10Gbeの代わりになるかなあ、と。

#でもL2ブリッジならそもそもEoIBじゃないと駄目だけど、EoIBはまだまだ、って感じだしなあ。

331 :不明なデバイスさん:2011/11/28(月) 09:40:09.93 ID:+KpZj0mL
>>325
ホーリーファイバね。あれはちょっと特殊だし距離延ばせないんで。
ただVCSELなSMFだと主流になる可能性があると思う。

332 :不明なデバイスさん:2011/11/28(月) 21:27:18.73 ID:uLtQAD+M
駆け出しの頃はファイバーは女の子みたいに扱えって言われたけど進歩したもんだw

333 :不明なデバイスさん:2011/11/28(月) 23:28:31.52 ID:1grOWv3f
全くだな、いまどきの女の子ときたら

334 :不明なデバイスさん:2011/11/29(火) 09:24:46.75 ID:PN8FW+ON
戦後に強くなったのは女の子と光ファイバー

335 :不明なデバイスさん:2011/11/29(火) 13:36:36.67 ID:GkmxL9Gb
わたしマルチモードだから。

336 :不明なデバイスさん:2011/11/30(水) 00:48:33.64 ID:WCom+m6f
そして俺はいまだにシングルモード

337 :不明なデバイスさん:2011/11/30(水) 15:15:20.87 ID:SYoioA/Z
ババン、バ、バン、バン、バン!

338 :不明なデバイスさん:2011/11/30(水) 18:44:16.06 ID:x86vA2xE
一般家庭に光ファイバーが導入される日は何時だろう

高級マンションとかだったら光ファイバー設置出来ますとかやってるのかな?

339 :不明なデバイスさん:2011/12/01(木) 06:17:26.01 ID:sXT9G8Xg
インフィニバンド!

340 :不明なデバイスさん:2011/12/05(月) 00:44:52.17 ID:J8Fe7yPh
OFED-1.5.4が明日の夜にはでるのかな?

とりあえず、OFED-1.5.4RC5とWinOF 3.0-RC3が出てます。

341 :不明なデバイスさん:2011/12/05(月) 21:16:03.99 ID:J8Fe7yPh
Solaris11でOpenSMのコンパイルどうなるかやってみたが、見事にこけた orz
ソースちょっと追っかけてみたけど、LinuxのKernel Headerファイルに依存してるところが
結構あるんで、こりゃ移植に手間かかるわとおもた

342 :不明なデバイスさん:2011/12/05(月) 21:22:24.36 ID:kEr46NjD
そもそも管理用のパケットが送れない(送るverbを実装してない)とかいうレベルじゃないのかな?

343 :不明なデバイスさん:2011/12/05(月) 21:28:06.58 ID:kEr46NjD
ようやっとPCIe8xが2本取れるマシンを手に入れたのに、今度は遊んでる時間がない。うむー。

344 :不明なデバイスさん:2011/12/05(月) 21:33:09.76 ID:24wg9tqU
7本取れるマザー買ったけど同じく時間がないw


345 :不明なデバイスさん:2011/12/05(月) 22:25:45.51 ID:J8Fe7yPh
うーん、Solaris11のtavorドライバはもしかして純正とMellanox以外のInfiniHostを弾いてるのかな?
手持ちのOEM物のカードが動かなくなってる・・・。

346 :不明なデバイスさん:2011/12/05(月) 22:29:48.36 ID:kEr46NjD
flintでvendor idとかも書き換えられるんだから適当にメラっぽいのにしちゃえばいいんでない?
#メモリなし、ではないよね?

347 :不明なデバイスさん:2011/12/05(月) 22:33:30.54 ID:J8Fe7yPh
>>346
失礼。
もう一台のSolaris11で試したら認識したので、カードとOSが原因ではないみたい。
んー、こりゃM/Bとかの問題だったら嫌だな
#メモリありっすね。

348 :不明なデバイスさん:2011/12/06(火) 01:33:35.07 ID:TO/7ikA1
ちょっと、Solaris11系Tavorドライバの追試してみた。
Solaris11 Early Access版だと認識したので、Release版との間に何か修正入ってるのかな。
同一環境のWindows 2008R2 + WinOF 3.0-RC3 だと普通に認識したので、M/Bとドライバの相性っぽい。

349 :不明なデバイスさん:2011/12/06(火) 09:41:10.97 ID:UrdJ4Wcd
PCIのvendor idは純正も互換も同じ(違うカードもあるみたいだけど)だから、
単純に差し替えると同じカードだと思ってESCDが更新されなくて不具合、とかじゃない?

350 :不明なデバイスさん:2011/12/06(火) 20:36:27.51 ID:3zFVmrcP
うーん、同じカードで別PCのSolaris11で動いて、そのPCのSolaris11だけInfiniBandが動かないって状況。
一回再インストールした方がよいのかも。

351 :不明なデバイスさん:2011/12/07(水) 21:14:08.33 ID:x5v+TmkP
PCIe8xにinfinihostとmyri10G刺したらシステムファンが爆速・・・うひょう。遅いままに設定できないものか。
>>344
7本も取れるマザーなんてあるのかいな、ってググったら、ワシの買ったマシン全体(CPU&メモリ込み)より高いじゃん。

352 :293:2011/12/07(水) 21:34:22.71 ID:tRhZaY2x
>>344
x8 7本だとすればASUSのSuperComputer辺りなのかな?
でも、大丈夫なんかいな。
この手の鯖向けのカードって、
スイッチチップとか嫌う傾向が強い感覚なんだが・・・


353 :不明なデバイスさん:2011/12/07(水) 21:35:45.43 ID:tRhZaY2x
あれ、変なコテついてた、まぁ無視してくれ。


354 :不明なデバイスさん:2011/12/07(水) 21:40:58.89 ID:h5ImOy8Z
>>351
うちは、気休めだけど下のファンをInfiniHostとLSI 9211-8iを冷やす用に付けてる。
http://www.ainex.jp/products/cb-4010m.htm

355 :不明なデバイスさん:2011/12/07(水) 22:04:05.57 ID:x5v+TmkP
いや、接続してないからたいして熱くなってないんだけど、IPMIが勝手にPCIカードのvpdを読んでシステムファンを爆速にしてくれちゃう模様。

356 :不明なデバイスさん:2011/12/07(水) 22:46:41.91 ID:h5ImOy8Z
>>352
X8SIA-FのPCIeスイッチ使ってる方のポートへ接続してるけど、問題出てないね。
他にPCIeスイッチ付いてる機械は持ってないからそれ以外はわからんけど。

>>355
なるほど、IPMI側で勝手に速度上げちゃってるのか。

357 :不明なデバイスさん:2011/12/08(木) 00:01:12.49 ID:ZfBF7TG8
>>356
IDTか・・・
まぁ、●なら、当然使うその辺はチェックまともにかけてる
はずだし、大丈夫だろうねぇ。

その点、NF200ってどーなのよ、ってのは有るけど。


358 :不明なデバイスさん:2011/12/08(木) 11:44:02.27 ID:AGovnO++
X8TDH-6Fだの
http://www.supermicro.nl/products/motherboard/QPI/5500/X8DTH-6F.cfm
オンボードsasが欲しかった。
あとはSAS HBAx2とIBx2 10Gその他を追加するんで選択肢が余りなかった。
CPUはL5520x2確保済、メモリーどうするか考え中。
Soraris11+napp-itでいいかなと

359 :不明なデバイスさん:2011/12/08(木) 11:49:49.37 ID:AGovnO++
>>352
逆にサーバーだとブリッジチップがないほうが希じゃ無いかな?
とくにハイエンドになると

360 :不明なデバイスさん:2011/12/08(木) 12:08:06.49 ID:k77+uUMb
こんなマザボ、何に使うの?

361 :不明なデバイスさん:2011/12/08(木) 12:18:12.04 ID:vcHdi8e2
>>360
なんでここにいるの?w

362 :不明なデバイスさん:2011/12/08(木) 13:30:03.66 ID:ppMwh1HX
>>358
あぁ、そちら系でしたか。なら問題無いですねー。
って油断すると、相性にはまる事はありますが・・・w
うちの●君は単独で差すと問題無いIntel ET DualPort NICですが、
別のカードを挿すと、ESXi君は見事に見失ってくれますorz
BIOSでは認識してるので、どちらかというと、ESXiの問題な気はしますが、
まだ検証に時間を取れていない物で・・・

>>359
Nehalem以降1366以上だとQPI出てるんで、スイッチで分けるより、
チップセット2つ以上乗っけちゃうパターンの方が、最近多いんじゃ無いかな?
今回のなんて、その典型な気がするけど。

足りない分をスイッチで何とかってXeon-UPでしか発生しないし、
そのクラスにx8一杯取れる構成にしようって需要はあんま無いかなと・・・
(メーカー的に。必要なら上のDPクラス買ってくれとw)
個人的にはPCIいらないんで、その辺取っ払ってPCIeが多いマザーは大賛成なんですけどねw


363 :不明なデバイスさん:2011/12/08(木) 21:40:29.81 ID:ajAsJZxP
>>362
i5520ってこんな構成も取れるのね。i5520チェインしていけば何スロットでも取れるな。

364 :不明なデバイスさん:2011/12/10(土) 08:35:42.62 ID:KvuxDDuU
とりあえずSolaris11での動作検証が終わったので報告。

Solaris11 EarryAccessで、一通り動作検証してたので、動くだろうとは思ってたけど。
Solaris11で動作したカード

・MHEA-1TC (HP 380928-B21、Cisco SFS-HCA-E7T7-A1)
・MHGH28-XTC (HP 448937-B21)
・MHGH29-XTC (IBM 46M2221)
・MHQH19-XTC
・MHQH29-XTC
・MHQH19B-XTR

の上記は一通り動作するの確認。
っても、最低限のIPoIBとかでチェックしただけなので不具合が別でてるかも。
とりあえず、検証用一号機のE-1235機が最新BIOSでの不具合持ちなので、
そっちでは検証出来ず orz

365 :不明なデバイスさん:2011/12/10(土) 08:42:36.60 ID:KvuxDDuU
Web見てたら、ESXiへSRPとIPoIB使った場合はどう見えるんだろってあったけど、

ESXiではSRP Initiatorなので、ESXiのデータストアとしてしか見えない。
(ドライバの対応が4.1系なので、1データストア辺り2Tまでの制限あり)
ESXiのIPoIBインターフェイスは普通のNICで接続してるのと同じように、
VNICとして見える。のでゲストのVM上からは普通のネットワークインターフェイスとして見えます。

366 :不明なデバイスさん:2011/12/10(土) 12:05:18.76 ID:GI8pD2DW
>>365
それでちゃんと動くんだ。>VNIC
ふつーのNICはL2だからESXiがブリッジ動作すれば仮想マシン側では直接LAN接続されてるのと同等に動くけど、
IPoIBの場合はL3だから単純なブリッジ動作、ってできないはずなんだよね。
(IPアドレスとinfinibandのLIDの対応はSMで管理するはず)
動作してる、ということはちゃんと仮想マシン側のIPアドレス割当をESXi側に持ってきてSMに通知してるんだろうなあ。

367 :不明なデバイスさん:2011/12/10(土) 14:10:19.45 ID:KvuxDDuU
>>366
それで動きますね。
VMが通信するまではSMに通知が行かないみたいで、通信するまでは繋がらなかったりします。
これが起きるのがOpenSolaris系だけなので、OpenSolaris側のIPoIBの実装問題かもしれないですが。
NexetaCoreとかの、ofv(OFED1.3ベース)の古い実装のやつはIPoIBで負荷かけると、よく発狂するので・・・。

368 :不明なデバイスさん:2011/12/10(土) 21:17:56.05 ID:GI8pD2DW
>>367
なるほど。内側が通信はじめるまではMac-IPの対応が取れないからか。
外側は内側のIPを初期状態では知らない=ARPが来ても返事できないからね。

369 :不明なデバイスさん:2011/12/11(日) 22:23:25.51 ID:rRe43yJK
すみません、どなたかアドバイスをお願いします。
Win7とWinSvr2008R2の両方にInfiniHostIII EXを刺して、ドライバはWinOFED
3.0-RC4を入れています。ドライバインストール時のオプションは、デフォル
トに対してSRPをオンにしただけです。インストール後、CMは両マシンとも
Enableにしています。

この状態でnetperf2.1pl1で速度を計ると

IB経由 SocterSize 8192 Throughput 0.32 (10^6bit/sec)
Ether経由 SocterSize 8192 Throughput 391 (10^6bit/sec)

という感じでGbEに比べて全く速度が出ません。win7→2k8も2k8→win7も結果
は変わりませんでした。

どこかチェックすべき箇所がありますでしょうか?


370 :不明なデバイスさん:2011/12/11(日) 23:55:58.23 ID:5WNBA5J4
>>369
カードのファームが最新かチェックくらいかな。

あと、出来ればInfiniHostの型番が情報として欲しい。
OEM物だったらOEMの型番まで。

環境違うから参考にならないかもしれないが、ConnectX使ってSDR接続の状態で
WinOFの3.0-RC4(Win2008R2)とLinux(MLNX_OFED-1.5.3)でIPoIB試したときは、
iperfで8Gb/sまで出てたけど。ほぼ理論値でてびっくりしたが

371 :369:2011/12/12(月) 02:14:07.66 ID:ou69AOdp
>>370
MHGA28-XTCです。Windowsでは「InfiniHost III Ex(MT25218)」と表示されて
います。

ibv_devinfoでは fw_ver:0x500010190 と表示されます
とりあえず明日fwを最新にしてみようと思います

372 :不明なデバイスさん:2011/12/12(月) 02:27:16.21 ID:VSfvQ4a+
Solaris 11でConnectX系のドライバの名称が変ってるのは、この辺の絡みかなー。
http://www.mail-archive.com/opensolaris-arc@opensolaris.org/msg01304.html

あと、Solaris11のOFUVは1.5.3ベースだけど、OpenidianaのKernel側のインターフェイスは
1.5.1ベースなのね。
http://arc.opensolaris.org/caselog/PSARC/2010/239/mail

373 :369:2011/12/12(月) 02:32:20.68 ID:ou69AOdp
ぬふぅ・・・
質問ばっかりですみません。まさに↓に書かれてるような
http://ibicluster.uchicago.edu/roll-documentation/mlnx-ofed/using-mlnx-ofed.html

Invariant sector mismatch て言われてFWをUPDATE出来ないんですが、skip_is
付けて回避するので合ってますでしょうか?

374 :不明なデバイスさん:2011/12/12(月) 03:54:23.58 ID:VSfvQ4a+
>>373

古いMHEAからだと、-skip_is付けないとUpdate出来ないので付けてやりましょう。
こちらも何回かやってるけど、特に問題になってことはないです。

375 :不明なデバイスさん:2011/12/12(月) 03:56:26.70 ID:VSfvQ4a+
後追加

書込終わった後に確認で

flint -d mt25204_pci_cr0 q

してやって、書き換わってたら、Rebootしてやってから
ibstatdでFirmのバージョンか確認してやればよいかと。

139 KB
■ このスレッドは過去ログ倉庫に格納されています

★スマホ版★ 掲示板に戻る 全部 前100 次100 最新50

read.cgi ver 05.04.00 2017/10/04 Walang Kapalit ★
FOX ★ DSO(Dynamic Shared Object)