『問題解決型』ハードウェアメーカー
ファナティック

高速ネットワークストレージ　ベンチマーク

2016.07.12　ベンチマークレポート

---

Infinibandの性能向上やIntel Omni-pathの登場により、ネットワークの帯域がついに100Gbpsに達しました。この高速ネットワークを一部のHPCスパコン用だけに使っているのはもったいないとは思いませんか？

これらをストレージシステムに導入すれば、FC-SAN等に比べて圧倒的に高コストパフォーマンスのSAN/NAS環境が構築可能です。さらにRDMA機能を利用すれば、超低レイテンシアクセスによりさらなる性能向上も期待できます。（実際に一部大手ストレージメーカー製品でもこの技術は採用されています。）

RDMAとは…

Remote Direct Memory Accessの略。サーバ間のデータ転送を、CPUを介さずに直接メモリ同士で行う技術。

またストレージを高速化する方法として、近年ではFlashデバイスの導入が主流となっています。
しかし映像系のようなシーケンシャルアクセス中心の分野では、Flashデバイスの持つ低レイテンシアクセスのメリットが十分に生かされない上、容量単価が高くなってしまうため必要な容量を確保しづらいというデメリットがあります。
Flashデバイスの魅力として広帯域であることも挙げられますが、実は本数次第ではHDDでも同程度の帯域を確保することが可能です。

---

当社でシーケンシャルアクセス主体のネットワークストレージシステムとして、Infiniband（RDMA機能有/無）を使用した高速SAN/NASシステムの性能評価を行っておりますので、そのベンチマーク結果の一部をご紹介させて頂きます。

ベンチマーク方法

ベンチマークプログラムとしてFIOを使用

１）ジョブ数
１ジョブ       単一転送処理での性能
８ジョブ       ８本同時転送時の性能

２）iSCSI
RDMAなし             iSCSI
RDMAあり             iSER（iSCSI overRDMA）

３）NFS
RDMAなし             NFS　(ver.4)
RDMAあり             NFS over RDMA

※その他条件

・FIOパラメータ
fio -iodepth=32 -ioengine=libaio -direct=1 -invalidate=1 -size=200G -runtime=100 -group_reporting

※データサイズを主記憶より十分大きく取り（200GB）ぺージキャッシュ等の影響を排除しています。

測定条件

	ストレージ	クライアントワークステーション
CPU	Intel Xeon E5-2600シリーズ x2	Intel Xeon E5-2600シリーズ x2
Memory	64GB	–
HDD	SAS-HDD x48 ※RAID50相当（HW-RAID+SW-RAID）	–
InfiniBand HCA	MCX354A-FCBT （Mellanox FDR）	MCX354A-FCBT （Mellanox FDR）
OS	CentOS7.1	CentOS6.5

ネットワーク環境

Infiniband（Mellanox製） FDR（56Gbps）
Switch SX1012（IB-GWライセンス付：SX6012相当）※IP通信はIPoverIB

ベンチマーク結果

★JOB数=1

 

 

 

 

★JOB数=8

 

 

 

考察

• シーケンシャルアクセスでもRDMAの効果は非常に大きく。特にiSERや複数JOB実行時はRDMA無し時の３倍以上の性能改善がみられます。
• iSERや複数JOB実行ではブロックサイズが大きければ、ディスク、ネットワークともほぼ物理上限の6GB/s近くの性能が出ています。（ローカルストレージ性能と同等）
• １JOBではNFSoRDMAよりiSERの方が性能が出ています。ただし、iSERはSAN接続のため共有ストレージのような使い方はできません。

※補足）ちなみにランダムアクセス時はNFS/iSER、RDMAあり/なしで性能差はほとんどつきませんでした。RDMAのレイテンシ改善効果を期待しましたが、HDDのアクセスレイテンシが大きいことが足を引っ張っているようです。

結論

Infiniband接続でRDMA機能を使えば、シーケンシャルアクセスに関しては、ほぼローカルストレージと同等の性能（それも数GB/sレベル）を持つネットワークスストレージを構築することができます。

 

※お客様のニーズに合わせたコストパフォーマンス最高のネットワークストレージをご提案させて頂きますので、是非ご相談下さい。