10Gbpsの限界まで速度がだせる高速ネットワークを構築する方法

USB3.1 Gen2やThunder3など高速なデータ転送技術が次々と登場する一方で、ネットワークの通信速度は未だに100Mbpsや1Gbpsが主流で、企業でも10Gbpsのネットワークを利用するシーンはかなり限定的です。

最近は10GBASE-Tのネットワークアダプタの低価格化が進んだこともあり、サーバとNASを直結して速度にデータをバックアップするという使い方が増えていますが、ファームウェアのアップデートができないなど管理面に問題があります。

業務効率を上げるために10Gbpsネットワークの設備を導入したものの、環境次第では10Gbpsに程遠い速度しか出ないこともあるなど、投資に対する効果が不透明こともあり手を出しにくいのが現状です。

そこで今回は、10Gbpsの性能をフルに発揮させるために必要な機器の紹介や、利用するデータ転送技術やRAIDレベルの違いによるパフォーマンスの違いなどをベンチマークソフトを使いながら紹介します。

1Gネットワークはとても遅い

10Gbpsネットワークの構築に必要な機器を紹介する前に、まずは高速と思われている1Gbpsのネットワークがいかに遅い通信規格なのか、馴染みの深いUSBを例に転送速度を比較しながら説明します。

1Gbpsのネットワークは従来の100Mネットワークと比べると遥かに高速ですが、論理値5GbpsのUSB3.1Gen1や10GbpsのUSB3.1Gen2と比べるとかなり低速で、肥大化していくこれからのデータ通信には適さない規格と言えます。

10Gbpsに対応したネットワークは昔から存在していましたが、規格の乱立や干渉などによる速度の低下などの技術的な問題、ネットワークアダプターやスイッチが従来の機器とは比較にならないくらい高価などの理由で、積極的に導入する企業は多くありませんでした。

ただ近年では、10GBASE-T対応のネットワークアダプタやスイッチが徐々に値下がりをする傾向があり、サーバ機器とNASを10GBASE-Tのネットワークで接続して、高速にバックアップをするという使い方も増えてきました。

1Gbpsでは10TBを越えるファイルサーバのフルバックアップをするには1週間近く時間をかけなければいけませんが、10Gbpsに対応した通信を利用することで2日程度と大幅に短縮することができるので実用的になりました。

通信が速くならない原因

論理値10Gbpsを誇るUSB3.1Gen2ですが、試に外付けケースにIntel SSD 520シリーズのディスクを入れてベンチマークを実行したところ、Seq Q32T1の値が509.1MB/s(約4Gbps)と半分以下の結果となりました。

例えデータ転送速度が10Gbpsに対応していたとしても、ディスクへのアクセス速度が遅いと論理値の半分にも到達しないので、10Gbpsのネットワークを構築するならディスクのアクセスも高速でなければなりません。

気を付けなければならないのはストレージの速度だけでなく、SFP+や10GBASE-T対応のネットワークカードやマザーボードに搭載されているPCI Expressの規格が古い場合や、挿入するスロットのレーンが少ないと10Gbpsの速度が出せません。

PCI ExpressはGenのバージョン違いだけでなくレーンの数も注意しなければならないのですが、形状がx16のレーンでもx4でしか動作しないスロットもあるので、PCやマザーボードを購入する時は注意が必要です。

試にx16のスロットにNVMe SSDを装着しベンチマークを実行したところ、Seq Q32T1の値が2,661MB/s(21Gbps以上)という驚異的な数字を叩きだしたのに対し、スロット形状は同じでもx4で動作するレーンはパフォーマンスがかなり落ちました。

仮にストレージが20Gbpsを越える速度で動作したとしても、ネットワークカードを接続するPCI Expressのバージョンが古いPCやレーン数が少ないスロットだと、10Gbpsのネットワークの帯域をフルに活用することができません。

10Gbpsの帯域を最大限に活用するネットワークを構築するならば、少なくともアクセス先に搭載されているストレージの転送速度、搭載するネットワークカードの規格、ネットワークカードを接続するバスの規格が10Gbpsを下回る物ではいけません。

現時点ではSATAでは6Gb/sが最高でSAS-3では12Gbpsが限界だということを考えると、ディスクの本数を多く利用したRAID-5やRAID-6で構築されたサーバや、NVMeに対応したM.2 SSDを搭載したPCでないと10Gbpsには到達するのは難しそうです。

10Gbps越えも視野に

PCI Expressに接続するNVMe M.2 SSDの速度が軽く20Gbpsを越えてくるとなると、PCはもちろんNASやサーバにもNVMeのSSDが搭載される可能性がありますが、その場合10Gbpsのネットワークがボトルネックになります。

NVMe M.2 SSDだけでなく24Gbpsに対応したSAS-4が登場すれば、間違いなく10Gbpsのネットワークがボトルネックになるので、これから新規にネットワークを構築するなら25Gbps以上の環境を目指した方が良いのかもしれません。

ただ、設備の導入コストのことを考えると10Gbpsを超えるネットワークはサーバー周りを強化するのに使うのが現実的で、映像や写真データなどの大きなデータを頻繁に扱う業種でなければ、1Gbpsのネットワークをしばらく使うことになるのではないでしょうか。

少ない設備でネットワークを構築できるという意味では大企業や中小企業よりも、スモールオフィスやハイスペックを追求するビーユーザーを中心に10Gbpsやそれ以上の速度の通信環境が整備されていくかもしれません。

QNAP 10GbE対応 8ポート アンマネージドスイッチ QSW-804-4C

QNAP 10GbE対応 8ポート アンマネージドスイッチ QSW-804-4C

212,786円(03/19 11:33時点)
Amazonの情報を掲載しています

RAID0 6G SASとSFP+の組み合わせ

今回の検証に使用したのはコスト重視で購入したPCI Express2.0 x8で動作するIntel X520-DA1互換のSFP+ネットワークカードで、Windows Server 2016や2008 R2で動作するのを確認しました。

10Gbpsに対応したネットワークスイッチは高価なので、今回は購入せずにサーバとワークステーションを光ケーブルで直に接続しているのですが、スイッチを経由することで通信速度が変わることもあります。

まずは、5年以上前に購入した6.0Gbps規格のSAS HDDを3本搭載したサーバをRAID-0で構築し、ワークステーションからネットワークドライブ接続しベンチマークを実行したところ、Seq Q32T1が512.6MB/s(約4.1Gbps)という淋しい結果になりました。

パフォーマンスが落ちるRAID-1が1.7Gbpsと振るわないスコアなのは理解できますが、HDDとは言えSASのRAID-0で組んだストレージのReadが4.1Gbpsしか出ないのは少し予想外でした。

10GBASE-TとRAID-5 SATA HDDの組み合わせ

次は10GBASE-Tを標準搭載しているSynology DS1817のNASと、10GBASE-Tを搭載したDell PowerEdge R510を組み合わせたベンチマークの結果ですが、こちらはSeq Q32T1が941.1MB/sと高いスコアをマークしました。

計測に使用したNASは8本のHDDをRAID-5で構築した物ですが、読み込み時の速度をWindows Server 2016のタスクマネージャで確認したところ、瞬間的に8Gbpsを越える数値が出ています。

10Gbpsには僅かながら到達できていないのはCAT-7のケーブルを使用しているからなのか、NASに搭載されているネットワークカードの限界なのかわかりませんが、読み込み速度は限界近くまで出ています。

ただ、ファイルには大小様々なサイズが存在したり連続した領域やランダムな領域の書き込みや読み込みがあるので、Seq Q32T1が941.1MB/s出たとしても他のスコアが遅いと高速には感じません。

NVMe M.2 SSDとSFP+の組み合わせ

最後に、PCI Expressに接続するNVMeのM.2 SSDとSFP+のネットワークカードを組み合わせてベンチマークを実行したところ、限界である10Gbpsに到達することができました。

ベンチマークの結果ですが、Seq G32T1が1184MB/s(9.4Gbps)と10Gネットワークの限界に近い数値が出ているだけでなく、SATAやSASのHDDと比べて書き込み速度もかなり改善されています。

10Gbpsネットワークだと20Gbps以上の速度がでるNVMe M.2 SSDの性能をフルに発揮することはできませんが、少なくとも10Gbpsネットワークの限界までトラフィックを増やすことができました。

使用した機器の紹介

今回の検証に使用したシングルのSFP+ネットワークアダプタは、Intel X520-DA1互換のPCI Express2.0 x8に対応した製品で、Windows 2008R2やWindows 2016でも問題なく動作します。

こちらはシングルだけでなくデュアルのSFP+ポートを搭載した製品や10GBASE-Tのポートを搭載したネットワークカードなど、要件に合わせてた製品を比較的安く購入できるのでおすすめです。

SFP+はネットワークスイッチを介さなくても通信が可能なので今回は直にサーバを光ケーブルで接続しましたが、複数台の端末を接続するのではればSFP+対応のスイッチが欲しいところです。

今回は予算の関係上購入していませんが、QNAPから比較的手頃な価格で購入できるSFP+と10GBASE-Tに対応したスイッチがありますので、企業やハイエンドなホームネットワークを構築する方におすすめです。

HDDで限界に近いパフォーマンスを発揮したSynology DS1817は標準で10GbEを2ポート搭載したハイエンドなNASですが、拡張スロットを搭載していないのでSFP+に変更することができません。

DS1817でも十分なパフォーマンスを発揮してくれますが、干渉による速度低下を懸念してSFP+のネットワークを利用したいのなら、拡張スロットのある5ドライブベイのDS1517+か8ドライブベイのDS1817+がおすすめです。

コスト度外視でパフォーマンスや将来のことを考えるなら25GbE SFP+に対応したDS3617xsがおすすめですが、ディスクもフルでSSDにしなければ性能を発揮しないので、かなりの投資額が必要となります。

最後に、今回の検証で使用したPCI Express対応のNVMe M.2 SSDはintel ssdpekkw256g8xtで、拡張スロットに接続するためのインターフェイスボードはAINEX AIF-08というヒートシンク付きの物を使用しました。

今回は検証という意味で価格の安い256GBのNVMe M.2 SSDを購入しましたが、NASで使用するなら1本が1TB以上の容量が必要なのはもちろん、NVMe M.2 SSDを搭載できる製品が必要になります。

NVMe M.2 SSDに対応したNASはまだ数が少なく、搭載できたとしてもキャッシュとして利用するだけの製品もあるので、NVMe M.2 SSDやNASを購入する時は仕様の確認が重要となります。