Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie PCCC21：株式会社データダイレクト・ネットワークス・ジャパン 「複雑さを軽減しつつ、AIデータの価値を最大限に発揮するDDN AIストレージソリューション」
Ähnlich wie PCCC21：株式会社データダイレクト・ネットワークス・ジャパン 「複雑さを軽減しつつ、AIデータの価値を最大限に発揮するDDN AIストレージソリューション」 (20)
Mehr von PC Cluster Consortium
Mehr von PC Cluster Consortium (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (9)
PCCC21：株式会社データダイレクト・ネットワークス・ジャパン 「複雑さを軽減しつつ、AIデータの価値を最大限に発揮するDDN AIストレージソリューション」
- 1. リファレンスアーキテクチャー Lorem ipsum dolor sit amet consectetur NVIDIA DGX™ A100 システムと DDN A3I®ソリューション 大規模AI、アナリティクス、HPCを高速化するために 最適化された統合データプラットフォーム 1. DDN A3 Iが実現するNVIDIA DGX POD向けのエンドツーエンド機能............................................................. 2 2. NVIDIA DGX A100システム向けDDN A3 Iソリューション.............................................................................. 6 2.1. DDN AI400アプライアンス .............................................................................................................. 6 2.2. NVIDIA DGX A100システム ............................................................................................................. 7 2.3. NVIDIA Mellanoxスイッチ.................................................................................................................. 8 2.4. 2.4 NVIDIA AIソフトウェア.............................................................................................................. 9 3. NVIDIA DGX POD向けDDN A3Iリファレンスアーキテクチャー................................................................. 12 3.1. DGX PODのネットワーク構成....................................................................................................... 13 3.2. 2基のDGX A100システムによるDGX POD.................................................................................... 16 3.3. 4基のDGX A100システムによるDGX POD.................................................................................... 18 3.4. 8基のDGX A100システムによるDGX POD.................................................................................... 20 3.5. オプションの管理サーバー............................................................................................................. 23 4. DDN A3 Iソリューションの検証.................................................................................................................... 24 4.1. DGX PODのFIO性能の検証............................................................................................................ 26 4.2. DGX PODのMLPERF性能の検証 ................................................................................................... 27 4.3. DGX PODのNCCL性能の検証........................................................................................................ 28 5. DGX A100システム向けのDDN A3 Iリファレンスアーキテクチャーのスケーリング ................................... 29 6. 詳細についてはDDNにご相談を................................................................................................................... 30 要旨 DDN A3 Iは、DGX A100システム上のGPUで人工知能(AI)、データアナリティクス、高性能コンピューティング (HPC)アプリケーションを稼働させた場合に最適なデータ性能をもたらすことを、大規模システム上で実証済みの ソリューションです。このドキュメントでは、スケーラブルなNVIDIA DGX POD™構成向けとして十分に検証がな されたリファレンスアーキテクチャーについて解説します。このソリューションは、DDN AI400Xアプライアンス をNVIDIA DGX A100システムとNVIDIA® Mellanox® InfiniBandネットワークスイッチに統合しています。
- 2. 2 1. DDN A3 I が実現する NVIDIA DGX POD 向けのエンドツーエンド機能 DDN A3 I (Accelerated, Any-Scale AI)ソリューションは、NVIDIA DGX PODで実行される大規模AI、 データアナリティクス、およびHPCアプリケーションで最大の成果を達成するように設計されてい ます。これらのソリューションはDDNシステムとNVIDIAシステム間の密接な統合により、優れた性 能、容量、機能をもたらします。データの配信と格納に関わるハードウェアとソフトウェアのすべ てのレイヤーが、応答性と信頼性の高い高速なアクセスをもたらすように最適化されています。 DDN A3 IソリューションはNVIDIAとの緊密なコラボレーションにより設計、開発、最適化されてい ます。DDN AIアプライアンスとNVIDIA DGXシステムの密接な統合により、信頼性の高いエクスペ リエンスが保証されます。DDN A3 Iソリューションは、幅広い環境で柔軟に導入でき、進化するワー クロードのニーズに合わせて容量と機能をシームレスに拡張できる高度な構成です。DDN A3 Iソリュ ーションは、単一のDGXシステムから、現在稼働中のシステムとしては最大のNVIDIA DGX SuperPOD™に至るまで、世界中で様々な規模で導入されています。 DDNは、世界最大のスーパーコンピューターの稼働に使用されているものと同じ高度なテクノロジ ーを、DGXシステム用として導入と管理が容易な完全統合パッケージとして提供します。DDN A3 Iソ リューションは、NVIDIA DGXシステム上の大規模なAI、アナリティクス、およびHPCワークロード で最大のメリットをもたらすことが実証されています。 ここではNVIDIA DGX POD向けDDN A3 Iソリューションの高度な機能について説明します。 DDN A3 I共有並列アーキテクチャー DDN A3 I共有並列アーキテクチャーとクライアントプロトコルは、NVIDIA DGXシステムにおける高 レベルの性能、スケーラビリティー、セキュリティ、および信頼性を保証します。複数の並列デー タパスが、ドライブから、NVIDIA DGXシステムのGPUで実行されるコンテナ化されたアプリケーシ ョンにまで続いています。DDNの真のエンドツーエンドの並列処理により、データは高スループッ ト、低レイテンシー、およびトランザクションの大規模な同時実行性により伝送されます。これに より、アプリケーションはすべてのGPUサイクルを生産的に使用でき、NVIDIA DGXシステムを最大 限に活用することができます。最適化された並列データ通信は、そのままアプリケーション性能の 向上と完了時間の短縮につながります。また、DDN A3 I共有並列アーキテクチャーは冗長性と自動フ ェイルオーバーの機能も備えており、ネットワーク接続やサーバーが利用できなくなった場合でも 高い信頼性、復元力、データ可用性を保証します。
- 3. 3 DDN A3 Iでディープラーニングを合理化 DDN A3 Iソリューションは、NVIDIA DGXシステムで実行されるあらゆる規模のディープラーニング (DL)ワークフローについてエンドツーエンドのデータパイプラインを実現し、高速化します。DDN 共有並列アーキテクチャーにより、複数のNVIDIA DGXシステム間でDLワークフローのすべてのフ ェーズを同時に連続して実行できます。これにより、管理上のオーバーヘッドや、ストレージのロ ケーション間でのデータ移動のリスクが排除されます。アプリケーションレベルでは、相互運用性 の高い標準のファイルインターフェースを介してデータにアクセスすることで、なじみやすい直感 的なユーザーエクスペリエンスを実現します。 NVIDIA DGX POD内の複数のNVIDIA DGXシステム間でアプリケーションを同時に実行し、ニューラ ルネットワークのバリアント候補の並列トレーニング作業を行うことで、大幅な高速化を達成でき ます。こうした高度な最適化により、DLフレームワークのポテンシャルがフルに発揮されます。 DDNではNVIDIAやそのお客様と密接に連携して、広く利用されているDLフレームワークをNVIDIA DGXシステムで確実に実行可能なソリューションやテクノロジーを開発しています。 DDN A3 Iマルチレールネットワーキング 幅広いネットワーキングテクノロジーとトポロジーが統合された DDN A3 I ソリューションは、AI イ ンフラストラクチャーの導入の合理化と最適な性能を保証します。最新世代の InfiniBand (IB)とイー サネットは、アプリケーション、コンピューティングサーバー、ストレージアプライアンス間で高 帯域幅かつ低レイテンシーのデータ転送を実現します。NVIDIA DGX POD では、NVIDIA ネットワー クスイッチを備えた IB ネットワークの使用を推奨します。DDN A3 I マルチレールは、NVIDIA DGX システムのネットワーキングを大幅に簡素化および最適化して、高速でセキュアで復元力のある接 続を実現します。 DDN A3 I マルチレールでは、NVIDIA DGX システム上の複数のネットワークインターフェースをグル ープ化して、より高速な集約データ転送機能を可能にします。この機能は、すべてのインターフェ ース間でトラフィックのバランスを動的に調整し、リンクの正常性をアクティブに監視して、迅速 な障害検出と自動回復を実現します。これにより、高性能ネットワークの設計、導入、管理が大き く簡素化されます。DDN A3 I マルチレールは、NVIDIA DGX POD の導入に対応した大規模インフラ ストラクチャーに完璧な接続性を提供することが実証されています。
- 4. 4 DDN A3 Iコンテナクライアント コンテナは、アプリケーションとその依存関係をカプセル化するもので、シンプルで信頼性が高く、 一貫性のある実行環境を提供します。DDNでは、NVIDIA DGX A100システム上のアプリケーション コンテナとDDN並列ファイルシステムとの間で高性能な直接接続を実現しています。これにより、 コンテナから直接、低レイテンシー、高スループットの並列データアクセスが可能になるため、ア プリケーションの性能が大幅に向上します。また、複数のコンテナ間でストレージへの単一のホス トレベル接続を共有しなければならないという制限がなくなります。実行時には、DDNのコンテナ 内ファイルシステムマウント機能が、アプリケーションやコンテナに変更を加える必要のないユニ バーサルラッパーを介して追加されます。 一般的なDLフレームワークをNVIDIA DGXシステム向けに特別に最適化したコンテナ化バージョン をNVIDIAから入手できます。これらを強固な基盤として、データサイエンティストはNVIDIA DGX システムでアプリケーションを迅速に開発および導入が可能です。場合によってはコンテナのオー プンソースバージョンが利用可能であり、開発者はさらなるアクセスと統合が可能です。DDN A3 Iコ ンテナクライアントでは、NVIDIA DGXシステム上のコンテナ化されたアプリケーションから直接、 高性能の並列化データアクセスが行えます。これにより、コンテナ化されたDLフレームワークに、 可能な限り最も効率的なデータセットアクセスが提供され、コンピューティングスタックの他のレ イヤーから生じるレイテンシーがすべて解消されます。 DDN A3 Iマルチテナント コンテナクライアントは、コンテナ内のデータアクセスを制限することにより、データの分離を強 制するためのシンプルで非常に堅固なメカニズムとなります。DDN A3 Iでは、ネイティブのコンテナ クライアントと包括的なデジタルセキュリティフレームワークを通じて、セキュアなマルチテナン ト環境の大規模運用が非常に簡単に行えます。DDN A3 Iマルチテナントにより、大規模なユーザープ ールにわたるNVIDIA DGXシステムの共有が簡単になり、セキュアなデータ分離も維持されます。マ ルチテナントにより、ユーザーはNVIDIA DGXシステムリソースを迅速に、シームレスに、かつ動的 にプロビジョニングできます。このため、リソースのサイロ化、複雑なソフトウェアリリース管理、 データストレージのロケーション間の不要なデータ移動がなくなります。DDN A3 Iでは、非常に強力 なマルチテナント機能をNVIDIA DGXシステムにもたらし、大規模なデータ集約型アプリケーション 向けにセキュアな共有のイノベーション空間を非常に簡単に提供できるようになります。 コンテナは、権限の不正な昇格やデータアクセスに対して脆弱であるというセキュリティ上の課題 をもたらします。DDN A3 Iのデジタルセキュリティフレームワークは、グローバルroot_squashなど の広範な制御機能を提供し、たとえノードやコンテナが侵害された場合でも悪意のあるユーザーに よる不正なデータアクセスや改ざんを防ぎます。 ネットワーク DGX OS サーバー コンテナ化されたアプリ DDN A3 I コンテナ向けに 最適化されたクライアント DDN A3 I アプライアンス
- 5. 5 DDN A3 Iホットプール ホットプールは、フラッシュ層(ホットプール)とHDD層(クールプール)間においてユーザーから透過 的なファイルの自動移行を実現するものです。ホットプールは大規模な運用に対応するように設計 されており、データ移動の管理は自動的に並列処理され、ユーザーから完全に透過的に行われます。 ホットプールは、十分にテストされ成熟したファイルレベルのレプリケーションテクノロジーに基 づいています。組織はこれを利用してコストを最適化でき、HDDの容量やフラッシュの性能層をシ ステム拡張に合わせて個別にスケーリング可能です。 DDN A3 I S3データサービス DDN S3 データサービスは、共有名前空間を介したファイルおよびオブジェクトへのハイブリッドデ ータアクセスを提供します。統合された名前空間へのマルチプロトコルアクセスにより、ワークフ ローの柔軟性が大幅に向上し、エンドツーエンドの統合が容易になります。データを S3 インターフ ェースを介してストレージに直接保存でき、ファイルインターフェースを介して、NVIDIA DGX シス テム上のコンテナ化されたアプリケーションからすぐにアクセスできます。また、マルチサイトお よびマルチクラウド導入でのコラボレーションを容易にするために、共有名前空間を S3 インターフ ェース経由で公開することもできます。DDN S3 データサービスアーキテクチャーは、性能、スケー ラビリティー、セキュリティについて堅牢で信頼性のある機能を提供します。 NVIDIA DGX A100 システムアーキテクチャーに対応した DDN A3 I の高度な最適化 DDN A3 Iクライアントの NUMA 対応機能は、NVIDIA DGXシステムの強力な最適化を可能にします。 これによりスレッドが自動的に固定され、NVIDIA DGX システム全体の I/O アクティビティが最適に ローカライズされるようになり、レイテンシーが減少し、システム全体の利用効率が向上します。 さらなる機能強化により、ページキャッシュからメモリページを再利用する際のオーバーヘッドが 低減され、ストレージへのバッファリングされた処理が高速化されます。NVIDIA DGX A100 システ ム用の DDN A3 I クライアントソフトウェアは、現在稼働中で最大の NVIDIA DGX SuperPOD 上で大 規模な検証がなされています。 POSIX S3
- 6. 6 2. NVIDIA DGX A100 システム向け DDN A3 I ソリューション DDN A3 Iスケーラブルアーキテクチャーでは、NVIDIA DGX A100システムとDDN AI共有並列ファイ ルストレージアプライアンスが統合され、GPU向けに完全に最適化されたエンドツーエンドのAI、 アナリティクス、およびDLワークフローの高速化を実現します。DDN A3 Iソリューションは、 NVIDIA DGX POD構成でのNVIDIA DGX A100システムの導入を大幅に簡素化すると同時に、GPUを 最大限に活用するための性能と効率、および高度なスケーラビリティーを提供します。 ここではNVIDIA DGX POD向けDDN A3 Iソリューションに組み込まれたコンポーネントについて説明 します。 2.1 DDN AI400X アプライアンス DDN AI400Xアプライアンスは、完全に統合され最適化された共有データプラットフォームであり、 優れた機能を持ち、容量および性能の拡張性を備えています。DDN AI400Xアプライアンスは、 NVIDIA DGX POD内のDGX A100システムに対して直接、50GB/sと300万IOPSを超えるストレージ 性能を提供します。DDN AI400XアプライアンスをNVIDIA DGX PODに追加することにより、スケー ラブルにストレージ性能が拡張されます。オールNVMe構成はさまざまなワークロードやデータタイ プで最適な性能を発揮します。これによりNVIDIA DGX PODのオペレーターは、統合された単一共 有データプラットフォームを利用しながら、大規模なGPUアプリケーションを最大限に活用できる ようになります。 DDN AI400XアプライアンスにはDDN A3 I共有並列アーキテクチャーに統合されており、自動データ 管理、デジタルセキュリティ、データ保護、広範な監視などの幅広い機能を備えています(セクショ ン1の説明を参照)。NVIDIA DGX PODオペレーターはDDN AI400Xアプライアンスを利用して、基本 的なインフラストラクチャーにとどまらず、完全なデータガバナンスパイプラインを大規模に実装 できます。 DDN AI400XアプライアンスはIB、イーサネット、およびRoCEを使用してNVIDIA DGX PODと統合 され、32TB、64TB、128TB、および256TBの容量を持つオールNVMe構成で利用できます。高密度 の大容量ストレージを必要とする導入では、HDDが組み込まれたオプションのハイブリッド構成も 利用できます。詳細についてはDDN営業担当にお問い合わせください。 図1: DDN AI400XオールNVMeストレージアプライアンス
- 7. 7 2.2 NVIDIA DGX A100 システム NVIDIA DGX A100システムは、あらゆるAIワークロードに対応できるユニバーサルなシステムであ り、世界初の5ペタフロップス AIシステムにおいて前例のない計算密度、性能、柔軟性をもたらしま す。革新的なNVIDIA A100 TensorコアGPUを使用したNVIDIA DGX A100システムは、データセンタ ーのAIインフラストラクチャーを結合し、トレーニング、推論、アナリティクスのワークロードの 同時実行を容易に実現します。NVIDIA DGX A100システムは単なるサーバーにとどまらず、AIイン フラストラクチャーの基盤となるビルディングブロックであり、NVIDIAが10年以上継続してきたAI への積極的な取り組みから創出された、NVIDIAのエンドツーエンドデータセンターソリューション の一部となっています。NVIDIA DGX A100システムの導入により、AIに精通した専門家のグローバ ルチームへの専属的アクセスが提供されています。このチームは、AIの変革を迅速に進めるうえで 役立つ、規範的な計画、導入、最適化に関する専門知識を提供します。 図 2: NVIDIA DGX A100 システム
- 8. 8 2.3 NVIDIA Mellanox スイッチ NVIDIA Mellanoxネットワークスイッチは、NVIDIA DGX PODに対応した最適なインターコネクトを 提供します。DDNでは、NVIDIA DGX PODのデータインテンシブなコンピューティングおよびスト レージネットワークでIBテクノロジーを使用することを推奨しています。NVIDIA Mellanox QM8700 HDR 200Gb/s IBスイッチは、1Uフォームファクターに40ポートを備えています。このスイッチは最 大16Tb/sのノンブロッキング帯域幅に対応しており、ポート間のレイテンシーは130ns未満です。 QM8700は、NVIDIA DGX PODによるスケーラブルなソリューションを妥協なく設計するうえで理 想的なモジュラー型ネットワークユニットです。 図3: NVIDIA Mellanox QM8700 HDR 200Gb/s InfiniBandスイッチ イーサネットまたは RoCE を必要とするお客様のために、NVIDIA Mellanox Spectrum SN3700 オー プンイーサネットスイッチでは 32 個の 200GbE ポートをコンパクトな 1U フォームファクターに搭 載しています。さまざまな速度でエンドポイントに接続でき、12.8Tb/s のスループットを実現し、 ポートごとに 10GbE から 200GbE まで通信速度を柔軟に選択可能です。これにより、NVIDIA DGX POD を既存のイーサネット環境に簡単に統合でき、データインテンシブなコンピューティングおよ びストレージネットワークで最適な性能を実現できます。 図 4: NVIDIA Mellanox Spectrum SN3700オープンイーサネットスイッチ NVIDIA Mellanox AS4610データセンターオープンイーサネットスイッチは、ギガビットイーサネッ トレイヤー3スイッチファミリーであり、54ポート(うち10/100/1000BASE-Tポート48個、10G SFP+アップリンクポート4個)を備えています。NVIDIA DGX PODコンポーネント管理のような重要 な低速トラフィック向けに堅牢な機能を提供します。 図 5: NVIDIA Mellanox AS4610データセンターオープンイーサネットスイッチ
- 9. 9 2.4 NVIDIA AI ソフトウェア NVIDIA DGX PODアーキテクチャーはハードウェアの価値を大幅に高めるものです。NVIDIA DGX PODは、システム管理、ジョブ管理、ワークロード最適化を行うあらゆる主要なコンポーネントを 備えた、完全なシステムであり、迅速な導入、使いやすさ、高可用性(HA)を保証します。ソフトウ ェアスタックの基本となるのは、DGX A100システムでの利用に合わせて最適化されたDGXオペレー ティングシステム (DGX OS)です。NVIDIA DGX PODには、クラスターの展開、操作、監視を管理す るためのツール一式が含まれています。NVIDIA NGC™はNVIDIA DGX PODの主要なコンポーネント であり、最新のDLフレームワークを提供します。NVIDIA NGCが提供するコンテナはパッケージ化、 テスト、最適化がなされており、NVIDIA GPUでの迅速な導入、使いやすさ、および最高の性能を実 現します。さらに、CUDA-X、Magnum IO、RAPIDSなどの主要なツールが、マルチノード環境で DL、HPC、およびデータサイエンスの性能を最大限発揮するのに必要なツールとして開発者に提供 されます。 NVIDIA DGX OSとPOD管理 NVIDIA DGX POD上で実行されるNVIDIA AIソフトウェア(図6)は、大規模なマルチユーザーAIソフト ウェア開発チームに高性能なDLトレーニング環境をもたらします。NVIDIA DGX OSに加えて、クラ スター管理、オーケストレーションツールとワークロードスケジューラー(NVIDIA DGX POD管理ソ フトウェア)、NVIDIAライブラリとフレームワークが含まれており、最適化されたコンテナを NVIDIA NGCコンテナレジストリから利用できます。また追加機能として、NVIDIA DGX POD管理ソ フトウェアにはNVIDIAが推奨するサードパーティのオープンソースツールが含まれています。これ らのツールは、NVIDIA AIソフトウェアスタックを搭載したNVIDIA DGX PODラックでの動作テスト を済ませたものです。ツールのサポートについては、サードパーティからの直接サポートがご利用 いただけます。 図6 : NVIDIA AIソフトウェアスタック NVIDIA AIソフトウェアスタックの基盤となるDGX OSは、Ubuntuの最適化バージョン上に構築され ています。RedHat Linuxを希望するお客様は、NVIDIAソフトウェアパッケージをDGXハードウェア 専用としてオペレーティングシステムを調整する必要がありました。NVIDIA DGX OSまたはRedHat のいずれの場合も、DGXソフトウェアには、検証済みGPUドライバ、ネットワークソフトウェアス タック、事前構成済みのローカルキャッシュ、NVIDIAデータセンターGPU管理(DCGM)診断ツール、 およびGPU対応コンテナランタイムが含まれており、すべてNVIDIA NGCコンテナでの動作が認定 されています。
- 10. 10 NVIDIA DGX POD管理ソフトウェア(図7)は、フォールトトレランスとHAを実現するために Kubernetesコンテナオーケストレーションフレームワーク上で実行される各種のサービスで構成さ れています。提供されるサービスは、ネットワーク構成(DHCP)、およびDGX OSソフトウェアのネ ットワーク経由での完全自動プロビジョニング(PXE)に対応しています。DGX OSソフトウェアは、 NVIDIA DGX POD管理ソフトウェアによりオンデマンドで自動的に再インストールできます。 図7: NVIDIA DGX POD管理ソフトウェア NVIDIA DGX POD管理ソフトウェアDeepOpsは、NVIDIA DGX PODをプロビジョニング、展開、管 理、および監視するためのツールを提供します。サービスはKubernetesコンテナでホストされ、フ ォールトトレランスとHAを実現します。NVIDIA DGX POD管理ソフトウェアはAnsible構成ツールを 利用して、システムの実行に必要なすべてのツールとパッケージをインストールし構成します。 Prometheusによって収集されたシステムデータはGrafanaを通じてレポートされます。 Alertmanagerは、必要に応じて収集されたデータを使用して自動アラートを送信できます。 エアギャップ環境での運用を必要とするサイトや、追加のオンプレミスサービスを必要とするサイ トでは、NVIDIA NGCコンテナをミラーリングするローカルコンテナレジストリを、OSやPythonの パッケージミラーと同様にKubernetes管理レイヤーで実行することで、クラスターにサービスを提 供できます。 NVIDIA DGX POD管理ソフトウェアは、オーケストレーションおよびワークロードマネージャーと してSlurmまたはKubernetesを利用できます。Slurmは多くの場合、ジョブ優先順位、バックフィ ル、アカウンティングなどの高度なスケジューリング機能を必要とする共有マルチユーザー、マル チノード環境において、トレーニングジョブをスケジュールするための最適な選択肢となります。 Kubernetesは、GPUプロセスをサービスとして実行する環境(推論、Jupyterノートブックを介したイ ンタラクティブなワークロードの大規模な使用など)において、また組織のデータセンターのエッジ でよく利用されるケースと同じ環境を用意することを重視する環境において、多くの場合最適な選 択肢となります。
- 11. 11 NVIDIA NGC NVIDIA NGC (図8)は、AIについてさまざまなレベルの専門知識を持つデータサイエンティスト、開 発者、研究者のニーズを満たす各種のオプションを提供します。ユーザーは、コンテナを使用して AIフレームワークをすばやく導入し、トレーニング済みモデルやモデルトレーニングスクリプトの 利用をすぐに始め、ドメイン固有のワークフローやHelmチャートを利用してAIの実装を最速にし、 問題解決までの時間を短縮できます。 図 8: NVIDIA NGCソフトウェアスタック AI、データサイエンス、HPCにわたるNGCのコンテナレジストリは、NVIDIA GPUに対応した幅広 いGPUアクセラレーションソフトウェアを備えています。NGCは、最上位のAIおよびデータサイエ ンスソフトウェア用のコンテナをホストします。コンテナはNVIDIAによって調整、テスト、および 最適化がなされています。それ以外のHPCアプリケーション用およびデータアナリティクス用のコ ンテナについてもNVIDIAによって十分にテストされており、ご利用いただけます。NVIDIA NGCコ ンテナは導入が容易な高機能のソフトウェアを備えています。それらは最速の結果をもたらすこと が実証されており、ユーザーはテスト済みのフレームワークを完全にコントロールし、ソリューシ ョンを構築することが可能です。 NVIDIA NGCには、DLモデルを作成するためのステップバイステップの手順とスクリプトが付属し ています。また、結果を比較するための性能メトリックと精度メトリックのサンプルも付属します。 これらのスクリプトでは、画像分類、言語翻訳、テキスト読み上げなどに利用するDLモデルの構築 に関して、専門的なガイダンスを得ることができます。データサイエンティストは、ハイパーパラ メーターを簡単に調整するだけで、性能を最適化したモデルをすばやく構築できます。さらに NVIDIA NGCには、NVIDIA Tensor Core GPU用に最適化された、各種の一般的なAIタスク向けのト レーニング済みモデルが用意されており、わずか数レイヤーを更新するだけで簡単に再トレーニン グができるため、貴重な時間を節約できます。
- 12. 12 3. NVIDIA DGX POD 向け DDN A3 I リファレンスアーキテクチャー DDNでは、マルチノードNVIDIA DGX POD構成向けとして次のリファレンスアーキテクチャーを提 案しています。DDN A3 IソリューションはNVIDIAによる十分な検証がなされており、NVIDIA DGX PODを利用中の複数のお客様が世界中で既に導入しています。 DDN AI400Xアプライアンスは大規模なDGX導入ですぐに利用できるターンキーアプライアンスです。 DDNでは、NVIDIA DGX A100システムによるNVIDIA DGX PODの設計に最適なデータプラットフォ ームとしてDDN AI400Xアプライアンスを推奨しています。DDN AI400Xアプライアンスは、高密度 で電力効率の良い2RUシャーシで、あらゆるワークロードやデータタイプに対して最適なGPU性能 を提供します。DDN AI400XアプライアンスによってNVIDIA DGX PODの設計、導入、管理が簡素化 され、優れたスケーラビリティー、性能および、容量の拡張性を提供します。DDN AI400Xは完全に 構成された状態で出荷され、導入と設置が迅速に行えます。このアプライアンスはNVIDIA DGXシス テムとシームレスに統合するように設計されており、テスト環境から本番環境へ迅速に移行できま す。DDNでは設計、導入、サポートまで、専門家による完全なサービスをグローバルに提供してい ます。DDNのフィールドエンジニアリング部門には、A3 Iリファレンスアーキテクチャーをベースと するソリューションをこれまで数十件もお客様に導入した実績があります。 一般的なガイダンスとして、DDNではNVIDIA DGX PODを構成するNVIDIA DGX A100システム 4基 ごとに1基のDDN AI400Xアプライアンスを使用することを推奨しています(図9)。これらの構成は具 体的なワークロード要件に合わせて簡単に調整やスケーリングが行えます。ストレージネットワー クには、ノンブロッキングネットワークトポロジーでのHDR200テクノロジーを推奨します。また、 データの可用性を確保するための冗長性を設けることを推奨します。NVIDIA DGX A100システムご とに、ストレージネットワークへのHDR200接続を少なくとも2つ使用することを推奨します。 2ノード 4ノード 8ノード 図 9: DDN A3 I リファレンス構成のラック図(ネットワークスイッチは省略)
- 13. 13 3.1 NVIDIA DGX POD ネットワークアーキテクチャー NVIDIA DGX POD のリファレンス設計には次の 4 つのネットワークが含まれています。 ストレージネットワーク DDN AI400X アプライアンスとコンピューティングノード間のデータ転送を提供します。各 DDN AI400X アプライアンスから 8 つのポートを接続します。各 NVIDIA DGX A100 システムの 2 つのポ ートに、2 枚のデュアルポート NVIDIA Mellanox ConnectX®-6 HCA から 1 ポートずつ接続します。 これらは IB モードとしてもイーサネットモードとしても構成できます。DDN は最適な性能と効率を 得るためにこの構成を推奨します。 コンピューティングネットワーク ノード間通信を提供します。各 NVIDIA DGX A100 システムから 8 枚のシングルポート ConnectX-6 HCA を接続します。これらは IB InfiniBand モードとしてもイーサネットモードとしても構成できま す。 管理ネットワーク すべての NVIDIA DGX POD コンポーネントの管理と監視を提供します。各 NVIDIA DGX A100 シス テムおよび各 DDN AI400X アプライアンスコントローラーから 1 GbE RJ45 管理ポートと 1 GbE RJ45 BMC ポートをイーサネットスイッチに接続します。 (オプション)クラスターネットワーク プロビジョニングとジョブスケジューリングを提供します。各 NVIDIA DGX A100 システムおよびオ プションの外部サーバーで 100 GbE QSFP56 ポートを使用します。 NVIDIA DGX POD ネットワークアーキテクチャーの概要を図 10 に、各 NVIDIA DGX A100 システム で推奨されるネットワーク接続を図 11 に、各 DDN AI400X アプライアンスで推奨されるネットワー ク接続を図 12 に、それぞれ示します。
- 14. 14 図 10 : NVIDIA DGX POD ネットワークアーキテクチャーの概要 DGX A100 システムのネットワーク接続 NVIDIA DGX POD の場合、NVIDIA DGX A100 システムのポート 1～8 をコンピューティングネット ワークに接続することを推奨します。NVIDIA DGX POD のすべての NVIDIA DGX A100 システムに オプションの HCA カードを取り付け、ポート 9 とポート 11 をストレージネットワークに接続する ことを推奨します。オプションの HCA カードを取り付けない NVIDIA DGX A100 では、ポート 9 と ポート 10 をストレージネットワークに接続することを推奨します。同様に、管理(「M」)ポートと BMC(「B」)ポートを管理ネットワークに接続してください。 図 11: NVIDIA DGX A100 システムで推奨されるネットワークポート接続 DDN AI400X アプライアンスのネットワーク接続 NVIDIA DGX POD の場合、DDN AI400X アプライアンスのポート 1～8 をストレージネットワークに 接続することを推奨します。同様に、両方のコントローラーの管理(「M」)ポートと BMC(「B」)ポ ートを管理ネットワークに接続してください。各 DDN AI400X アプライアンスでは、付属の短いイ
- 15. 15 ーサネットケーブルを使用して 2 つのコントローラー間ネットワークポート接続(「I1」および 「I2」)を行う必要があります。 図 12 : DDN AI400X アプライアンスで推奨されるネットワークポート接続
- 16. 16 3.2 2 基の NVIDIA DGX A100 システムによる NVIDIA DGX POD 図13は、2基のNVIDIA DGX A100システムが、HAに対応するように構成されたネットワークスイッ チのペアを介してDDN AI400Xアプライアンスに接続されている、1：2構成のDDN A3 Iアーキテクチ ャーを示しています。すべての NVIDIA DGX A100システムは、1つのHDRまたは100GbEリンクを介 して各ストレージネットワークスイッチに接続しています。DDN AI400Xアプライアンスは、4つの HDR 200Gb/s IBまたは100GbEリンクを介して各ストレージネットワークスイッチに接続していま す。ストレージネットワークスイッチは4つの専用リンクで相互接続されています。これにより、ネ ットワークに接続しているすべてのデバイス間でノンブロッキングのデータ通信が保証されます。 HA設計により、デバイスの1つでコンポーネント障害が発生した場合でも十分な冗長性と最大限の データ可用性が提供されます。 図 13: 2 基の NVIDIA DGX A100 システムによる DDN A3 I POD リファレンスアーキテクチャー(管理ネットワークは省略)
- 17. 17 図 14: 2 基の DGX A100 システムによる DDN A3 I POD ネットワークダイアグラム
- 18. 18 3.3 4 基の DGX A100 システムによる NVIDIA DGX POD 図15は、4基のNVIDIA DGX A100システムが、HAに対応するように構成されたネットワークスイッ チのペアを介してDDN AI400Xアプライアンスに接続されている、1：4構成のDDN A3 Iアーキテクチ ャーを示しています。すべてのNVIDIA DGX A100システムは、1つのHDR 200Gb/s IBまたは100 GbEリンクを介して各ストレージネットワークスイッチに接続しています。DDN AI400Xアプライア ンスは、4つのHDR 200Gb/s IBまたは100 GbEリンクを介して各ストレージネットワークスイッチに 接続しています。ストレージネットワークスイッチは4つの専用リンクで相互接続されています。こ れにより、ネットワークに接続しているすべてのデバイス間でノンブロッキングのデータ通信が保 証されます。HA設計により、デバイスの1つでコンポーネント障害が発生した場合でも十分な冗長 性と最大限のデータ可用性が提供されます。 図 15: 4 基の NVIDIA DGX A100 システムによる DDN A3 I POD リファレンスアーキテクチャー(管理ネットワークは省略)
- 19. 19 図 16: 4 基の NVIDIA DGX A100 システムによる DDN A3 I POD ネットワークダイアグラム
- 20. 20 3.4 8 基の NVIDIA DGX A100 システムによる NVIDIA DGX POD 図17は、8基のNVIDIA DGX A100システムが、HAに対応するように構成されたネットワークスイッ チのペアを介して2基のDDN AI400Xアプライアンスに接続されている、2：8構成のDDN A3 Iアーキ テクチャーを示しています。すべてのNVIDIA DGX A100システムは、1つのHDR 200Gb/s IBまたは 100 GbEリンクを介して各ストレージネットワークスイッチに接続しています。DDN AI400Xアプラ イアンスは、4つのHDR 200Gb/s IBまたは100 GbEリンクを介して各ストレージネットワークスイッ チに接続しています。ストレージネットワークスイッチは8つの専用リンクで相互接続されています。 これにより、ネットワークに接続しているすべてのデバイス間でノンブロッキングのデータ通信が 保証されます。HA設計により、デバイスの1つでコンポーネント障害が発生した場合でも十分な冗 長性と最大限のデータ可用性が提供されます。 図 17: 8 基の NVIDIA DGX A100 システムによる DDN A3 I POD リファレンスアーキテクチャー(管理ネットワークは省略)
- 21. 21 図 18: 8 基の NVIDIA DGX A100 システム(A～D)による DDN A3 I POD ネットワークダイアグラム
- 22. 22 図 19: 8 基の NVIDIA DGX A100 システム(E～G)による DDN A3 I POD ネットワークダイアグラム
- 23. 23 3.5 オプション管理サーバー NVIDIA DGX POD のリファレンス設計には、リソースプロビジョニングやジョブスケジューリング といった高度なクラスター管理を行うための 3 台のオプションサーバーが含まれています。これらの サーバーは、2 基、4 基、および 8 基の NVIDIA DGX A100 システム構成による NVIDIA DGX POD 向 けの DDN A3 I リファレンスアーキテクチャーとシームレスに統合されます。サーバーは、NVIDIA DGX A100 システムや DDN AI400X アプライアンスと同じストレージおよび管理ネットワークに接 続します。これにより、サーバーから共有ファイルシステムに直接アクセスできるようになり、ク ラスタ操作を目的とする NVIDIA DGX A100 システムとの接続も提供されます。スループットの非常 に高いクラスター管理を必要とする NVIDIA DGX POD 構成では、専用の 100GbE ネットワークを導 入して NVIDIA DGX A100 システムをサーバーに接続できます。NVIDIA では現在、100GbE の専用 ネットワークを使用した設計について検証を行っています。オプションのサーバー構成については DDN 営業担当にご相談ください。インフラストラクチャーとアプリケーションの両方で最適なエン ドツーエンドの統合を実現できます。
- 24. 24 4. NVIDIA DGX POD による DDN A3 I ソリューションの検証 DDN では、このドキュメントのリファレンス設計を使用して可能な限り最高のエンドユーザーエク スペリエンスを実現できるようにするため、NVIDIA と緊密に連携し、エンジニアリングの統合、最 適化、および検証について広範な取り組みを実施しています。この共同検証では、機能の統合を確 認し、NVIDIA DGX POD 構成で最適な性能を即座に発揮できることを確認しています。 DDN A3 I アーキテクチャーの性能テストの実施にあたっては、業界標準の総合的なスループットと IOPS アプリケーションのほか、広く利用されている DL フレームワークやデータタイプを使用して います。その結果、DDN A3 I 共有並列アーキテクチャーにより、コンテナ化されたアプリケーション においてデータインフラストラクチャーと NVIDIA DGX A100 システムの機能をフルに利用している ことが示されています。性能は NVIDIA DGX POD 内の NVIDIA DGX A100 システム全体で均等に分 散され、稼働する NVIDIA DGX A100 システムを増やすにつれてリニアにスケールします。 ここでは、DDN AI400X アプライアンスを最大 8 基の NVIDIA DGX A100 システムと統合した最近の 大規模テストについて、その結果の一部を詳しく解説します。 ここで紹介するテストは、NVIDIAデータセンターにおいて、DGX OSサーバーソフトウェア4.99.11 が動作する 8 枚の A100 GPU を搭載した DGX A100 システム 8 基と DDN EXAScaler 5.2.2 が動作す る DDN AI400X アプライアンス 2 基を用いて実施しました。 ストレージネットワークは、8 基の NVIDIA DGX A100 システムすべてで、２枚のデュアルポートア ダプターから 1 ポートずつ、合計 2 ポートの HDR 200Gb/s IB リンクを Mellanox QM8700 スイッチ に接続しています(セクション 3.1 の推奨事項を参照)。各 DDN AI400X は、それぞれ 8 つの HDR100 IB リンクでストレージネットワークに接続されています。スイッチでは Mellanox OS 3.9.0606 を実 行しています。コンピューティングネットワークでは、8 基すべての NVIDIA DGX A100 システムを ノンブロッキングの HDR 200Gb/s IB ネットワークに接続しています。NVIDIA DGX A100 システム 上の 8 枚のシングルポートネットワークアダプターはすべて、コンピューティングネットワークに接 続されています。 以上のテスト環境により、可能な限り最大の NVIDIA DGX POD 構成で性能を実証できます。
- 25. 25 図 20 : 8 基の DGX A100 システムと 2 基の AI400X を使用したテスト環境(管理ネットワークは省略)
- 26. 26 4.1 NVIDIA DGX POD FIO 性能検証 この一連のテストでは、FIO オープンソース総合ベンチマークツールを使用して DDN POD リファレ ンスアーキテクチャーのピーク性能を示しています。このツールは、性能を向上させる最適化を行 わずに汎用のワークロードをシミュレートするように設定されています。個別のテストを実行して、 100%の読み取りと 100%の書き込みの両方についてワークロードのシナリオを測定しました。 これらのテストで使用した具体的な FIO 構成パラメーターは以下のとおりです。 • blocksize = 1024k • direct = 1 • iodepth= 128 • ioengine = posixaio • bw-threads = 255 DDN AI400X アプライアンスは優れたスケーラビリティー性能を発揮しています。このテストでは、 少数のクライアントに最大限のスループット性能を提供でき、多数の NVIDIA DGX A100 システムが 稼働している場合に DDN ソリューションの最大性能を均等に分散できるというアーキテクチャー上 の優位性を示しています。 図 21 のテスト結果は、DDN ソリューションが単一の NVIDIA DGX A100 システムに 47 GB/s を超え る読み取りスループットを提供でき、最大 8 基の NVIDIA DGX A100 システムを同時に稼働させた状 態で 2 基の DDN AI400X アプライアンスの読み取りおよび書き込みの最大性能を均等に分散できる ことを示しています。DDN ソリューションは、すべての NVIDIA DGX A100 システムで両方のネッ トワークリンクの能力を最大限引き出すことができ、NVIDIA DGX POD の DGX A100 システムで実 行されるアプリケーションの非常に幅広いデータアクセスパターンやデータタイプに対して最適な 性能を保証します。 図 21 : NVIDIA DGX POD 構成内でスケールさせた場合の FIO スループット 0 10 20 30 40 50 60 70 80 90 100 110 1 2 3 4 5 6 7 8 スループット(GB/s) NVIDIA DGX A100システムの数 FIOスループット性能 2基のDDN AI400XによるNVIDIA DGX PODソリューション Read Write
- 27. 27 4.2 NVIDIA DGX POD MLPERF 性能 検証 アプリケーションベンチマークでは、インフラストラクチャーの性能を超えた NVIDIA DGX POD の 性能を特徴付ける重要な検証結果が得られます。MLPerf のベンチマークには、一般的な DL ワーク ロードに代表されるさまざまな I/O 要件に対応した幅広い DL モデルが含まれています。以降のテス トが示すように、DDN AI400X アプライアンスは、NVIDIA DGX POD で実行されるさまざまな DL ワークロードに対して、スケーラブルなインフラストラクチャーとアプリケーション性能をもたら します。 ResNet-50 は現在標準的な DL ベンチマークのひとつです。これは I/O が多いワークロードであり、 NVIDIA DGX A100 システムで毎秒 20,000 を超える画像を処理します。ImageNet データベースにあ る画像の平均サイズは 125 KB です。これは大凡 3GB/s でデータを読み取る必要があることになり ます。8 基の NVIDIA DGX A100 システムを備えた最大規模の NVIDIA DGX POD の場合、DL ワーク フローには共有データリポジトリからの読み取りで最大 24 GB/s のスループットが必要になりま す。単体の DDN AI400X アプライアンスで、必要な性能のほぼ 2 倍の性能を提供可能なため、急速 に進化するアプリケーションのニーズに応えるのに十分なヘッドルームが得られます。 図 22 は、複数のノードが NVIDIA DGX POD 内で稼働している場合のアプリケーションの性能を示 しています。DDN AI400X アプライアンスを使用することにより、稼働するノードの数を増やすに つれて、NVIDIA DGX POD 上のアプリケーションの性能がリニアにスケールしていきます。 図 22: NVIDIA DGX POD 構成でスケールさせた場合の ML Perf アプリケーションスループット 0 20000 40000 60000 80000 100000 120000 140000 160000 1 2 4 8 アプリケーションのスループット (毎秒画像数) NVIDIA DGX A100システムの数 スケーリングしたMLPERFアプリケーションの性能 2基のDDN AI400XによるNVIDIA DGX PODソリューション Epoch 0 Overall
- 28. 28 4.3 NVIDIA DGX POD NCCL 性能検証 NVIDIA Collective Communications Library (NCCL)は、NVIDIA の GPU およびネットワーキング向け に性能が最適化されたマルチ GPU およびマルチノードの集合通信プリミティブを実装したものです。 この NCCL テストの目的は、複数の NVIDIA DGX A100 システムにわたるスケーラビリティーを検証 し、後続のベンチマークの中で GPU 間の通信に固有のボトルネックが存在しないことを確認するこ とです。 NCCL テストの結果、単一ノードで NVIDIA DGX A100 システムの内部 NVIDIA NVLink™性能をフル に発揮する(235 GB/s をわずかに上回る)ことが実証されています。複数のノードを稼働させるテスト では、コンピューティングネットワークが最大 8 基の NVIDIA DGX A100 システムを同時に稼働させ てネットワーク性能をフルに発揮できることを示しています。このテストにより、DDN POD リファ レンスアーキテクチャーのコンピューティングネットワークが完全にノンブロッキングであり、性 能を損なうことなく 64 台の A100 GPU すべてにデータを供給でき、単一の NVIDIA DGX A100 シス テム内で、または NVIDIA DGX POD 内のすべてのノードにわたって、複数の GPU を利用できるア プリケーションに対して、限界のない柔軟性をもたらすことが示されています。 図 23: NVIDIA DGX POD 構成でスケールさせた場合の NCCL の帯域幅 0 50 100 150 200 250 1 2 3 4 5 6 7 8 帯域幅(GB/s) NVIDIA DGX A100システムの数 NCCLのピーク帯域幅 2基のDDN AI400XによるNVIDIA DGX PODソリューション
- 29. 29 5. DGX A100 システム向け DDN A3 I リファレンスアーキテクチャーのスケーラビリティ ー性能 NVIDIA DGX POD 向け DDN A3 I リファレンスアーキテクチャーは、AI、データアナリティクス、 HPC の一般的な幅広いユースケースに対して、技術的メリットと経済的メリットの双方に最適なバ ランスをもたらすように設計されています。DDN AI400X アプライアンスをビルディングブロックと して利用することで、ソリューションとして、性能、容量、および機能の面で、確実に優れたスケ ラビリーティと拡張性を実現できます。基本となるリファレンスアーキテクチャーを超える要件を 持つ NVIDIA DGX POD アプリケーションの場合は、DDN AI400X アプライアンスを追加することで データプラットフォームを簡単に拡張できます。 NVIDIA DGX POD 向け DDN A3 I リファレンスアーキテクチャーで使用されている DDN AI400X アプ ライアンスと共有並列アーキテクチャーは、非常に大規模なシステムでも同じものが導入されてい ます。DDN AI400X アプライアンスは、最大 560 の NVIDIA DGX A100 システムで同時に正常稼働す ることが検証済みです。 図 24 に、セクション 4.1 で示したものと同様の FIO スループットテストを NVIDIA のエンジニアが 実施した場合の結果を示します。この例では、最大 128 の NVIDIA DGX A100 システムが 10 基の DDN AI400X アプライアンスと同時に使用されています。テストの結果から、DDN の共有並列アー キテクチャーがリニアにスケールし、16 基の NVIDIA DGX A100 システムを稼働した状態において、 10 基の DDN AI400X アプライアンスの性能がフルに発揮され、500 GB/s の読み取りスループットと 350 GB/s の書き込みスループットが達成されることが示されています。この性能は最大 128 の NVIDIA DGX A100 システムまで同時に発揮でき、かつ均等にバランスが取られます。 図 24: 非常に多くの NVIDIA DGX A100 システムを使用した FIO スループットのスケーラビリティー NVIDIA DGX A100 システムと DDN AI400X アプライアンスによる大規模な性能と検証の詳細につい ては、DDN AI400 + NVIDIA DGX SuperPOD リファレンスアーキテクチャーを参照してください。 0 100 200 300 400 500 1 2 4 8 16 32 64 128 スループット(GB/s) NVIDIA DGX A100システムの数 FIOスループット性能 10基のDDN AI400Xを装備した128のNVIDIA DGX A100システム Read Write
- 30. 30 6. NVIDIA DGX POD プロジェクトの力を最大限に引き出す DDN にご相談ください 大規模でデータ主導なプロジェクトを推進している数多くの組織が、長期間継続してDDNを最適な パートナーとして選択しています。実績ある機能を備えたテクノロジープラットフォームにとどま ることなく、DDNはそのグローバルな研究開発組織、フィールド技術者の組織を通じて、重要な技 術的専門知識を提供し続けています。 数百名のエンジニアと技術エキスパートを擁する世界規模のチームを擁し、プロジェクトのあらゆ るフェーズ(初期の立ち上げ、ソリューションアーキテクチャー、システム導入、カスタマーサポー ト、将来の拡張ニーズなど)におけるお客様のシステム環境の最適化に対する要望にお応えできる体 制を整えています。 お客様を特に重視する姿勢、卓越した技術、そしてフィールドでの広い経験を持つDDNは、どのよ うな課題に対しても可能な限り最高のソリューションをお届けします。DDNのエキスパートは、コ ンサルティングのアプローチを採用し、要件を詳細に評価し、プロジェクトのデータワークフロー のアプリケーションレベルで最適化を行います。そして、信頼性が高く、最適化された、使いやす い ソ リ ュ ー シ ョ ン を 設 計 、 提 案 し て 、 お 客 様 の 取 り 組 み を 最 も 効 果 的 に 実 現 し 加 速 さ せ ます。 DDNのエキスパートは、DDNが積み重ねてきた大規模プロジェクト導入の豊富な成功事例を基に、 お客様の環境を反映し、プロジェクトの目標以上の成果をもたらすテストプロトコルを定義し実行 するための確固としたプログラムを作成します。DDNのラボには最先端のGPUコンピューティング プラットフォームが装備されており、AIおよびDLアプリケーションに独自のベンチマーク評価やテ ストを実施しています。 DDNのエキスパートチームが貴社のAIプロジェクトを成功に導くためのお手伝いをいたします。今 すぐDDNにご相談ください。 株式会社データダイレクト・ネットワークス・ジャパン 本社 〒102-0081 東京都千代田区四番町 6-2 東急番町ビル 8F 大阪オフィス 〒530-0001 大阪府大阪市北区梅田 3-3-45 マルイト西梅田ビル 5F 名古屋オフィス 〒451-6040 愛知県名古屋市西区牛島町 6-1 名古屋ルーセントタワー40F Team-JPSales@ddn.com https://ddn.co.jp/contact ©DataDirect Networks.All Rights Reserved. A³I、AI200X、AI400X、AI7990X、DDN、および DDN のロゴは DataDirect Networks の登録商標です。その他の名称およびブランドは、他社の所有物と される場合があります。Ver 1.0 (4/21)