更新日：2023年7月24日

1. AI研究用スーパーコンピュータの概要

NECは、2023年3月に国内企業で最大規模(注1)の580PFLOPS超となるシステムの稼働を開始しました。NECの数百名の AI研究者が利用を開始しており、国内最高峰のAIに特化した研究開発環境による、より高度な先進AIの迅速な開発に役立てています。将来的には、お客様やパートナーとの共創により先進的な社会価値を産み出すAI研究のセンター・オブ・エクセレンスの実現を目指します。

2. AI研究用スーパーコンピュータのハードウェア構成

深層学習において計算機資源は競争力の源泉です。NECは、国内企業で最大規模のAI研究用スーパーコンピュータを自社のAI研究者数百名へ提供し、AIの研究開発を大幅に強化します。

2023年3月に稼働するAI研究用スーパーコンピュータは、コンピューティングとしてはエンタープライズGPUを928基、ネットワークには200GbEの超高速イーサネットスイッチ、ストレージは16PB超の大規模分散ストレージを備える、国内企業で最大規模のAIの研究開発環境です。

表 1　AI研究用スーパーコンピュータのシステム構成概要

2.1. コンピューティングのスペック

GPUには、NVIDIA社の最新のAmpereアーキテクチャを採用した NVIDIA A100 80GB Tensor コアGPUを採用しています。本GPUは、TensorFloat-32（TF32）と呼ばれる新しい行列演算のモードをサポートしており、FP32と比較して多くのケースで精度劣化なく高速に学習することが可能です。また、GPU 1基あたり12本のNVLink接続をサポートし、合計帯域幅は600GB/secにも及ぶことから、高速なマルチGPUでの学習が可能です。NECでは、生体認証・画像認識・音声認識・データ分析・ロボット制御技術等の多種多様なAIの学習を行っており、NVIDIA社の本GPUは、学習を圧倒的に高速化できるその高速性とどのようなニューラルネットワークでも学習できるGPUメモリ量の多さの観点から、多様な先進AIを迅速に創出するのに最適であるため採用をしています。

また、GPUサーバーには、このNVIDIA A100 80GB Tensor コアGPUをサーバーあたり8基搭載しています。サーバーのフォームファクターにはSupermicro社の SYS-420GP-TNARを採用し、CPU/ストレージ/メモリの構成やBIOSの設定等をカスタマイズすることで、大規模な分散学習用途に最適化しています。

表 2　GPUサーバーのスペック

2.2. ネットワークのスペック

分散深層学習では、多量のパラメータをGPU間で通信する必要があることから、低レイテンシ・高バンド幅での通信が必要となります。そのため、200Gbpsの超高速イーサネットをサポートするNVIDIA社の高速イーサネットスイッチNVIDIA Spectrum SN3700を採用しています。

全てのサーバー間は、サーバーに搭載された低レイテンシのインターコネクトNVIDIA ConnectX-6と200GbEの高速イーサネットスイッチNVIDIA Spectrum SN3700で接続されています。ネットワーク構成にはSpine-Leafアーキテクチャを採用し、RoCEv2 (RDMA over Converged Ethernet)を用いて超高速・低レイテンシでの通信を行っているため、高速な分散学習を行えます。

表 3　スイッチのスペック

2.3. ストレージのスペック

ストレージには、DDN (データダイレクト・ネットワークス）社の並列ファイルシステムEXAScalerを搭載したストレージアプライアンスES400NVXを採用し、16PB超の大規模ストレージを構成しています。多数のNVMe SSDで構成される高速領域は、最高400GB/秒のシーケンシャル読み取り性能、最高320GB/秒のシーケンシャル書き込み性能にも及ぶ高性能ストレージです。

本ストレージは全GPUサーバーからのアクセスが可能で、数千万枚の画像等のデータセットでも高速にGPUサーバーから取得することができるため、高速な分散学習が可能です。NECでは、映像・画像・音声・テキスト等の多種多様なデータでAIの学習を行っており、様々なワークロードに耐えうる高性能ストレージが必要であることから、DDN社のストレージを採用しています。

表 4　ストレージのスペック

3. AI研究用スーパーコンピュータのソフトウェア構成

NECのAI研究者が、複雑な環境を構築することなくAIの学習を行えるようにするため、Kubernetesをソフトウェアの中核に据えた分散学習環境を独自開発しています。それにより、研究者は、最新の深層学習フレームワークのコンテナを用いて、分散学習を行うことができます。また、Kubernetesのジョブスケジューラを独自開発し、ネットワークトポロジ等の物理構成に最適化し効率的にスケジューリングを行うことで、多数の研究者が利用できるようにしています。更に、MPI/NCCL等の通信ライブラリやOS等は、NEC独自の最適化を行うことで、RoCEv2を用いたGPUDirect RDMAで高速な分散学習を行うことが可能です。

サーバーのアーキテクチャやSpine-Leaf型のネットワーク構成等も含めたハードウェアアーキテクチャと先進的なソフトウェア群を密結合することで、高性能かつ利便性の高い先進的な深層学習環境を実現しています。Computer ArchitectureとSoftware Architectureを高いレベルで融合することでしか実現できない、世界でも有数のAI研究用スーパーコンピュータとなっています。

表 5　AIスーパーコンピュータのソフトウェアスタック

4. お知らせ

公開日：2022年5月17日