NVIDIA NIM とは、NVIDIA AI Enterpriseの一部であり、生成 AI をクラウド、データ センター、ワークステーションとあらゆる環境に素早く展開できるように設計された、使いやすいマイクロサービスのセットです。NVIDIA NIMは、TensorRT-LLM、vLLM、またはSGLangでサポートされるLLM(大規模言語モデル)を、NVIDIAアクセラレーション・インフラ上で迅速にデプロイし、エンタープライズ対応の高性能推論を可能にします。

圧倒的な速度を維持しつつ、世界トッププレイヤーと同等精度により、高度な専門業務の自動化に不可欠な精度・速度の両立を実現しています。また、パブリッククラウド、プラベートクラウド、オンプレミス環境での提供も可能であるため、お客様の業務シーンに合わせた生成AI活用も可能です。

NEC開発の生成AI「cotomi」をNVIDIA NIM上にデプロイする技術検証を実施しました。結果、以下の優れた効果を確認できました。

・高性能な推論APIを迅速にデプロイ可能
・cotomiの推論速度が最大2倍高速化、推論完了までの応答時間が最大約50%短縮
　同時リクエスト数を10, 50, 100と増やして利用負荷を高めていった場合に性能が大幅に向上

これにより、生成AI活用時のパフォーマンスを大幅に改善し、お客様の投資対効果を高めることが可能となります。NECではお客様のニーズに合わせてNVIDIA NIMを活用したソリューションを提供してまいります。

NECは、NVIDIA最高レベルの販売代理店、「Eliteパートナー」であり、NVIDIA AI Enterprise認証サーバーとの一体販売とサポートを提供しています。NECエンジニアによる環境構築代行、PoCの検証支援も対応いたします。

NECは、NVIDIAとの連携を通じて、企業のAI活用をより現実的かつ持続可能なものにしていきます。
生成AIの導入にお悩みの企業様は、ぜひNECにご相談ください。