ニュース

NVIDIA NIMでDeepSeek-R1が利用可能に

 NVIDIAは、AI推論アプリをコンテナ形式で提供するマイクロサービスNVIDIA NIMにおいて、DeepSeek-R1が利用可能になったと発表した。

 DeepSeek-R1は、論理的な思考に特化した大規模言語モデル。NVIDIA NIMでは、単一のNVIDIA HGX H200システムを通じて、6,710億パラメータのDeepSeek-R1モデル全体を最大3,872トークン/秒の速度で実行できるとしている。NVIDIA NIMで提供することにより、開発者はAPIを通じて容易にサービスを展開できるほか、NVIDIA NeMoやAI Foundryを組み合わせたカスタマイズも可能になる。

 現時点ではプレビュー版だが、今後はNVIDIA AI Enterpriseソフトウェアプラットフォームの一部として、ダウンロード可能なNIMマイクロサービスとしても提供を予定しているという。

DeepSeek-R1 in Action with NVIDIA NIM Microservices