ニュース
NVIDIA、RTX GPUでのAI推論より簡単に高速化できる「TensorRT for RTX」
2025年5月20日 01:00
NVIDIAは19日、COMPUTEX TAIPEI 2025にあわせ、AI推論の高速化ライブラリ「TensorRT for RTX」を発表した。すべてのRTXシリーズGPUで利用できるとしており、6月に提供を開始する予定。
同社では以前から、AIパフォーマンスを最適化するためのソフトウェアスタックを提供しており、AI推論を高速化する「TensorRT」もここに含まれている。750以上のゲームやアプリケーションにおいて、AIパフォーマンスの最適化に活用されてきたという。
TensorRTでは、既存の学習済みモデルに対し、量子化などの手法で最適化を施したTensorRT Engine(推論用のエンジン)を生成。推論実行時にこのエンジンを活用することで高速化を図っている。同社の説明では、Microsoftの提供するDirectMLと比べて最大2倍のパフォーマンスが発揮できるという。
一方でこのTensorRT Engineは、GPUの機種などが異なる場合は互換性がない。そのため、複数のGPUをサポートしようとすると、開発者の負担が増えたり、パフォーマンスが最大限発揮できないといった課題があった。
今回新たに発表したTensorRT for RTXでは、TensorRT Engineの生成プロセスを大きく2つに分割。まず、どのGPUでも使える汎用的なTensorRT Engineを学習済みモデルから生成し、そのTensorRT Engineを各環境のGPUにあわせて最適化する仕組みとした。なお、GPUへの最適化は、アプリケーションのインストール時や初回起動時などに1度だけ実行され、数秒程度で完了するという。
これにより、開発者は汎用的なTensorRT Engineを1つ生成するだけで、すべてのRTXシリーズGPUを簡単にサポートできるようになる。加えてライブラリのサイズも8分の1とコンパクトになり、パッケージ化もしやすくなるとしている。
また、RTXシリーズGPU向けの生成AIマイクロサービス「NVIDIA NIM for RTX」に、画像生成の「Flux.1-dev v2」や「Flux.1-schnell」を追加。さらに、ゲームシステムの最適化などをAIがアシストする「Project G-Assist」では、DiscordやIFTTTなど新たなプラグインの提供を開始した。
