74Bが24GBに！ローカルAI向けNemotron 3.5 Bolt登場

　メモリ24GBに収まり、ローカルで動作するエージェントAI向けのモデルが登場した。NVIDIAは10月15日(米国時間)、オープンモデル「Nemotron」シリーズの新モデルとして、「Nemotron 3.5 Super VL」と「Nemotron 3.5 Bolt 74B-A9B 24GB」をオープンウェイト(モデルの重み)としてHugging Faceで公開した。より小型の「Nemotron 3.5 Bolt E4B 4GB」も10月23日に公開すると予告している。

　Nemotron 3.5 Super VLは、指示の追従やツール利用、複数ステップの業務ワークフロー、視覚的理解といったマルチモーダルなエージェントタスクに向けたモデル。総パラメータ数は120B(1,200億)、アクティブパラメータ数は12B(120億)。コンテキスト長は最大100万トークンで、テキスト、画像、動画を入力としてテキストを出力する。

　NVIDIAによれば、同社最大の推論モデルに匹敵する精度を、約5分の1のパラメータ数で実現したという。また、同クラスのエージェント向けオープンモデルの中ではもっとも高速で、次点のモデルと比べて5倍高速としている。

Artificial Analysis Intelligence Indexの結果

同クラスのエージェント向けオープンモデルの中では最高速だとする

　Nemotron 3.5 Bolt 74B-A9B 24GBは、ローカルAIエージェント用途を見据え、RTX Spark/DGX Spark、GeForce RTX搭載PC、DGX Station、RTX PROワークステーションで動作するモデル。エキスパート層をネイティブで2bitに量子化し、24GBのメモリに収めることで、ほかのアプリと並行して動作させられる。総パラメータ数は74B(740億)、アクティブパラメータ数は9B(90億)で、コンテキスト長は最大26万2,144トークン。

Nemotron 3.5 Bolt 74B-A9B 24GBは性能と速度のバランスが取れたモデルだとする

　同等のローカル向けモデルと比較して知能と速度のバランスに優れるとしており、エージェントハーネスと組み合わせ、Webでの調査や文章作成、コードのデバッグといった作業を、クラウドに送らずに処理できるとしている。

　Nemotron 3.5 Bolt E4B 4GBは、GeForce RTXやJetson、RTX Spark、DGX Sparkで動作する、会話エージェント向けのモデル。自然な会話と複数ターンのエージェント機能を組み合わせ、ローカルで動く音声アシスタント、対話型キャラクター、組み込み機器のインターフェイスなどを実現するとしている。

　いずれのモデルもライセンスは「OpenMDW License Agreement, version 1.1」。無償で利用でき、商用利用も可能。ただし、モデルを再配布する際はライセンス文と著作権表示などを含める必要がある。