ニュース

AMD、推論特化の完全オープンな言語モデル「Instella-Math」

宇都宮充

2025年8月13日 12:54

　AMDは8月9日、推論に特化したオープンな言語モデル「Instella-Math」を発表した。同社が3月に発表した30億パラメータのオープンモデル「Instella-3B-Instruct」をベースに、5段階のトレーニングを通じて機能を拡張したモデルとなる。

　Instella-Mathは、30億パラメータを持つ推論中心型言語モデル。アーキテクチャやトレーニングコード、ウェイト、データセットに加え、教師ありファインチューニング(SFT)のデータも公開しており、完全にオープンなモデルだと説明している。Instella-3B-Instructをベースに2段階の教師ありファインチューニングと、3段階の強化学習を行ない、多段階の論理的推論や数学的な問題解決、思考連鎖といったタスクに向けて最適化を図った。

　同社が実施したベンチマークによれば、DeepSeek-R1-Distilled-Qwen-1.5BやDeepScaleR-1.5Bといった小規模なオープンウェイトモデルに対し、競争力のある性能を発揮できるとしている。加えて、競合モデルのオープンウェイトモデルと比べ、トレーニングデータがすべて公開されている点も強みだと説明している。

　なお、Instella-Mathのトレーニングは同社製GPUであるInstinct MI300X上で行なわれ、ソフトウェアスタックのROCmも活用。4つのMI300Xノードで効率的な分散トレーニングを実施したという(各ノード8基のMI300Xで構築)。