ニュース

GPT-6 AstraでQwen3.5-0.8Bの重みを直接編集、数学スコアは約6倍に

  • 宇都宮 充

2026年11月4日 13:26

　「GPT-6 Astra」を使って「Qwen3.5-0.8B」の重みを直接書き換えると、数学の性能が最大6倍に向上する。武樋力哉氏らマサチューセッツ工科大学の研究チームは11月2日、「重み空間プログラミング」(Weight-Space Programming)と呼ばれる手法に関する研究結果を公開した。

　今回発表された重み空間プログラミングは、汎用のLLMを使ってニューラルネットワークの重みを直接読み書きし、隠れた特性の発見や不具合の修正、新たなネットワークの構築などを可能にする手法。オプティマイザーなどを利用することなく、LLMへの自然言語を通じて重みを直接編集することで実現している。

　研究チームでは、GPT-6 Astraを使って重みの読み取り/書き込みの実験を行なった。重みの読み取りでは、与えられたモデルの重みを読み取って、どういうゲームをプレイするニューラルネットワークか、どういう画像を生成する拡散モデルかを判別できた。また、パラメータ数720万の小規模な言語モデルについて、中間層のみを与えた場合でも、何の言語を学習したモデルなのかを特定できたという。

　重みの書き込みでは、まずモデルの修正を試みた。車が坂を登るKinetix環境で、うまく坂を乗り越えられないモデルに対し、重みの3.5%(6,073個)をワンショットで書き換えることで、成功率を0%から100%へと改善した。また、パラメータ数0.8B(8億)の「Qwen3.5-0.8B」で思考が無限ループに陥る課題に対し、その原因となっている部分を特定。0.016%(131,072個)の重みを直接修正することで、MATH-500のスコアを7.9%から48.1%まで大幅に改善した。

GPT-6 AstraでQwen3.5-0.8Bの重みを書き換えた結果

　加えて、ゼロから重みを書き込む実験も行なった。3種類のゲームを用意して、各ゲームのルールとソースコード、対応するネットワークをAstraに提供し、Astraに新たな重みをテキスト形式で直接生成させた。生成した重みを使ったネットワークは3種類ともに、1億ステップ学習させたPPOを上回る性能を達成した。

　研究チームはこの重み空間プログラミングによって、モデルの脆弱性やバックドアの検出、最適化や学習コストの大幅削減、モデルへの機能追加や削除への応用につながると説明。LLMが自身の重みを直接改善する再帰的な自己改善、異なるアーキテクチャ間での推論回路の移植や結合などでの活用も期待されるとしている。