ニュース

Opus 4.8級を手元に!320Bのモデル「GLM-5.3-Flash」無償公開

 「Claude Opus 4.8」に迫るコーディング性能のAIモデルが無料で、しかも商用利用可能な形で公開された。Z.aiは8月26日(中国時間)、GLM-5シリーズ初のネイティブマルチモーダルAIモデル「GLM-5.3-Flash」を発表した。総パラメータ3,200億(320B)のモデルのウェイトはHugging Faceで公開済みで、ライセンスは改変・商用利用を認めるMITだ。同社のサブスクリプション「GLM Coding Plan」でも同日から利用できる。

 GLM-5.3-Flashは、テキストに加えて画像や動画も入力できるマルチモーダルなAIモデルである。内部構造にはMoE(Mixture-of-Experts)を採用している。MoEは、モデル内部を役割の異なる多数の小さなネットワークに分け、入力ごとに必要なものだけを動かして計算量を抑える仕組みだ。総パラメータは3,200億(320B)だが、1トークンあたり動くアクティブパラメータは180億(18B)にすぎない。コンテキスト長は100万トークン。

 GLM-5.3-Flashは公開前、OpenCodeおよびOpenRouter上で「ox-alpha」という匿名でテストされていた。中国製AIチップの上で動作させたものでありながら、従来モデルであるGLM-5.2を凌駕し、コーディングやエージェントタスクでOpus 4.8に迫る性能を示した。OpenRouterでは8月20日から25日の6日間で、もっとも人気のあるモデルとなった。

 コストの面でも競争力が高い。Artificial Analysisの総合指標「Intelligence Index v4.1.1」のパレート最適線上に位置し、タスクあたりわずか0.045ドル(約7円、割引価格。1ドル=約159円換算)でスコア57を実現した。

匿名のox-alphaは、OpenCodeやOpenRouterで人気のモデルに上り詰めた
低コストで高品質を実現
推論の努力レベルと性能のスケーリング

 技術面では、長文を扱うときの計算負荷を減らしつつ精度を保つ工夫が2つある。1つは、文脈のどこに注目するかを決める「アテンション」を、直近の文脈を安価に処理する線形アテンションと、重要な箇所だけを索引から選んで読み返すスパースアテンションの組み合わせにしたことだ。GLMシリーズでは初の採用となる。もう1つは、層と層のつながり方を変えてスケーリング効率を高める「多様体制約付きハイパーコネクション(mHC)」である。

GLM-5.3-Flashのアーキテクチャ

 100万トークン規模の入力では、読み返しのための索引(インデクサ)そのものが遅延とメモリ消費の原因になる。これに対しては、索引用のキーベクトル4つを1つにまとめる「IndexPool」を導入した。これらの改良により、GLM-5.3-Flashは同社の「GLM-5.3」と比べてアテンションの計算量を3.0分の1、KVキャッシュのサイズを4.4分の1に抑えたという。事前学習には30兆トークンのマルチモーダルコーパスを用いた。

 視覚機能にも重点を置き、モデルが自分の出力を見て直す訓練データを作るデータ合成パイプラインを開発した。コーディングにおいては、環境フィードバックを用いた強化学習を試みたほか、実際のユーザーフローに基づいたエージェントベースの検証によってGUIの良し悪しを判断する能力を強化。機能的な正しさだけでなく、画面に表示され操作されるインタラクティブな製品に対する検証もできるようになった。同様に文書、スプレッドシート、プレゼンテーションなどの資料を読み解き、自分が作った資料の見た目や品質を自己検証する能力も高まっている。

GLM-5.3-Flashが作成した資料

 ox-alphaとして展開した際には、インフラ面の最適化も進めた。個々のチップの計算能力とメモリ容量が比較的限られている中国製AIチップで実行するため、SGLang上に専用の推論エンジンを構築したという。この構築ではGLM-5.3を用いたインフラエージェントを活用し、カーネルの開発、最適化、性能のボトルネック診断、サービングスタックの改善に役立てた。モデル自身が、そのモデルを動かすシステムの最適化を手伝う形だ。

 これにより、同じハードウェアでの初期構成と比べてサービング性能は3倍に向上し、NVIDIA製GPUに匹敵するハードウェア処理効率とトークン単価コストを実証したという。