ニュース

Google、無料AI「Gemma 4」を大幅強化。処理最大70%高速化やツール呼び出し改善

Gemma 4 31Bの改善

 Googleは7月15日(米国時間)、コミュニティのフィードバックおよび貢献により、無料で利用できるマルチモーダルモデル「Gemma 4」を大規模改善したと発表し、Hugging Face上で公開した。

 Gemma 4は、DeepMindが開発したオープンなAIモデル。今回の改善ではツールの呼び出しをより正確かつ一貫して実行できるようになったほか、NVIDIA Hopper GPU上でユニフォームFlash Attention 4(FA4)を有効にし、プリフィルのスループットが25~70%向上し、最初のトークン出力時間が最大で31%短縮された。

 改善はE2B/E4B/12B/26B A4B/31Bの全モデルに対して行なわれた。なお、E2B/E4B/12B/31BはDenseモデル、26B A4BはMoEモデルであり、全モデルがテキストと画像入力に対応、E2B/E4B/12Bの3モデルはさらにオーディオもサポートする。

Gemma 4 E4Bの改善
モデルE2BE4B12B Unified26B A4B31B Dense
パラメータ数2.3B実効(埋め込みデータ含むと5.1B)4.5B実効(埋め込みデータ含むと8B)11.95B25.2B30.7B
アクティブパラメータ---3.8B-
レイヤー数3542483060
スライディングウィンドウ512トークン1,024トークン
コンテキスト長128Kトークン256Kトークン
語彙サイズ262K
エキスパート数---合計128、共有1、アクティブ8-
ビジョンエンコーダパラメータ数~150M-(エンコーダ不要)~550M
オーディオエンコーダパラメータ数~300M-