ニュース
スマホでローカルチャットAIの時代迫る。ファインチューニング向け超軽量モデルGemma 3 270M
2025年8月15日 15:18
Googleは、2億7,000万パラメータのコンパクトな言語モデル「Gemma 3 270M」を発表した。あわせて、ブラウザ上でオフライン動作するデモアプリ「Bedtime Story Generator」を公開した。
Gemma 3 270Mは、特定のタスクに特化した小型高性能モデルを構築するためのベースモデルである。Googleはこれを「適材適所」(The right tool for the job)の哲学を体現するモデルだとし、無駄なく高速、低コストな生産システムを構築できるとしている。
Gemma 3 270Mの大きな特徴は、サイズに比して膨大な語彙力、優れたエネルギー効率、量子化耐性の3点である。Gemmaは2億7,000万パラメータのうち1億7,000万を単語や記号に対応するための埋め込みパラメータ用に割り振っており、25万6,000トークンという膨大な語彙を持つ(例として、GPT-3.5の語彙数はおよそ10万トークン、GPT-4oはおよそ20万トークンと言われる)。このため、より専門的な用語や珍しい単語も扱うことができ、特定の用途や言語への最適化がスムーズに行なえる。
Googleが行なった社内テストでは、int4量子化モデルをPixel 9 ProのSoc上で動作させた際、25回の応答に要したバッテリ消費量はわずか0.75%だったとしており、電力効率の高さを謳っている。
多くの自然言語モデルでは、メモリ消費量を小さくする「量子化」によって性能が低下する。Gemma 3 270Mには「Quantization-Aware Training」という、モデルの学習段階で量子化シミュレーションを行ない、その結果に基いて量子化を前提とした構造でモデル構築する技術が採用されている。これにより、int4精度の量子化でもパフォーマンス低下を最低限に抑えられるという。
クリエイティブ目的での実装例として、Bedtime Story Generatorが公開されている。これはローカルで動作する、ユーザーからのお題に従ってBedtime Story(おとぎ話)を生成するブラウザアプリだ。
Gemma 3 270MはHugging Faceなどで配布されており、一般的なツールで推論や微調整が可能だ。Googleは、大規模かつ明確に定義されたタスクを実行する場合や、推論コストを削減したい場合、プライバシーを保護する必要がある場合などにこのモデルが最適だとしている。
