ニュース
Liquid AI、CPUで長文を高速解析する「LFM2.5-Encoders」公開
2026年7月29日 12:11
Liquid AIは、CPUで長文を高速に解析できる新しいAIモデル「LFM2.5-Encoders」を公開した。オープンウェイトで提供されており、モデルは用途に合わせて選べる2つのサイズ(230M/350M)が用意されている。Hugging Faceから誰でもダウンロードして入手できる。
エンコーダ型AIは、ChatGPTのように文章を生成するデコーダ型とは異なり、テキスト全体の文脈をまとめて読み解き、情報の分類や安全チェックなどの作業を専門に担う。しかし、長い文章を一括解析する際は計算量が著しく増加するため、GPUを用意することが一般的だった。
これに対処したのがGoogleが開発したBERTで、最近リリースされたModernBERTは精度、速度、コンテキスト長を改善する可能性を示した。LFM2.5-Encodersはこれに追従するもので、CPUでも高速なドキュメントスケールの理解を可能にする。
LFM2.5-Encodersは、既存のデコーダモデルである「LFM2.5-230M」および「LFM2.5-350M」をベースに、3つの改造を施してエンコーダへと転換された。
- 因果的アテンションマスクを双方向のものに置き換え
- 短い畳み込みは対称的な中央パディングを用いることで非因果的にし、各トークンの周囲の局所的な情報を混合
- BERTなどで標準的だった15%のトークンマスクを30%まで引き上げてトレーニング
モデルの学習は2段階で、フェーズ1は1,024トークンの短いコンテキスト長で大規模なWebコーパスを読み込ませて基礎的な言語能力を確立し、フェーズ2ではそれを8,192トークンまで拡張し、事実関係の把握力、法務分野の理解力、多言語への対応力を高めた。
これにより、GPUを持たないCPUのみの環境であっても、A4用紙十数枚分(8,192トークン)の長文を高速で処理できる。CPU上でのベンチマークでは、競合となる最新モデル「ModernBERT-base」の約3.7倍の処理速度(8,192トークン時)を記録し、GPUでも特にコンテキスト長が長くなるにつれ低いレイテンシを示した。
一方、文章読解テストのGLUE、SuperGLUE、および多言語分類タスクにおけるベンチマークでは、10倍近いサイズの3.5Bモデル「XLM-R XL」や、より大規模な「ModernBERT-large(395M)」および「XLM-R large(580M)」に次ぐ4位の成績を収めた。
同社はこのモデルを、自動車のオンボードコンピューティングや産業用コントローラ、民生用デバイスにおけるCPU上でのインテントルーティングやコマンド分類、コンテンツフィルタリング用途、金融/医療/法律業務における書類分類、大型モデル入力前のフィルタリングまたはトリアージ用途などでの運用を見込んでいる。
