ニュース
MetaのLlama 3を日本語でさらに学習したAIモデル、rinnaが公開
2024年5月7日 15:40
rinna株式会社は、Metaの大規模言語モデル(LLM)「Llama 3 8B」に日本語データで継続事前学習を行なったAIモデル「Llama 3 Youko 8B」を開発した。Meta Llama 3 Community Licenseの下で公開している。モデル名は妖怪の「妖狐」に由来する。
Llama 3 Youko 8Bは、80億パラメータのLlama 3 8Bに対し、220億トークンの日本語と英語の学習データを用いて継続事前学習したAIモデル。日本語言語モデルの性能を評価するベンチマーク「Stability-AI/lm-evaluation-harness」の9タスク平均スコアでは、Llama 3 8Bが59.82なのに対し、Llama 3 Youko 8Bは66.15を達成しており、日本語に関する性能が引き上がっている。
なお、Llama 3 Youko 8Bは汎用的なベースモデルとなるため、目的のタスクにあわせたファインチューニングやモデルマージを行なった上で利用することを同社では勧めている。
Amazonで購入
