楽天、日本語に最適化したLLMと初のSLM

　楽天グループは、Mixture of Experts(MoE)アーキテクチャを採用した日本語の大規模言語モデル(LLM)「Rakuten AI 2.0」、および同社初となる小規模言語モデル(SLM)「Rakuten AI 2.0 mini」を提供開始した。

　両方ともに、基盤モデルおよび同モデルを基にインストラクションチューニング済みモデルを、Apache 2.0ライセンスで提供し、Hugging Faceリポジトリからダウンロードできる。

　Rakuten AI 2.0は、2024年3月に公開した「Rakuten AI 7B」を基に開発した8x7BのMoEモデル。8つの70億パラメータで構築した「エキスパート」と呼ばれるサブモデルで構築され、高品質な日本語/英語データを用いて継続的に学習されている。

　Rakuten AI 2.0 miniは15億パラメータのSLMで、内製の多段階データフィルタリング、アノテーションプロセスを通じて構築された高品質かつ広範な日本語/英語のテキストデータで最初から学習されている。

　Rakuten AI 2.0基盤モデルのファインチューニングでは、最新の研究成果であるSimPO(Simple Preference Optimization with a Reference-Free Reward)を活用したアライメントを最適化。SimPOは従来手法と比較してシンプル、安定的、効率的であり、モデルを人間の嗜好に合わせてファインチューニングするため費用対効果が高いという。

　また、会話形式や指示形式のデータにて基盤モデルをファインチューニング後、会話能力や指示追従能力を測定するためのベンチマーク「日本語版MT-Bench」でモデルを評価したところ、同程度のアクティブパラメータ数を持つほかのモデルと比較して高いスコアが得られたとしている。