楽天、日本語に最適化したLLM「Rakuten AI 3.0」

【3月18日画像差し替え】記事初出時のグラフの一部に数値の誤りがあったとし、先方より差し替えられました。

　楽天グループは、日本語に最適化したLLM(大規模言語モデル)「Rakuten AI 3.0」を公開した。Apache 2.0ライセンスのもと、無償で入手できる。

　Rakuten AI 3.0は、6,710億(671B)パラメータを持つエキスパート混合モデル(MoE)で、日本語に最適化。文章作成、コード生成、文書分析/抽出といったタスクが得意で、従来のモデルと比較して性能が大幅に向上し、より堅牢になった。また、日本の文化知識、歴史、大学院レベルの推論、競争数学、指示追従などにおいて、競合の主要モデルより優れているとしている。

　同社がこれまで開発したモデルは、約70億パラメータの「Rakuten AI 7B」と約470億パラメータの「Rakuten AI 2.0」があったが、Rakuten AI 3.0ではパラメータ数を大幅に増やしている。

　Rakuten AI 3.0のトレーニング費用の一部は、日本の生成AI開発に必要なコンピューティングリソースを支援するGENIACプロジェクトから提供されている。