ニュース
rinna、日本語と英語を扱えるバイリンガルAIモデル
2023年7月31日 15:27
rinna株式会社は、日本語と英語のバイリンガル大規模言語モデルを開発したと発表した。計4つのモデルを商用利用可能なライセンスの下、オープンソースにて公開している。
今回開発したのは、約40億のパラメータを持つ日本語と英語のバイリンガルGPT。日本語と英語のテキストを生成できる汎用言語モデルで、オープンデータセットを用いた学習による透明性の高さを謳っている。学習データの内訳は56%が英語、日本語が33%、ソースコードが11%だという。
利用目的に応じた追加学習が可能なほか、大規模言語モデル(LLM)としてはパラメータ数が少量なことから、推論や追加学習をコンシューマ向けのGPUでも実行できるという。日本語と英語のLLMベンチマークテストの結果によれば、これまでrinnaが公開した日本語特化モデルの能力を維持しつつ、英語の能力を獲得できたとしている。
また上述の汎用言語モデルに加えて、入力テキストの上限を拡大するよう追加学習した長期コンテキスト言語モデル、対話形式の指示を遂行するよう追加学習した対話言語モデル、テキストと画像のマルチモーダル入力をできるよう追加学習した画像対話モデルもあわせて公開している。
同社では今後これまでの知見を活かし、今回開発したモデルの大規模化や、音声を入力とするマルチモーダルモデルに関する研究開発を進めていくとしている。
