Stability AI、16億パラメータの日本語LLM。速度と性能を両立

　Stability AI Japanは9日、16億パラメータを持つ比較的小型の日本語LLM「Japanese Stable LM 2 1.6B(JSLM2 1.6B)」をリリースした。

　モデルサイズを16億パラメータにすることで、利用に必要なハードウェアを小規模に留めることが可能となり、より多くの開発者が生成AIのエコシステムに参加できるようになるとしている。

　ベースモデルの学習ではWikipediaやCulturaXなどの言語データを利用し、指示応答学習ではjaster、Ichikara-Instruction、Ultra Orca Boros v1の日本語訳といった商用データおよび公開データを利用した。言語モデルにおける最新アルゴリズムを活用し、適度なハードウェアリソースで迅速な実験を繰り返すことが可能となったことで、速度と性能の両立を図った。

　同社のNejumiリーダーボードを使用した測定によれば、16億パラメータでありながら40億パラメータ以下のモデルのスコアよりも高いスコアを実現したという。ただ、パラメータ数が少ないため、ハルシネーションや間違いが生じる可能性があるため、アプリケーションでの利用は適切な対策をとるよう求めている。