ニュース
軽量で高機能な小規模言語モデル「Stable LM 2 1.6B」。Stability AIから
2024年1月23日 17:27
Stability AIは22日、パラメータサイズが16億と軽量な小規模言語モデル(SLM)「Stable LM 2 1.6B」を発表した。Hugging Faceにて公開されており、Stability AIメンバーシップに参加することで商用利用も可能。
Stable LM 2 1.6Bは、英語/スペイン語/ドイツ語/イタリア語/フランス語/ポルトガル語/オランダ語の多言語データで学習された、パラメータサイズが16億のSLM。プリトレーニング済みやインストラクションチューニング済みのバージョンのほか、プリトレーニング収束前の最後のバージョンも公開しており、開発者がモデルの微調整や実験を容易に行なえるようになっている。
同モデルは言語モデリングにおける最近のアルゴリズムを活用することで、速度と性能の優れたバランスを実現する。Phi-1.5やPhi-2、TinyLlama 1.1B、Falcon 1BといったほかのSLMとのベンチマーク比較では、ARCチャレンジ、HellaSwag、TruthfulQA、MMLU、LAMBADAなどにおいて優れた性能を示したという。
同社は、Stable LM 2 1.6Bが高いハルシネーション率や潜在的な毒性言語といった、SLMの性質上の問題を示す可能性があることを示唆しているほか、データミックスやトレーニング手順に関する包括的なテクニカルレポートを近日中に公開するとしている。
