ニュース

ChatGPT対抗のオープンソース言語モデル「StableLM」。日本語版も？

  • 劉 尭

2023年4月20日 10:56

　Stability AIは、オープンソースの言語モデル「StableLM」を発表した。現在はアルファ版で、30億と70億パラメータの2種類を用意しているが、今後は150億または650億パラメータのモデルも用意するという。CC BY-SA-4.0のライセンス条件に従って、商用/研究目的で自由に利用できる。

　StableLMは、テキストやコードを生成でき、さまざまなアプリケーションで活用できる。また、小型で効率的なモデル(つまり30億～70億パラメータ)でも、適切なトレーニングによって会話やコーディングのタスクで高い性能を発揮できることを示すものでもあるという。ちなみにGTP-3のパラメータ数は1,750億に達する。

　リリースにあたって、以前の言語モデルのオープンソース化の経験にもとづき、EleutherAIを設立して非営利の研究ハブとして活動。The Pileをベースに構築されているが、規模はThe Pileの3倍で1.5兆トークンのコンテンツを含む実験用データセットで学習している。また、微調整された研究用モデルのセットも公開する。

　StableLMは、オープンソースモデルの採用による透明性、幅広く入手できるハードウェアと独立したアプリケーションを構築できるアクセシブル性、ユーザーの置き換えではなくユーザーのサポートを構築する協力性を掲げる。

会話生成例

　同社は2022年に透明でオープン、かつ拡張性がある画像生成AI「Stable Diffusion」をリリースしたが、StableLMモデルの配布により、基盤AI技術をすべての人が利用できるようにすることを続ける。

　なお、現時点では英語がメインでの提供になっているが、Stable AI日本公式のTwitterによれば「日本語版も頑張ります」とのことだ。