「富岳」で学習した日本語向け国産AI「Fugaku-LLM」公開

　理化学研究所のスーパーコンピュータ「富岳」を用いて学習した、日本語能力に優れた大規模言語モデル「Fugaku-LLM」が公開された。モデルはHugging Faceにて公開されており、ライセンスに従って研究および商業目的での利用が可能。

　Fugaku-LLMは、東京工業大学、東北大学、富士通株式会社、理化学研究所が2023年5月に共同で研究開発を開始した大規模言語モデル(LLM)で、2023年8月からは名古屋大学、株式会社サイバーエージェント、Kotoba Tehcnologiesも加わって進められた。高性能かつ現在の計算機環境下でも扱いやすい130億パラメータのAIモデルとなっており、学習データにはサイバーエージェントの収集した独自の日本語および英語のデータを活用している。

　1万3,824台の計算ノードによって、約4,000億トークンを学習し、うち約60%を日本語コンテンツが占める。日本語ベンチマークのJapanese MT-Benchにおいて、国産かつ独自データで学習したオープンなAIモデルの中で最高性能を達成し、特に人文社会系のタスクで高い性能を発揮できるとしている。なお、既存のモデルに追加で学習させる継続学習ではなく、一から独自のデータを使って学習を行なっており、透明性や安全性の観点でも優れているという。

　モデルの開発においては、ディープラーニングフレームワークMegatron-DeepSpeedの富岳への移植や、密行列積ライブラリのTransformer向け高速化のほか、通信性能の最適化や高速化を実施。その結果、LLM学習時の演算速度が既存技術の6倍まで向上し、通信速度も3倍まで引き上げることに成功した。また、通常LLMの学習にはGPUが用いられる一方、富岳ではCPUを用いて実現している点も大きな成果だと説明している。

　Fugaku-LLMは、定められたライセンスの下、研究および商業目的での利用が可能なほか、Fujitsu Reserch Portalを通じての提供も行なわれる。研究チームでは、多くの研究者が公開されたモデルを利用し、改善や応用研究に取り組んでいくことで、次世代の革新的な研究やビジネスの成果につながるだろうとしている。