ニュース
NTT、軽量で高機能な大規模言語モデル「tsuzumi」を発表。来年3月にサービス開始
2023年11月1日 14:58
日本電信電話株式会社(NTT)は、軽量ながら世界トップレベルの日本語処理性能を持つという大規模言語モデル(LLM)「tsuzumi」を発表した。同社はtsuzumiを活用した商用サービスを2024年3月より開始する。同サービスは、2023年10月より医療や保険業界のパートナーとのトライアルを開始している。
tsuzumiは、NTTの研究所が40年以上にわたる自然言語処理の研究蓄積をもとに開発したLLM。従来のLLMが直面する電力やコスト増加といった課題を解決するために設計されており、軽量でありながら高い処理能力を有しているという。
同LLMは、軽量モデルとしてパラメータサイズが6億の超軽量版と70億の軽量版を用意する。この軽量モデルは、モデルの学習1回に約1,300MWh(原発1基1時間分)の電力量がかかるという、パラメータサイズが1,750億のGPT-3と比較して、学習や推論に必要なコストを大幅に削減できるとしている。
tsuzumiは、日本語と英語に対応し、特に日本語処理において高い性能を謳っている。同社が実施した生成AI向けのベンチマーク「Rakuda」による日本語性能比較では、GPT-3.5や国産トップのLLM群を上回る性能が確認されたという。
同LLMは、チューニングの柔軟さも特長とする。商用サービス開始時点ではプロンプトエンジニアリング/フルファインチューニング/アダプタチューニングの3つのチューニング方法を提供し、特定の業界や用途に特化した言語表現や知識への対応を実現する。
同社は今後、「tsuzumi」を活用して業界に特化した領域にフォーカスし、専門性や個性を持った小さなLLMの集合知が社会課題を解決する世界を目指すという。
また、商用サービス提供後は、マルチアダプタと呼ばれるチューニング機能の追加や、マルチモーダルおよび他言語対応を順次展開しつつ、パラメータサイズが130億以上の中型版も用意し、新たな価値創造やユーザー体験の高度化に向けた取り組みを加速するとしている。
同社は、tsuzumiの発表にあわせて記者説明会を実施。説明会では、同LLMのみの収益を2027年までに年間1,000億円以上にしたいと述べたほか、パラメータサイズの小型化に関しては、質の高い情報のみを取捨選択して学習に使用することで実現しているとした。tsuzumiの性能については現時点でGPT-3.5と同等であり、GPT-4を目指して開発を続けていると述べた。
また、多言語対応によるコスト増加については、同社は一般的に学習コストが増大すると述べながらも、英語のデータ学習が予想外に日本語処理能力を向上させる現象を確認したと語っている。この現象はLLMがより高位の言語概念を把握している可能性を示唆しており、同社はこうした上位概念の言語を学習することでコストを削減できると見て、最も効率の良い言語学習を模索しているとした。