世界トップレベルのLLM目指す。産総研が複数大学と構築に着手

　国立研究開発法人産業技術総合研究所(産総研)は17日、東京工業大学、大学共同利用機関法人 情報・システム研究機構　国立情報学研究所(NII)が主宰するLLM研究開発チーム「LLM-jp」と合同で、生成AIの基盤となる世界トップレベルの大規模言語モデル(LLM)の構築の開発を始めると発表した。第一歩として、LLM-jpが従来国産LLMの10倍の規模という「1,750億個」のパラメータ数を持つLLMの構築に着手するという。

　開発背景として「AI技術は国の産業を支える柱の1つ」であり、労働力人口減少を補う効率的な仕事や、インターネットを通じて収集した大規模なデータの高度利活用に必須であることを挙げる。

　昨今では、言語を扱うAIの技術要素であるLLMの研究が進展しており、対話型AI「ChatGPT」なども活用に期待が集まっているが、国産ではないクローズに研究開発を進めたLLMを活用するだけではLLM構築過程がブラックボックス化してしまう課題があるという。

　また、LLMを活用するさいの権利侵害や情報漏えいなどの懸念もあり、構築の過程や用いるデータが明らかな、透明性の高い安心して利活用できる国産のLLM構築が必要と説明する。

　産総研ではこれまで国立研究所や大学と連携してAI技術の研究開発を行なってきた実績がある。また、NIIや東工大などともLLM構築の研究を進めている。

　今回、LLM-jpが着手する「オープンでかつ日本語に強いLLM」は、パラメータ数1,750億個で、OpenAIが構築したLLM「GPT-3」同等規模。産総研はLLMの構築に必要な計算資源として「AI橋渡しクラウド」を提供し、東工大、LLM-jpと協力して開発に必要な言語データ作成も行なうとしている。

　開発されたLLMはマルチモーダルなデータを処理するAI技術の開発、生成AIのロボット応用などに活用するという。また、モデル完成後はLLM-jpを通じて公開も予定する。