ニュース
ELYZA、企業の「独自LLM」開発を支援
2023年7月14日 06:11
株式会社ELYZA(イライザ)は2023年7月13日、企業が独自の大規模言語モデル(LLM)を構築するための支援プログラムの提供を開始すると発表し、記者会見を行なった。特に個人情報を扱ったり、エッジでの処理が求められる工場や自動運転、製薬・医療、金融など専門性が高い分野に対して、個社データを整備・作成し学習する「Post-Training」基盤の構築を手助けする。事前学習したモデルに対してPost-Trainingを行なうことで、LLMの出力精度をコストパフォーマンス良く向上させられるという。「ChatGPT」や「GPT-4」を活用したDXと並行しつつ、自社特化のLLMを開発することで、各企業は業務に最適化された言語生成AIを利用することが可能となり、競争優位性を強化できるとしている。
ELYZAは東大松尾研発のベンチャーで、2018年の創業以来、自然言語処理を使ったホワイトカラーのDXを手掛けている。大規模言語モデル(LLM)の研究開発には2019年から、業務応用には2020年から取り組んでいる。会見では合わせて言語生成AIの現状と展望も紹介された。
言語AIの活用によって進む効率化
イライザ CEOの曽根岡侑也氏は、まず2018年に創業した同社の事業内容を紹介。イライザは各企業によるGPTシリーズなどを使ったDXの社会実装の支援と、各社独自の自社モデル開発の支援の両方を並行して行なっている。イライザ自体も2020年に独自の日本語特化言語モデル「ELYZA Brain」を開発している。テキストの分類タスクでは人間よりも高精度を実現している。そこから派生して要約AI「ELYZA DIGEST」、文章執筆AI「ELYZA Pencil」を開発。国内のLLMプレイヤーとして社会的にも認知されている。
LLMを使ったDXにおいては、各社と取り組んでいる、JR西日本グループではコンタクトセンターの業務を半自動化する取り組みを行ない、プロジェクト開始から2カ月間で対応時間の34%を削減することに成功した。従来が人が行なっていた担当者割り当てや内容の要約などをAIが草案を作って人間がチェックするというフローに変えた。
マイナビとの取り組みでは求人原稿を作る作業を言語AIで効率化。同様に草案をAIに作らせることで3割効率化させることができたという。
2023年7月現在のLLMをめぐる動向
現在何が起きているのか。曽根岡氏は歴史と今後の進化を紹介した。2022年11月30日にOpenAIからChatGPTが登場。言語AIがすごいということが社会的にも広まった。2023年3月にはGPT-4が公開。多言語で精度が大幅に向上し、捏造率低下も達成された。
これを受けてGAFAMも大きな動きをしている。MicroSoftはOpenAIと組んで Azure、Edge、Bingなどに組み込み、Ofiiceにも追加していく予定だ。
Googleも負けじと取り組んでいる。LLMのPaLMのAPIを公開した。また自社サービスのGmailそのほかにもLLMを組み込もうとしている。
Amazon、Metaも動き始めている。AmazonはLLMの提供を行なうほか、日本国内でもAWSが独自の開発支援プログラムを開始した。Metaは他社とは違う動きを見せており、自社モデルのLLaMAをオープンソースとして研究者に公開。第3勢力を支援するような動きを示している。
LLM動向に変化が起きたのは2018年
LLMはどのような技術トレンドで生まれてきたのか。曽根岡氏は「急に出てきたものではない」と述べて、「大きな変化が起きたのは5年前」と振り返った。5年前、AIの話題の中心は画像や音声だった。言語についてはまだまだ使い物にならないと思われていた。2018年1月当時のAIの性能は2択クイズで65.6に留まっていた。つまり「当てずっぽうよりも少し良い」くらいのレベルでしかなかった。そのため精度が出なくても活用できる、単純なチャットボットなどの領域だけで使われていた。
そんな中で1つ目のパラダイムシフトが起きた。2018年10月にLLMが登場した。GoogleのBERT(Bidirectional Encoder Representations from Transformers、Transformerによる双方向のエンコーダ表現)だ。ここから急激に精度が向上し始め、8カ月後の2019年6月には人間の精度を超えてしまった。
LLMはTransformerを使い、モデルを大規模化したものだ。大量の文章を使い言語を扱えるようにしたあとで追加学習を行なうことで各種タスクをこなせるようになった。曽根岡氏は、それまではいわば「韓国語が分からない人にいきなり問題を解かせていたようなもの」だったと表現した。まず言語を教えて、それから追加学習させたほうが良いとなったわけだ。これがパラダイムシフトだった。
2020年1月にもう1つパラダイムシフトが起きた。計算リソース、データ量、モデルサイズを大きくすればするほど賢くなる「スケーリング則」の発見だ。
OpenAIはこれを検証するために、2020年3月に、ものすごく巨大なモデルを作った。「GPT-3」だ。1,750億パラメータを実現するためのコストは約460万ドルと言われている。
GPT-3が行なった学習は、大量の文章を持ってきて、次の単語は何が来るかについての予測だ。つまりGPT-3は、文章を途中まで入れると、その先を出力するというモデルになっている。
ところが、ただそれだけのモデルが、翻訳や分類などを解くことができる。プロンプトでタスク内容を書き、複数の例を示す。するとうまく動く。さまざまなことができてしまうことが分かった。たとえばテキストを入れるだけで簡単なWebサービスを作れる。
LLMの登場とスケーリング則の発見が革新的であることが分かり、世界的にも大規模なモデルを作る動きが起きた。日本国内ではLINEがいち早く取り組んだ。
そして2022年11月末にChatGPTが公開された。ChatGPTの貢献は「Post-training」を作ったことだという。ChatGPTには大きく3つの学習ステップがある。まず、Pre-training。大量の文書を使って言語について学習する。ここは言語と知識を学ぶステージだ。
その後にPost-trainingを行なう。まずステップ2では指示学習といって、多様な指示に対して 求められる出力を出せるように教師データを元に学習する。それがある程度できるようになったら、人間にとって心地よい出力ができるように学習する。これがステップ3だ。こうすることで業務やタスクに馴染ませることができた。結果としてリリースされたChatGPTは多くの人に衝撃を与えた。
2023年3月のGPT-4はさらに性能が向上した。ざっくり振り返ると、最初は大半のタスクで人間の精度に及ばなかったものの、事前に言語学習を行なうことで数万教師データで人間並みの精度が出せるようになり、さらにそれを元にすることで教師データなしの状態で人間並みの精度も出せるようになった。これがここ4年くらいに起きたことだった。
今後のLLMはバーチャル/リアル空間で行動ができるように
では今後はどう進化するのか。曽根岡氏は「大きく3つの進化の方向がある」と述べた。1つ目はマルチモーダル化。GPT-4のように言語だけではなく、画像も入力して処理できるようになりつつある。画像以外にも自然言語でアプリケーションやプレゼンテーションを作ることもできるようになりつつある。
生成AIから行動AIへの変化もある。Adept.aiは、言語で指示をするとブラウザやExelを操作して、各種アクションを起こせると発表している。バーチャル空間での行動も可能になる。色々なウェブサービスのAPIを活用して情報にアクセスしたり、ツールを扱うことができる。たとえば検索とレストランの予約などを自動で行なうことができる。
また、物理空間での活動の研究も進んでいる。Googleはロボットを使って、抽象的なお願いをするだけで細部はロボットが自分で生成して動けるというデモを示している。
ビジネストレンド 特定業界に強い独自LLM開発へ
LLMをめぐって、社会全体でさまざまな動きが起きている。機運としては大きく2つ。既存のLLMを活用したDXと、自社の独自モデル開発だ。
DXについてはいろんな会社がLLM活用を進めているが、4つのステップを踏んでいると見ているという。まずLLMの理解と検討、次に実際に触ってみる、そして特定スコープでの活用、最後が顧客サービス・業務全体のアップデートだ。
イメージとしては、まずは社内のLLM利用者を増やし、特定業務の課題解決から始めている。たとえばパナソニックコネクトは全社で使えるようにしており、その成果も発信している。スタートアップによる法人向けGPT環境サービスも乱立している。
さらに大手は、今後のLLM活用を促進するために専門組織の立ち上げを始めている。日立製作所は「Generative AIセンター」を新設。コクヨはデジタル人材を育てる「KOKUYO DIGITAL ACADEMY」を発足させた。
業務活用はまだ徐々に進んでいる段階だ。メルセデスベンツはナビにChatGPTを組み込みはじめた。マイナビはELYZAと組んでいるのは前述のとおり。一番大きなユースケースは多様かつ膨大な社内ドキュメントを参照しながら対話するというものだ。MicroSoftも提供を始めているが、このニーズは各企業において実際に非常に高いと曽根岡氏も感じているという。
サービス/業務フローの刷新は、各企業が検討している段階だが、まだあまり外に出てきていない。今後は多く発表される見込みだ。
留意点は企業視点では4つ。コスト構造、模倣容易性、利用量制限、セキュリティだ。GPT-4などを使う限り、これらの課題からは逃れることが難しいものも多い。GPUも不足しており、OpenAI、Microsoftともに利用量制限があり、無制限に活用することはできない。このような状況を背景に、計算機資源の需要が増しており、国内でもインフラ整備への動きが発表されている。さくらインターネットやソフトバンクは数百億円規模の投資を行ない、政府も数十億円を補助している。
OpenAIに依存する状態から脱するため、独自のLLMを作る動きも盛んだ。Bloombergは金融向けに500億パラメータのモデルを作り、サイバーエージェントは130億の独自日本語LLMを開発。Googleは医療向けに特化したモデル「Med-PaLM」を開発している。各国、さまざまなドメインで特定業界に強いモデルを作ろうという動きが活発になっている。
国内ではNTTやソフトバンクなど通信キャリアから強い動きが起きている。研究機関であるNICTも400億パラメータのモデルを開発したと発表した。今後はGPT-3よりも大きな、1,790億パラメータのモデルを開発予定だ。
ELYZAは独自LLM開発支援プログラムを提供開始
ELYZAは今後、各社の独自の独自LLM開発支援プログラムを提供を始める。前述のように、LLMを作るにはPre-TrainingとPost-Trainingが重要だ。自社LLMを作る場合は、ゼロから作るフルスクラッチ開発とPost-Training開発の2パターンがあり得る。ELYZAはPost-Training開発の支援を行ない、そのための技術をさまざまな企業に提供する。フルスクラッチに比べて必要なコストが1桁異なるという。また、オープンソースのモデル公開の流れと、Post-Trainingによる精度向上の度合いが大きいためだ。
たとえばMetaのLLaMAをしっかりトレーニングするとモデルサイズが小さくても同じくらいの品質の出力が可能になった。イライザはPost-Trainingのためのデータ基盤を作っているので、それに加えて各社のPost-Trainingを行なうことで、業界特有のタスクで精度の高いLLMの開発が可能になるという。特にセキュリティに厳しい金融や、専門用語が多い業界、通信が使えずエッジでの処理が必要な業界などをターゲットにする。
MicrosoftのAzureなども自社独自データを組み合わせられるとしているが、自社モデルを作るには高品質なデータが必要であり、そのファインチューニングを支援できるという。
イライザCMOの野口竜司氏は「GPT環境だけでは課題解決は進まない。各社の業務単位のなかで取り組んで作り込まないと課題解決には至らない」と語った。開発の速度感としては、指示用データとフィードバックデータを作るために2～3カ月はかかるが、プロジェクト開始から3カ月から6カ月くらいで取りあえずのモデルはできるというのが肌感覚だと語った。