医療現場の事務作業をLLMで支援、商用レベルに迫る特化型AI登場

　さくらインターネットや東京大学ら10者は5月28日、医療業務支援向けとなる高性能な日本語大規模言語モデル(LLM)を開発したと発表した。これは、新エネルギー・産業技術総合開発機構(NEDO)が推進する事業の一環として開発された。

　一般的なAIサービスは患者情報が国外のサーバーや外部事業者で管理される構造となっているため、医療機関側が患者情報の所在や取り扱いを十分に把握/管理するのが困難だった。また、医療機関ごとの用語やコード体系が異なり、データの相互運用性が十分に確保されていないことや、医療現場でのLLM活用のための安全性基準が未整備で導入判断が難しいといった課題もあった。

　今回開発されたLLMは、医療機関のオンプレミス環境や国内クラウド環境など、患者情報を安全に管理できる環境で運用可能なほか、主要なAIに匹敵する性能を有しているのが特徴。

　開発に当たって、公開されているオープンなLLMをベースモデルとして、日本の診療ガイドラインや専門医試験問題、臨床事例といった医療分野のデータを追加学習させている。

　今回公開されたモデルで、優れた性能を残したのは東京大学開発の追加学習モデル「Weblab-MedLLM-GLM-4.7」だった。専門医試験を模した学術試験において、外部文書を参照しながら回答するRAG(検索拡張生成)を用いた場合、最大90.8%の正答率を達成した。これは、比較対象とした主要な商用LLMの正答率(91.4%)に迫る水準だという。

　また、学習データに含まれる患者情報がLLMに記憶されるリスクを定量的に評価する手法を確立し、患者情報の自動検出やマスキング機能の実装、5万件超の対話型安全性ベンチマークの策定、攻撃耐性評価試験なども実施した。

対話型安全性ベンチマーク結果

攻撃耐性評価試験結果

　実際のユースケース検証においては、検査名称のJLAC11コード変換、症例データの自動整理、退院時サマリーの下書き作成などにおいて、高い精度と品質を確認した。なお、いずれも医療従事者の事務作業や文書作成を補助する目的としたもので、疾病の診断や治療そのものを行なうものではないという。

　今後は、医療現場の業務効率化および医療の質向上を目指し、安全性や信頼性の確保を最優先に取り組むとともに、関係機関と連携しながら段階的に社会実装を進めていく予定。