ニュース
XR手術にアバターが立ち会い。NVIDIAがAIやXRを活用した医療DXを紹介
2022年2月14日 09:15
エヌビディア合同会社(NVIDIA)は2022年2月10日、「医療AIの社会実装への加速 - 多様化する医療機器ソリューションへの提案」を実施した。医療施設でもAIやXRなどデジタル技術の活用は進んでいる。2月9日には厚生労働省から医療機関に支払われる診療報酬の改定が発表され、プログラム医療機器、すなわちAIを活用した機器等にも診療報酬加算がつくことになった。これにより今後ますます医療AIの開発が加速することが予想される。
NVIDIA エンタープライズ事業本部 シニアマネージャー ヘルスケア ビジネス デベロップメントの小野誠氏は「この分野には大きな発展が期待されている。AIのような技術を使うことで社会に対して医療の質と安全安心を提供するしくみが重視されるようになっている」と述べてウェビナーを開会した。ゲストとして講演した帝京大学冲永総合研究所の杉本真樹氏の話と、NVIDIAのヘルスケア担当者の話を中心にレポートする。
MetaverseとAIが医療Dxを超える
帝京大学冲永総合研究所Innovation Lab 教授で、Holoeyes株式会社Cofounder COO、医師・医学博士の杉本真樹氏は「MetaverseとAIが医療Dxを超える」と題して講演した。杉本氏はVRやAR、MRなどを外科手術領域に適用する試みでメディアでも広く知られている。NVIDIAとは以前からGPUやAI技術の活用で関係があるという。
医療では画像を使った診断にGPUが使われていることが多いが、杉本氏らは診断だけではなく、いかに治療に活用するかに注力しているという。診断に関しては臓器形状を抽出するタスクがあり、これに機械学習を使いながらいかに効率よく患者個別のデータを抽出するかという研究を行なっており、杉本氏もセグメンテーションのアルゴリズムなどを開発してきた。
医療画像のデジタル化と再利用については米国ではオバマ政権のころから精密医療(Precision Medicine、プレシジョンメディスン)という名前で活用されていた。一般市民がボランティアとして医療データを共有することで参画していく「Civic Engagement(市民的関与)」も進められようとしていた。トランプ政権で一度廃れたが、バイデン政権で再び注目されている。
プレシジョンメディスンは個別化医療を一人ずつ個別にやるとコストがかかるので体系化しようとう考え方だ。その要素として環境因子や生活因子、放射線科によるデータを活用する。根拠に基づく医療(EBM)から個別化医療が尊重されるようになり、最近は精密化医療へと移ってきている。さらに個々人の物語に基づくナラティブ・メディスン(Narrative Medicine)を補完的に取り入れようという動きがある。ここにAIは重要な役割を果たす。個別化医療をさらに系統的に分析し、最適治療を確立する。そのために医療データを構造化・定量化することにAIが活用され始めている。
例えば、がんがどのように進行していくか、薬あるいは手術によってどのように変わっていくかを系統的に評価をする。さらにゲノム情報も用いて、どういう人ならば抗がん剤治療が効果を発揮するのかしないのかを調べ、予想する。こうすることで医療費や患者の負担も抑制して効率化が可能になる。
杉本氏らはCTスキャンで得られたデータをセグメンテーションして活用する研究を行なっている。そのデータは3Dプリントしたり、VRに活用することができる。抽出には機械学習が用いられているが、昨今では教師なし学習も注目されているという。
医療業界での深層学習活用の流れを振り返ると、理論系からコンピュータビジョン系、さらに医療用画像そのものを扱うカンファレンスが非常に増えているという。レントゲン画像やCT画像、内視鏡画像だけでなく、医師の喋っている内容、患者の行動データなども使って、様々な研究が行なわれている。臓器の抽出においては今は病変の抽出がメインになっており色々な論文もでている。論文自体を評価するためのツールも出ている。データを増やすための様々なトライも行なわれている。
ここで杉本氏は「医療現場に立ち戻ってみると、診断のために使う医療画像と治療のために活用できる画像は異なる」と述べた。患者は3Dであり、手術も3Dで行なわれる。だが診断には2Dの平面のディスプレイを使っている。例えばレントゲン画像などを思い出せばわかるとおりだ。
杉本氏は「これ、遠回りじゃないですか。2Dのフラットなディスプレイで見るのではなくなくて立体空間で見た方がいいはず」と指摘。手術室にプリントアウトした紙を貼っている医師もいるそうだが、それは奥行きもわからないし回転することもできない。
医療業界では3D画像を作る「Volume Rendering」を略してVRと呼んでいた。だが3D画像イメージングと、「Virtual Reality」の略であるVRとは異なる。この点は今でも医師たちのあいだで誤解されているという。杉本氏は「いろんな定義があるがVirtual Realityは平面ディスプレイだけではなくて感覚を刺激して物理的にないものを作り出している概念。例えばインタラクションであれば3次元の空間での実時間での相互作用性が必要」と強調した。
簡単にいうとゴーグル等をかけて、実体がないものが現実にあるように感じる、インタラクションできることが重要だというわけだ。「フラットなディスプレイを見るだけではVRとは呼べない」と語り、特に学習においては「情報以上の経験に変わってくる」と述べた。
VRのためのヘッドセット類はいま非常に安価になっており、医療画像はポリゴン化するだけでVR化して閲覧することができる。ポリゴン化はほとんどの医療画像ソフトウェアには実装されており、簡単に中に入り込む経験ができるという。そしてVRには立体視や視野を拡大するレンズを使った「没入感」が必要だとし、杉本氏のHoloeyes社ではウェブサイトにデータをアップロードすると数分程度で、VRとして体験できるようなサービスを展開していると紹介した。単に臓器を立体化するだけではなく、手術のシミュレーションも簡単にできるようになっている。
杉本氏らはVRゴーグルを使うことで医療画像を複数の人たちで共有できるシステムを開発している。滅菌グローブを使っていてもジェスチャーでコントロールができる。患者の位置にぴったり重ねると、お腹のなかの内臓が透けて見えるような視覚体験も可能となる。
ナビゲーションシステムのガイドを患者の上にホログラムのように提示すれば、どのような位置に手術をすればいいかも示すことができる。杉本氏は背骨の手術の事例を紹介した。例えばベテラン医師がガイドを行ない、若手がそれに沿って作業することで教育効果も得られる。
さらに、このデータはVR空間で共有ができる。そこにアバター(分身)を出すというのも最近流行っているという。いわゆるメタバースだ。杉本氏らは複数の医師たちが遠隔地から同じ空間に入ってデータを共有したり、カンファレンスしたりする機能を開発している。
最近ではオペ室にリアルなアバターを登場させて、違う病院にいるベテランの医師がコメントやアドバイスをすることもできるようになっており、コミュニケーションも円滑にできるという。杉本氏は自身のアバターを活用している例を示した。
手術室だけではなく、新型コロナ禍でのバーチャルな面会にもアバターを使ったそうだ。「これからの遠隔医療やオンライン診療はこういう形になっていくと思う」と語った。新型コロナの肺炎の特徴、外側と背中側に肺炎像が多いといったことも空中に患者の映像を出して3Dで見るとよくわかり、教育効果も高いという。また、ドバイと8,000km離れたVRカンファレンスの取り組みなども行なったと紹介した。
Holoeyesでは教育コンテンツにする「edu」というサービスも展開しており、たくさんの大学病院で使われているという。杉本氏は「皆さんのスマホでも我々のホロアイズとアプリを入れていただければ 100円ショップで売っている100円ゴーグルで体験ができます」と語った。
最後に杉本氏は「新型コロナ禍以降、ニューノーマル、リモートや非接触は当たり前になった。バーチャル空間がリアルが繋がり、境界がなくなっている。社会と個人も繋がる。医療と健康と患者、医者も全部繋がってくる。『メタ』は超えるという意味。これにGPUとかAIなどが有用になってくる。今はこういうものは『あるといいな』というビタミンくらいに考えられていると思う。だけど、これからはきっと『ないと困る』痛み止めのようになる。みなさんも自分の何かに超えることに一歩踏み出せるようになって頂ければ」と締めくくった。
「GPUだけではない、エコシステムを提供する」NVIDIAの立ち位置
エヌビディア合同会社ヘルスケア・ライフサイエンス開発支援担当の山田泰永氏はGPUの目線から概況を語った。山田氏はまずNVIDIA自身について「GPUだけではなくソフトウェアの会社になっている」と述べ、ミドルウェア、フレームワーク、さらにヘルスケアなど個別の産業に向けた「半製品ツール」を提供することに力を入れていると話を始めた。さらにそれらをNVIDIA NGCというポータルにまとめて、Dockerのかたちで提供していると紹介した。各産業分野向けに特化したSDKを提供するのがポイントになっているという。
ヘルスケア領域については、医療画像を中心とする診断支援、治療・処置、ケア、病気にならないように予兆を発見する部分、そしてすべてに関わるゲノム情報の活用などを対象に事業を行なっている。診断・治療措置において機器のなかに組み込みでGPUを内蔵してディープラーニングの推論や実行を行なっている。病院のなかのサーバーを使った診断支援にも使われようとしている。ソフトウェアの実装などは、いちはやく提供し始めているという。さらに国レベルのナショナルクラウドみたいなことも今後あるだろうと考えて準備をしているという。
医療画像、医療機器を中心とする医療分野には多種多様な病気があり、世界では多くの病院の中で様々な医療機器があって、日々、超大量のデータが生成されている。新しいアルゴリズムも日進月歩に出てきている。AIを使っている機器も米国では300種類以上が認可されている。日本でもPMDAから認可されるものが徐々に増えている。
この分野においてNVIDIAはCTを中心とする医療画像に対して「Clara Imaging」というソフトウェアを提供してきた。だが昨年くらいから「MONAI(モナイ、Medical Open Network for AIの略)」というオープンなかたちで医療画像の研究を行なうソフトウェアスタックを作ろうという動きが出てきた。NVIDIAではここに合流し、従来の資産をほぼ全て提供している。これが非常にダウンロード数が伸びており、医療用画像研究用ソフトウェアとしてデファクトになりつつあるという。このなかには学習済みモデル、アノテーションツール、転移学習、追加学習のためのツール、などのほか、スクラッチで学習をさせる場合にもハイパー・パラメータ・サーチをするような機能が入っている。
メディカルデバイスに搭載されているAIとしては、従来からGPUは様々な機器に搭載されている。画像の再構成だけではなく、徐々に操作支援、診断支援など様々な用途に対する適用が広がっており、手術用ロボットやIVR(Interventional Radiology、放射線診断技術を使ってカテーテルなどを使う治療法のこと)にも採用が始まっているという。
海外の情報を集約すると、CTや超音波診断装置では従来はFPGAでやっていた作業を、ほぼGPUでやるようになっており、CTにもさらに高度な再構成アルゴリズムを実装するようになっており、演算量がどんどん増えているという。さらにディープラーニングを使った超解像や画像の補完、動き補正など、ソフトウェア、つまり「演算による付加価値を創出する」ということが盛んに行なわれていると感じているという。そのためにも、より高速・高度なGPUが必要とされている。
従来からのCTやMRIのような静止画像だけでなく、内視鏡のようなリアルタイム画像ストリーム(動画)にも適用が活発に行なわれるようになっている。外科領域では手術用内視鏡画像に対してリアルタイムの認識とナビゲーションを行うところが活発になってきた印象を持っているという。さらに画像検査装置だけではなく、検体テストやラボテスティングなどにもディープラーニングを適用することで付加価値をつける取り組みも始まっている。メタバースやデジタルツインに関する動きも医療分野で構想され始めている。
そして、いわゆるソフトウェア・ディファインド(Software-Defined)、すなわちソフトウェアのアルゴリズム開発を先行させて、必要な計算量に対して、GPUを選択するという手法、要するにソフトウェア先行型、アルゴリズム先行型の手法がかなり浸透してきたと感じているという。ディープラーニングについても、TensorflowやPyTorchの推論最適化コンパイラがフレームワークに統合されており、研究開発段階から製品化を見据えて、どのくらいの処理速度、レイテンシーを見ながら試行錯誤ができるようになっており、さらにソフトウェア・ディファインドで製品開発期間が短縮できると見ていると述べた。
このような流れのなかでNVIDIAが提案している開発プラットフォームが「Clara Holoscan」だ。ハードウェア開発キット、ソフトウェアが全て統合されたものになっている。組み込み機器向けAIモジュールのJestonにGPUを外付けしたかたちで、すぐに開発可能なキットとなっており、現状では「Jetson Xavier」にRTX 6000を付け加えたものを提供している。今後はJetsonの次の世代である「ORIN」に、外付けGPUとしてA6000を加えたものを開発キットとして提供する予定。
単に組み込みGPUに外付けがついただけではなく、ソフトウェアとネットワーク、10GBないし100GBのEthernetも付け加えられている。今後は医療機器に関しても院内ネットワークや機器間の接続が、今のSDIやDVIから徐々にEthernetに変わっていくトレンドを先取りして搭載しているという。また外部インターフェイスとのカードも4K内視鏡画像をリアルタイムで取り込むといった用途に向けて、外部キャプチャーカードのベンダーと協業しており、すべてプラットフォーム上で検証が可能。さらに「GPUダイレクト」いうキャプチャーしたフレームをCPUメモリーを介さずにそのままGPUメモリ空間上にダイレクトに流し込むことでレイテンシを削減する技術も、このプラットフォーム上で検証済みのかたちで提供できるという。
まずは検証環境、開発キットとして提供するが、今後は、これを基にした量産環境も提案する。この上で開発したあと、シームレスに量産に移行できるようなものも何らかのかたちで提供する予定だという。
これのコアになる、間もなく発売予定の「Jetson ORIN」は、総合AI演算性能は200TOPSで、現状のXavierの約6倍。現在性能が足りないものであっても、Orinであれば賄える可能性がある。ディープラーニング・アクセラレータが特に強化されている。プログラマブル・ビジョン・アクセラレータも搭載されており、様々な画像処理が行なえる。推論実行だけではなく、従来のフィルターなどの画像処理にもアクセラレーターが使える。内蔵されているノイズフィルターやシャープネスなどもGPUコアの演算能力を使うことなく、アクセラレータを使うことができる。
このほか、性能を落として安価にした製品も投入予定。組み込みだけではなくエッジサーバーに使うGPU、コンソールに入れるものも様々なラインナップを揃えている。山田氏は「ぜひソフトウェア・ディファインドの医療機器開発を推進して頂きたい」と語った。
また、新たな領域として「Fleet Command(フリートコマンド)」を紹介した。クラウドからエッジデバイスに対して一元的にソフトウェア環境をプロビジョニングをし、AIのモデル、アプリケーションをデプロイ、さらに有効/無効化、死活監視するといったこともまでを全て統合的にできる、クラウドのマネージドサービスだ。
これにより、様々なロケーションにあるエッジ端末に対し、クラウド側のコントローラーから、適切なアプリケーションをデプロイして動作状況を監視することができる。医療機器であれば、例えば全国の各病院に設置したエッジ機器に対して、統合的にAIアプリケーションを管理することができるようになる。NVIDIAが提供することで、GPU
環境ですでに検証済みのものがすぐに利用できるところがポイントだ。「コネクテッド医療機器」「コネクテッド医療サービス」の実現のために是非こういったところをご検討いただきたいと語った。
そのほか、エッジではなくサーバー、クラウド、端末からあがってくるデータを全部まとめて管理するための「Triton Inferrence Server」も提供されている。これはMicrosoft Teamsの英語書き起こし機能にはバックエンドで使われている。数十万ユーザーから同時多発的にあがってくる推論要求をうまく束ねてマルチモデルで捌き、処理したものをバッチに戻して各自に返すことができる。さらに負荷に応じてオートスケールする。山田氏は「かなりモダンなかっこいい実装が可能になる。Microsoftをはじめとした各社のウェブ系サービスに使われている」とアピールした。今後数万箇所に広がったところからデータを吸い上げてクラウドで処理するといったことに使われるようになる可能性がある。
最後に「我々はGPUの会社だがソフトウェアもたくさん提供している。サーバー、クラウド、5G などあらゆるところで協業している。もはやGPUだけでなくソフトウェア。エコシステムを提供する会社になったというところを是非ご理解いただきたい。クラウド対応、コネクテッドといった新しい医療機器をぜひ推進していただき、それに役立てて頂ければ」と締めくくった。
