ニュース
頭で「思い浮かべた言葉」を脳からリアルタイムで読み取る技術
2019年7月31日 19:22
Nature誌は、カリフォルニア大学サンフランシスコ校 神経外科学科および統合神経科学センターに所属するDavid A. Moses氏らによる「Real-time decoding of question-and-answer speech dialogue using human cortical activity」と題された論文を掲載した。
同論文によれば、3人のてんかん患者の協力のもと、大脳皮質に直接電極を貼りつけて行なわれる高密度な皮質脳波検査(ECoG)によって、聴覚と感覚運動を司る皮質領域の神経活動をモニタリングすることで、質問に対して思い浮かべた回答を推測できたという。
実験内で行なわれた質疑応答は、「部屋の状態はどうですか?」という質問に対して「明るい/暗い/暑い/寒い/ちょうど良い」といった複数の選択肢を提示し、そのなかから選んで回答するというもの。
回答の読み取りには、被験者が質疑応答に対する音声の認識と回答の生成というタスクを実行している間に、ECoGによって脳の信号をモニタリングし、そのうちマルチユニット活動と相関があり、音声信号の復号化に使用されてきた高ガンマ周波数(70～150Hz)の信号をリアルタイムで抽出。抽出された高ガンマ信号を使用して、質問の認識中に神経活動のどの時間セグメントが発生したかを予測し、回答を提示したという。
イベントの検出には、音声イベントに関連した時空間神経パターンを識別するために訓練されたモデルが用いられている。
同論文では、現状では限られた単語の認識しかできないが、改善を続けることで、障がいなどで発声できない人々などのコミュニケーション手段として画期的な手法となりうる可能性があるとしている。
