もうAIと話している気がしない、音声だけで学んだ「Dessa」

　もう、相手がAIだったとしても分からない……。人間同士のように、リアルタイムに相づちを打ちながら話せるAIが登場した。Blockは10月23日(米国時間)、人間の会話音声のみで学習した全二重の音声会話モデル「Dessa」を、研究プレビューとして発表した。

　Dessaは、音声を入力して音声で応答するSpeech-to-Speech型の会話モデルで、テキストを介さずに音声のまま処理するのが特徴。聞きながら話せる全二重に対応しており、「うん！」、「わかった！」、「おお！」といった相づちを打ったり、話に割って入るタイミングを判断したりできるという。また、感情や笑い、皮肉、ため息といった非言語的な表現も認識/生成できる。

　リリースのページでは、Dessaとの会話を収録したデモ6本を公開している。英語での会話だが、Dessaの高いリアルタイム会話能力が確認でき、もはやAIと話しているとは分からないレベルだ。

　Dessaは、テキストデータや既存の学習済みモデルを一切使わず、人間の会話音声だけでゼロから学習している。学習に用いたのはNVIDIAの「GB200 NVL72」1基のみで、同社によればLLMと比べて数百分の1の単語量で言語を習得できたとしている。推論もリアルタイムより高速で、M4 Max以上を搭載したMacBook Proであればローカルで動作するという。

　開発に当たって同社は、「幼児は文字を見なくても話せる。これと同じことがモデルでもできるかどうか試したかった」としている。なお、パラメータ数や対応言語、学習に用いた音声データの量などは明らかにされていない。

　現時点で一般公開はされておらず、想定外のリスクを洗い出す目的で、少数のAI安全性研究者に向けて早期アクセスを提供している。