相づち・割り込み対応の日本語AI「Shizuku-Duplex」発表

　Shizuku AIは11月8日、全二重で日本語対話ができるモデル「Shizuku-Duplex」を発表した。相手の話を聞きながら相づちを打ち、話し終わる前から応答できるモデルで、AIキャラクター「しずく」の基盤技術として開発した。

　Shizuku-Duplexは、人と話すような自然な間合いを目指した音声対話モデル。LLMを土台とするTransformerを採用し、会話中の表情や動きをLive2Dモーションで表現する。

　従来の音声AIでは、音声認識で発話をテキスト化し、LLMで応答を作成した後、音声合成で読み上げるカスケード型の処理が一般的だった。これに対しShizuku-Duplexは、音声を聞きながら応答音声を生成するFull-Duplex方式を採用し、各処理を順番に待つ方式とは異なる対話を実現する。

　推論は80msを1tickとして処理し、各tickでユーザーの音声を聞きながら自身の音声を生成する。発話内容は音声出力に先立ってテキスト化し、話し始めや沈黙のタイミングをモデル自身が制御する。TensorRTやTritonカーネルによる最適化で、各処理を80ms以内に行なえるという。

　対話を担うInteraction Modelと、Web検索などを非同期で実行するBackground Modelの2系統で構成。Interaction Modelは必要に応じて処理を委譲し、検索などの結果を待つ間も会話を続けられる。また、約5分ごとに対話履歴を要約し、1 tick以内にコンテキストを切り替える仕組みも備える。

　Shizuku AIの評価では、対話の自然さが比較した6モデル中で最も高く、Full-Duplexモデルの中で応答品質はGPT-Liveに次ぐ水準だった。話し終わりから返答までの中央値は0.57秒で、ユーザーの割り込みから2秒以内に停止した割合は89%。同社は今後、対話能力と言語対応を拡充し、画像認識やモーション制御への対応も進めるとしている。