ニュース

人間のように自然に話せるという音声対話モデル「Haru 4B」無償公開

 人間のように自然な発声ができ、相槌や割り込みにも対応できる音声対話モデル「Haru 4B」が登場した。higurashiが11月13日に発表したもので、事前学習済みベースモデルのオープンウェイト(モデルの重み)をApache License 2.0のもとでHugging Faceにて無償公開した。推論コードもGitHubで公開している。

 Haru 4Bは、音声認識、LLMによる応答生成、音声合成を順に行なうカスケード型ではなく、音声の入力と出力を並行して処理するFull-Duplex LSLMを採用した音声対話モデル。聞きながら話すことができ、自然な発声が可能なほか、会話の移り変わりや相槌、割り込みが発生した際にも低遅延で対応できる点を特徴とする。

 具体的には、ユーザーの音声、モデルの音声、テキストの3つのストリームを同じ時間軸上で同期処理する仕組みとなっている。133msごとにこれらのストリーム情報を統合し、単一の言語モデルで処理することで、音声とテキストのリアルタイム生成を可能にした。何を答えるかだけでなく、いつ、どう応じるかも学ぶことができ、相槌や割り込みを含めた自然な音声対話を実現したという。また、テキストでキャラクターを制御したり、音声クリップから声を設定したりもできる。

 事前学習には、日本語や英語を含む4,000万時間の多言語データを活用。対応言語は日本語、英語、中国語、韓国語、スペイン語、ポルトガル語、ドイツ語、フランス語、ロシア語の9言語となる。