AItuber向けに作られた、雑談性能重視の言語モデル

　AItuber(AI VTuber)向けに雑談性能を重視して設計されたという日本語特化の8Bパラメータ言語モデル、「ArrowCanaria-Llama-8B-SFT-v0.1」がHugging Faceで公開された。

　多くの日本語LLMは、翻訳調の硬い文体や定型的なテンプレート応答に陥ることが多いが、ArrowCanaria-Llama-8B-SFT-v0.1はAItuberとして視聴者と自然に雑談できるモデルを目指して開発された。自然な日本語で人間らしく回答できるのが特徴だという。

　モデルとしては、「tokyotech-llm/Llama-3.1-Swallow-8B-Instruct-v0.5」をベースに、日本語合成小説データセットによる事前学習でドメイン知識を拡張した後、Chat Vectorマージで対話能力を復元。さらに17.5万件超の合成データセットによる3フェーズのカリキュラムSFTを実施して構築された。

　想定ユースケースとしては、配信中のリスナーとの雑談やコメント対応できるAItuberやAI VTuber、自然な日本語で日常会話や悩み相談ができるチャットボット、キャラクターを演じた対話(ロールプレイ)や創作支援、知識応答や推論、ツール呼び出しを含む幅広いタスクを行なう汎用アシスタントなど。