LLMC、332億パラメータの日本語LLM「LLM-jp-4 33B」を公開

　大規模言語モデル研究開発センター(LLMC)は8月18日、約332億パラメータを持つDense型の大規模言語モデル「LLM-jp-4」シリーズの新モデル「LLM-jp-4 33B」を公開した。ベースモデル「llm-jp-4-33b-base」と、事後学習まで施した「llm-jp-4-33b-thinking」の2種類を用意する。

　llm-jp-4-33b-thinkingは、事前学習と中間学習に加え、SFT(教師ありファインチューニング)とDPO(直接選好最適化)による事後学習を施したモデル。

　llm-jp-4-33b-baseは、大規模データによる事前学習と中間学習までを終えた段階のモデル。特定タスクへの追加学習やカスタマイズの土台として利用できる。

　評価フレームワーク「llm-jp-judge」を用いた検証では、日本語MT-Bench、英語MT-Bench、AnswerCarefully、llm-jp-instructionsの4つのベンチマークすべてで、これまでに公開されたLLM-jp-4 Thinkingモデルのスコアを上回った。モデルの公開に合わせ、DPOに使用した学習用データセットも一般公開している。