Meta、700億パラメータのコード生成向けAIモデル「Code Llama 70B」

Code Llama 70B

　Metaは29日(米国時間)、コーディング向けの大規模言語モデル「Code Llama」に、新たに70B(700億)パラメータを持つモデル「Code Llama 70B」を提供開始した。2023年8月に公開したCode Llama 7B(70億)、13B(130億)、34B(340億)パラメータのモデルとあわせ、計4つのサイズが用意されることになる。

　Code Llamaは、大規模言語モデルのLlama 2をベースに、コード生成に特化したデータセットで学習を行なったモデル。テキストプロンプトからコードを生成するといったことが可能となる。

　これまでのCode Llama 7B、13B、34Bが5,000億トークンのコードおよびコード関連のトレーニングデータで学習しているが、Code Llama 70Bでは1兆トークンのトレーニングデータで学習しており、Code Llamaファミリーの中で最大かつ最高のパフォーマンスを発揮できるとする。

　なおCode Llama 70Bにおいても、基本モデルに加えて、Pythonに特化した「Code Llama - 70B - Python」、自然言語命令を解釈できるよう調整を加えた「Code Llama - 70B - Instruct 70B」の3種類を用意している。