やじうまPC Watch

東大、ゼロからLLMを作る教材「EveryonesLLM」

 東大AI研究会は5月25日、Google Colabだけで0.5Bサイズの本格的なLLM/SLMをフルスクラッチで作れる教材「EveryonesLLM」を公開した。

 EveryonesLLMは、Google Colabにおいてチュートリアル形式で学習していくことができ、600問以上の穴埋め問題を解きながら、実装/学習して、最終的に会話ができるモデルにまでLLMを育て上げることができる教材。全部で28チャプターまであり、1チャプターあたり30分から4時間で学習を進められる。

 ただし、学習の前提知識として「行列の掛け算と足し算」、「平均値と分散」、「ResNetの残差接続」、「Word2Vectorの仕組み」といった前提知識やスキルが必要なため注意が必要だ。