ニュース

Z.ai、オープンソース最高の性能をうたうLLM「GLM-5」

 Z.aiは、複雑なシステムエンジニアリングおよび長期的なエージェントタスクを得意とするLLM(大規模言語モデル)「GLM-5」を発表した。現在、Hugging Face上で公開されている。

 GLM-5は、従来の「GLM-4.5」からパラメータ数を355Bから744Bに増加させるとともに、アクティブパラメータ数も32Bから40Bに向上させ、さらに事前学習データも23Tトークンから28.5Tトークンに増加させることで能力を高めた。また、DeepSeek Sparse Attention(DSA)を統合することにより、長期コンテキストのキャパシティを維持しながら、導入コストを大幅に削減したという。

 GLM-5では、非同期強化学習インフラストラクチャである「slime」を開発して導入している。強化学習はこれまで学習効率の低さから、LLMへの大規模導入が困難だったが、slimeにより学習スループットと効率を向上させ、よりきめ細かな学習後の反復処理を可能とした。

 これにより、幅広い学術ベンチマークにおいて大幅な改善を実現し、推論、コーディング、エージェントタスクにおいて、あらゆるオープンソースモデルの中でクラス最高のパフォーマンスを達成し、最先端モデルとのギャップを埋めることに成功したとしている。