MicrosoftのAIがミズ・パックマンでカンスト達成

AIがミズ・パックマンをトレーニング

　MicrosoftのAI研究者らは14日(現地時間)、1980年代に登場したレトロゲーム「ミズ・パックマン」をプレイする人工知能(AI)システムを開発し、最高スコアとされる999,990点を達成したと発表した。

　ミズ・パックマンは、オリジナルのパックマンのクローン作品で、赤いリボンなどをつけた女の子バージョンのパックマンが登場する。多少のアレンジはあるものの、ゲーム性は大きく変わらない。

　この取り組みは、Microsoftが今年(2017年)のはじめに買収した、カナダのディープラーニングスタートアップ「Maluuba」によってなされたもので、Atari 2600バージョンのミズ・パックマンを分割統治法でAIに学ばせ、強化学習を重ねることで最高スコアに到達した。

　Maluubaの研究チームは、AIにミズ・パックマンを学習させるに当たって、150以上のAIエージェントを活用する「ハイブリッドリワードアーキテクチャ」という独自の手法を使用。これは、各々のAIエージェントが平行してミズ・パックマンを学習していき、いくつかのエージェントはペレット(粒)を取って報酬を得る特定の方法を見つけ、ほかのエージェントはゴースト(敵キャラ)を避ける方法を学んでいくといったもの。

　それから、すべてのエージェントからの提案を受ける会社のシニアマネージャーのような1人のトップエージェントが生み出され、各エージェントたちに操作指示を与えた。トップエージェントは、何人のエージェントが特定の方向を選んだかなどを計るが、なぜその方向に動きたがったのかといった強度も計測。たとえば、100人のエージェントが右に動くことで点数を得られると判断したが、3人のエージェントは右にはゴーストがいるため逆に左に動きたがったなどを分析する。

　Maluubaは、トップエージェントが各エージェントから得られる情報を使用して最適な指示を与えるとともに、エージェントたちそれぞれがきわめて自律した行動をとったときに、最高の結果がもたらされたとしている。