Google、人間のように学習を積み上げるAIを開発

　Google傘下のDeepMindは13日、ニューラルネットワークが異なる新規のタスクに取り組む際、従来「上書き」されていた学習結果を保持し、新たなタスクに応用する手法を発表した。これにより、以前の学習結果に新たな学習の積み上げが可能となり、必要計算資源の削減などに繋がるという。

　従来のニューラルネットワークは、異なる複数のタスクに適応を図る際にそれらのデータを一度に与えられる必要がある。換言すると、順番に異なったタスクに適応させようとした場合、ニューラルネットワークは逐次的にデータを与えられたデータに適応した学習を行ない、常にその時与えられたタスクに適応した状態に上書きされてしまうということだ。

　これは「Catastrophic forgetting」と呼ばれ、ニューラルネットワークの欠点とされていた問題だ。直訳すると「壊滅的(または悲惨)な忘却」だが、ニューラルネットワークが人間の学習様式に比べ、さまざまなタスクを経た結果、当初のタスクへの適応を失ってしまうことを指していると思われる。

　このcatastorophic forgettingを乗り越えるため、DeepMindは人間の記憶メカニズムにヒントを得た新アルゴリズムを開発した。

　「Elastic Weight Consolidation (EWC)」と名付けられたこの新アルゴリズムは、学習の完了後にそれぞれの要素がどの程度タスクに重要であったか判定し、その構造を記憶して保護するというものだ。

　特徴的なのは、ここで得られた構造はタスクの重要に応じ、保護の強度に重みがつけられる点だ。人間は睡眠中に記憶の取捨選択を行なっているとされるが、非常に似通っていると言える。重要なのは「あえて」忘却しているという点で、全ての構造を同じ重みで保存しても、構造を全く保存しなくても同じ壁にぶつかってしまうのだ。

　このアルゴリズムの優位性は連続して異なるAtariのゲームをプレイすることで実証された。それぞれのゲームには異なる攻略法が存在するため、従来のニューラルネットワークの苦手としてきた分野だ。

　結果として、EWCを用いるとより短い学習時間でより高いスコアをあげることが明らかになったが、開発者らはこの技術を応用し、リアルタイムでさまざまなデータに適応できるAIの将来的な登場を期待してる。