NTT、分散配置されたデータから安定したディープラーニングが可能な技術

非同期分散型深層学習技術の概要

　日本電信電話株式会社(NTT)は24日、エッジコンピューティングを想定した非同期分散型深層学習技術を開発したと発表した。

　ディープラーニングでは、データを1カ所に集約して学習させる手法が一般的に採られるが、学習に必要なデータが膨大となるにつれて、クラウド上に配置するのはネットワーク負荷が非常に大きくなるため難しくなる。加えて、プライバシー保護や応答速度などの観点からデータをローカルに留めたいという需要も高まっているという。

　これらの課題を解決に向けて、エッジコンピューティングの活用が期待されている。そこで同社では、分散配置されたサーバーにデータが蓄積されている環境において、1カ所にデータを集約したときと同等の学習モデルが得られるアルゴリズムとして非同期分散型深層学習技術を開発した。

　本技術では、データの代わりにモデルに関連する変数をサーバー間で非同期に通信/交換する。サーバー内処理と変数交換を交互に繰り返すアルゴリズムとなっており、複数のサーバーにデータが分散蓄積されている状況でも、合意形成された学習モデルを得られるという。

実験結果。従来法(Gossip)の学習が不安定なのに対し、本手法では安定した学習が進み、1カ所にデータを集約したとき(グローバルモデル)と同等の結果が得られた

　シミュレーション実験では、テスト用の画像データセットとして、計10個のクラスに分類可能な物体画像認識用のCIFAR-10を用意。8台のサーバーがリング上に接続されたネットワークを想定し、統計的に非均一かつ8台をあわせると全クラスがほぼ均等に存在するよう、各サーバーに対して5クラス分のデータのみを与えた。ここに開発した技術を適用したところ、データを1カ所に集約して学習した場合と同様なモデルが得られることが確認できた。

　同社では、パートナーと連携しながら実用化を目指した研究開発や実証実験を進めるとともに、コードを公開して本技術の発展などを促していくという。