富士通、深層学習処理の消費電力を75%削減できる回路技術を開発

　株式会社富士通研究所(以下富士通研究所)は、深層学習用ハードウェアの電力効率を向上させる回路技術を開発したと発表した。

　一般に深層学習の学習処理で用いられているハードウェアは、32-bitの浮動小数点で演算を行なっているが、電力効率を向上させるため、演算に使うデータのビット幅を16-bitやそれ以下に削減したり、整数演算を行なうハードウェアを用いるなどの方法で演算量の削減が図られていた。

　しかし上記の方法では、演算の途中で演算に必要な精度が不足し、学習ができなくなる場合や深層学習の認識性能が劣化してしまうなどの問題があった。

　富士通研究所では、それらの問題を解決するため、整数演算をもとに、深層学習の学習プロセスに特化してビット幅を削減した独自の数値表現と、多層ニューラルネットワークの層ごとに演算中のデータを随時解析しながら演算精度を保つよう小数点の位置を自動的に制御する演算アルゴリズムを開発。これによって演算器のビット幅や学習結果を記録するメモリのビット幅を削減でき、電力効率を向上できるという。

　本技術を用いた学習用ハードウェアの演算コアは、演算中のデータを解析するブロック、解析したデータの分布を保存するデータベース、演算の設定を保持するブロックを持つ。

演算コアによる演算精度の向上

　データ解析ブロックでは、学習中に演算器の出力データをリアルタイムに解析して、データ分布を表す統計情報としてデータベースに保存。その分布から、学習精度を向上させるために十分な演算精度を保つことができるよう最適な設定をして演算を進める。

統計情報を用いた演算設定の最適化

　開発した回路技術では、浮動小数点はなく整数で演算を行なう点、32-bitから8-bitにビット幅を削減することで、演算器やメモリの消費電力を約75%削減できる点の、2つの側面から電力効率を向上させることが可能であるとする。

　シミュレーション結果によれば、LeNetとMNISTのデータセットを用いて学習を行なった場合、32-bit浮動小数点演算での学習結果で98.90％の認識率に対し、16-bitで98.89%、8-bitで98.31%の認識率で学習できるという。

　富士通研究所では、本技術によって深層学習の学習向けハードウェアの電力効率を向上させることで、クラウドサーバーからデータが生成される場所に近いエッジサーバーで学習処理を行なうことを可能にするとしており、富士通のAI技術「Human Centric AI Zinrai」の1つとして2018年度の実用化を目指す。また、深層学習の学習に用いるデータ量を削減するための回路技術の開発も行なう。

　本技術の詳細は、4月26日まで虎ノ門ヒルズフォーラムにて開催される「xSIG 2017」で発表される予定。