Google、180TFLOPSの第2世代機械学習チップ「TPU」

第2世代TPU

　米Googleは17日(現地時間)、第2世代「Tensor Processing Unit (TPU)」および、同社のクラウドサービス「Google Cloud」にて第2世代TPUが利用できる「Cloud TPU」を発表した。

　TPUは、Googleが機械学習で必要とされる計算処理の効率的な実行のため、独自に設計/製造を行なっているASIC。

　第1世代のTPUは、機械学習モデルの実行(推論処理)のために設計されており、ストリートビューや「AlphaGo」などでも利用されている(Google、独自の人工知能アクセラレータを発表)。

　今回同社では、一般的に推論よりもトレーニングのほうが計算が複雑で、高性能なCPUやGPUでも、高い精度を実現するためには処理に数日～数週間がかかってしまうという問題を解決するため、新たにシステムを設計。そのシステムの中心となるのが新たに開発された第2世代TPUで、機械学習モデルのトレーニングと推論の両方を実行できるという。

　浮動小数点演算性能で最大180TFLOPSと単体でも高い性能を実現しているが、各TPUには独自の高速ネットワークが組み込まれており、複数個でも高速に利用できるのが特徴。同社では、「TPU Pod」と称する64基のTPUを搭載した機械学習スーパーコンピュータを構築しており、演算性能は最大11.5PFLOPSを謳っている。

　実際にTPU Podを使用して、大規模な翻訳モデルのトレーニングを行なったところ、現状で最高性能のGPU 32基で丸1日かかっていたトレーニングが、TPU Podでは同精度のトレーニングを8基のTPUを用い半日で完了したという。

TPU Pod

　第2世代TPUは、「Goole Compute Engine」にて「Cloud TPU」としてサービスが提供される予定で、SkylakeアーキテクチャのCPUやNVIDIA製GPUなどのハードウェアで走る仮想マシンと組み合わせて利用できるという。TPUはオープンソースの機械学習フレームワーク「TensorFlow」でプログラミングでき、CPU/GPU/Cloud TPUの機械学習モデルをコード変更を最小限に抑えてトレーニングさせられる高レベルAPIも提供される。

　加えてGoogleでは、研究に必要なだけの演算性能にアクセスできない研究者のため、オープンな機械学習研究をさらに加速するべく、「TensorFlow Research Cloud」を通じて1,000個のCloud TPUを機械学習研究者に無償で提供するとしている。