NVIDIA、AI学習モデルの推論処理に特化した「Tesla T4」

Tesla T4を掲げるジェンスン・フアン氏

　NVIDIAは、GTC 2018 Japanにて、AI推論処理用アクセラレータ「Tesla T4」を発表した。

　深層学習に最適化されたCUDAコア「Tensorコア」を搭載したアクセラレータで、NVIDIA GPUで訓練された任意のモデルを、高スループットかつ低遅延に処理できるという。

　Tesla T4では、CUDAコア2,560個と、1クロックで4×4行列の積和演算を行なうTensorコアを320個搭載。FP16の掛け算はFP32に積算、INT8およびINT4の掛け算はINT32に積算される。これによって最適な精度と性能が得られるという。

　消費電力は75Wで、Pascal世代比で最大12倍の性能向上を果たしているという。すでに量産体制に入っていることも明らかにされた。

多精度の演算に対応したTensorコア

Pascal比で12倍の浮動小数点推論処理性能。FP16での演算性能は65TFLOPSで、INT8で秒間130兆回オペレーション、INT4で秒間260兆オペレーション

Tesla T4に対応したTensorRT 5も同時に発表

　関連発表の詳細については別記事を参照されたい。

【お詫びと訂正】記事初出時、性能を1PFLOPSとしておりましたが、これはTesla T4 16基の性能となります。お詫びして訂正させていただきます。