ニュース

東工大、GPUがKeplerにアップグレードされるTSUBAME2.5を解説

~次期3.0は2015年に。油浸冷却技術も導入/評価中

東京工業大学 松岡聡教授
7月29日 発表

TSUBAME2.0での利用成果を紹介した青木尊之教授

 東京工業大学(以下東工大)は29日、大学構内で記者会見を開催し、東工大が持つスーパーコンピュータ「TSUBAME」の2.5へのアップグレードについて紹介した。

 現在のTSUBAME2.0は、単精度浮動小数点演算が4.8PFLOPS(ペタフロップス)、倍精度浮動小数点演算が2.4PFLOPSの性能をを持つスーパーコンピュータ。NVIDIA製のFermiアーキテクチャ採用GPU「Tesla M2050」を利用して構成されていた。

 TSUBAME2.5では、GPUをKeplerベースの「Tesla K20X」にアップグレードする。これにより単精度浮動小数点演算性能が17.1PFLOPS(3.6倍)、倍精度浮動小数点演算性能が5.76PFLOPS(2.4倍)となる。これにより、単精度浮動小数点演算に関しては国内最速のスーパーコンピュータ「京(けい)」(11.4PFLOPS)を超えることになる。

 Tesla K20XはGK110コアをベースとしたハイエンドGPU。2,688基のCUDAコアを持ち、ボード1枚あたり単精度浮動小数点演算が3.95TFLOPS、倍精度浮動小数点演算が1.31TLOPS。メモリは6GBのGDDR5で、メモリバンド幅は実測で180GB/secとなっている。

 ノードはHewlett-Packardの「ProLiant SL390s」、CPUはIntel Xeon X3670(6コア/2.93GHzのWestmere)×2で、このあたりに変更はない。FermiからKeplerのアップグレードに際し、これまで動作したアプリケーションが動作しないといった問題や、ネットワークやI/Oの需要も増えると予測しているが、基本的にシステム構成は変更せず、ソフトウェアの改良のみで対応を行なう。

 設計開発に携わった東京工業大学 学術国際情報センター 教授 松岡聡氏は、「TSUBAME2.0は、すでに繁忙期で既に99%稼働しており、演算性能が不足している。また、TSUBAME3.0に導入が予定されているプロセッサの開発の遅れ、他機関のスーパーコンピュータの急速の発展による、相対的に見た場合の性能低下などが課題である。そこでTSUBAME2.5へのアップグレードの検討を始めた」という。

 2012年度に国家予算に審査をかけたところ、約11億3,700万円の予算が付き、2.5へのアップグレードを実現した。8月より順次導入を開始し、9月に運用を開始する予定。インテグレーションは引き続きNECが担当する。

 今回強調されるのは単精度浮動小数点演算の性能で、国内最速のスーパーコンピュータ「京」を超えている点だ。「単精度は当然精度が悪く、場合によっては結果に影響するが、TSUBAME2.0で走っているアプリケーションの多くは単精度、または単精度/倍精度の混合精度で、その結果も問題ないことが分かった。また、単精度は回路が簡単でメモリに対する負荷も軽減するため、近年の利用が増えている」と説明した。

TSUBAME1.0の性能
CPUとGPUの電力性能比較
TSUBAME2.0の稼働
TSUBAME増強の必要性
TSUBAME2.5の概要
TSUBAMEアップグレードの課題
防災シミュレーションの増強
TSUBAME2.5への計算ノードの進化
京を超える単精度浮動小数点演算性能を実現
単精度と倍精度の違い
単精度と倍精度の比較
TSUBAME2.5のアップグレード概要
TSUBAMEを利用したさまざまなシミュレーションの実績

2015年後半にはいよいよTSUBAME3.0へ。世界の電力性能効率実現を目指す

 続いて松岡氏は、2015年に導入予定のTSUBAME3.0について説明した。「インターネットデータセンター(IDC)は年間に30%しか性能向上しないが、スーパーコンピュータは年間に100%性能向上する。前者は並列性、後者は電力が制限となっている。TSUBAMEはIDCを基礎的な設計構想としているが、GPUを利用することで電力あたりの性能を高められた。3.0ではさらに効率を高め、『ウルトラグリーンスパコン』を目指す」とした。

 ウルトラグリーンスパコンとなる3.0では、TSUBAME1.0と比較して500倍~1,000倍の性能電力比を目指す。プロセスルールの縮小で100倍、メニーコア/GPUのソフトウェア活用技術で5倍、動的な電力制御技術で1.5倍になるとしているが、最もキーとなる技術は冷却電力の削減で、1.4倍の改善を目指す。

 現在導入評価が始まっているのが、パーツをすべて冷却油に浸す“油浸スーパーコンピュータ”こと「TSUBAME-KFC」。内部のファンを除去することで、電力を15%低減できるという。プロトタイプの「TSUBAME-KFC」では、1.0と比較して同等の計算で電力効率1,680倍の実績が出ているという。

 TSUBAME-KFCの実験設備では、プロセッサを80~90℃、冷媒油を35~40℃、熱交換器で水に交換して25~35℃にし、その水の熱を冷却塔で自然大気へ放熱させられることが確認できているという。これによって、現在空冷で必要とされている冷却電力を削減する。

TSUBAME3.0の概要
TSUBAME3.0は電力性能に注力して開発
省電力化の手法。スパコンにおいて仮想化などは難しいという
TSUBAME3.0では1.0比で500倍~1,000倍の性能電力比を実現する
1,000倍の想定の内訳
油浸冷却を評価中
現在学術センターの前に設置されている実験設備
電力効率の改善
TSUBAME-KFC実験設備の概要
TSUBAME3.0開発の課題など
実際に稼働しているTSUBAME2.0を特別に見せてもらった。計算ノードの50%が入っているルームだが、大学の1教室ほどのコンパクトさが印象的。HPのラックは密閉されており、冷蔵庫のように冷却されているのも特徴的だ。なお、Tesla K20Xがすでにダンボールに入った状態で届いていたが、残念ながら写真撮影の許可が得られなかった

(劉 尭)