東京工業大学は16日、NVIDIAのGPU「Tesla」をメインに利用したスーパーコンピュータ(以下スパコン)「TSUBAME2.0」を、2010年11月上旬の本格運用開始を目指して開発していると発表した。

　TSUBAME2.0は、現時点で世界最速の2.4PFLOPS(ペタフロップス、倍精度演算)を目指して開発されるスパコン。GPUとしてNVIDIAのFermiアーキテクチャの「Tesla M2050」を採用し、演算性能の向上を図る。

　具体的には、このTesla M2050単体で515GFlopsの性能を持っているが、1ノードあたりこのGPUを3基搭載し、さらにこれを1,408ノードで結ぶ。このノードにはそれぞれ汎用CPUとしてIntelのWestmere-EP(2.93GHz、TurboBoost時3.196GHz)を2基搭載しており、その演算能力とあわせて、2391.35TFLOPS(約2.4PFLOPS)の性能を実現する。このノードを「Thinノード」と呼び、メインの計算を担当する。

　演算性能の比率は、CPUが215.99TFLOPSに対して、GPUが2,175.36TFLOPSと、GPUの比重が大きい。このようにGPUの比重が大きいスパコンを本格運用するのはTSUBAME2.0が世界初という。

　もう1つの特徴は広いメモリバンド幅を実現した点。従来のTSUBAME1の合算メモリバンド幅は17TB/secだったが、TSUBAME2.0では720TB/secと40倍以上に高速化した。これは地球シミュレータと比較しても4.3倍という。

Tesla M2050を採用	計算ノード群の概要	合算メモリバンド幅の向上

　さらに、マルチコアCPUとGPU、水冷ラックと高効率電源による低消費電力化も特徴で、従来のTSUBAME1と同等の消費電力を維持しながら高速化を図り、電力性能比は30倍に達する。東工大では「グリーンスパコン」と謳っている。

　このほか、SSD(200TB)とHDD(7.13PB)、テープシステム(約8PB)による多階層ストレージで、15PBの大容量化と0.66TB/secへの高速化の実現、Windows HPCとSUSE Linuxに両対応したクラウド対応構成などもポイントとして挙げている。

　ノード間、およびHDDストレージ間は「フルバイセクション ノンブロッキング  光QDR Infinibandネットワーク」を利用。テープストレージや外部への接続は10Gb Ethernetを複数利用する。

　今回の開発は、NECが主幹として設計や管理を行ない、HPがノードの開発や全体設計、電源/水冷装置の設計などを行なった。また、NVIDIAとIntel、DNN、Voltaire、PGIなど各社が、ネットワークやCPU/GPU技術などを提供した。

TSUBAME2.0のストレージ	200Tbpsを実現したメッシュネットワーク	テープストレージ部
HPが開発した水冷システムの採用	環境監視システム	TSUBAME2.0を設置するルーム

　今後のスケジュールとしては、2010年8月中旬にTSUBAME1の縮退運転/部分運転を開始し、8月中にノードを解体。9月に各種設置、10月にテスト稼動/ベンチマークを開始し、11月上旬に一般向けの一部本格運用、年内に完全一般運用を目指す。

　なお、落札金額は、本体/ストレージ/ソフトウェア/冷却設備、及びその構築と4年の基本的な運用費用を含めて約32億円弱。このほか電源改修工事やテープ装置の拡充(2億5,000万円程度)、電気代、サポートのSE費用(毎年1億数千万円程度)などがかかる。

　16日に都内で開かれた記者会見では、東京工業大学 学術国際情報センター 教授の松岡聡氏が、TSUBAME2.0の概要について説明した。

　TSUBAME1について振り返り、「これまで4年間で、約2,000名のユーザーに使われてきた。また、TSUBAME1.2と呼ばれる拡張で、世界で初めてGPUを利用したスパコンなど、チャレンジを続けてきた」と述べた。

　また、「今回のTSUBAME2.0は、GPUを大幅に利用したスパコンであるが、本格運用されるのは世界初。中国でもGPUを採用したスパコンの例があるが、これは(現時点では)あくまでも検証に近い環境での構築であり、本格運用されるのはTSUBAME2.0が初となる」とした。

東京工業大学 学術国際情報センター 教授 松岡聡氏	TSUBAME1は2006年に立ち上げられた	2008年8月にGPU搭載スパコンへ
TSUBAME2.0の主な特徴	日本中のスパコンを集めてもTSUBAME2.0には敵わないという	TSUBAMEの性能の開発目標

　性能については、「神戸のスパコンが完成するまでは、日本全国に存在するスパコンのすべてを集めてもTSUBAME2.0には敵わない。また、気象庁が開発している次世代気象モデル“ASUCA”のベンチマークにおいては、TOP500ランキングNo.1の米国のJaguarが50TFLOPSの性能に対して、TSUBAME2.0では約3倍の150TFLOPSを実現できる。これはメモリバンド幅などを考慮して設計し、高効率を実現した結果だ」とアピールした。

気象予測モデル“ASUCA”では世界最高速のJaguarよりも速いという

　発表会では、NECや日本HP、NVIDIA、マイクロソフト各社の代表も出席し、各々の製品、水冷、GPUプログラミング、クラウド、仮想化技術を活かして、大学とパートナーシップを展開していきたいと語った。

NEC執行役員 プラットフォームビジネスユニット ITハードウェア事業本部長 丸山隆男氏	日本HP 執行役員 ESSプリセールス統括本部長 山口浩直氏
NVIDIA 日本代表 兼 米国本社ヴァイスプレジデント スティーブ・ファーニー・ハウ氏	マイクロソフト 業務執行役員 最高技術責任者 加治佐俊一氏