ニュース
世界最高レベルを目指す東工大のスパコンTSUBAME3.0、2017年夏に稼働開始へ
～高温水を利用しトップレベルの冷却効率。機械学習やビッグデータ解析をターゲットに
2017年2月17日 14:34
東京工業大学(東工大)学術国際情報センター(GSIC)は7日、日本SGI 株式会社および関連各社と合同で、2017年夏の稼働開始を目標としてクラウド型ビッグデータグリーンスーパーコンピュータ「TSUBAME3.0」の開発を開始したと発表し、記者会見を行なった。政府調達「クラウド型ビッグデータグリーンスーパーコンピューター(TSUBAME3.0)」が実施され、日本SGI株式会社が落札した。今後、東工大、SGI、NVIDIAほか関連各社が開発していく。
「TSUBAME」とは東工大のクラスター型スーパーコンピューター。2006年から運用されている。名前は「Tokyo-tech Supercomputer and UBiquitously Accessible Mass-storage Environment」の略称だ。東工大だけでなく学外の研究機関や民間企業に使われている。
特徴はCPUによるスカラー演算と、GPUによるベクトル演算を組み合わせた「混合ハイブリッドアーキテクチャ」であること。
これまでにTSUBAMEシリーズは、TSUBAME1.2のTesla世代、TSUBAME2.0のFermi世代、そして2013年9月から運用されているTSUBAME2.5のKepler世代と、代々、NVIDIA製のGPUを採用してきた。TSUBAME3.0では第4世代目のPascalを搭載し、互換性を確保しながら飛躍的な性能向上を見込む。理論演算性能は倍精度で12.15PFLOPS、単精度で24.3PFLOPS、半精度で47.2PFLOPSと世界最高レベルになる予定。
計算ノード部にはSGIのICE XAを採用。540台の計算ノードを収容する。各計算ノードはXeon E5-2680 v4を2基、NVIDAのGPU TESLA P100 for NVLINK-Optimized Serversを4基、256GiBの主記憶、ネットワークインターフェイスとしてインテルのOmni-Pathを4ポート搭載する。
ストレージシステムにはDDNの15.9PBのLustreファイルシステム、各計算ノードにも容量2TBのNVMe対応高速SSDを搭載する。計算ノードとストレージシステムはOmni-Pathでネットワークに接続され、外部とはSINET5を経由して100Gbpsの速度でインターネットに接続される。
東工大GSICによればTSUBAME3.0には、以下の2つの特徴がある。
- 「ビッグデータスパコン」として、AI処理で求められる精度において国内トップクラスの計算性能
- 「グリーンスパコン」として、冷却設備も含めた超省エネ設計
TSUBAME3.0は、高性能科学技術計算(HPC)だけではなく、ビッグデータの解析や、人工知能分野でも使いやすいマシンを目指して、これまでの「TSUBAME2.0/2.5」、テストベッドである省電力スパコン「TSUBAME-KFC(Kepler Fluid Cooling)」のシステム運用経験をもとに、設計を行なったと東工大理事・副学長の安藤真氏は語った。
TSUBAME3.0運用開始後は、学際大規模情報基盤共同利用・共同研究拠点(JHPCN)や、革新的ハイパフォーマンス・コンピューティング・インフラ(HPCI)、GSICが運営する「TSUBAME共同利用制度」を通じて研究者や企業の研究開発に提供される予定だ。
日本SGI株式会社代表取締役社長の望月学氏は、TSUABME3.0にスケールアウト型のフラッグシップであるSGI ICE XAが採用されることを光栄に思うと挨拶した。
TSUBAMEのこれまでとTSUBAME3.0概要
会見ではTSUBMAE3.0の概要・技術的な開発要素が関係者から紹介されたほか、2.5のユーザーから事例紹介と3.0への期待が述べられた。
開発の中心となっている東京工業大学学術国際情報センター教授の松岡聡氏はまず、大規模なGPU採用によって高性能と低消費電力を両立させたTSUBAME2.0を紹介した。TSUBAME2.0は2011年にゴードンベル賞を「京」コンピュータと同時受賞した。
2013年には現在運用されているTSUBAME2.5へとアップグレード。4,224台のGPUをFermi世代からKepler世代に交換して、マシンの能力を2-3倍に向上することができたという。単精度17.1PFLOPS、倍精度5.76PFLOPSとなり、「京」と比較すると性能は同等で、運用コストは約50億円/６年と、大幅に低く抑えることができた。
TSUBAME3.0のための実証実験用テストベッドである「TSUBAME-KFC」は、2013年11月と2014年6月のスパコン省エネランキング「Green500」で世界1位となっている。
「TSUBAME-KFC」では油を使った液浸冷却と冷却塔を用いた外部冷却施設による大気冷却を組み合わせることで冷却効率を上げることができ、より多くの電力を計算に使用できた。いまのスパコンの性能は電力効率で律速されているので、この成果は非常に重要だという。
TSUBAME3.0はビッグデータスパコンのプラットフォームとなること、10GFLOPS/W以上の電力性能を持っていること、クラウドサービスと高速性を両立することなどの要件を満たすことを目標としている。
松岡氏は「非常に高密度高性能。計算だけではだめでデータの処理も求められるためOmni-Pathをリッチに使っている」と強調した。
特徴はNVIDIAのPASCALを搭載していること。2,160機を採用している。HPCとAIをターゲットにした高性能演算性能、2.5次元積層メモリ、NVLINKによる高速GPU間通信、ハードウェアによるCPUとのメモリ共有によるメモリ制限撤廃などの技術革新が盛り込まれた。
ただしプロセッサだけではだめで、いかに構成するかが重要になる。ノード内のGPUだけではなく、ノードを超えたGPUの接続も高速にしないと性能が出ない。TSUABME2以降の技術がここに活かされているという。1GPUあたり100Gbpsの通信が確保されており、上位レイヤーではそれらが完全結合している。
かつ、これらが光テクノロジによって非常にコンパクトに収まっているのが特徴だという。普通のデータセンターだと大きな面積が必要になるが、１ラックあたり36ブレード(144GPU+72CPU)を搭載。1つあたり50～60kW電力を消費するくらい高密度なスパコンとして実装されている。
一般的なデータセンターの10倍から20倍に相当し、これはSGIの技術によって達成されたという。
冷却は高温水で
TSUBAME3.0の計算ノードは32度の高温水で冷却する。水は40度になって自然対流で出ていく。それが外部冷却施設でファンで蒸散されることで冷却される仕組みだ。
冷却効率が非常に良くなったことで、冷却のオーバーヘッドを示すPUEで見ると、通常のデータセンターはPUEは2から3で、冷却の方が計算よりも電気を食っているが、TSUBAME3.0の計算ノードの年間PUE平均値は1.033となり、世界トップクラスを達成している。
なお「TSUBAME-KFC」は油で冷却していたが、今回の3.0では油での冷却は使っていない。整備上の課題などがあったためだが、次の世代あたりでは使う可能性もあるとのこと。
共同デザインはタフな作業
Hewlett Packard Enterprise SGI最高技術責任者兼SVPのイン・リム・ゴー氏は「共同デザインはタフな作業だった」と語った。
15ラックで構成され、1ラックあたりブレードが36枚収納される。松岡氏の要求は計算能力の高さだけでなく、ノード間、GPU間の接続、温水による冷却などに渡った。
CPUやGPUは温水によって直接冷却する。他のコンポーネントは間接的に冷却される。空気はラック外に出ることはなく、ラック内の環境も整備される。効率を上げるべく今も調整を行なっているという。温水は建物外の冷却施設で冷却することで効率がよくなっているため、冷却の電力負荷はおよそ3から5％に抑えることができているという。4つの接続ネットワークによって電力性能が非常に高まっていると強調した。
NVIDIA日本代表兼米国本社副社長の大崎真孝氏は「NVIDIAのTeslaが最初に採用されたのはTSUBAME1.2だった」と振り返った。その後開発を進め、「TSUBAME3は最強のAI用コンピューター。NIVIDIAには非常に大きな意味がある」と続け、「世界最強のAI用GPUプロセッサー」とTesla P100を改めて紹介した。
大崎氏は「今はコンシューマのGPUを研究室のワークステーションに入れて研究を行なっているところが多い。それでは諸外国と日本との間で差が開いていくばかり。追いつくためにはHPCとAIの融合が必須。TSUBAME3.0が今夏リリースされるのはAIの進化に大きく貢献する。NVIDIAも貢献していきたい」と語った。
株式会社データダイレクト・ネットワークス・ジャパン代表取締役ロベルト・トリンドル氏は「今回は非常にシンプルな設計になっているが拡張的な機能になっている」と構成を紹介した。
インテル株式会社アジア・パシフィック・ジャパンHPC担当ディレクターの根岸史季氏は「CPUが速いだけではだめ。データを処理する必要がある。それを繋ぐネットワークのバランスやさまざまな技術を束ねることが非常に重要だ」と語り、Omni-Pathを紹介した。
【お詫びと訂正】初出時にロベルト・トリンドル氏の写真が間違っておりました。お詫びして訂正させていただきます。
メタゲノム解析、マルチメディア認識、衛星ビジネスに活用
3人のTSUBAME利用者からも、簡単な紹介があった。
東京工業大学情報理工学院教授の秋山泰氏は、微生物集団のゲノムを丸ごと調べて微生物と環境の関係を明らかにするメタゲノム解析に「GHOSTZ」という計算技術を用いる例を紹介。
GPUを使いこなすことで、CPUを使いこなす時よりも1桁高速化が可能で、マルチGPUで計算させると、リニアで性能が上がっていくという。今は歯周病の関連細菌の探索、創薬標的となるタンパク質間相互作用の解析などを行なっている。
東京工業大学情報理工学院助教の井上中順氏は、DNNと隠れマルコフモデルを用いた音声認識、CNNを用いた映像認識技術を紹介した。最初に大規模学習をさせるときにスパコンを活用して高速化しているという。TSUBAME3.0によって、今は全くできていないレベルの従来よりもはるかに大規模なデータやモデルを扱えるようになることが特徴だという。
株式会社アクセルスペース取締役宇宙ビジネス情報グループ長の宮下直己氏は、超小型衛星を作っているベンチャー企業の立場から利用例を紹介した。
同社は2015年に19億円の資金調達に成功。「GRUS」という地上分解能2.5mの衛星を使い、「AXCELGLOBE」という50機の衛星を配置して地球上の全陸地の45%をカバーする計画を目指している。
年間7.7PBにもなる衛星画像に深層学習を行ない、精密農業や物流分野の最適化ビジネスを行なおうとしている。解析よりも事前学習に特に計算力が必要となるため、そのためにTSUBAMEシリーズの活用を狙っている。
このほか素材系、ライフサイエンス系に使われていく予定だという。
松岡氏は、「今の機械学習の主流となっている深層学習の高速化には低精度の演算が効果的。あらゆるクラウドデータセンターに比べても圧倒的。ただ単に計算するだけではなく、演算に転送する高速ネットワークや並列ファイルシステムなど、I/Oやネットワーク性能も重要。これらが今までのGPUスパコンの中でもTSUBAME3.0は圧倒的に性能が高い。
またそれらを活かすソフトウェアに関しては東工大は産総研のAI研究センターと密な関係を築いて活用を模索していく予定になっている。アルゴリズムやソフトウェアの側面でスパコンを使いこなす技術も基軸となる」と語った。
これまでシミュレーションに多く使われていたスパコンだが、人工知能や画像処理に活用することで、日本にとって非常に重要な領域に活用し、民間も含めた研究開発を加速していきたいと松岡氏は述べた。
今後、TSUBAMEは3月末までに設備の工事を進め、導入していく。
非常にざっくり言うと、2.0に比べて5倍、2.5に比べると2～3倍、機械学習などでは5倍くらいの性能となるとのことだ。