国立天文台、約502TFLOPSのCray製Xeonスパコンを運用開始

　自然科学研究機構・国立天文台 天文シミュレーションプロジェクト(CfCA:Center for Computational Astrophysics)は29日、計算天文学用に導入しているスーパーコンピュータを更新し、新たに「NS-04 ATERUI(アテルイ)」と名付けられた、Crayの「XC30」を導入したことを発表した。運用は4月1日から開始している。安定運用を見極めての正式発表となり、都内で記者会見が行なわれた。

自然科学研究機構 国立天文台 天文シミュレーションプロジェクト長の小久保英一郎氏

　国立天文台 天文シミュレーションプロジェクトは、天文学の中でも望遠鏡などを使わない理論/物理天文学の一種である、コンピュータの計算/実験(シミュレーション)によって宇宙を解明していく“シミュレーション天文学”を行なうチームだ。

　重力/質量を持つ粒子の振る舞いをシミュレートする多体計算、ガスなどの振る舞いをシミュレートする流体計算、光の伝わり方をシミュレートする輻射輸送計算など、物理法則に従ってコンピュータの中に宇宙を作り出し、観測することができない宇宙の姿を理論的に明らかにしていくものとなる。この分野では計算に用いるコンピュータを「理論の望遠鏡と呼んだりもする」(国立天文台 天文シミュレーションプロジェクト長 小久保英一郎氏)という。

　今回新たに導入されたスパコンはCrayの「XC30」で、同プロジェクトによって「NS-04 ATERUI」と名付けられている。今から1,200年ほど前の征夷大将軍・坂上田村麻呂による蝦夷討伐の際、蝦夷をまとめて勇敢に戦った英雄「阿弖流為(アテルイ)」に由来している。

　このような名を冠したのは、ATERUIそのものが岩手県奥州市(旧水沢市)にある国立天文台の水沢VLBI観測所に設置されたからだ。阿弖流為は水沢付近に暮らしており、「地元では知らない人はいないぐらいの英雄。阿弖流為にあやかって勇猛果敢に宇宙に挑んでいく」という思いが込められているそうだ。

　Crayのスパコンはキャビネットの前面を自由にデザインできることが知られているが、ATERUIは左寄りの部分に篆書で書かれた“阿弖流為”の文字を電気回路風にデザインしたもの、右寄り部分に銀河が描かれている。

ATERUIの左寄り部分には篆書で書かれた阿弖流為を電子回路風にアレンジした文字

右寄りには銀河が描かれている

　ちなみに、ATERUI本体は水沢に設置されているが、ストレージは東京・三鷹の国立天文台に置かれており、10Gbpsの光ファイバーで接続されている。この光ファイバーネットワークは情報通信研究機構とともに、次世代高速ネットワークの共同実験にもなっている。

　三鷹にはストレージサーバーのほか、解析サーバーや計算サーバーなどが置かれている。また各地の電波望遠鏡と接続し、得られたデータを光ファイバーで転送するといったことも行なわれる。

天文シミュレーションプロジェクトの計算機システム

Cray製の並列スカラ型スパコン「XC30」を導入

記者会見にはクレイ・インク・ジャパン代表取締役社長の中野守氏も来場し、XC30の説明を行なった

　同プロジェクトでは、2008年にCray製の並列スカラ型スパコン「XT4」と、NECのベクタ型スパコン「SX-9」を導入。2013年が5年の更新年に当たることから、今回は並列スカラ型スパコンの導入となった。ちなみに、今回ベクタ型スパコンは導入されていないが、小久保氏によれば、これは2008年の前スパコン導入段階で決まっていたとのこと。2008年以前にベクタ型を導入していたが、これからは並列スカラ型が主流になると判断し、2008年は移行を見据えて並列スカラ型と小規模のベクタ型を導入。今回は並列スカラ型のみの導入になった。

　導入されたXC30は、2.6GHzのSandy Bridge版Xeonを使ったもので、2CPUのノード1,512個(うち計算ノードは1,508個)、CPUコア24,192個からなるシステムで、倍精度浮動小数点演算の性能は501.8TFLOPSとなる。小久保氏はこの演算性能について、最新のスパコンTOP500(2012年秋)に当てはめると国内10位になるとしている。また、天文学に特化して開放されるスパコンとしては世界最速であると述べている。メモリ容量は全体で94.25TB。

　XC30は内部ネットワークの帯域幅に優れることも強調しており、Cray独自のルータチップ「Aries」の紹介も行なわれた。このAriesは、先のTOP500で1位になった、米オークリッジ国立研究所のCray製スパコン「Titan」で使われているチップよりも新しい世代のものという。

　XC30は1ブレードに4ノード(CPU 8個)を搭載し、この16ブレードまとめて1つのシャシーとする。さらにこれを3個まとめて1キャビネットにし、ATERUIはこれを8キャビネット導入した。8キャビネット分の設置スペースは、10×1.5×2m(幅×奥行き×高さ)とのこと。

　Ariesは、2つのキャビネット内でノード間およびブレード間をオール・トゥ・オールで接続。最適な経路、バックアップ経路などを判断して高速な通信が可能になる。さらに2キャビネット単位のネットワークには光ファイバーを使用。ATERUIの仕様は会見では答えが得られなかったが、最大240ケーブルまで本数を増減させることができ、全体のネットワークのバランスを考えた最適な帯域幅を採れるとしている。

　冷却は水冷システムを採用。各キャビネットごとに水冷システムが設置されているが、吸気は1カ所から行なう仕組みとなっている。また電力制御機能についても、電力消費を監視し、一定の電力量を超えないよう制御するキャップ機能などを備えている。

　ちなみに、ATERUIが水沢に設置された理由は冷却や電力にある。設置場所を検討した時期に電気料金を調べたところ、東京電力よりも東北電力の方が安価であったこと。そして、東北地方ということで外気温が低めで冷却効率に優れ、これによる空調維持費も抑えられることから選ばれたのだという。

　なお、倍精度演算性能が501.8TFLOPSであることを前述したが、2014年度中にはシステムのアップグレードを行ない、1PFLOPSに到達させる予定とのこと。XC30のノードは、2個単位でボード交換できる仕組みになっており、現在使っているSandy BridgeベースのXeonを、Haswell世代のXeonへ交換する計画になっている。

　現在のSandy BridgeベースのATERUIは、以前天文シミュレーションプロジェクトが導入していたXT4に比べて性能で20倍、消費電力で2倍とのことだが、Haswellへの更新により電力を維持したまま、性能を2倍にできる見込みとしている。

1ブレードに4ノード、8CPUを搭載。内部ネットワークはCray独自のルータチップ「Aries」を用いる

16ブレード(64ノード)を1つのシャシーとして計6シャシー、2キャビネットまでAriesを使ってオール・トゥ・オールで接続される

2キャビネット単位の接続は光ファイバーを使用。仕様上は、構成に合わせて本数を最大240本で増減できる

トータルの帯域幅を旧製品との比較したグラフ

冷却は水冷を採用。キャビネット単位で水冷ユニットを装備するが、空気の吸排気は各1カ所で行なう

XC30が持つ省電力機能

2ノード単位でボード交換が可能。この仕組みによりSandy BridgeからHaswellへのアップグレードを予定している

申請すれば誰でも天文計算に利用可能

ATERUIで実行された超新星爆発の3次元シミュレーション

　このATERUIは、国立機関の設備らしく天文学用途であれば申請することで誰でも、無料で利用できる。4月1日に運用を開始し、すでに100名弱のユーザーの利用が決まっているという。

　ちなみに国内最速スパコンの京も、天文学のシミュレートを1つの課題として挙げているが、国立天文台が独自にスパコンを持つメリットとして「大規模計算など京でやった方がいいこともあるが、論文のためにさまざまな条件で再計算させるような京のリソースではやりにくいこともできる。また、京を利用できないような学生にとってATERUIが育っていく場にもなるのではないかという期待もある」と述べている。

　また、小久保氏は、性能を高めた新スパコンの導入により、これまで計算できなかったような大質量の形成や、土星の輪全体の構造などの計算、時間軸/空間軸の解像度を高めた解析などの実現に期待を寄せている。

　すでに超新星爆発の3次元シミュレーションに関して、実績を挙げる寸前にあることも紹介した。これは国立天文台の滝脇知也氏によって進められているもので、超新星爆発をシミュレーションさせようと思っても、性能が低いスパコンで爆発(対流構造の再現)をさせることができなかったのだが、ATERUIによるシミュレーションにより、384×144×304の空間解像度で複数のニュートリノ反応により加熱された星が爆発する様子を再現できそうな、現実的な結果が得られているという。