ニュース
第3世代「地球シミュレータ」システムが本格稼働へ
～1.31PFLOPS/320TB、実効性能で約10倍に
（2015/5/26 00:00）
国立研究開発法人 海洋研究開発機構(JAMSTEC)は2015年5月25日、第3世代となる「地球シミュレータ」の本格稼働を6月から開始すると発表し、概要に関する記者会見を行なった。従来よりさらに複雑なパラメータを扱ったり、大規模なシミュレーションを高速実行できるようになった。地球環境問題、地殻変動、地震発生機構の解明や津波被害予測への貢献が期待されている。
地球シミュレータは2002年3月からJAMSTECが運用しているスーパーコンピュータ。初代は運用開始から2年半もの間、世界最速を維持し、アメリカの「ニューヨーク・タイムズ」からは、スプートニクショックをもじって「コンピュートニック・ショック」と報じられた。その後、2009年3月に131TFLOPS、メモリ容量20TBへとアップデート。さらに今回のシステム更新で1.31PFLOPS、メモリ容量320TBになり、ベンチマーク結果からおおよそ10倍の実効性能となった。なお消費電力は初代が約5MWだったのに対して、約2MW以下に抑えられている。
【お詫びと訂正】初出時に地球シミュレータ初代機は「5年間世界最速を維持」としておりましたが、「2年半」の誤りです。お詫びして訂正させていただきます。
第3世代地球シミュレータの主計算装置として採用された機種は、NECのベクトル型スーパーコンピュータ「SX-ACE」。同社が2013年11月に発表したモデルだ。
合計ノード数は5,120。SX-ACEは1つのノードに4コアのCPUを搭載している。1つのコア性能は64GFLOPSなので、CPU 1つでの演算性能は256GFLOPSとなる。このCPUと、メモリやネットワーク制御部、I/O制御部などを集約したプロセッサを11×37cmのノードカードに搭載している。CPU上は銅で覆われており、不凍液で液冷する。1つのノードには64GBのメモリが搭載されている。
この「ノードカード」を2つまとめて「ノードモジュール」として筐体に収めている。1つの筐体には16×4つのノードケージがあり、1筐体には合計64ノードを搭載できる。筐体数は全部で80なので、合計5,120ノードとなる。
初代の地球シミュレータは体育館並みの建物を新たに作って設置された。現在も同じ建物が使われているが、設置スペースは半分程度になっており、残りは空きスペースになっている。ちなみに、初代の地球シミュレータの計算能力は、第3世代と比較すると、おおよそ筐体2つ半程度に収まってしまうという。
このほか、13.5PBのワーク領域、ストレージとしてホーム領域が87.6TB、データ領域が4.7PBあり、そのほかデータを置くための17PBの大容量ストレージ(MSS)がある。
また「プリポスト・システム」と呼ばれる、地球シミュレータで計算を行なう前の前処理、そして視覚化などの後処理を行なうための大容量共有メモリサーバーとしてSGIの「UV2000」が用いられている。メモリ容量は32TBで、単一のOSで稼動するコンピュータとして世界最大級の共有メモリサーバーである。これも地球シミュレータのすぐ横に設置されている。
これらが40Gbps×2の「地球シミュレータネットワーク」で繋がれており、利用者の端末や他機関サーバや大型計算機システムから用いることができる。OSはNECのSXシリーズ用のSUPER-UX。なお、CPUは液冷になったが、それ以外の部分は空冷なので、内部の空調音は相変わらずすごく、近くでは会話も難しいくらいの音だ。
JAMSTEC 開発・運用担当理事の堀田平氏は「JAMSTECは海洋科学研究を行なうと同時に、研究自体を支える基盤をミッションの1つとしている」と述べた。機材だけではなく運用体制もスキルアップしてきたことから、マシンと人とで一体として世界で負けない計算能力を持っていると述べた。
概要を解説したJAMSTEC 地球情報基盤センター情報システム部長の塚越眞氏は、地球シミュレータは、より社会に役立つ情報を作り出すための計算機だと述べた。NECを選択した理由については、各社の計算機で比較を行なったが、実際に使っているプログラムを走らせてみて、理論演算性能だけではなく実効性能を確認したことを挙げた。NECのベンチマーク性能はソースプログラムを変更しない場合でも平均で2.1倍高速化し、チューニングを行なった場合にはさらに上昇したという。
なお第3世代地球シミュレータは、単純比較はできないが、神戸のスパコン「京」のおおよそ6割くらいの計算資源に相当するという。京の資源量のうち地球科学分野に使われているのは10%程度なので、大幅に計算資源が増えることになる。
スパコンの性能のランク付けを行なういわゆる「TOP500」のLINPACKベンチマークはまだ実施していないが、単純に見るとおそらく50～60位くらいになるのではないかという。ただし、第3世代地球シミュレータのメモリ帯域幅はおよそ1,300TB/secであり、地球科学系の計算ではメモリアクセスが重要なので、トップ10くらいの性能を持っているのではないかと考えていると述べた。
社会において「使える」データを生み出す成果創出を目指す
第3世代地球シミュレータ(以下、ES3)は、2015年3月に半分のシステムを使って選定した「特別推進課題」を実施してマシンの性能を検証した。6月1日からはフル稼動となる。ES3の計算資源は機構課題と公募課題の2種類で分配される。8割を占める機構課題には4つのカテゴリがある。JAMSTEC内の研究者が対象の所内課題、画期的成果創出を目指す特別推進課題、国等から委託や補助金による指定課題、そして産業界を対象にした成果専有型有償利用課題である。公募課題は2割で、JAMSTEC外からの申請を対象とする。現在、60課題に対して795名のユーザーが使って研究開発をしている。
JAMSTEC地球情報基盤センター長の高橋桂子氏は、ES3は初代に比べると30倍から40倍の性能を持つ計算機となっており、役割も変わってきていると述べた。例えば2014年に発生したエルニーニョは世界の研究機関も予測することができなかった。さまざまな自然現象に関するデータはまだまだ不完全である。海洋地球科学分野専用マシンとしての特性を活かし、この10年に渡る研究開発経験と共に、高速・最適な計算環境とともにマシン特性を活用していきたいと考えているという。
より精緻で豊富なデータセットを構築し、現象がどのように生起するか、現象のメカニズムを探る。初代では再現できるか、第2世代では予測できるか、そして第3世代目では社会に使えるかというところに一歩踏み込んでいくと述べた。
会見では3月から5月までの2カ月間で行なわれた、集中的な資源投資による成果創出を目指す「特別推進課題」4課題の研究者が、それぞれの成果と現状を報告した。
過去の海洋変動を再現する
まず JAMSTEC地球情報基盤センターの石川洋一氏は「4次元変分法データ同化システムを用いた高分解能海洋再解析」と題して、日本周辺の過去の海洋環境を高精度で、特に高分解能&長期間に渡って再現するという研究について報告した。天気予報ではシミュレーションによる予報値と実際の観測値を照らし合わせてデータ同化を行なう「解析予報サイクル」という解析手法がある。気象庁は30日先までの予測を繰り返しているが、海洋に関しては行なわれていない。そこで過去に遡って日本周辺の高分解能長期再解析データセットを作成することを目指した。具体的には水平分解能およそ10km(黒潮・親潮の幅が数十～100km)、30年以上の長期データセット(平年値をつくる統計値が30年だから)だ。データ同化手法としては4次元変分法を用いる。
ES3を使うことで、30年間のデータセットが70日で作成できた。第2世代では占有しても1年かかっていたものが、2カ月ちょっとでできるようになったという。特に待ち時間の削減によっておよそ3倍のスピードアップができた。具体的には1986～88年の黒潮大蛇行、親潮の経年変動、三陸沖の黒潮の渦などが再現できたという。これによって1984年の昭和59年豪雪として知られるような非常に寒い冬到来の理由や、水産資源変動の原因究明にも使えるのではないかと述べた。また、30年間のデータセットを使うことで、チャンピオンデータだけではなく、「どれだけ外さないか」の情報を作成する、つまり最低レベルの保障ができることを目指したいと述べた。
地球温暖化対策のためのデータセット
東京大学大気海洋研究所教授の木本昌秀氏は「地球温暖化施作決定に資する気候再現・予測実験データベース」として地球温暖化時のデータセットを作ると述べた。現在進行中の地球温暖化に対しては緩和策と適応策の両方が必要となる。今すぐ二酸化炭素排出を止めても温暖化は急には止まらないからだ。温暖化適応策の策定については、日本は先進国各国に比べると遅れ気味だという。現在、今夏の閣議決定を目指して環境省気候変動影響評価等小委員会で報告書を作成中だ。
だが対策を考えるためには、どの程度のことがどのくらいの頻度で起こるのか予測する必要がある。要するに、大規模低頻度災害がどのくらい増えるのかを読み取れるようにならなければならない。そのためのデータセットを作成するのが研究の目的だ。これまでにも環境省によるものがあったがサンプル数が少なかったので、ES3を使ってデータセットを大幅に拡充して、日本の温暖化施作決定のための統一シナリオとすることを目指す。
まずは過去実験を行なって検証し、将来4℃気温が上がった時の実験を行なう。温暖化した時の各地域の海水温の違いを考慮したりして、60kmメッシュで全球、20kmメッシュで日本周辺それぞれおよそ100メンバー(100パターン)の計算を行なう。作業日数は180日、ES3の12%の計算資源を利用して、総出力データは2PBとなる予定だという。
即時津波浸水予測
徳島大学教授の馬場俊孝氏は「即時津波浸水予測に向けた高分解能・量的津波シミュレーション」について紹介した。まず「救える命をなんとかしたいというのが我々の思い」だと語り、東日本大震災の時の津波の話題について触れた。津波の高さだけではなく浸水の高さも予測しないといけないと考えているという。JAMSTECでは「DONET(Dense Oceanfloor Network system for Earthquakes and Tsunamis)」という海底地震・津波観測網を構築してリアルタイムで観測しており、「DONET2」も現在整備中で今年度に完成予定となっている。DONETのデータとES3を使って津波の高さと浸水予測をする。DONETからの観測値に従って、事前に計算しておいた津波浸水データベースから最適なものを選んで、即座に津波浸水予測マップを作ることができる。合計1,506シナリオの計算を行なったという。
部分的にはネスティングという手法を用いて5m程度の分解能を出すことができる。JAMSTECのクラスタコンピュータを使って1つの地域を作るのに3カ月かかっていたものが24地域が2カ月で終わったという。
馬場氏は、「ユーザーから見ると、京コンピュータは超大規模な挑戦的計算を実行するのに向いており、ES3は京ほど超大規模な計算を行なうことができないが、さまざまな計算を大量に行なうなどフレキシブルな計算が可能で、非常に使い勝手がよく、データセットを大量に作るのに向いている」と述べた。言わば「コンピュータ上で作るビッグデータ」を生み出すことができるという。
また、チリのような遠隔地で起きた地震による津波、いわゆる遠地津波の予測の高精度化にも取り組んでいる。遠地からの津波においては、波の分散性、津波荷重による地球の弾性変形、水の圧縮性による密度変化の要素を考慮する必要があった。3つの要素を入れて計算すると、従来の手法に比べると観測データの再現性が劇的に向上したという。
巨大台風の発達を海との相互作用で再現する
名古屋大学 地球水循環研究センター教授の坪木和久氏は「非静力学大気波浪海洋結合モデルを用いた台風-海洋相互作業の研究:特に台風上部の巻雲に注目して」という研究を紹介した。特に海との相互作用を重視して、台風の強度をいかに精度よく予測するかという研究だ。台風は積乱雲で構成されている。そのため積乱雲を表現するモデルを使って台風のシミュレーションを行なっている。また、台風はエネルギーを海から得ているので、海のモデルとも結合する必要がある。つまり海と雲の両方が大事だと考えて研究を行なったという。また台風上部の温度は巻雲(けんうん)がコントロールするため、巻雲の重要性にも着目しているとのこと。
名古屋大学による雲解像モデルCReSS(Cloud Resolving Storm Simulator)とJAMSTECの非静力学海洋モデル「NHOES」、波浪モデル、放射過程を結合したモデルをES3に最適化、特に大きなスーパー台風の強度予測を目指した。熱帯低気圧の大きなものは低緯度で発生し、また21世紀後半には日本付近の海水面水温が低緯度と同じくらいになると考えられているため、低緯度の台風予測が特に重要だという。海の熱容量を考慮して大気海洋結合モデルで、2013年にフィリピンに被害をもたらした大型台風「ハイエン(Haiyan)」のシミュレーションを行なったところ、従来は再現できなかった台風の急速発達と最大強度を再現できたという。だが発達時期や進路の問題は未解決で、今後研究を進めていきたいと述べた。
また、伊勢湾台風を再現することで、未来の気候状態で伊勢湾台風のような巨大台風が上陸したときにどのようになるかなども計算を行なったという。坪木氏はシミュレーション動画を示し、これは伊勢湾台風の全貌を初めて見たものであると語った。
京との比較ではES3は海洋地球科学に特化しているので流体計算には向いており、ピーク性能比が11～14%と高く、およそ2～3倍くらいの性能が出ていることを評価した。また、科学技術計算には前処理と後処理も幾つもあり、計算は一連のものとして捉えるべきで、そこがES3は非常に柔軟にできるという。つまり前処理から後処理まで一連で考えると地球シミュレータの使い勝手がいい。一発の巨大計算は京だが、何度もトライ&エラーをするのに向いていると語った。サポート体制も評価しているという。