国立大学法人東京工業大学 学術国際情報センターは11日、スーパーコンピュータ「TSUBAME2.0」を利用し、都心部の気流を1mの解像度でシミュレーションすることに成功した。

　今回のシミュレーションでは、TSUBAME2.0を9月24日、25日の2日間、合計23時間専有し、4,032GPU、1,344ノードを使い計算を行なった。

　この計算は、複雑な形状のビルが林立する都市部で、火災が起こった際の煙などの到達予測や、事故やテロなどが起こった際の拡散予測、熱計算との結合によりヒートアイランドの予測などに利用することができる。

東京工業大学 学術国際情報センター 副センター長 青木尊之教授

　今回の計算を担当した学術国際情報センターの副センター長・青木尊之教授は、「実用には気象データなどを加味して計算し直すことが必要だが、今回、そのベースとなる計算が出来ることが証明できた」と話している。

　今回の計算は、人間の行動範囲に近い1mの解像度での広域気流を、格子ボルツマン法を用いて計算をした。格子ボルツマン法は単純なアルゴリズムで計算できるため、最近はGPU計算での利用例が多い。大規模計算を行なう場合にボトルネックとなるノード間通信において、通信が隣接ノードに限定されるなどのメリットがあることから、今回、計算方法として採用したという。

格子ボルツマン法の特長	格子ボルツマン法は3次元のD3Q19モデル	格子ボルツマン法を巡る動向

　乱流モデルとしては、全ての物理量の変動を計算するDNS(Direct Numerical Simulation)、格子解像度以下の変動をモデル化して計算するLES(Large-Eddy Simulation)、平均的な流れのみを計算するRANS(Reynolds Averaged Navier-Stokes Simulation)が代表的なものとなっている。今回は1m未満の格子解像度をモデル化したLESを採用。

　さらに格子ボルツマン法に、2005年に慶應義塾大学の小林宏充教授が提案したコヒーレント構造スマゴリンスキーモデルを導入することに成功した。

【お詫びと訂正】初出時に小林教授がコヒーレント構造スマゴリンスキーモデルを提唱したのは1996年としておりましたが、正しくは2005年です。お詫びして訂正させて頂きます。

乱流モデルに採用したラージエディ・シミュレーション	乱流モデルの分類	コヒーレント構造スマゴリンスキーモデル

　計算資源としてTSUBAME2.0の4,032基のGPUを利用。通常、1つの計算にTSUBAME2.0を独占することはないが、審査によって採択されるグランドチャレンジ大規模計算制度によって、9月24日、25日の2日間、ほぼ専有して計算を行なった。

　出力したデータは、「出力しようと思えば、もっと大量のデータを出力することが可能だが、抑えに抑えて40TBを出力した」(青木教授)。

　計算に利用したプログラムは、CUDAを使ったNVIDIA GPUを効率的に利用するもので、ほぼGPUによる演算とGPUボード上のメモリのみを利用した。本来、格子計算は単一GPUでも実効性能が引き出しにくいが、アンローリング、レジスタ数の調整などのチューニングを行なった。

　リスタートファイルなど、4.6TBの容量の大きなファイルの出力には、TSUBAME2.0の計算ノードに実装されているSSDを使用した。

　計算のネックになるノード間通信を最小時間に抑えるためには、演算と通信のオーバーラップを実施するなど、「考えられる限りのソフト側の対策をとることで、計算速度をあげる工夫を行なった」(青木教授)という。

　その結果、単精度計算で、4,032基のGPUで約600TFLOPSの実効性能を達成した。これはピーク性能の約15%にあたる。「LINPACKではもっと高い性能となっているが、あれはもっと高い数字が出やすい計算。今回のような格子計算で、ピーク時性能の15%は十分優秀な数字といえる」(青木教授)。

用いた計算資源	TSUBAME2.0	高度なプログラミング実装
高度なプログラミング実装の概要	演算と通信のオーバーラップ	TSUBAME2.0での実効性能

TSUBAME2.0での実効性能をあげるための方法	計算格子

　今回行なったシミュレーションでは、品川、新宿、皇居、六本木など東京都心の中心部、10km四方を、株式会社パスコが提供する実物の地図、建物データを使って計算を行なった。

　その結果、詳細解析としては複雑なビルの形状を忠実に反映した、せん断が強い流れが頻繁に発生。乱れた流れどおしが衝突し、さらに複雑な流れを駆動していることなどが明らかになった。

　広域解析としては、巨大建造物の影響は1km以上に及び、高層ビルの後方で激しい上下混合の気流が発生していることなどが明らかになった。

　「計算結果としては、予想通り上空は速く、キレイな気流の流れとなっているのに対し、下の方は複雑な気流の流れとなり、どこから強い風となっているのかも明らかになっている。幹線道路が風の通り道となっていることは以前から予測されていたが、それも予想通り、道路に向けた強い風の流れが出来ていた」(青木教授)。

　今回の計算はあくまでも実用に向けた研究となるが、「1mの解像度でのシミュレーションが実現できた意味は大きい」と青木教授は話している。

建物データを取り入れてのシミュレーション
地上100mでの東京都庁前の気流	地上25mでの東京都庁前の気流	計算シミュレーション
建物をワイヤーフレームだけにした場合の気流	10km四方の広域都市の気流シミュレーションが成功したポイント	計算から明らかになったこと

【動画】気流シミュレーションの様子(提供:東京工業大学)

【動画】気流シミュレーションの様子(提供:東京工業大学)