ニュース

産総研、人工知能処理向け専用スパコン「ABCI」を公開

~水冷・空冷ハイブリッドで高性能省電力を両立、国内最高性能を達成

 国立研究開発法人 産業技術総合研究所(産総研)は、2018年7月30日、スーパーコンピューター「人工知能処理向け大規模・省電力クラウド基盤(AI Bridging Cloud Infrastructure:ABCI)」の見学会と運用開始記念式典を開催した。

 8月から運用サービス提供を開始する予定。今公開されている学習済みモデルやオープンデータをABCI上で提供し、人工知能技術の研究開発用の大規模高速計算基盤として、学官連携や多様な事業者による利用を促進し、人工知能の社会実装と人工知能分野の最重要課題に挑戦する。

AI橋渡しクラウド:ABCI

AI橋渡しクラウド:ABCIの概要

 AI橋渡しクラウド:ABCIは、理論ピーク性能が半精度で550PFLOPS、倍精度で37PFLOPSのスパコン。経済産業省「人工知能に関するグローバル研究拠点整備事業」(平成28年度二次補正予算)の一環として、「産総研人工知能研究センター(AIRC)」と「産総研・東工大 実社会ビッグデータ活用オープンイノベーションラボラトリ(AIST-Tokyo TechReal World Big-Data Computation Open Innovation Laboratory、RWBC-OIL)」が設計・開発を行なった計算システムで、国立大学法人 東京大学 柏 IIキャンパス内の、AIRCとRWBC-OILが設計した産総研 柏サイト「産総研AI データセンター棟」に構築された。

 富士通株式会社が平成29年9月に一般競争入札において受注しており、同社のPCサーバ「FUJITSU Server PRIMERGY(プライマジー)」などの技術を採用している。1,088台の計算ノード、22PBの実効容量を持つ大容量ストレージシステム、これらを高速に結合するネットワークなどからなるハードウェア群と、これらを最大限活用するためのソフトウェア群から構成されている。

ABCIシステム概要
ABCIサーバールーム。3台のラックにつき1つ大きなファンが上につけられている
ABCIサーバーラック。1ラックに34台のサーバが収められている
IntelのCPU2つとNVIDIAのGPUを4つ搭載した富士通「PRIMERGY CX2570 M4」

 計算ノードは、富士通製マルチノードサーバ「PRIMERGY CX400M4」に搭載されている1,088台の「n」からなる。「PRIMERGY CX2570 M4」は、CPUにはIntelの「Xeon Goldプロセッサー」をサーバ1台あたり2基(合計2,176CPU)搭載、NVIDIAの省電力GPUコンピューティングカード「Tesla V100」をサーバ1台あたり4基(合計4,352基)備えている。また、ローカルストレージにはNVMe規格に対応した「Intel SSD DC P4600 シリーズ」を採用している。

 これらによって理論ピーク性能で、人工知能やビッグデータ分野の計算処理で有効とされる16bitの半精度演算の性能が550PFLOPS、倍精度演算の性能は37PFLOPSを実現した。実効性能でもベンチマークとして使われているLinpackで19.88PFLOPSを出し、6月25日に発表されたスパコンの速度性能ランキング(TOP500)で世界5位、実運用される計算システムとしては国内最高性能を記録した。

「PRIMERGY CX2570 M4」に搭載されているIntel Xeon Goldプロセッサー
NVIDIA GPU Tesla V100
冷却用ウォーターブロック
CPUとGPUの上に冷却用ウォーターブロックを載せた状態
黒いパイプのなかを冷却用の水が流れている
青が冷却用で32℃、赤が40℃程度になる
ハイブリッドな冷却システムを採用

 計算ノードと冷却システムの双方が世界トップクラスの省電力性能を持つ点も特徴の1つ。およそ80℃から90℃程度の高温になるCPUやGPUなど基幹部品をAIデータセンター棟が供給する外気に近い温度(32℃)の温水を使って冷却。残った熱も、同じ冷却水を使った空冷システム(ファンコイルユニット)で取り除くシステムを採用した。水は、年間を通して冷却塔で基本的にパッシブに冷却する。2018年夏のような猛暑環境でも実際に大丈夫だったという。毎分5,000Lの水を作り出すことができる。

 ハイブリッドな空冷システムとパッシブな冷却の組み合わせの工夫によって1Wあたり12.054GFLOPSの省電力・高性能を実現し、省エネ性能ランキング(Green500)で世界8位を記録した。使用電力は最大2.3MW。年間平均PUE(IT機器に使用する電力と冷却に使用する電力の和を、IT機器に使用する電力で割った値。1に近いほど高効率)は1.1以下。なお通常のデータセンターのPUEは1.5くらいだという。またABCIのデータセンターは、通常のデータセンターの20倍の熱密度となっている。

ホースがみっしり出ている実際のラックの状態
冷却水のホースは外部の冷却施設へつながっている
冷却施設
右がパッシブ冷却塔、左が補助用のアクティブチラー

ABCIの特徴は「コデザイン」

産総研 人工知能研究センター人工知能クラウド研究チーム長、実社会ビッグデータ活用オープンイノベーションラボラトリ 副ラボ長 小川宏高氏

 産総研 人工知能研究センター人工知能クラウド研究チーム長で、実社会ビッグデータ活用オープンイノベーションラボラトリ 副ラボ長の小川宏高氏は、ABCIは「皆さんのためのインフラ」だと述べた。

 学術的にトップレベルの成果を出せるエキスパートにはABCIの全システムを最大24時間提供するプログラムを提供する予定。トップレベルはもちろん、企業や国プロの研究開発環境としても最大512ノードまでの計算リソースを利用できるように提供される。さらにもっと裾野の広い人たちにも使ってもらいたいと考えており、今後、Webベースの開発環境を提供する予定があるという。さらにB2B2Cサービスを提供する企業向けにもABCIを提供していくことを狙う。

 もう1つの特徴は相互に協調しながら創造する「コデザイン」だという。ABCIが構築された建物や冷却システム、中の計算機、ソフトウェアスタック、サービス提供などをコデザインすることで大規模なシステムとしてまとめあげることに成功していると述べた。

 計算機のハードウェア自体にもデファクトスタンダードになっているIntelのCPUとNVIDIAのGPUを採用したサーバを導入することで、いま現在、世界各所で使われているソフトウェアをABCIで使うことができ、ABCIで動くように開発されたソフトウェアを別の環境で動かすことも容易になる。相互運用性を重視したという。

 また、「コンテナ(軽量な仮想環境)」をサポート。コンテナの「Docker」や「Singularity」に対応することで、コンテナ単位でソフトウェア資産を蓄積、開発でき、さらに外部へパブリッシュできるようになる。コンテナをベースとしたソフトウェアエコシステムを活することで、ソフトウェアの循環を生むことを狙う。グローバルコミュニティで開発された成果をすぐにABCI上で試すことができるし、逆も可能になる。

 ABCIに最適化されたコンテナを開発することもできる。安全性についても22PBのセキュアデータ基盤を提供する。ユーザー間、グループ間、外部ユーザー間のやりとりを安全に行なえると述べた。

 小川氏は、「システムがコデザインによって作られている」と同時に「コデザインを促進するようなシステム」になっていると2つのポイントについて強調した。

特徴は「コデザイン」と強調
ソフトウェアスタック
コンテナをサポート

AI技術とものづくりを融合するためのインフラ計算基盤

運用開始記念式典が行なわれた

 記念式典で、産総研理事長の中鉢良治氏はABCIの特徴について開発経緯から紹介。AIにおいては大量のデータを処理する必要があることから、ABCIが多数のプロセッサを冷却しながら使える点と、SINET5で結ばれたHPCI(スパコンの共用計算基盤)によって全国各地の大学から利用できる点を強調した。コミュニティを形成し、データや人材がオープンに交流することでイノベーション、ビジネス連携などが起こることを期待すると述べた。

 東京大学総長 五神真氏は、ABCIは人工知能とものづくりを融合させる研究拠点の根幹をなすインフラだと紹介し、ABCI運用開始によって東大の柏第2キャンパスの活動が本格的にはじまると語った。さらにスマート化社会に対する期待を述べ、より良い未来社会を作るための役割を大学がになっていくと述べた。より良い知識集約型社会を作るためにもっとも重要なインフラがSINETやABCIだと考えているとした。

 経済産業省 産業技術環境局 審議官 渡邊昇治氏は、政府が推進している「Society5.0」のために重要なのはデータだと述べたあと「AI自体は目的ではなくツール。AI戦略が独立して存在するわけではなく、社会をどうしたいかという戦略の一部だ」と強調。また、AIはビッグデータに支えられているため、ビッグデータを持っている大企業が強みを持っているが、むしろ少数データで学習できるようなAIはできないのかと問いかけた。

 内閣府 総合科学技術・イノベーション会議 人工知能技術戦略会議議長の安西祐一郎氏は「日本はアメリカと中国の狭間で遅れがちな状況にあるが、多くの人に活躍してもらいたい」と述べた。そして、「日本の肌理の細かいものづくり」がソフトウェア開発においても実現できるのか、人と協調するAI実現を支えるハードウェアのスペックの重要性、さらにビッグデータを活用するためのデータ整備の3つが、これからの日本の未来を決めるための重要なポイントだとした。

産総研理事長 中鉢良治氏
東京大学総長 五神真氏
経済産業省 産業技術環境局 審議官 渡邊昇治氏
内閣府 総合科学技術・イノベーション会議 人工知能技術戦略会議 議長 安西祐一郎氏

AIを中心としたオープンイノベーションへ

 産総研 理事で情報・人間工学領域 領域長の関口智嗣氏は、ABCIの特徴を、世界最大級で電力を使わないことを特徴としており、システム自体をオープンにしていこうと考えていると述べて、「みなさんの知恵を集積することで、AIならびにデータを処理するアルゴリズム、それらを用いた応用システムを作っていただきたい」と呼びかけた。

 大量のデータに基づいたディープラーニング(深層学習)技術、アルゴリズムやハードウェアの処理性能向上などによって今の人工知能ブームが起きているが、社会実装があまり進んでいないことが課題だとし、実際にAIを試すことができる環境と、実需を探るためにABCIのようなインフラを作ろうということになったと経緯を述べた。米国など海外での取り組みもにらみながら、AIを中心としたオープンイノベーションへの取り組みを進めていく。

産総研 理事、情報・人間工学領域 領域長 関口智嗣氏
人工知能に関するグローバル拠点整備事業の一環
3つの技術要素
AI技術の社会実装のための場とすることを目指す

 続けて、ABCI概要を産総研 小川宏高氏が紹介した。前述のとおりなので省略するが、ABCIのテーマである「人工知能の最重要課題にチャレンジする」という部分について、「ABCIグランドチャレンジ」プログラム初回の選考が先週行なわれて、3グループが選ばれたと紹介。手法は異なるがいずれもImageNETの課題に取り組んでいたという。

産総研 小川宏高氏
ABCIグランドチャレンジ
選考された3グループ

富士通とNVIDIAによる取り組み

 富士通株式会社 執行役員常務 山口裕久氏は、AIの社会実装に向けた取り組みについて講演した。「Co-Creation for Success」を会社のメッセージとしており、富士通のAIソリューション「Zinrai」は、コールセンター、ものづくり、ナレッジ活用、需要予測、故障予測などの分野で合計1,000件以上の問い合わせがあるという。

 シンガポール科学技術研究庁/シンガポール経営大学との共同研究で進めている、海難事故帽子や港湾最適化などの例を示し、AIを加速する3つのテクノロジとして、HPC、深層学習、デジタルアニーラの3つをあげた。リアファレンスモデルをたくさん作って多くの人に体感してもらうことで産業分野への社会実装を進めていきたいと語った。

富士通株式会社 執行役員常務 山口裕久氏
シンガポールとの共創

 NVIDIA Corporation Vice-President(副社長)でTeslaビジネスユニットゼネラルマネージャーのイアン・バック(Ian Buck)氏は、AIがすべての産業を推進する新しいツールになると述べ、AIを活用している日本の企業としてコマツ、トヨタ自動車、ファナックを挙げた。NVIDIAのGPUはさまざまなアプリケーションに用いられており、フレームワーク、SDK、ライブラリなども用意されている。GPUを使ったスパコンによってすべてのワークフローが加速すると語り、Tensorコアを紹介した。Tesla V100GPUには640のTensorコアが用いられている。

NVIDIA Corporation Vice-President、Teslaビジネスユニットゼネラルマネージャー イアン・バック氏
Tensorコア

衛星画像分析コンテスト

衛星画像分析コンテスト

 続けて、「衛星画像分析コンテスト」の紹介が行なわれた。これはABCIを使ったものではないが、日本におけるオープンイノベーションの環境づくりを狙って実施されたコンペで、2018年2月28日から4月26日の期間で行なわれた。概要は産総研 実社会ビッグデータ活用オープンイノベーションラボラトリ 萩島功一氏が解説した。

産総研 実社会ビッグデータ活用オープンイノベーションラボラトリの萩島功一氏
衛星画像分析コンテストの概要

 コンペは提供された約100万セットのラベル付きデータセットをもとに「ゴルフ場の検出」を課題として実施された「予測部門」と、衛星データの活用アイデアを競う「アイデア部門」の2つに分かれて行なわれ、今回、予測部門で郁青(イクセイ)氏と、松井健一氏が、それぞれ1位と2位を受賞した。

 提供されたデータは解像度30m程度なので、人間の目で見てもゴルフ場の判別は難しい。郁青氏は7チャネルの画像を深層学習させるために最初のコンボリューション層を変更し、モデルを5つトレインしてアンサンブルをとった(多数決)。松井氏も学習データセットを増やしてトレーニングを行なったが、郁氏が同じモデルを乱数を変えてアンサンブルをとったのに対し、松井氏はモデル自体を変えてアンサンブルをとり、全部が一致した場合のみ「ゴルフ場」だと判定するように組んだと紹介した。

データセット
参加者の属性
入賞した2人
1位の郁青氏
2位の松井健一氏

ABCIによって必要条件は満たされたが十分条件はこれから

産総研フェローで人工知能研究センター長 辻井潤一氏

 記念式典の最後は、産総研フェローで人工知能研究センター長の辻井潤一氏が登壇。アメリカ・中国の巨大企業がビッグデータと計算機環境を持っていることについて改めてふれた。日本ではこれまでなかなかそういう環境ができていなかったが、ABCIができたことで、計算機環境は整ってきたと述べた。

 だが、それは必要条件であって、十分条件ではないとし、「今後のデータとユーザーが重要だ」と語った。そして「日本には多くのプレイヤーがいる。産総研もその1つのプレイヤーとなって日本としてかたちを作っていくのがこれからの大きな課題だ」と締めくくった。