高密度HPCサーバーHPE Apollo Systemを採用し380ノードの分散並列型クラスタシステムを構築

高密度HPCサーバーHPE Apollo Systemを採用し380ノードの分散並列型クラスタシステムを構築

"HPEの提案は、要件の2倍以上となる1.16PFLOPSを発揮するもので、非常にコストパフォーマンスに優れたシステムでした"

‐国立研究開発法人海洋研究開発機構
地球情報基盤センター
情報システム部
基盤システム開発グループ
グループリーダー代理 大倉 悟 氏

 

国立研究開発法人海洋研究開発機構(JAMSTEC)が、地球シミュレータと統合的に運用される「汎用高性能計算機システム」を刷新した。中核となる計算ノードには、高密度HPCサーバー HPE Apollo 6000 Gen10SystemとHPE Apollo 2000 Gen10 Systemを採用。従来機比10倍以上の性能を発揮するとともに、設置面積を半減させるなど大きな成果を達成した。GPUを本格採用した本システムは、AIやゲノム、工学など新分野への貢献も期待されている。地球シミュレータとリアルタイムに連携するデータアナリシス基盤として、「海洋地球インフォマティクス」の更なる推進力となるに違いない。

業界

研究機関

目的

地球シミュレータと連携・補完し、データ解析や数値シミュレーションを担う「汎用高性能計算機システム」の刷新。大規模化するデータ量と計算規模、多様化する計算手法、適用分野の拡大に対応すること。

アプローチ

「汎用高性能計算機システム」に求められる多様な計算用途に加え、AIやゲノム、工学など新分野のアプリケーション性能を重視。地球シミュレータのプリポストシステムとしての役割も強化する。

ITの効果

  • インテル® Xeon® プロセッサー・スケーラブル・ファミリー搭載HPE Apollo 6000 Gen10 System(360ノード)およびGPU搭載HPE Apollo 2000 Gen10 System(20ノード)を採用し、調達要件の529TFLOPSを2倍以上上回る1.16PFLOPSを実現
  • 前世代システム比1/2以下の設置面積で10倍以上の性能を実現
  • HPE Gen10 サーバー プラットフォームの「Silicon Root of Trust (シリコンレベルの信頼性)」によりハードウェアレベルのセキュリティを強化

ビジネスの効果

  • 汎用高性能計算機システムとして、AIやゲノム、工学を含むより幅広い分野への適用が可能に
  • 地球シミュレータとの連携を強化し、システム全体で解析やシミュレーション能力を大幅に強化
  • 計算結果の迅速な可視化とAIによる解析支援の仕組みづくりに着手
  • 高度なHPCリソースを他の研究機関や民間企業が利用可能にするプログラムを開始
  • 経験豊富なHPE技術チームの支援により継続的に成果を高めていく体制を強化
 

チャレンジ

JAMSTECが推進する海洋地球インフォマティクス

海洋・地球・生命の統合的理解に挑む――国立研究開発法人海洋研究開発機構(JAMSTEC)が取り組むテーマは広大かつ深遠だ。JAMSTECは、海底資源、海洋・地球環境変動、地震発生帯、深海の極限生物などの調査・観測から得られたデータを活用し、高度なシミュレーションモデルを駆使して人類の新たな知見を次々と導き出している。これを支えているのが、地球情報基盤センター(CEIST)で運用される地球シミュレータをはじめとする大規模HPCシステムである。工学博士であり、センター長を務める高橋桂子氏は次のように説明する。

「CEISTでは、海洋地球分野における多様なデータを活用し、より新しい価値、より実用性の高い知見を獲得するための科学技術『海洋地球インフォマティクス』を推進しています。実測とシミュレーション双方の膨大なデータを扱います。この取り組みを強化するために、地球シミュレータと連携・補完する『汎用高性能計算機システム』を刷新し、2018年2月より運用を開始しました」

汎用高性能計算機システムは、スカラー型HPCシステムとしてこれに適した解析やシミュレーションを担う。同システムの成果としては、超大陸の分裂から現在に至る大陸移動のメカニズムを、三次元全球内のマントル対流シミュレーションによって世界で初めて明らかにした研究が知られている。また、地球シミュレータのプリポストシステムとしての役割も重要だ。

「地球シミュレータと連携し、地球温暖化により発生するスーパー台風の挙動シミュレーションや、地震発生帯の理解を深めて被害軽減に寄与するデータベースの構築など、実社会における災害対策にも大きく寄与してきました」(高橋氏)

CEISTでは、刷新された環境を「DA(DataAnalysis )システム」と呼んでいる。より強力な計算パワーを発揮して従来からの役割を継承しつつ、新しい研究分野へのチャレンジも担う。

「DAシステムは、FLOPS(1秒間に実行可能な浮動小数点演算処理)で従来機の10倍以上の性能を発揮し、設置面積は1/2以下に削減することができました。また、新たにGPU搭載ノードを統合し、AIやゲノム、工学など幅広い分野への適用力を大きく強化しています」(高橋氏)

新たなミッションを担うDAシステムに採用されたのは、インテル® Xeon® プロセッサー・スケーラブル・ファミリー搭載「HPE Apollo 6000Gen10 System」と同じくGPUで強化された「HPE Apollo 2000 Gen10 System」である。本システムの設計および構築は、NECのリードのもと日本ヒューレット・パッカード(HPE)が行った。

国立研究開発法人海洋研究開発機構 高橋桂子氏

国立研究開発法人
海洋研究開発機構
地球情報基盤センター長
工学博士 高橋 桂子 氏

 

ソリューション

HPE Apollo 6000 Gen10 Systemを採用し1.16PFLOPSを発揮する計算ノードを構築

新世代の汎用高性能計算機システム(DAシステム)の中核に採用された「HPE Apollo 6000Gen10 System」は、HPC向けに最適化された最新の高密度サーバーである。ハイエンドのインテルR XeonR スケーラブル・プロセッサーを、1サーバーノードあたり最大2CPU / 56コア搭載。高さ12Uのシャーシに24サーバーノード(計48CPU / 1,344コア)を集約する。DAシステムにおけるCPUコアの総数は15,200、メモリは76.3TBに達し、サーバーノード間はInfiniBandEDRで高速に接続される。

「計算ノードの理論的最高性能(倍精度)の総和が529TFLOPS以上、というのが提示した要件のひとつでした。これに対してHPEの提案は、要件の2倍以上となる1.16PFLOPSを発揮するもので、非常にコストパフォーマンスに優れたシステムでした。評価段階で私たちが特に重視したのは、実際のアプリケーション性能とそれを引き出すベンダーの技術力です」と情報システム部基盤システム開発グループ グループリーダー代理の大倉悟氏は話す。

JAMSTECの研究者30名が検討チームを編成し、ゲノム解析、地震や津波のシミュレーション、気象や全球海洋循環モデルなど6種のアプリケーションでベンチマークテストを実施した。

「これまでの利用頻度の高さだけでなく、今後注力すべき研究テーマで活用するアプリケーションも選定しています。特性の異なるアプリケーションの性能をテストした結果、いずれも期待以上の性能を発揮することが確認できました」(大倉氏)

HPE Apollo 6000 Gen10 SystemによるDAシステムは、FLOPSの理論値で10倍以上の性能を発揮するが、様々なアプリケーションの実性能も7〜8倍向上できることが明らかになった。

《JAMSTECが提示した主な仕様》

  • 計算ノードの理論的最高性能(倍精度)の総和が529TFLOPS以上
  • 計算ノードにおける主記憶容量の総和は46Tバイト以上
  • 大容量メモリ搭載ノードの搭載メモリ量はノードあたり384Gバイト以上
  • 高速ストレージ搭載ノードは3.2Tバイト以上を利用可能な専用の高速ストレージ搭載
  • アクセラレーター搭載ノードは理論的最高性能(倍精度)4.7TFLOPS以上のGPGPU
  • 計算ノード上で動作する機械学習基盤を有する
  • ホーム領域用ストレージ装置の実効容量は128Tバイト以上
  • 大容量ストレージ装置の実効容量は5Pバイト以上
国立研究開発法人海洋研究開発機構 大倉悟氏

国立研究開発法人
海洋研究開発機構
地球情報基盤センター
情報システム部
基盤システム開発グループ
グループリーダー代理 大倉 悟 氏

国立研究開発法人海洋研究開発機構

国立研究開発法人
海洋研究開発機構
地球情報基盤センター
情報システム部
基盤システム開発グループ
中川 剛史 氏

ディープラーニング用学習基盤として高性能GPU搭載ノードを統合

地球シミュレータが海洋地球分野の大規模シミュレーションに特化しているのに対し、DAシステムの適用領域は解析・シミュレーションから統計処理、画像処理まで広範に及ぶ。さらに、注力すべきテーマとして加わったのが、AI(人工知能)・ディープラーニング、ゲノム解析、工学への応用である。この要求に応えるのが「HPEApollo 2000 Gen10 System」だ。NVIDIATesla P100アクセラレーター搭載の2CPUサーバー「HPE ProLiant XL190r Gen10」を、コンパクトな2Uシャーシに4ノード収容する。

「海洋地球分野では、観測データとシミュレーションデータを最適化させる、いわゆるデータ同化の手法で予測精度を高めてきました。多様な統計解析の手法も組み合わされます。これらをより高度化させながら、ディープラーニングのような新しいアプローチも採り入れていく考えです」と高橋氏は話す。

AI・ディープラーニングへの取り組みには、研究者の負荷を軽減しながらより確実に研究成果を得る狙いもあるという。情報システム部 基盤システム開発グループの中川剛史氏は次のように説明する。

「HPCシステムの性能向上はめざましく、シミュレーション結果を一人の研究者が解析できる量の限界が近づいています。そこで、地球シミュレータで行ったシミュレーション結果をDAシステムで可視化し、その画像をAIに学習させる取り組みを始めています。AIが一次解析まで進めたデータを、研究者が二次解析するような流れをつくることで、より早く、より着実に成果に近づくことができるようになると期待しています」

「AIによってポイントが絞り込まれた情報、高度に可視化された情報を扱うことで、研究者は新しいインスピレーションを得られるようになるでしょう。この取り組みが次のイノベーションの起点となるかもしれません。従来は研究者の知見で意図的に計算対象を絞り込むケースが多かったのですが、これも不要になるはずです。HPCシステムの性能をフルに発揮させることができます」と高橋氏も期待を示す。

ディープラーニング用学習基盤として高性能GPU搭載ノードを統合

"DAシステムは、地球シミュレータとリアルタイムに連携するデータアナリシス基盤として、『海洋地球インフォマティクス』の更なる推進力となるでしょう。HPEには、CEISTの5年後のあるべき姿を見据えたテクノロジー開発と支援を期待しています"
国立研究開発法人海洋研究開発機構 地球情報基盤センター長
工学博士 高橋 桂子 氏

 

ベネフィット

地球シミュレータとDAシステムを結びシステム全体でパフォーマンスを追求

HPCシステムとツールとプロセスを一体化させた「全体システム」の構築――CEISTのセンター長として高橋氏が描くビジョンは明快だ。HPEApollo 6000 Gen10 Systemが採用された「DAシステム」の導入は、CEISTが運用するHPCシステム全体の最適化への端緒となる。

「地球シミュレータとDAシステムが高度に連携して、ひとつのテーマに取り組む機会はさらに増えていくでしょう。DAシステムによる前処理、地球シミュレータによる大規模シミュレーション、DAシステムによる可視化とディープラーニングによる一次解析、という流れをシームレスにしていく考えです。そのために、2システム間のオンライン連携やデータ交換の強化を進めています」(高橋氏)

DAシステムでは、大規模な計算リソースを最大限利用するために、セットアップの高速化やジョブを効果的に多重化する仕組みも導入された。運用負荷は大幅に軽減され、DAシステムによる計算の成果を高めるための業務に注力できるようになったという。

「CEISTに常駐するHPEの技術チームとは、長年にわたり共通の目標を見据えて一緒に仕事を続けてきました。継続的に成果を高めていく体制も強化されました。豊富な経験に基づく運用支援やシステム改善のアドバイスは的確で、とても頼りになる存在です」と中川氏は笑顔を見せる。

2002年に登場した初代の地球シミュレータは国内外に大きなインパクトを与え、その後の産業界のHPCシステム活用を大きく変える転換点ともなった。

「JAMSTECの研究者に限らず、他の研究機関や一般企業にも広くDAシステムを活用していただくためのプログラムを準備中です。研究成果をクローズドにできますので安心してご利用いただけます。学術的成果の追求とともに、産業界のイノベーションに寄与することはJAMSTECの変わらぬミッションです」(大倉氏)

最後に、CEISTセンター長である高橋氏が次のように語って締めくくった。

「あたかも自分の手のひらで対象を扱うように、求める視点や切り口でシミュレーション結果が即時に可視化され、次のアクションに結びつく――CEISTではそうした『全体システム』の実現を目指していきます。DAシステムは、地球シミュレータとリアルタイムに連携するデータアナリシス基盤として、『海洋地球インフォマティクス』の更なる推進力となるでしょう。HPEには、CEISTの5年後のあるべき姿を見据えたテクノロジー開発と支援を期待しています」

詳しい情報
HPE Apollo Systemについてはこちら
hpe.com/jp/apollo

 

会社概要

国立研究開発法人 海洋研究開発機構

所在地:神奈川県横須賀市夏島町2番地15

URL:http://www.jamstec.go.jp/j/

国立研究開発法人 海洋研究開発機構
本件に関するお問い合わせ窓口
Telephone

カスタマーインフォメーションセンター
0120-268-186 または 03-5749-8279

上記に関する詳細情報、およびご購入の際は弊社販売店、または各種サポートまでお問い合わせください。

受付時間:月曜日〜金曜日 9:00〜19:00(土曜日、日曜日、祝日、年末年始、および5月1日 お休み)

※ご購入後のお問い合わせは、お手元の保証書内保証規定に記載の電話番号へお問い合わせください。

本件でご紹介の日本ヒューレット・パッカード製品・サービス

導入ハードウェア

本ページの導入事例は、PDFで閲覧頂けます。PDF(1.19MB)

本ページに記載されている情報は取材時におけるものであり、閲覧される時点で変更されている可能性があります。予めご了承下さい。