超高密度スケールアウトサーバー「HP Moonshot System」を採用し、
3シャーシ/100ノードによる実験環境“ミニチュアデータセンター”を構築

「数千台規模のサーバーを運用する複数のデータセンターを結ぶような、数万台からそれ以上の超大規模スケールアウトシステムにおいて、タスク・スケジューリング方式やコンピューターリソースの割り当てなど、最適な設計・制御・構成方法を数理モデルによって確立することが目標です。HP Moonshot Systemでデータ処理系の技術を検証し、これまでの研究で培ってきたネットワーク最適化技術と融合させることで実現したいと考えています」

国立大学法人 奈良先端科学技術大学院大学
情報科学研究科 教授
博士(工学) 笠原正治氏

「災害によりデータセンター障害や通信インフラの断絶が起った場合や、次々とネットワークが破壊されていくような変化を伴う状況下で、情報を伝達可能な経路を即座に導き出します。そのための情報の収集・処理・加工を、HP Moonshot Systemで分散並列処理することを考えています」

国立大学法人 奈良先端科学技術大学院大学
情報科学研究科 助教
博士(情報学) 川原純氏

 

1Uサーバー比で消費電力を1/10、スペースを1/6に

奈良先端科学技術大学院大学(NAIST)大規模システム管理研究室が、HP Moonshot System(3シャーシ/ 100ノード)を導入し、大規模分散並列処理環境における性能評価のためのテストベッドを構築した。最適なシステム設計・制御・構成方法の確立、ビッグデータ解析による災害対策への応用など、様々な成果が期待されている。

業界

学校

目的

  • 大規模分散並列処理コンピューティング環境における、システムの性能・信頼性・電力効率を最大化するための設計・制御・構成方法を、数理モデルによって確立すること。
    モバイルクラウド実装、スケールアウトクラウド実測、省電力エネルギー制御の3テーマで研究を推進。
    巨大なグラフ上の経路探索アルゴリズム設計など、ビッグデータ解析を実現。災害時の避難場所や避難ルートなどの情報のリアルタイム分析・配信を目指す。

アプローチ

  • 超高密度スケールアウトサーバーを採用し、大規模分散処理コンピューティング環境を実験設備として整備。 実環境での性能や挙動を分析することで、タスクスケジューリングやリソース配分などの数理モデルを検証する。

ITの効果

  • 低消費電力のデュアルコアのインテル® Atom™ プロセッサー S1260を搭載し、圧倒的な超高密度と超低消費電力を実現する「HP Moonshot System」によりテストベッドを構築
  • 物理サーバー100台の環境を3シャーシ(13U)のスペースで実現
  • HP Insight CMU」によりHadoopが稼働する分散並列処理システムのセットアップや運用を容易に

ビジネスの効果

  • 1Uサーバー比1/10の低消費電力、1/6のスペースでテストベッドを運用可能に
  • 100ノードによる分散並列処理システム実験環境を手軽に利用可能に
  • 大規模分散並列処理コンピューティング環境最適化の数理モデル確立に貢献
 

大規模分散並列処理コンピューティング環境の最適化

奈良先端科学技術大学院大学(NAIST)は、日本の国家戦略である「科学技術立国」を目的として1991年に設立された。情報科学、バイオサイエンス、物質創成科学の3分野に特化し、世界レベルの研究活動と人材育成において高い評価を獲得している。

先端科学技術の基盤となる情報科学の分野で、次世代クラウドコンピューティング、ビッグデータ解析、災害リスクマネージメント、サービスサイエンスなどの研究テーマに“数理的アプローチ”により取り組んでいるのが、情報科学研究科 教授 笠原正治氏の率いる「大規模システム管理研究室」である。

「クラウドコンピューティングでは、多数の安価なサーバーによって構成されたクラスター上で高度に分散並列化された処理を実行します。しかし、単純にサーバーを数百から数千台に増やしても、ハードウェア性能のばらつきや故障が大きく影響して処理時間は短縮できません。最も遅いマシンが全体の処理時間を決定する現象、いわゆる“落伍者の問題(Issue of Stragglers)”が発生するからです」(笠原氏)

笠原氏と大規模システム管理研究室では、大規模分散並列処理コンピューティング環境における、システムの性能・信頼性・電力効率を最大化するための設計・制御・構成方法を、数理モデルによって確立することを目指している。

笠原氏のバックグラウンドには“オペレーションズリサーチ”がある。現実世界で起こっている問題を、確率論により数理モデル化して解決に導く手法だ。「落伍者の問題を解決する方法としては“バックアップ型スケジューリング”が有効」と笠原氏は言う。具体的にはどのようなことか。

「たとえば、あるタスクを4分割して4台のサーバーで処理を分散する方法を《戦略A》とします。次に、同じタスクを2分割して2台のサーバーで分散処理しつつ、別の2台が同じ処理を実行して、先に処理を完了した方の結果を採用する方法を《戦略B》としましょう。《戦略A》は上手くいけば1/4程度の処理時間で済みますから一見有利に思えますが、サーバー1台が故障すると処理を完了できません。一方、《戦略B》は1/2程度にしか処理時間を短縮できませんが、1台のサーバーが故障してもタスクを完了させることが可能です」

この《戦略B》が“バックアップ型スケジューリング”によるタスク処理である。

「大規模分散並列処理コンピューティング環境におけるタスク処理のメカニズムを確率的に分析した結果、規模が大きいほど、サーバーの性能にバラつきがあるほどこのスケジューリングが有効であることが明らかになりました」(笠原氏)

数理的な解析結果を実際の環境で検証するには大規模なシステムが必要だ。だが、1Uサー バーをずらりと並べるような実験設備でなくてもいい、と笠原氏は考えていた。数理モデルの確かさを検証するシステムは、「サーバー1台の性能よりも、限られたスペースに多くの台数を導入できることが重要」との考えからだ。

このニーズに応えたのは、低消費電力のデュアルコアのインテル® Atom™ プロセッサーS1260を搭載し、圧倒的な超高密度+超低消費電力を実現するハイパースケールシステム「HP Moonshot System」だった。

「HP Moonshot Systemなら“ミニチュアデータセンター”の構想を実現できると直感しました」(笠原氏)


2つのタスク・スケジューリング戦略

国立大学法人 
奈良先端科学技術大学院大学
情報科学研究科 教授
博士(工学) 笠原正治氏

国立大学法人
奈良先端科学技術
大学院大学
情報科学研究科 教授
博士(工学) 笠原正治氏


国立大学法人 
奈良先端科学技術大学院大学
情報科学研究科 助教
博士(情報学) 川原純氏

国立大学法人
奈良先端科学技術
大学院大学
情報科学研究科 助教
博士(情報学) 川原純氏


HP Moonshot Systemによりミニチュアデータセンターを構築

2014年3月、HP Moonshot System(3シャーシ/135サーバーノード構成)が導入された。うち100ノードを大規模システム管理研究室が利用している。HP Moonshot Systemが高さ約2メートルのサーバーラックに占めるスペースは1/3にも満たない。

「サーバー100台規模のテストベッドを、わずか13Uのスペースで利用できるとは驚きです」と情報科学研究科 助教 川原純氏は話す。

HP Moonshot Systemは、ラックマウント型ともブレード型とも異なる“カートリッジ型サーバー”という革新的なアーキテクチャーを採用している。サーバー“1枚”は手のひらに載る小ささだ。高さ4.3U(約19センチ)のシャーシにこのサーバーカートリッジを45ノード収容して、超高密度の物理サーバー環境を実現する。

HP の試算によれば、一般的な1Uラックマウント型サーバーをHP Moonshot Systemに置き換えることで、最大80%の省スペース化、89%の電力削減、45%のコスト削減が見込めるという。

「まず、物理ノード100台でHadoopによる分散処理環境を構築し、ノード数によってどのように性能が変化していくかという実験から着手しています。さらに、ノード性能がばらついているときのスループットの劣化度合いや、先ほどの話にあったタスク・スケジューリング方式の違いによる性能差も測定していきます」(川原氏)

HP Moonshot Systemの導入は、大規模分散並列処理コンピューティング環境で利用できる“数理モデル”の開発を大きく前進させることになりそうだ。

「また、大規模なクラウド環境では、データセンターが消費する膨大な電力をどのように抑制するかという課題もあります。《戦略B》のバックアップ型スケジューリングによるタスク処理は、最大のスループットを発揮させるのに有効ですが、システムの消費電力という観点からは効率的とは言えません。電力消費量を抑えながらタスク処理を効率的に行うための“電源管理スケジューリング”の開発も、重要なテーマと考えています」(笠原氏)

地球規模で拡張するクラウドデータセンターが消費する電力量は、今や1.27億人が暮らす日本全体の電力消費量を上回るという。HP がHP Moonshot Systemを開発した背景には、「データセンターの消費電力を劇的に削減する」というビジョンがあった。そして今、笠原氏を中心とする世界レベルの研究チームが、数理的アプローチによりHP Moonshot System上で同じテーマに取り組んでいる――その成果に期待が集まっている。


2つのタスク・スケジューリング戦略

SCSK株式会社
プラットフォームソリューション事業部門
ITエンジニアリング事業本部
関西エンタープライズ部
技術課
竹中崇氏

SCSK株式会社
プラットフォームソリューション
事業部門
ITエンジニアリング事業本部
関西エンタープライズ部
技術課
竹中崇氏


日本ヒューレット・パッカード株式会社
プリセールス統括本部
中部・西日本技術本部
西日本技術部
ITスペシャリスト
實田健

日本ヒューレット・パッカード
株式会社
プリセールス統括本部
中部・西日本技術本部
西日本技術部
ITスペシャリスト
實田健


SCSK株式会社
プラットフォームソリューション事業部門
ITエンジニアリング事業本部
エンタープライズ第一部
営業第五課長(学術・公共担当)
山ア順次氏

SCSK株式会社
プラットフォームソリューション
事業部門
ITエンジニアリング事業本部
エンタープライズ第一部
営業第五課長
(学術・公共担当)
山ア順次氏


SCSKがHP Moonshot System導入を全面的に支援

HP が次世代スケールアウトサーバー開発プロジェクト「Project Moonshot」の成果として、初の商用製品「HP Moonshot System」を発表したのは2013年4月のことだ。笠原氏はいち早くこれに着目し、公開入札を経て9月には導入を決定した。HP Moonshot Systemを提案したSCSK プラットフォームソリューション事業部門の山ア順次氏は、次のように振り返る。

「HP Moonshot Systemは、超高密度・超低消費電力という観点で間違いなく業界最高水準にあり、従来型の1Uサーバーやブレード型サーバーでは実現できない領域に達していました。本システムの要求仕様にまさに合致したサーバー製品でした」

SCSK は、「HP Moonshotソリューションパートナー」として、学術・公共分野をはじめデータセンター/サービスプロバイダーなど幅広い分野でソリューション提供に力を注いでいる。

また、HP Moonshot Systemは「システム構築に際して特別なノウハウは必要なかった」とSCSK プラットフォームソリューション事業部門 技術課の竹中崇氏は言う。

「従来のサーバーとはコンセプトの異なる製品にも関わらず、ほとんど違和感なく扱えました。ネットワーク接続が非常にシンプルという こともあり、現場でのシステム構築は非常に容易だったと思います。100サーバーノードに対するLinux OSとHadoop 環境のセットアップも、HP Insight CMUが提供するクローン機能を用いてスムーズに行えました」

HP Moonshot System向けに提供される「HP Insight CMU」は、多数のサーバーに対するソフトウェアインストール、設定、監視、障害時の復旧などを広範に支援する。大規模HPCクラスター環境などで実績を積み重ねてきたソリューションだ。 「いかに革新的なサーバーであっても、管理ツールが弱いとその価値を十分に引き出すことはできません。HP Moonshot Systemは、 導入や運用を支援するツールをシステム製品としてトータルに整備していますので安心してお使いいただけます」(日本ヒューレット・パッカード プリセールス統括本部 實田健)


 

データセンターが連携して数千〜数万台規模の処理を実行

川原氏の専門分野は“グラフアルゴリズム”である。「数千〜数万地点を対象に、地点間の経路をすべて取り出す」というこのテーマは、実社会における様々な応用が期待されている。

「たとえば、災害によりデータセンター障害や通信インフラの断絶が起った場合や、次々とネットワークが破壊されていくような変化を伴う状況下で、情報を伝達可能な経路を即座に導き出します。そのための情報の収集・処理・加工を、HP Moonshot Systemで分散並列処理することを考えています」(川原氏)

センサーやモバイルデバイスから被災・安否情報を収集し、避難場所や避難ルートなどの情報をリアルタイムに分析・配信するような応用も可能だという。巨大なグラフデータから知見を得るこのテーマは“ビッグデータ解析”に他ならない。

「システムで扱うためのデータの前処理、組合せ最適化技術を用いたアルゴリズム設計、Hadoopによる数百台規模の並列分散環境でのデータ処理技法など、システム全体の最適な設計・制御・構成方法を検討していきます」―川原氏

一方、笠原氏は「数千台規模のサーバーを運用する複数のデータセンターを結ぶような、数万台からそれ以上の超大規模スケールアウトシステムにおいて、タスク・スケジューリング方式やコンピューターリソースの割り当てなど、最適な設計・制御・構成方法を数理モデルによって確立することが目標です。HP Moonshot Systemでデータ処理系の技術を検証し、これまでの研究で培ってきたネットワーク最適化技術と融合させることで実現したいと考えています」と抱負を語る。情報通信分野における“リソース競合問題の解決”は、笠原氏にとって長年のテーマである。

奈良先端科学技術大学院大学 大規模システム管理研究室は、日本におけるHP Moonshot System最初期のユーザーとなった。最先端の実験設備を得て、笠原氏・川原氏のチームからどれだけの成果が生み出されるのか、そのチャレンジに注目したい。


 

会社概要

奈良先端科学技術大学院大学様
大規模システム管理研究室

所在地:〒630-0192 奈良県生駒市高山町8916-5奈良先端科学技術大学院大学
情報科学研究科 B棟7階 701〜707号室

URL:http://www-lsm.naist.jp/ 


国立大学法人 奈良先端科学技術大学院大学
本件でご紹介のHP製品・サービス

導入ハードウェア

本ページの導入事例は、PDFで閲覧頂けます。  PDF (2.65MB)

本ページに記載されている情報は取材時におけるものであり、閲覧される時点で変更されている可能性があります。予めご了承下さい。