Jump to content 日本-日本語

ソリューション  >  大企業向け

フルスピードが、Hadoop/HBaseを活用し
大規模データ分析システムを構築

株式会社フルスピード

お客様事例

株式会社フルスピード
サイトマップ
コンテンツに進む

インターネット広告の最適化・広告効果測定・レポーティングを支えるHadoop/HBase環境の構築をHPのコンサルタントが支援

「Hadoop/HBaseによって実現した大規模データ分析の経験を、データマイニング領域や広告効果の高いクリエイティブの研究・開発にも活かし、お客様のROI最大化に貢献できる広告ソリューションを生み出していきたいと考えています」

株式会社フルスピード
取締役副社長 メディア戦略本部 本部長
泉健太氏
お客様背景
ソリューション
効果と今後の展望
会社概要
PDF(1.33MB)

目的

広告運用統合プラットフォーム「AdMatrix」のサービス開始。Hadoop/HBaseによる分散処理基盤を構築し、大規模データの収集・管理・分析処理を行う。

アプローチ

オープンソースソフトウェアによる自社開発を基本に、Hadoop/HBase分散処理プロセスの監視領域において外部コンサルタントのノウハウとツールを活用。

ITの効果

HP開発の「Zabbixプラグイン」を採用し、HPコンサルタントの支援によりHadoop/HBase 分散処理プロセスの監視システムを構築
プロセスの監視によりシステム全体の安定稼働を実現
システムの不具合発生時に原因個所を容易に特定できサービスへの影響を最小化

ビジネスの効果

HPコンサルタントの導入・設計・構築支援により短期間での構築を実現
AdMatrixの計画通りのサービスインと安定稼働に貢献


お客様背景

アドテクノロジーの開発も担うインターネット広告代理店 フルスピードが、広告運用統合プラットフォーム「AdMatrix(アドマトリックス)Series」をリリースした。インターネット広告の最適化・広告効果測定・レポーティングを行うために、膨大なデータ収集・管理・分析を高速で実行する仕組みをHadoop/HBaseにより構築。HP 開発の「Zabbixプラグイン」を採用し、HPコンサルタントの支援を受けてHadoop/HBase分散処理プロセスの監視システムを実装した。この仕組みがサービス基盤の安定稼働を支えている。

インターネット広告の躍進とアドテクノロジーの進化
株式会社フルスピード 取締役副社長 メディア戦略本部 本部長 泉健太氏
株式会社フルスピード
取締役副社長
メディア戦略本部
本部長 泉健太氏

インターネット広告が活況を呈している。2012年の市場は前年比7.7%増の8,680億円に達し、新聞・雑誌・ラジオを上回る規模に成長した。中でも検索連動型広告やRTB(リアルタイム入札)型のディスプレイ広告領域(の伸びは著しい。新聞や雑誌のように決まった“広告枠”を売るのではなく、検索キーワードやコンテンツの内容、ユーザーの属性や閲覧ページ履歴に基づいて動的に広告が配信・表示される手法である。

株式会社フルスピードの取締役副社長であり、同社のメディア戦略をリードする泉健太氏は次のように語る。

「インターネット広告がお客様の支持を得ている最大の理由は、@投資対効果が可視化しやすいこと、A情報(広告クリエイティブ)を届ける相手を効果的に絞り込めるターゲッティングの精度の高さにあります。これは、従来のマスメディアが長年かかっても実現し得なかったことです。インターネット広告の市場規模は10年で10倍にもなりましたが、広告手法とそれを実現するアドテクノロジーは現在も驚くべきスピードで進化しています」

フルスピードは、自らを“技術系インターネット総合広告代理店”と称しており、「当社は数ある広告代理店と差別化するために、インターネット広告代理店の一社であると同時に、アドテクノロジーの開発会社の側面も持つ、ハイブリット型のインターネット広告代理店を目指している」と泉氏は言う。

フルスピードの創業は2001年。当初はSEO(サーチエンジン最適化)コンサルティングサービスで名を馳せたが、現在はリスティング広告、アフィリエイト広告、ディスプレイ広告などの広告ソリューションをトータルに手掛け、新たにソーシャルメディアマーケティングの分野にも積極的に進出している。通信・インフラ技術に強みを持つフリービットのグループ企業の一社でもある。

「2012年6月に、フルスピードの広告ソリューションツールの新ブランドとして、広告運用統合プラットフォーム『AdMatrix(アドマトリックス)Series』を発表しました。SEOやリスティング広告、ディスプレイ広告など、個々の広告手法の成果だけでなく、プロモーション全体での効果や効率化を追求することができるツールです。複数のインターネット広告手法を最適に組み合わせることでお客様の投資対効果を最大化することが、AdMatrix Seriesにおける私たちのチャレンジでした」(泉氏)

最初にサービスを開始したのは昨年リリースされたリスティング広告の自動入札と最適化を実現する「AdMatrix SEM Optimizer」である。続いて、高品質なSEOサービスをオンライン上で利用できる「AdMatrix SEO Online」が今年リリースされた。

「AdMatrixのサービス基盤は、これまで私たちが手掛けてきたシステムとは大きく要件が異なりました。最大の違いは、「AdMatrix DSP」「AdMatrix 3PAS」において、膨大なログデータの収集・管理・分析を高速で実行する仕組みが求められたことです」と語るのは、構築プロジェクトをリードしたディスプレイ広告開発部 部長の服部司氏である。


ソリューション

膨大なデータをHadoop/HBaseで収集・管理・分析
株式会社フルスピード メディア戦略本部 ディスプレイ広告開発部 部長 服部司氏
株式会社フルスピード
メディア戦略本部
ディスプレイ広告開発部
部長 服部司氏

プロジェクトの経緯を紹介する前に、服部氏の言う「膨大なログデータ」とはどのようなものか明らかにしておこう。

インターネット広告の世界では、ターゲットの属性や行動履歴によって動的に表示される“ディスプレイ広告”が大きな成長を遂げている。ここで重要な役割を担うのが、DSP(Demand Side Platform)やSSP(Supply Side Platform)などのプラットフォーム、そして広告枠のリアルタイム入札システムだ。フルスピードが開発するAdMatrix DSPは、証券取引所での株式売買のように0.01秒単位で広告枠への入札を行う。入札の根拠となるのはオーディエンスやターゲットの属性や行動履歴などの情報だ。そして、落札された広告枠にリアルタイムで広告が配信される。

「間もなくリリースする『AdMatrix DSP』では、独自の最適化エンジンによって自動入札を実行し、手作業による運用では実現し得ない高い費用対効果を実現します。インプレッション(表示回数)、CTR(クリック率)、クリック回数、コストなどがグラフ表示され投資対効果が一目でわかりますので、複数のSSPをまたがる全体の予算配分を最適化できます」(服部氏)

フルスピードが運営するDSPへのアクセスは1秒間に数万、月当たりでは数百億にも達する見込みである。こうした過程で生成されるログデータが膨大な量になることは、容易に想像できるだろう。

さて、AdMatrixのサービス基盤の構築プロジェクトは、これまでと同様オープンソースソフトウェア(OSS)による自社開発を基本に進められた。

「AdMatrixでは、この膨大なデータを収集・管理し、お客様の要望に沿った分析レポートをオンデマンドで提供します。バックエンドでのデータ処理の仕組みは、HadoopとHBaseを組み合わせて構築しました」と服部氏は説明する。

Hadoopは、大規模データを効率的に分散処理・管理するためのソフトウェア基盤として、企業情報システムの分野でも注目を集めている。HBaseは、Hadoopクラスタが利用するHDFS(Hadoop Distributed File System)上に構築可能な分散データベースである。

膨大なデータをHadoop/HBaseで収集・管理・分析

[拡大画像を表示] このリンクをクリックすると、新しいウィンドウが開きます

「HDFSは巨大なデータを一括で読み書きする処理は得意ですが、ランダムなリード/ライトは苦手です。これを補完する高速なデータストアとしてHBase を採用しました。HDFSでデータを分散管理して単純な集計までを行い、HBaseでユーザーの行動履歴をランダム検索するような使い分けを工夫しています」(服部氏)

HBaseは、リレーショナルデータベース(RDBMS)が担うような複雑なトランザクション処理には向かないものの、数ペタバイトのデータを1秒間に数百万クエリという性能で処理するポテンシャルを秘めている。また、スケールアウトによって処理性能の拡張が容易に行えるメリットもある。Hadoop/HBaseがビッグデータ解析に最適、と言われる所以はここにあるわけだ。



効果と今後の展望

Zabbixによるシステム監視機能を実装
株式会社フルスピード メディア戦略本部 技術開発部 齊藤貴義氏
株式会社フルスピード
メディア戦略本部
技術開発部
齊藤貴義氏

大規模なログデータを収集・管理・分析するための基盤構築は順調に進んだ。基盤を監視するシステムはOSS のZabbixを採用することを想定していたが、ここでプロジェクトは課題に直面したという。

「Zabbixは、稼働状況とパフォーマンスを統合的に監視できるのでメリットが大きいと考えていました。しかし、Zabbixには、Hadoop/HBase環境を監視できる機能が標準では提供されていませんでした。オープンにされている実績もほとんど見当たりませんでした」と技術開発部の齊藤貴義氏は振り返る。

2013年2月に開催されたオープンソースカンファレンス2013で、齊藤氏は打開のヒントを見出す。HPが開発した「Zabbix向けHadoop監視プラグイン」である。

「このプラグインを使えば、ZabbixからHadoop環境の分散サーバー、ネットワーク、アプリケーションまでを監視できます。Hadoopクラスタ全体の負荷状況、ハードウェアの障害、アプリケーションプロセスの実行状況――どの情報もAdMatrixのサービスを安定的に提供するためには欠かせません。まさに私たちが求めていたツールでした」(齊藤氏)

HPでは、この「Zabbix向けHadoop監視プラグイン」をコンサルティングサービスとともに提供している。その意図はどこにあるのか。HPのコンサルタントは次のように説明する。

「Hadoop/HBase環境を安定的に運用するにあたっては、どの監視ポイントを注視すべきか、監視トリガーをどのように設定すべきか、リソース使用状況のトレンドをどう捉えるかなど様々なノウハウが求められます。本プロジェクトでは、ツールをご提供するだけでなく、お客様システムのサービスレベル要件やアプリケーションの特性などを加味してプラグインのカスタマイズを行い、さらに運用監視のノウハウを含む技術移転を行うなどトータルにご支援しました」

本プロジェクトにおいて、HPは監視画面の構築や運用に必要なドキュメントの整備も行ったが、「プロジェクトの進捗過程で発生する課題をQ&Aでタイムリーに解決してくれたことが大きかった」と齊藤氏は振り返る。

「Hadoop/HBase環境は分散ノードによって冗長性を確保しますが、特定のサーバーの負荷が高まったとき連鎖的に他の複数サーバーが影響を受ける可能性があることを知りました。こうした監視ノウハウを含め、AdMatrixのサービスを安定的に提供するにはHPのコンサルティングは不可欠だったと思います」

OSSを採用したシステム環境で常に課題になるのが、ソフトウェアのバージョンをどこで固定して安定稼働を確保するかだ。折しもHadoopのメジャーバージョンアップが目前に控えていた。

「迷わず最新版を採用しました。進化の速いオープンソースの世界では常に最新技術を追求する姿勢が重要、と私たちは考えています。バージョンアップは階段を1段ずつ登るようなもの。2段3段を一気にジャンプするよりもはるかに低リスクでシステムの安定稼働にとっても有効なのです」(服部氏)

「エンジニアとしてのモチベーションも上がります」と服部氏は笑うが、「急遽、HPのHadoop監視プラグインもバージョンアップを依頼しました。十分なドキュメントが整っていない中、Hadoopから出力される情報を解析しながらアップデートしてもらったのです」そんな苦労も現場ではあったらしい。

プロジェクトは、HPのサポートも寄与しスケジュール通りに無事完了した。広告運用統合プラットフォーム「AdMatrix」は順調にサービスメニューを拡充し、予想以上のペースで支持を拡大している。

「フルスピードは、2012年からアジア市場への進出を本格化させています。インターネット広告代理店とアドテクノロジー企業、この2つの機能を活かして世界規模で広告ソリューションをリードしていく考えです」
―泉氏


時代の最先端をフルスピードで疾走

さて、HPはワールドワイドでHadoopを含むOSSコミュニティに貢献しているが、日本でもその動きが活発化している。

「日本ヒューレット・パッカード内のOSS技術者を結んで、ドキュメントやノウハウの共有など積極的な情報交換を行っています。この活動はグローバルでも行われており、世界のOSS技術者とネットワークを構築しコミュニケーションを図ってお客様への提案に活かしています」と語るHPのコンサルタントは、日本ヒューレット・パッカードにおけるOSS技術者コミュニティの中心メンバーでもある。

アドテクノロジーの進化は、ターゲティング広告の精度をいっそう高めて、顧客企業に広告予算の最適配分やROI 向上というメリットをもたらすだろう。一方で、高度なマッチング技術は、ネットユーザーに対して“欲しい情報”を届ける役割を果たしていくことにもなる。

「大規模データ分析の経験を、データマイニング領域や広告効果の高いクリエイティブの研究・開発にも活かし、お客様のROI最大化に貢献できる広告ソリューションを生み出していきたいと考えています。AdMatrix Seriesでは、ユーザーのコンテクストを予測して情報提供ができるように精度を高めることで、ユーザーにとっての上質なWEB体験に貢献していくことを目指しています」と泉氏は抱負を語る。

泉氏はさらに次のように語って締めくくった。

「フルスピードは、2012年からアジア市場への進出を本格化させています。インターネット広告代理店とアドテクノロジー企業、この2つの機能を活かして世界規模で広告ソリューションをリードしていく考えです。その名の通り、フルスピードで疾走していきます。日本ヒューレット・パッカードには当社サービスのレバレッジを効かせる更なる技術革新と最適なコンサルティング支援を今後も期待しています」



ソリューション概略

導入ソフトウェア 導入サービス
・Zabbix向けHadoop監視プラグイン ・HP Hadoop/HBaseコンサルティング


会社概要

株式会社フルスピード
所在地: 東京都渋谷区円山町3−6 E・スペースタワー8F
代表取締役社長: 田中伸明
URL: http://www.fullspeed.co.jpこのリンクをクリックすると、HP社外へリンクします。

事例キーワード

業種: インターネット広告
サービス: オープンソース・エキスパート・サービス、Hadoop, HBase, インターネット広告、AdMatix、Zabbix プラグイン、ビックデータ、オープンソース、OSS


本ページに記載されている情報は取材時におけるものであり、閲覧される時点で変更されている可能性があります。予めご了承下さい。
印刷用画面へ印刷用画面へ
プライバシー ご利用条件・免責事項