講演資料: IoT戦略を実現するエンタープライズHadoopの展開

Using Hadoop for IoT Success
Andy Leaver
VP of International Operations
Hortonworks, Inc.
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Hortonworksについて
拡大する顧客
• 導入実績 約700社 (2015年11月4日現在)
• 2015年第3四半期中に新たに152社が採用
• NASDAQ上場: HDP
Hortonworks Data Platform
2011 年設立
アーキテクト、開発者、オペレーターか
らなるYahoo! の 24 人の
初代Hadoopエンジニア
800名+
1500社+
従業員数
エ コシ ス テム
パートナー
• あらゆるアプリケーションやデータに対応する完全
にオープンなマルチテナントプラットフォーム
• 一貫したセキュリティ、オペレーション、ガバナンス
のエンタープライズ向けサービス
パートナーとの連携により顧客のメリッ
トを最大化
• オープンソースコミュニティを牽引し、企業ニーズに
対応するイノベーションに注力
• 卓越したHadoopサポート サブスクリプション
Page 2
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
エコシステムとの統合
パートナー
Page 3
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
業界標準との同期
エコシステム相互運用性の向上
Apache Hadoop対応
オープン
プラットフォーム
Hortonworksが立ち上げたOpen Data Platform（ODP）イニシアティブの一環
Pivotal HD
選択肢の開放
OD P コア
HDP
Page 4
Apache Hadoop
Apache Ambari
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
HDPと統合された複数のベンダーのコンポーネ
ントを選択可能
IIP
無駄な当て推量の解消
システムバージョンの調整を行う必要がある
アーキテクトに対するメリット
Pivotal とHortonworks
•
共同エンジニアリング
共通コアをベースとするPivotal HDとHDP
Pivotal HAWQをHDPで認定
•
その他のアプリ/ツール
Open Data Platform（オープンデータプラットフォーム）
の設立メンバー
Pivotal Hadoop ディストリビューション
Hortonworks Data Platform (HDP)
ODP#
(Enterprise Hardening)
PIVOTALとHORTONWORKS
の連携で、オープンソース
ソフトウェアを強力に推進
Page 5
PIVOTAL AND HORTONWORKS ARE STRONG DRIVERS OF OPEN SOURCE SOFTWARE
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
#OpenDataPlatform.org
*ex. 分析用アプリケーション、仮想化ツール等
Pivotal HAWQ on HDP 認定
Page 6
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Hortonworksだけが実現できるOpen Enterprise Hadoop
H O R T O N W O R K S D A T A P L A T F O R M
バッチ
インタラクティブ
検索
ストリーミング
機械学習
YARN: データオペレーティングシステム
ク リック ストリーム
Page 7
センサー
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
ソーシャル
モ バイル
地理位置情報
サー バー ログ
既存デ ー タ
Hadoopの機能を拡大するHortonworks DataFlow
Hortonworks DataFlow 消滅性の洞察
Apache NiFi実装
データや
メタデータの格納
Internet
of Anything
コンテキストの
強化
Hortonworks Data Platform
Hortonworks Data Platform
Apache Hadoop実装
過去の洞察
powered by Apache Hadoop
Hortonworks DataFlowとHortonworks Data Platformの組み合わせで
業界で最も完全なビッグデータソリューションを提供
Page 8
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Hadoop導入の2つの選択肢
O P E N E N T E R P R I S E H A D O O P
プロプライエタリー
App
App
App
App
App
App
オー プンコミュニティ
Page 9
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Tweet: #hadooproadshow
オープン
一元化
Open
Enterprise
Hadoop
相互運用性
万全の対応
Page 10
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Tweet: #hadooproadshow
オープン
一元化
Open
Enterprise
Hadoop
相互運用性
万全の対応
Page 11
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Tweet: #hadooproadshow
イノベー ション
オー プ ンコミュニティ
完全にオープンな
Hortonworks Data Platform リスクの解消
完全なオープンソースであるApache技術を提
供することで、ベンダー固定化のリスクを解消
イノ ベーションの
優位性
独自の HADOOP
時間
コミュニ ティイノベーションの最大化
Page 12
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Tweet: #hadooproadshow
コミュニティイノベーションの最大化
数百社の企業の数百人の開発者により、
コミュニティイノベーションを最大化
シームレスな統合
共同エンジニアリングの取り組みを通して、
他の先進技術を統合
オープン
一元化
Open
Enterprise
Hadoop
相互運用性
万全な対応
Page 13
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Tweet: #hadooproadshow
YARN ベースのアーキテクチャによるプラットフォーム一元化
YA R N
デ ー タオペレー ティングシステム
プラットフォーム一元化
オペレーション、ガバナンス、セキュリティ
バッチ
機械学習
多様なアプリケーション
ガバ ナン ス
単一クラスタで同時実行
スト レ ー ジ
スト レ ー ジ
オペ レ ー シ ョン
データ取り込みの最大化
ローフォーマットかどうかに関係なく、新旧の
ソースに対応
セキ ュリ テ ィ
ストリーミング
インタラクティブ
ビッグデータ資産の共有
すべての事業部門、機能部門、ユーザー間で
の共有
検索
Page 14
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Tweet: #hadooproadshow
オープン
一元化
Open
Enterprise
Hadoop
相互運用性
万全な対応
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Tweet: #hadooproadshow
最も柔軟な選択肢を提供
あらゆるデータ
あらゆるアプリケーション
あらゆる場所
既存・新規のデータベース
複数のデータ分析エンジン
完全な導入オプション
クリック
ストリーム
バッチ
センサー
オンプレミス
クラウド
Linux
Windows
インタラクティブ
ソーシャル
モバイル
検索
ストリーミング
地理
位置情報
Page 16
サーバー
ログ
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
機械学習
Tweet: #hadooproadshow
オープン
一元化
Open
Enterprise
Hadoop
相互運用性
万全な対応
Page 17
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Tweet: #hadooproadshow
安定した運用
YA R N
デ ー タオペレー ティングシステム
一元化
バッチ
機械学習
ガバ ナン ス
自動プロビジョニング
Cloudbreak APIにより、オンプレミスかクラウド
のいずれかの環境に数分でクラスタをプロビ
ジョニング
スト レ ー ジ
スト レ ー ジ
Oオペ
PEレ
RAーTIシOョン
NS
セキ ュリ テ ィ
インタラクティ
ブ
ストリーミン
グ
検索
Page 18
Hadoopクラスタの管理・監視
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Tweet: #hadooproadshow
マネージドサービス
ダッシュボードとアラート機能により、高可用性
と一貫したライフサイクル管理を提供
信頼できるガバナンス
YA R N
デ ー タオペレー ティングシステム
データ管理
バッチ
機械学習
データライフサイクル全般における管理
G Oガバ
V E RNA
NCE
ナン ス
メタデータによるモデリング
スト レ ー ジ
スト レ ー ジ
オペ レ ー シ ョン
ハイブリッドアプローチにより総合的なデータリ
ネージが実現
セキ ュリ テ ィ
相互運用ソリューション
インタラクティ
ブ
ストリーミン
グ
検索
Page 19
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Tweet: #hadooproadshow
共通のメタデータストアにより、Hadoopエコシ
ステム全体で相互運用が可能
包括的なセキュリティ
YA R N
デ ー タオペレー ティングシステム
包括的なセキュリティ
バッチ
機械学習
暗号化
ガバ ナン ス
保存データと移動中のデータの暗号化
スト レ ー ジ
スト レ ー ジ
オペ レ ー シ ョン
プラットフォームアプローチによるセキュリティ
管理の一元化
セキ
S E CURI
ュリ テTY
ィ
セキュリティポリシーとユーザー認証の管理
インタラクティ
ブ
ストリーミン
グ
きめ細かな承認
データアクセスを管理
検索
Page 20
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Tweet: #hadooproadshow
HortonworksのApache
コミュニティに対する影響力
コミッターの多くがHortonworks社員
-­-­ Apache® Hadoop™プロジェクトの
全コミッターの1/3、および他の重要プロジェクト
のコミッターの大多数を占める
Hortonworksコミッターの役割
Open Enterprise Hadoopの革新と拡張
Hadoopロードマップに対する影響力
リーダーを通じて、重要な要件をコミュニティに
伝達
A P A C H E H A D O O P の コ ミ ッ タ ー
Page 21
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Tweet: #hadooproadshow
IoAT データは消費を上回るペースで拡大
Internet of Anything
センサー、マシン
地理位置情報
サーバーログ
新たな事業機会
データの完全な忠実性とあらゆるデータの分
析によって、かつてないビジネス価値の変革を
実現
新規
クリックストリーム
ソーシャルメディア
ファイル& e メール
従来のデータソース
ERP, CRM, SCM
Page 22
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
既存
新規データの多くが
Internet of Anythingの
一部としてシステムと
デバイスの間を
飛び交っている
脅威
既存のデータアーキテクチャによって、
データのアクセス性、完全性、関連性、
経済性が損なわれる。
Page 23
© ortonworks I nc. 2011 – 2015. All Rights Reserved
©H
Hortonworks 機会
Apache™ Hadoop®はビジネスを変革し、
高度な分析用途に向けたビッグデータへ
のアクセスを容易にする。
Page 24
© ortonworks I nc. 2011 – 2015. All Rights Reserved
©H
Hortonworks Call Analysis
Machine Data
Factory Yields
Payment Due Tracking Diligence
Sentiment Analysis
Social Mapping
Customer Optimize Support Inventories
Product Design
Ad Placement
M & A
Defect Detection
Cross-­
Sell
Basket Analysis
Supply Chain
Segments
Customer Vendor Retention Scorecards
Next Product Recs
Proactive Repair
Inventory Predictions
Store Design
Disaster Investment Mitigation Planning
Risk Ad Modeling Placement
事業経営者は、ビッグデータの新たな用途（データディスカバリー、顧客の単一ビュー、予測分析
など）を可能にする次世代アプリケーションにより、変革につながる成果の促進を図っている。
Page 25
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
ITエグゼクティブは、 Open Enterprise Hadoopによりデータアーキテクチャの近代化を図ることで、
運用コストを大きく削減。コスト削減に向けた革新技術には、コールドデータのアクティブアーカイブ、
ETLプロセスのオフロード、既存データの充実化などがある。
Device Data
Ingest
OPEX
Reduction
Data
as a Service
Historical Records
Fraud Prevention
Mainframe Offloads
Page 26
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Rapid Digital Reporting Protection
Public Data Capture
Call Analysis
Machine Data
Factory
Yields
Payment Due Tracking Diligence
Sentiment Analysis
Social Mapping
Customer Optimize Support Inventories
Product Design
Ad Placement
M & A
Defect Detection
Cross-­
Sell
Basket Analysis
Supply Chain
Next Product Recs
Proactive Repair
Segments
Inventory Predictions
Customer Vendor Retention Scorecards
Store Design
Disaster Investment Mitigation Planning
Risk Ad Modeling Placement
Device Data
Ingest
OPEX Reduction
Data
as a Service
Historical Records
Fraud Prevention
Rapid Digital Reporting Protection
Mainframe Offloads
Public
Data Capture
お客様は、Hortonworks ®のテクノロジーを利用してビジネスの変革を図り、新たな事業目標の達
成やコストの削減を目指している。ユースケースの多くで、カスタマージャーニーに両方の目標が
組み込まれている。
Page 27
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Progressive
ビジネス上の成果
Page 28
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Progressive
IoT データを活用した
走行状況連動型保険 (UBI)におけるリスク予測
Progressive Snapshot は、車載センサーを通じてIoTの走行
データを送信することで走行状況連動型保険を提供
センサーで最大6カ月間の運転状況を収集し、データは各国規
制に従って長期間保存される
Progressiveの従来のシステムでは効率的な拡張が困難
UBIデータ全体の4分の1をデータ変換するだけで5~7日間を要
していた
Page 29
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Progressive
予測分析によって
新たな事業分野の拡大を推進
Progressiveは、今では収集可能なSnapshotデータを100%取
得可能
すでに100億マイルを超える走行データを保管
取得データは従来の4倍の量に拡大しながらも、データ処理に
要する時間は1週間から2日間に短縮
Progressive社では同時に、Web対応版、広告掲載、保険請求
内容の分析など、新規アプリケーションの提供も開始
Page 30
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Progressive
詳細な走行状況データの分析で
優良運転者の保険料を減額
Snapshotを通じてすべての加入者の詳細な走行状況データを
収集することで、 安全運転者に対して保険料の割引が可能に
加入者はWebアプリを利用して、自分の走行データを確認可能
SnapshotとUBI関連事業に牽引され、Progressive社は2014
年度 保険料収入26億ドル を達成
Page 31
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Progressive
Open Enterprise Hadoopでの
カスタマージャーニー
Web ログ分析
オンライン広告
掲載
センサーデータの
取得
Page 32
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
UBI保険料
クレームノート
マイニング
個人の
運転履歴
Cardinal Health
コスト削減
Page 33
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Cardinal Health
取得できるデータに制約があることが
Fuseの医療用品サプライチェーン分析のネックに
Cardinal Health社は全世界で6万か所を超す医療施設に医薬
品を納入し、全米の病院・クリニックの85%を顧客に持つ
サプライチェーン全体が限定的にしか可視化されておらず、納
入した医薬品の使用状況が把握できていなかった
急性疾患の場合、薬剤師はすべての医薬品の選択肢を一覧す
る手段がなく、症状に合わせた処方を行うことができなかった
Page 34
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Cardinal Health
Fuseを新たな事業分野として立ち上げ
豊富な医療データを顧客に提供
Cardinal Health社はより安全で コスト効率の高い医療のため
に、 新たな事業としてFuseの提供を開始
分析処理のピーク時は、Fuse担当部門がHDPのクラウドクラ
スタを数時間（数週間ではなく）に渡って稼動
現在、Fuseは一般公開データを加えてサプライチェーンデータ
を強化し、サプライヤーからプロバイダー、患者まで全てのデー
タを一体化して提供
Teradataとの統合によって既存の投資の活用も可能に
Page 35
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
「当社では社内のデー
タ源だけでなく外部
データも最大限に取り
入れようとしています。
問題は、政府機関が
提供する豊富なデータ
をどう活用できるかと
いうことです」
Fuse部門ビッグデータ
アナリティクス担当プ
リンシパル
ジェフ・グラハム氏
Cardinal Health
公開情報を活用したデータエンリッチメントにより
クラウドでのセルフサービス・アナリティクスを提供
ETL を排除することでデータ処理速度は2倍に向上
Fuseによってサプライヤーに自社医薬品の使用状況に関する
情報を提供
急性疾患に対する最適な医薬品コストの分析を行って、薬剤処
方に関してより多くの洞察を提供
公開データを加えて既存データに強化し、サプライヤー、プロバ
イダー、患者の全てのデータを統合して成果に基づく医療を
実現
Page 36
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
「これほど大幅に処
理時間が短縮された
ことで、今では事業
部は単なる報告業務
よりも、リサーチ業務
により多くの時間を
費やし始めています」
情報&インテグレー
ションアーキテクチャ
担当VP
ニーラジ・クマー氏
Cardinal Health
Open Enterprise Hadoopでの
カスタマージャーニー
医薬品サプライチェーン
分析
センサーデータの取得
Page 37
臨床医療
診断支援
成果ベースの
医療
パンデミック対応
のための
迅速な流通体制
患者の
単一診療記録
医薬品コストの最適化一般公開データの 処方箋アーカイブ
取得
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
「Hortonworksは
100%オープンソース
のチャンスを提供して
くれました。困難な課
題に直面しても、いつ
でも力になってくれま
した」
Fuse部門ビッグデータ
アナリティクス担当プ
リンシパル
ジェフ・グラハム氏
Yahoo! JAPANの取り組みのご紹介
日本でのクラスタ運用に向け、Hortonworksを採用決定
日本で最大級のクラスタを構築 (2015年3月リリース発表）
数千ノード規模の次世代データプラトフォームを支えるコアイン
フラとして利用し、現行サービスの次世代版や新サービスを
展開していく予定
次世代Web事業を推進していく上で重要なROI、データ容
量、処理性能も大幅に向上することが見込まれる
Yahoo! JAPANがHortonworksと緊密に連携した共同研究開
発を展開し、Hadoopの性能および機能を強化していくこ
とで、Apacheソフトウェア財団コミュニティにも貢献
Page 39
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
「パートナーとして
Hortonworksを選ん
だのは、同社のオー
プンソースモデルと
リーダーシップを評価
してのこと 」
データソリューション
本部長
小間基裕氏
(2015年3月現在）
Thank you.
40
© Hortonworks I nc. 2011 – 2015. All Rights Reserved
Tweet: #hadooproadshow