Comments
Description
Transcript
日立ソリューションズのビッグデータビジネス
Prowise Business Forum in Tokyo 第65回 【日立ソリューションズ セッション】 日立ソリューションズのビッグデータビジネス ～Hadoopソリューションとビッグデータ利活用～ 株式会社 日立ソリューションズ ビッグデータビジネス推進センタ 吉田 行男 © Hitachi Solutions, Ltd. 2013. All rights reserved. Ｃｏｎｔｅｎｔｓ １．はじめに ２．市場動向と近況 ３．ビッグデータ事業への取り組み ４．Hadoop動向と活用事例 ５．まとめ © Hitachi Solutions, Ltd. 2013. All rights reserved. 1 Ｃｏｎｔｅｎｔｓ １．はじめに ２．市場動向と近況 ３．ビッグデータ事業への取り組み ４．Hadoop動向と活用事例 ５．まとめ © Hitachi Solutions, Ltd. 2013. All rights reserved. 2 １． はじめに １．１ ビッグデータについて ビッグデータというキーワード IT業界のキーワードとして、2010年頃から注目を浴び始めた『ビッグデータ』 一方で、本質が掴み難く、バズワードと捉えられているのも現実 約3年経った現在も、「ビッグデータとは何か?」、「これまでの分析と何が違う のか?」といった議論が交わされ、 「当社にはビッグデータは存在しない」として、まだまだ重要視されない状況 や動向観察の企業も少なくない © Hitachi Solutions, Ltd. 2013. All rights reserved. 3 １． はじめに １．２ ビッグデータについて(2) ビッグデータを活用する意義 ビッグデータには、様々な定義や技術もあるが、 今、企業が業種やデータ規模を問わず、取り組む意義が高いテーマ ITシステムのハードウェア、ソフトウェアがコモディティ化した現在、差別化や 優位性の確保には『データ主役時代』になっている ビッグデータから得られる価値は何か？ 分析してみなければ分からないというのも事実 仮説を立て検証するデータ分析もあるが、大量データを機械学習などによ る分析で『データが語る事実』が得られる事もある 後者は、トライして初めて分かる事、そして論理的な根拠が無い事もある データの利活用には、これまでのようにベンダーやSIerだけでは困難 ユーザ企業と一体となった戦略的推進が必要なビジネス 日本企業には、データ活用の4強(*)に負けない、休眠データが沢山ある *…Google, Amazon, Facebook, Apple © Hitachi Solutions, Ltd. 2013. All rights reserved. 4 Ｃｏｎｔｅｎｔｓ １．はじめに ２．市場動向と近況 ３．ビッグデータ事業への取り組み ４．Hadoop動向と活用事例 ５．まとめ © Hitachi Solutions, Ltd. 2013. All rights reserved. 5 ２． 市場動向と近況 ２．１ ビッグデータ市場動向 ビッグデータの市場動向 国内ビッグデータ技術／サービス市場は黎明期、今後の成長率も高い ビッグデータ市場規模 2011年度 1,900 億円 2020年度 1 兆円 （億円） CAGR 21.0% (2011年～2020年） 出典：矢野経済研究所 ﾋﾞｯｸﾞﾃﾞｰﾀ市場に関する調査結果2012 ビッグデータの認知度、実活用メリットや手法の理解はまだまだ低い 動向調査 国内企業1,050社 認知度 情報ｼｽﾃﾑ部門 業務部門 ビッグデータ活用 の検討 56.8 % 31.1 % 13.6 % ビッグデータ活用 ITｼｽﾃﾑ導入済 2.6 % 出典：IDC Japan 2012年 国内ﾋﾞｯｸﾞﾃﾞｰﾀﾃｸﾉﾛｼﾞｰ/ｻｰﾋﾞｽ市場 需要動向分析 © Hitachi Solutions, Ltd. 2013. All rights reserved. 6 ２． 市場動向と近況 ２．２ ビッグデータの定義・特徴 ビッグデータの定義と特徴 Volume (容量)： 従来の技術による処理量を超えた 大容量ﾃﾞｰﾀ Variety (種類)： 画像/音声/ﾛｸﾞなど非構造化ﾃﾞｰﾀ Velocity (頻度・ｽﾋﾟｰﾄﾞ)： ﾃﾞｰﾀ生成/分析の高速化､ﾘｱﾙﾀｲﾑ化 Value (価値)： 分析&利活用で経済的価値が発生 ビッグデータの課題的特徴 ビッグデータの特徴 【ﾃﾞｰﾀ容量の増加】 固定長ﾃﾞｰﾀ 画像/映像ﾃﾞｰﾀ 非固定長ﾃﾞｰﾀ 非構造化ﾃﾞｰﾀ 【価値】 データ分析から 発見、創出 定型ﾃﾞｰﾀ 構造化ﾃﾞｰﾀ 【ﾃﾞｰﾀ種類の多様化】 ｾﾝｻﾃﾞｰﾀ 手入力ﾃﾞｰﾀ 定期発生ﾃﾞｰﾀ 【ﾃﾞｰﾀ発生頻度・ ｽﾋﾟｰﾄﾞの高速化】 プライバシーなどのコンプライアンス： 各種情報の組合せによって、個人特定などが可能な情報が生成される 分析データの取り扱い： データ分析する際に、利用するデータは自社データのみでない事も多い また、分析されたデータをマネタイズするのは自社のみではない事もある © Hitachi Solutions, Ltd. 2013. All rights reserved. 7 ２． 市場動向と近況 ２．３ OSSの市場動向 OSS導入実績調査 Linux Foundation SI Forumが実施した 2011年度オープンソースソフトウェア導入実績調査から ① 調査概要 調査期間 ： 2012/3～2012/4 調査対象期間 ： 2011年度(2011/4～2012/3) 参加企業(8社) ： •株式会社日立製作所（日立Grは、日立で纏めて回答） •株式会社アシスト •日本電気株式会社／ＮＥＣソフト株式会社 •日本電信電話株式会社／株式会社ＮＴＴデータ •デル株式会社 •東芝ソリューション株式会社 •日本ヒューレット・パッカード株式会社 •富士通株式会社／株式会社PFU © Hitachi Solutions, Ltd. 2013. All rights reserved. 8 ２． 市場動向と近況 ２．４ OSSの市場動向 全体概況 クラウド／仮想化／ビッグデータ関連OSSの導入実績が急速に進んでいる 本年度、検証実績があるCloudForms、CloudFoundryなどは、来年は導入 実績が予想される 分 野 結 果 OS / Distribution Android、Debian、Ubuntuなどが導入され、OS利用の多様化が進行 導入実績多数 ： CentOS, Fedora, Android, Debian, Ubuntu等 導入実績あり ： LKST, openSUSE, Vine Linux 仮想化 / クラウド 「クラウドビジネス」との融合により、大規模な仮想化環境の導入が必要 クラウドインフラの費用を圧縮するためOSSのツールへの移行が進展 導入実績多数 ： KVM, Xen, OpenStack 導入実績あり ： oVirt, VirtualBox, CloudStack, QEMU等 DB・関連ツール 昨今のクラウド・ビッグデータビジネスの影響を色濃く反映 Hadoopの導入実績の増加に合わせ、関連ツール類も増加 導入実績多数 ： PostgreSQL、MySQL 導入実績あり ： CDH、memcached © Hitachi Solutions, Ltd. 2013. All rights reserved. 9 ２． 市場動向と近況 ２．５ OSSの市場動向 最も積極的に投資が進む分野でOSSの活用が活発 「クラウド」「ビッグデータ」 分野 クラウド OSSツール 導入実績社数 OpenStack ３ CloudStack ２ Eucalyptus ３ ビッグデータ Apache Hadoop Apache Hbase ４ ５ ITのトレンドはOSSが主導し、ベンダが追従する © Hitachi Solutions, Ltd. 2013. All rights reserved. 10 Ｃｏｎｔｅｎｔｓ １．はじめに ２．市場動向と近況 ３．ビッグデータ事業への取り組み ４．Hadoop動向と活用事例 ５．まとめ © Hitachi Solutions, Ltd. 2013. All rights reserved. 11 ３． ビッグデータ事業への取り組み ３．１ 日立ソリューションズのビッグデータ事業取り組み 全社活動に向けて「ビッグデータビジネス推進センタ(2012年12月)」を設立 「専任者＋各事業部(企画部門)兼任者」で構成し、 ビッグデータ事業の推進強化により、お客様への高付加価値の提案を実現 社内事業戦略を策定、事業計画立案、人財強化・育成 社内／社外との連携強化と活用 お客様への高付加価値ソリューション提案 お 客 様 連携 日立グループ 日立 製作所 ・・・ 日立 ｼｽﾃﾑｽﾞ 日立ソリューションズ (＋日立ソリューションズグループ) ビッグデータ ビジネス推進センタ 連携 各営業本部 連 携 オープンソース 技術開発センタ 各事業本部 社外 連携 パートナー 企業 日立ソリューションズ グループ(東日本 他) © Hitachi Solutions, Ltd. 2013. All rights reserved. 12 ３． ビッグデータ事業への取り組み ３．２ 日立ソリューションズのOSS関連事業取り組み 日立ソリューションズは早くからOSSに積極的に取り組んできています 時 期 2000～ 概 要 MIRACLE LINUXサポート及びLinuxサーバ構築サービスを開始 2004/04 ｢OSSサポートサービス｣を提供開始 2005/01 日本OSS推進フォーラム参画 → IPA OSS iPediaに評価結果を公開 –05/上：JBossクラスタ評価,05/下：Tomcatクラスタ及びMySQLスケ ーラビリティ評価,06/下：Geronimo評価 2005/07 Linux(OSS)コンソーシアム参画 2006/05 OSDL(現Linux Foundation) SI Forum に参画 –06,07,08,09,10,11年度 『OSSミドルウェア／ツール調査』実施 2008/06 OBCI(オープンソースビジネス推進協議会)参画 2009/02 レッドハット社とアドバンスド・ビジネス・パートナー契約締結 2010/04 OSSソリューションビジネス推進センタを設立 2010/07 Black Duck Software社とパートナー契約締結 2012/02 レッドハット社とJBoss プレミア・ビジネス・パートナー契約締結 OSCA(Open Standard Cloud Association)参画 2012/09 クラウデラ社とCDHパートナー契約締結 2013/03 ノーチラステクノロジーズ社とパートナー契約締結 © Hitachi Solutions, Ltd. 2013. All rights reserved. 13 ３． ビッグデータ事業への取り組み ３．３ 日立グループとの連携 日立グループとして、超上流～システム構築までビッグデータの利活用ビジ ネスを推進中。 日立ソリューションズは主にＩＴ（システム構築）が強み ビッグデータの 発生源 イノベイティブ・アナリティクス ビジネス シナリオ ビジョン 仮説 事業モデル 分析 分析技術 ＩＴ 生まれる価値 １ 見えなかったものが 見えてくる ２ 新しい視点で 価値を発見できる ３ 「今」から「未来」を 予測できる ビッグデータ 利活用基盤 分析人財 データ収集 デバイス 分析ツール サーバ・ ストレージ・ クラウド データ・アナリティクス・マイスターサービス © Hitachi Solutions, Ltd. 2013. All rights reserved. 14 ３． ビッグデータ事業への取り組み ３．４ 日立グループとの連携 日立グループとして５つの分野でビッグデータの利活用ビジネスを推進 この中に日立ソリューションズの独自技術を適用 Ｓｏｌｕｔｉｏｎ ３ ロケーション ビッグデータ Ｓｏｌｕｔｉｏｎ １ Ｓｏｌｕｔｉｏｎ ２ ヒューマン ビッグデータ マシン ビッグデータ 人の状態や行動に関する データを利活用 モノの稼働情報に関する データを利活用 専用テクノロジー 専用テクノロジー 人間行動測定用ｾﾝｻｰ ＡｉｒＳｅｎｃｅ ライフ顕微鏡 ・・・ Ｓｏｌｕｔｉｏｎ ４ マーケット ビッグデータ ＳｍａｒｔＭＯＤＵＬＥ ・・・ Ｓｏｌｕｔｉｏｎ ５ スマートインフラ ビッグデータ 生活や社会を表す データを利活用 位置情報や空間の データを利活用 リアルな市場を表す データを利活用 専用テクノロジー 専用テクノロジー 専用テクノロジー ＡｉｒＬｏｃａｔｉｏｎ ＣｏｒｅＥｘｐｌｏｒｅｒ ＧｅｏＭａｔｉｏｎ ＧＰＳ Ｓｔｒｅａｍ ・・・ ＳｙｎＣＡＳ ＰＳＩ ・・・ 情報制御連携環境 ・・・ © Hitachi Solutions, Ltd. 2013. All rights reserved. 15 Ｃｏｎｔｅｎｔｓ １．はじめに ２．市場動向と近況 ３．ビッグデータ事業への取り組み ４．Hadoop動向と活用事例 ５．まとめ © Hitachi Solutions, Ltd. 2013. All rights reserved. 16 ４． Hadoop動向と活用事例 ４．１ Hadoopがもたらすパラダイムシフト Hadoopにより、これまで敷居の高かった大量データの分析が どこでも、誰でも、どんな規模からでも実現可能になります ハードウェア ●エンタープライズ向け サーバ、ストレージ ●ミッドレンジ向け サーバ、ストレージ ソフトウェア エンタープライズ向け 専用ソフトウェア 商用ソフトウェア 汎用ソフトウェア ●コモディティサーバ、 ストレージ オープンソース ソフトウェア CPUやHDDの性能が飛躍的に 向上し、高機能なPCが廉価で 容易に手に入れられる時代 OSS利用のノウハウの高まりに よって、敬遠傾向から、積極的 な活用傾向へ転換している 従来 ■高価なシステム 大量データの取り扱いには、高価な システム環境構築が必須 ■高度な技術 専用ソフトウェアと高度な分析手法 などスペシャリストが必須 Hadoopによる パラダイムシフト ■コモディティ化システム 高価な機器、大規模な設備が無くと も、PB級のデータが取り扱える ■オープンでグローバルな技術 世界中の誰でも入手、利用できる技 術やノウハウで、高度な分析も大量 データの取り扱いも可能 © Hitachi Solutions, Ltd. 2013. All rights reserved. 17 ４． Hadoop動向と活用事例 ４．２ Hadoopの動向 Hadoopの利用機能と利用シーン（ニーズ）の変化 Hadoopコアコンポーネント HDFS MapReduce ＋ HDFS Pig 各種Hadoop関連プロジェクト Hive Pig Flume Sqoop HBase Zookeeper ・・・ スケールアウト可能な分散ファイルシ ステム(HDFS)と、 並列処理実行(MapReduce)による トライアル的な利用中心 並列処理を容易に操作する為、 一部の関連プロジェクトの利用 MapReduce ＋ 変化 一部のHadoop関連プロジェクト Hive Hadoopコアコンポーネント 実データ分析による、ビジネス活用の 開始 データ収集や視覚化などのシステム 設計を含めた各種プロジェクト利用 実運用レベルでの活用に向けた、信 頼性・可用性設計 © Hitachi Solutions, Ltd. 2013. All rights reserved. 18 ４． Hadoop動向と活用事例 ４．３ Cloudera社のCDH/Cloudera Enterprise Cloudera社について Apache Hadoopの商用ディストリビューションを開発・提供している企業 Hadoopの開発者 Doug CuttingがCloudera社のチーフアーキテクト Hadoopビジネスで最も有名な企業であり、 Cloudera社のCDHやCloudera Enterpriseは世界中で最も多く利用されている CLOUDERA ENTERPRISE THE PLATFORM FOR BIG DATA 管理ソフトウェア ＆サポート CDH Cloudera Manager Cloudera Support OSS 100% Open Source CDH (Cloudera's Distribution including Apache Hadoop) HDFS ZooKeeper MapReduce MapReduce2 Hive Pig Impala Flume Sqoop Mahout Oozie Hue Whirr HBase ClouderaEnterprise(Core) ClouderaEnterprise(RTD) ClouderaEnterprise(RTQ) 日立ソリューションズでは、 2012年10月にCloudera株式会社と販売代理店契約を締結。 © Hitachi Solutions, Ltd. 2013. All rights reserved. 19 ４． Hadoop動向と活用事例 ４．４ Hadoopの進化 進化が続くHadoop(CDH/Cloudera Enterprise)の動向 2011年4月～ CDH3 2012年6月～ 進化 CDH4 2013年6月頃登場 (?!) CDH5 進化 単一障害点(SPOF)の解決 リアルタイムクエリ「Impala」 次世代フレームワーク の搭載 MapReduce2(YARN)の搭載 HA機能の強化・完全化 フェデレーションサポートでよ 当日スライド セキュリティ強化 等 ※予定情報 公開情報 り大規模化に対応 Cloudera Manager 3 進化 更なる関連 プロジェクト追加 や品質向上 等 Cloudera Manager 4 高度な運用管理、システム監視 機能のサポート システム一元管理機能の強化と 容易性向上 ダウンロード数 [CDH] 8,000超／月 [Cloudera Manger] 4,000超／月 © Hitachi Solutions, Ltd. 2013. All rights reserved. 20 ４． Hadoop動向と活用事例 ４．５ Hadoopの活用事例 ～利用者共通の目的～ Hadoop基礎機能の利活用 大量データを利用可能なフレームワークへの期待 ペタバイト級データを実際に利活用しているメジャー企業の実績 数千ノードまで拡張可能なスケールアウト性 ハードウェア・ソフトウェアとの高い親和性 多種H/Wでの稼働実績、多様なS/Wとの接続性 スケールアウトで 大容量化＆高速化 OSSとしてのHadoopの魅力 グローバルで利活用可能な共通基盤としての期待 世界の何処でも共通基盤化できる（グローバル展開・ディザスタリカバリ等） （維持保守の低コスト化 等） 世界の誰もが開発・保守できる オープンソースに対する意識の変革 品揃え・機能の充実、品質の高まりに対する認知度向上 事例・問題解決・各種ノウハウが多く、容易に入手可能 © Hitachi Solutions, Ltd. 2013. All rights reserved. 21 ４． Hadoop動向と活用事例 ４．６ Hadoopの活用事例 ～個別事例①～ 金融機関での事例 背景 対応 サイトのアクセス統計は取得し ているが、実操作の動線や離 脱状況・理由が把握できない 現システムに手を加えず( ログ強化やビーコン埋込み等)、 ログの分析で、効果あるサー ビス施策やサイト改修をしたい 今後 ユーザ操作の実動線とパターン、 離脱箇所や滞在時間を可視化 9sec 15user X A 80user 23sec 9sec 11sec 15user 12user Y 正常系 ●ﾊﾟﾀｰﾝ① Z 20user[25%] 当日スライド D C 40user 公開情報 45user B 10sec ●ﾊﾟﾀｰﾝ③ 10user[12%] 52sec ●ﾊﾟﾀｰﾝ④ 離脱系 非定型ログをHadoopで全走査でクレンジングし、 ユーザ毎の操作をレコード生成。 実動線レコードとは別に、動線のパターン化、 離脱箇所特定、画面毎の滞在時間を算出し、 WEBアプリからアクセス可能なHBaseに格納。 【参考：上記全処理時間】 400GB 18分 (CPU:12core/RAM:96GB 5台) ●ﾊﾟﾀｰﾝ② 今回の分析した事実情報を 二次分析し新たな知見発見 - 他データとの相関分析 - 機械学習などの数理分析 ログ収集などの安全、且つ 確実な自動化 - Flume(CDH)の利用 即時利用・結果取得可能な アドホック分析の実現 - Imapala(CDH)の利用 日立ソリューションズの技術 銀行所有の「最高レベルの機密デー タ」を保持する高機密度システム構築 数値補正高可用・高信頼システムの構築 © Hitachi Solutions, Ltd. 2013. All rights reserved. 22 ４． Hadoop動向と活用事例 ４．７ Hadoopの活用事例 ～個別事例②～ 通信事業での事例 背景 対応 通信機器からの大量ログを長期間確実に Hadoopを大規模ストレージとして利用し 保持したい データの冗長性を担保 Hadoopの多クラスタ構成により、障害時も24 - 毎時250GBを4ヵ月 時間365日の確実なデータ保管を実現 保管した大量ログの検索・マッチングを高速 240nodes/ｸﾗｽﾀ(1,000nodes超/全ｸﾗｽﾀ) に実施したい の超大規模な並列分散処理環境により高速 当日スライド - 最大1PBytes 処理を実現 公開情報 【参考：処理時間】 15TBのログ全件検索と50GBのログマッチング：40分 日立ソリューションズの技術 技術的ポイント 100nodes以下でも、パラメタ設計な どは独特の技術やノウハウが必要 100nodesを超えると、システム設計 にまで及ぶ課題やノウハウが出現 Hadoopを多クラスタ構成で構築、運用 JP1を利用したジョブ制御、稼働監視 などの運用管理 国内トップクラスの大規模クラスタ構築 UQ来場へのケア考察 時のHadoop設計、実構築の技術 © Hitachi Solutions, Ltd. 2013. All rights reserved. 23 ４． Hadoop動向と活用事例 ４．８ Hadoopの活用事例 ～個別事例③～ 日立社内活用例 背景 セキュリティ事故防止のため、インターネット 接続先サイトの規制を行っているが、各種の 見直しをしたい - ネット情報利用の重要性・利便性と セキュリティ規制のバランス確保 - 運用部門と実利用部門のコスト低減 膨大なデータに含まれる、様々なノイズを Hadoopで高速にクレンジングすることで、分析 精度を向上 膨大なデータ蓄積・集計基盤としてHadoopを 活用 【参考：処理時間】 数十台のWebサーバのアクセスログ 1週間分を 60分以内にクレンジング／集計 対応 利用状況を分析し、規制解除の自動化、適正な 判断をスピーディに実現 【利用者部門】 情報量増加による業務効率改善 規制解除などの事務作業低減 【運用部門】 自動化による人為的ミス解消 規制解除に関する各種事務作業の低減 分析データを利用した、情報漏洩事故やコンプラ イアンス違反の検知・予兆の実現 サイト 利用 利用側 状況 収集 分析 ﾚﾎﾟｰﾄ 蓄積 集計 分析 見直し 運用側 © Hitachi Solutions, Ltd. 2013. All rights reserved. 24 ４． Hadoop動向と活用事例 ４．９ Hadoopの活用事例 ～その他～ Cloudera Manager関連 Hadoopクラスタの新規構築・スケールアウト、運用で非常に便利 長時間画面を眺めての作業、１台１台の作業から解放されます 環境設定・変更でのヒューマンエラーを最小限にできます Cloudera Managerだけが補完する機能（*1)も見逃せない *1…安全バルブと呼ばれるＸＸＸ GUIでの操作・確認は使い手を選びません 要メンテ 使いこなすにはコツが必要 当日スライド 機能追加・改善ペースが速いです 公開情報 できる事が多い分、パラメタも多く、リソース設計も必要です 日立ソリューションズの技術 多くのCloudera Manager利用実績・経験 Cloudera Manager V4.xの全パラメタxxx個を調べ、実運用で活用 Enterprise版でのリソースを加味したシステム設計が可能 © Hitachi Solutions, Ltd. 2013. All rights reserved. 25 ４． Hadoop動向と活用事例 ４．１０ Hadoopを利用したバッチ処理高速化 ノーチラス・テクノロジーズ社「Asakusa Framework」によるバッチ高速化 Asakusa Frameworkは、ノーチラス・テクノロジーズ社が開発するオープンソースで、 Hadoopを利用したバッチ開発向けの「開発フレームワーク」 バッチ処理に特化した機能・ツールが一体となり、バッチ開発の敷居を下げ、 開発効率を容易に向上可能 データモデル設計／データ・処理フロー設計／RDB連携ツール バッチ処理向けの各種テンプレート、テスト支援ツール 等 日立ソリューションズでは、 2013年3月にノーチラス・テクノロジーズ社と販売代理店契約を締結。 <Asakusa Frameworkの位置付け> 業務バッチ向け フレームワーク Hadoopコア (実行基盤) AsakusaFW バッチ開発 統計・分析向け Hive SQL系 MapReduce(並列実行FW) Pig ｽｸﾘﾌﾟﾄ系 Hadoop基盤活用で、I/O分 散や並列処理を実現 複雑なMapReduceをJava でフル開発をせず業務 バッチ実装が可能 HDFS(分散ファイルシステム) © Hitachi Solutions, Ltd. 2013. All rights reserved. 26 ４． Hadoop動向と活用事例 ４．１１ Asakusa Framework概要 Asakusa Frameworkの機能と特長 現バッチサーバ上の特定の長時間ジョブを短時間化する事に最適 バッチシステム刷新に比べ低コスト、最小限の影響範囲で導入可 並列処理可能なバッチ、且つRDBMSでI/Oネックの場合に効果大 Hadoopの理解、複雑なMapReduce開発が不要 <Asakusa FW利用時の一般的システム構成例> ②AsakusaFWが DBの対象データ取得、 Hadoop上へ分散格納 RDBMS 処理対象 テーブル 処理結果 テーブル DBｻｰﾊﾞ ⑤結果格納 ﾊﾞｯﾁ実行ｻｰﾊﾞ ①バッチ実行 AsakusaFW [実行エンジン] Masterﾉｰﾄﾞ ③ｼﾞｮﾌﾞ起動 【Hadoop】 ④並列ｼﾞｮﾌﾞ起動 【Hadoop】 【Hadoop】 【Hadoop】 Asakusa開発 バッチアプリ AsakusaFW [ライブラリ] Asakusa開発 バッチアプリ AsakusaFW [ライブラリ] Asakusa開発 バッチアプリ AsakusaFW [ライブラリ] 分割ファイル 分割ファイル 分割ファイル © Hitachi Solutions, Ltd. 2013. All rights reserved. 27 ４． Hadoop動向と活用事例 ４．１２ Asakusa Frameworkの活用事例 小売業での活用事例① Keywords 売価還元法 個別原価法 法対応(IFRS) 規模 100～500GB 50店舗超 1万超の商品 3千超の仕入先 従来システムは売価還元法の為、日毎/商品毎の利益算出困難 ⇒ 個別原価法での日次処理は、計算量1,000倍超であり スケールアップ対処が困難 一方で、各種法対応の必須の課題 ⇒ 低コスト(HW, SW, 開発費)、早期導入の必要性 商品グループ単位の月次原価管理、個別単品単位での 日次原価計算（個別原価法）を実現 利益状況をリアルタイムに可視化でき、経営判断スピードが向上 当日スライド Asakusa Framework利用による開発効率とコストの確保 公開情報 製造・卸販売での活用事例② Keywords 原価計算 クラウド基盤 規模 5～10GB 経済状況・市況により変動が大きくなった仕入先／仕入額の影響 で、従来の一部商品での原価計算ではリスク大 ⇒ 全商品のアクチュアル原価算出は時間も、コスト面も困難 毎日4時間の原価計算は20分に短縮 長時間ジョブの切り離しで既存DBサーバの負荷軽減 実行はAmazonWebServiceの20分利用(コストはｵﾝﾌﾟﾚの1/10) 短時間ジョブとクラウド基盤で障害時の不安払拭 © Hitachi Solutions, Ltd. 2013. All rights reserved. 28 ４． Hadoop動向と活用事例 ４．１３ Asakusa Frameworkの活用事例 九州電力殿での検証開始 Keywords 基幹系バッチ 料金計算 スマートメーター導入に伴い、検針データが大幅増加するため、 大量データ、高速なバッチ処理が必要 ⇒ 検針データが1,440倍(1回/月⇒1回/30分) スケールアウトが容易なデータストアと分散バッチ処理の必要性 九州電力殿で事前評価(2010～2012年) AsakusaFWの学習時間を含めても、開発工数が1/2以下で高効率 4億レコード(37GB)を対象とした処理検証で高速化可能を確認 当日スライド OracleDB 1台 123時間 公開情報 Hadoop 5台 21時間 九州電力殿、日立、ノーチラス・テクノロジーズ社で、 協同検証を2012.12より開始。 © Hitachi Solutions, Ltd. 2013. All rights reserved. 29 Ｃｏｎｔｅｎｔｓ １．はじめに ２．市場動向と近況 ３．ビッグデータ事業への取り組み ４．Hadoop動向と活用事例 ５．まとめ © Hitachi Solutions, Ltd. 2013. All rights reserved. 30 ５． まとめ ５．１ 日立ソリューションズの製品・ソリューション紹介 日立ソリューションズとして以下の２つの観点でビジネスを創出 データの分析／利活用による新たな（経済的）価値を創出 大量データ処理／高速処理を実現し、これまで対応できなかった顧客課題 を解決するソリューションを提供 ヒト・モノ・カネを最適化するサービス マシンビッグデータ ビッグデータ 利活用の カテゴリ （モノの稼動情報ﾃﾞｰﾀ） ロケーションビッグデータ （位置情報/空間情報ﾃﾞｰﾀ） マーケットビッグデータ ｿﾘｭｰ ｼｮﾝ センサーデータ解析サービス、 ログ解析による予兆検知 空間情報データ解析のクラウドサービス、 ロケーションデータ解析サービス （リアルな市場ﾃﾞｰﾀ） 情報制御連携環境提供 スマートインフラビッグデータ （生活/社会ｲﾝﾌﾗﾃﾞｰﾀ） データ・アナリティクス・マイスター活動 ⇒ﾋﾞｼﾞｮﾝ構築～活用ｼﾅﾘｵ策定～実用化 検証等、お客様のﾃﾞｰﾀ利活用推進を支援 導入支援 ビッグデータ 利活用の 共通プラット フォーム提供 分析ツール提供、 データ分析サービス提供 ビッグデータ利用基盤提供 サーバ、ストレージ、 クラウドサービス提供 ｿﾘｭｰ ｼｮﾝ データ分析ツール/ノウハウのご提供 ⇒Business Objects、CoreExplorer、 SPSS、QlickView、Dr.Sum 他 大量データ分散処理環境のご提供 ⇒Cloudera Enterprise/CDH、 Asakusa Framework 他 © Hitachi Solutions, Ltd. 2013. All rights reserved. 31 ５． まとめ ５．２ 日立ビッグデータソリューションカタログ（抜粋） © Hitachi Solutions, Ltd. 2013. All rights reserved. 32 ５． まとめ ５．３ Hadoop関連ソリューションの紹介 Apache Hadoop導入ソリューション Cloudera Enterprise/CDHソリューション (URL)http://www.hitachi-solutions.co.jp/hadoop/ (URL)http://www.hitachi-solutions.co.jp/cdh/ 「Apache Hadoop」および「CDH/Cloudera Enterprise」の導入アセスメント支援から、 保守サポートまでワンストップでのサービスを提供 ポイント 豊富な基盤設計／運用設計ノウハウを活用し、お客様の課題を解決 Hadoop関連製品やツールを組合せ、最適な設計／開発支援サービ スをご提供します 現状分析 導入アセスメント 検証環境の カスタマイズ支援 設計 パラメータ設計 リソース設計 運用設計 チューニング 開発構築 インストール インフラ構築 アプリ開発支援 テスト 運用 テスト計画策定支援 Hadoop製品サポート テスト実施支援 Hadoop向け業務バッチアプリケーション開発フレームワーク (URL)http://www.hitachi-solutions.co.jp/asakusafw/ Asakusa Frameworkソリューション 業務バッチが長時間化し困っているお客様、また、業務バッチの再構築に伴い新しい 分散バッチ基盤を導入したいお客様向けに、Hadoopテクノロジーを活用した業務バッ チ開発フレームワーク「Asakusa Framework」のソリューションを提供 © Hitachi Solutions, Ltd. 2013. All rights reserved. 33 ５． まとめ ５．４ バッチ高速化検証環境のご紹介 バッチ高速化の効果を知りたいが環境もなく初めて使う技術なので不安 検証コストは最小限にしたい、すぐに検証をしていたい 弊社内にバッチ高速化検証用の無償環境(ｾｯﾄｱｯﾌﾟ済)を準備しています お客様は、すぐに検証が開始できます(2013年5月 サービス開始予定) ポイント 効率よく検証を推進するために、専門の技術者が支援します お客様 日立ソリューションズ 環境構築済み検証環境 技術検証 開発・移行 VPN アプリケーション HA8000-bd/BD10 Hadoopを活用 した大量データ 処理基盤 性能評価 技術支援 データ 教育 サービス の効果 レビュー参加 Q&A対応 バッチ高速化導入に向けた、性能調査・開発容易性・移行性・運用性など の検証が可能です 性能評価により、本番環境のシステム構成検討が容易になります © Hitachi Solutions, Ltd. 2013. All rights reserved. 34 ５． まとめ ５．５ まとめ これまで敷居の高かった大量データの分析が どこでも、誰でも、どんな規模からでも実現可能になります！ より大量なデータを対象に・・・ 1年分ではなく10年分で、社内だけではなくソーシャル、センサなど社外情報も活用して よりリアルタイムに・・・ 月次ではなく日次で、日次ではなく10分単位で より多様なデータを対象に・・・ ＤＢのデータだけではなく、画像、音声、ログ、グラフなど多様なデータを対象に Hadoopと関連技術を組み合わせ、 お客様のビッグデータ活用をワンストップでご支援します ワンストップサービス 最適なパッケージング 業種ソリューション 検証、構築・開発支援、 保守サポートまで一貫 したサービス提供 お客様の用途に合わせ、 最適なインフラ基盤 (H/W、クラウド活用等）と ソフトウェアの組合せに よる提案と提供 業種特化のビッグデー タ活用ソリューション ECサイト、コールセンタ、バッ チ高速化、、 © Hitachi Solutions, Ltd. 2013. All rights reserved. 35 END 日立ソリューションズのビッグデータビジネス ～Hadoopソリューションとビッグデータ利活用～ © Hitachi Solutions, Ltd. 2013. All rights reserved. © Hitachi Solutions, Ltd. 2013. All rights reserved.