スライド - Cloud Spiral

課題解決エンジンを支える
データ処理システムと
利活用事例
Privileged and Confidential
角田 直行
データソリューション本部 サービスマネージャー
ヤフー株式会社
1
自己紹介
角田 直行（かくだ なおゆき）
事業戦略統括本部 データソリューション本部
2005年 中途入社
地図、路線、検索、YST、検索PF...
2012年 データソリューション配属
データインフラを中心に
技術全般をマネージメント
Privileged and Confidential
2
is
Privileged and Confidential
3
…
…
…
Privileged and Confidential
4
Privileged and Confidential
…
…
…
あらゆるジャンルの
ビッグデータを保有
5
目次
月間総ページビュー数
(2013年1-3月平均)
Privileged and Confidential
6
年間ユニーク検索クエリ数
(Yahoo! JAPAN調べ)
Privileged and Confidential
7
ビッグデータはユーザーのために利活用
ビッグデータはユーザーの課題解決につながる
アクセス解析
ページビュー
効果測定
広告ログ
データフィード
検索クエリ
データ
処理
!
レコメンデーション
購買履歴
ターゲティング
ユーザー属性
日本語処理
・
・
・
マルチメディア処理
Privileged and Confidential
8
利活用事例
サービス改善
Privileged and Confidential
9
利活用事例
サービス改善
縦22ピクセル
縦28ピクセル
Privileged and Confidential
10
利活用事例
サービス改善
縦22ピクセル
縦28ピクセル
Privileged and Confidential
11
利活用事例
ターゲティング広告
閲覧
￥
検索キーワード
購買
ＰＲ
興味関心を推定し
最適な広告を掲出
広告 閲覧/クリック
…
Privileged and Confidential
12
利活用事例
レコメンデーション
キーワード入力補助
Privileged and Confidential
音声アシスト
(音声認識、意図解析)
13
利活用事例
アクセス解析
マーケットインテリジェンス
Privileged and Confidential
14
利活用事例
アクセス解析
マーケットインテリジェンス
Privileged and Confidential
15
利活用事例
ビッグデータレポート
Privileged and Confidential
16
目次
どのようなシステムでデータを
処理しているのか？
Privileged and Confidential
17
データインフラ概要
生成
格納・処理
収集
利活用
・
・
・
Storm
Privileged and Confidential
18
Hadoopについて
とは？
OSSの大規模データ分散処理システム
MapReduce(処理フレームワーク)と
HDFS(分散ファイルシステム)で構成
Yahoo! JAPANの導入規模：
3500台
・oozie, Hive, Pigなどエコシステムも活用
・1日に1.5台のペースで故障
・400超のユーザを抱えるマルチテナンシー運用
Privileged and Confidential
19
Teradataについて
とは？
Teradata社の商用RDBMS
並列分散処理で、高速にSQLを実行できる
Yahoo! JAPANでは、
主にアナリストの分析用途として活用
Yahoo! JAPANでの活用例
・広告レポートの抽出
・広告モデルの効果測定 など
Privileged and Confidential
20
Stormについて
Stormとは？
Twitter社がOSSとして公開している、
分散ストリーム処理プラットフォーム
（リアルタイムに）逐次流れてくるデータを
即時に処理していこうという仕組み。
Yahoo! JAPANでの活用例
・各ページのリンクのクリック速報
・広告改善のための一次データ加工
・スマートフォンアプリのエラー速報 など
Privileged and Confidential
21
Hadoopだけではなく適切な役割分担が必要
・大規模バッチ処理
・大規模アドホック処理
・大量データの蓄積
・リアルタイム処理
・逐次流れるデータの一次加工
Storm
・大規模な結合処理
・高速なアドホック分析処理
Privileged and Confidential
22
Ready?
Privileged and Confidential
23
目次
どのようにしてビッグデータを
全員がデータに触れることが重要
利活用しているのか？
データは一部の人だけのものではない
Privileged and Confidential
24
目次
どのようにしてビッグデータを
全員がデータに触れられる環境
利活用しているのか？
Privileged and Confidential
25
まとめ
・Yahoo! JAPANはあらゆるジャンルの
ビッグデータを保有
・Hadoopを中心としたデータ処理システム
を構築、運用
・データを効果的に利活用するには
技術面だけでなく組織面での整備も必要
Privileged and Confidential
26
データで、ユーザーファーストを実現
Privileged and Confidential
27
Privileged and Confidential
28