講演資料pdf - グリッド協議会

4th ACM Symposium on Cloud
Computing (SoCC2013) 報告
独立行政法人産業技術総合研究所
情報技術研究部門
小川　宏高
2014/1/15 グリッド協議会第41回WS 資料
SoCC13概要
•  4th ACM Symposium on Cloud Computing
–  October 1-3, 2013, Santa Clara University, Santa Clara,
CA
–  http://www.socc2013.org/
–  第1回はSIGMOD、第2回はSOSPと併設→昨年から独立
–  23 papers
交通アクセス
Day 1
Day 2
Day 1 (1/3)
High Availability in the Data Center
Day 3
•  Pico Replication: A High Availability Framework for Middleboxes
–  Shriram Rajagopalan (U of British Columbia, Vancouver) and Dan
Williams and Hani Jamjoom (IBM T.J. Watson Research Center,
Yorktown Heights)
–  Middlebox (ファイアウォール、NATなど) のHA化が課題
–  Active/Active、Active/Standby構成→エンドポイントから見るとトランスペア
レントでない
–  VM Migration→オーバーヘッドが大きい
–  フロー単位で状態をcheckpoint&recovery、reroutingはOpenFlowを利用
•  On Fault Resilience of OpenStack
–  Xiaoen Ju (U of Michigan), Livio Soares (IBM T.J. Watson Research
Center), Kang G. Shin (U of Michigan), Kyung Dong Ryu (IBM T.J.
Watson Research Center), and Dilma Da Silva (Qualcomm Research
Silicon Valley)
–  クラウドミドルウェアがアクティブに開発されているが、Fault Resilienceはほ
とんど研究されていない
–  OpenStackにFault Injection機能を追加
Day 1
Day 2
Day 1 (1/3)
High Availability in the Data Center (Cont.)
Day 3
•  COLO: COarse-grained LOck-stepping Virtual Machines for
Non-stop Service
–  YaoZu Dong and Wei Ye (Shanghai Jiao Tong U and Intel),
YunHong Jiang (Shanghai Jiao Tong U), Ian Pratt (Bromium
Inc.), ShiQing Ma (Shanghai Jiao Tong U and Intel), and Jian Li
and HaiBing Guan (Shanghai Jiaotong U)
–  VMのActive/Standby構成によるHA
–  プライマリからセカンダリへの状態の同期を、両者の入出力がマッチ
しなくなる時点まで遅延
–  Non-deterministicだが、オンラインデータベースやWebアプリケー
ションサーバなどでは有効
Day 1
Day 2
Day 1 (2/3)
Scheduling and Resource Management
Day 3
•  Hierarchical Scheduling for Diverse Datacenter Workloads
–  Arka A. Bhattacharya and David Culler (UC Berkeley), Eric Friedman
(ICSI Berkeley), and Ali Ghodsi, Scott Shenker, and Ion Stoica (UC
Berkeley)
–  Dominant Resource Fairness (DRF) [NSDI11]: 複数の資源クラスに対す
るフェアスケジューリング手法、ジョブの各資源への要求比率を満たす
–  Hierarchical DRF (H-DRF): DRFを階層スケジューリングに拡張したもの
•  Apache Hadoop YARN: Yet Another Resource Negotiator
–  Vinod Kumar Vavilapalli and Arun C Murthy (Hortonworks) et al.
–  Apache Hadoop YARNの設計、開発、現状の実装について包括的に報告
–  Platform (Resource Manager)とFramework (Application Master)を明確に
分離
–  RM: マルチテナンシー、セキュリティ、局所性を利用したスケジューリング、
障害ハンドリング
–  AM: プログラミングモデルや論理的な実行計画、データフロー
–  スケーラビリティ・性能の向上、異なるプログラミングモデルを多数同時にクラ
スタ上で効率良く実行可能
Day 1
Day 1 (2/3)
Day 2
Day 3
Scheduling and Resource Management (Cont.)
•  Natjam: Design and Evaluation of Eviction Policies For
Supporting Priorities and Deadlines in Mapreduce Clusters
–  Brian Cho (Samsung/UIUC), Muntasir Rahman, Tej Chajed, and
Indranil Gupta (UIUC), Cristina Abad (Yahoo! Inc./UIUC), Nathan
Roberts (Yahoo! Inc.), and Philbert Lin (UIUC)
–  MapReduceタスクのリアルタイムスケジューリング、オンデマンドな
プリエンプションを実現
–  Hadoop YARN上への実装
Day 1
Day 2
Day 1 (3/3)
Data Center Networking and Latency
Day 3
•  Small is Better: Avoiding Latency Traps in Virtualized
Data Centers
–  Yunjing Xu, Michael Bailey, Brian Noble, and Farnam
Jahanian (University of Michigan)
–  VMネットワークの遅延要因: VM scheduling delay, Host
network queuing delay, Switch queuing delay
–  各資源の割り当てをShortest Remaining Time Firstポリシー
で行うことで、Tail latencyの削減を狙う
•  Go Server Go! Parallel Computing with Moving
Servers [Vision Paper]
–  Ronald Barber, Guy Lohman, Rene Mueller, Ippokratis
Pandis, Vijayshankar Raman, and Winfried Wilcke (IBM
Research - Almaden)
–  後述
出展: http://www.socc2013.org/home/
program/a7-xu.pdf?attredirects=0
Day 1
Day 2
Day 1 (3/3)
Data Center Networking and Latency (Cont.)
Day 3
•  Virtual Network Diagnosis as a Service
–  Wenfei Wu (UW-Madison), Guohui Wang (Facebook),
Aditya Akella (UW-Madison), and Anees Shaikh (IBM
T.J. Watson)
–  テナントに仮想ネットワークの状態を可視化するサービス
を提供するフレームワーク
–  Best Student Paper
•  jverbs: Ultra-Low Latency for Data Center
Applications
–  Patrick Stuedi, Bernard Metzler, and Animesh Trivedi
(IBM Research)
–  RDMA抽象を直接操作可能な、Javaアプリケーションフ
レームワーク
Day 1
Day 2
Day 2 (1/3)
Data Replication and Consistency
Day 3
•  Orbe: Scalable Causal Consistency Using
Dependency Matrices and Physical Clocks
–  Jiaqing Du (EPFL), Sameh Elnikety (Microsoft Research),
and Amitabha Roy and Willy Zwaenepoel (EPFL)
•  Leveraging Sharding in the Design of Scalable
Replication Protocols
–  Hussam Abu-Libdeh and Robbert van Renesse (Cornell
University) and Ymir Vigfusson (Reykjavik University)
•  Understanding and Mitigating the Impact of Load
Imbalance in the Memory Caching Tier
–  Yu-Ju Hong and Mithuna Thottethodi (Purdue University)
Day 1
Day 2
Day 2 (2/3)
Applications in Adverse Conditions
Day 3
• 
Limplock: Understanding the Impact of Limpware on Scale-Out Cloud
Systems
–  Thanh Do (University of Wisconsin-Madison) and Mingzhe Hao, Tanakorn
Leesatapornwongsa, Tiratat Patana-anake, and Haryadi S. Gunawi (University of
Chicago)
–  Hadoop MRは耐障害性はあるが、limpware（ハードウェアの不調、著しい性能低下）には
耐久性がない
–  実際に確かめた
• 
When the Network Crumbles: An Empirical Study of Cloud Network Failures
and their Impact on Services
–  Rahul Potharaju (Purdue University) and Navendu Jain (Microsoft Research)
–  DC内ネットワーク、DC間ネットワーク障害を過去三年間に渡って調査（Access Router、
Aggregation Switch、Top-of-Rack Switches等を対象）
–  インシデントを原因別に分類、対応策の有効性を評価
• 
vTube: Efficient Streaming of Virtual Appliances Over Last-Mile Networks
–  Yoshihisa Abe (Carnegie Mellon University), Roxana Geambasu (Columbia
University), Kaustubh Joshi (AT&T Research), H. Andrés Lagar-Cavilla (GridCentric),
and Mahadev Satyanarayanan (Carnegie Mellon University)
–  ビデオストリーミングなどトラフィックの多いVAを実現したい
–  クライアント側VMにアプリケーションをマイグレート
Day 1
Day 2
Day 2 (3/3)
Map-Reduce and Query Processing
Day 3
• 
Scalable Lineage Capture for Debugging DISC Analytics
–  Dionysios Logothetis (Telefonica Research), Soumyarupa De (Microsoft, Inc.), and
Kenneth Yocum (U.C. San Diego and Illumina, Inc.)
–  Petabytes data→NoSQL analytics→Results: プログラムのどの時点でどのような障害が
起きたかを知りたい
–  Newt: レコードごとのデータリネージを取得、記録するスケーラブルフレームワーク
• 
Memory-Efficient GroupBy-Aggregate using Compressed Buffer Trees
–  Hrishikesh Amur (Georgia Tech.), Wolfgang Richter and David G. Andersen (Carnegie
Mellon University), Michael Kaminsky (Intel Labs), Karsten Schwan (Georgia Tech.),
and Athula Balachandran and Erik Zawadzki (Carnegie Mellon University)
–  GroupBy-Aggregate: MapReduceのReduceフェーズの処理に相当
–  Google SparseHashやTBBHashより十分メモリフットプリントが小さく、速度も同等以上
• 
Memory Footprint Matters: Efficient Equi-Join Algorithms for Main Memory
Data Processing
–  Spyros Blanas and Jignesh M. Patel (University of Wisconsin-Madison)
–  equi-joinをオンメモリで行う際のメモリフットプリントを、複数のjoinアルゴリズムに対して調査
• 
Scale-up vs Scale-out for Hadoop: Time to rethink?
–  Raja Appuswamy (Vrije Universiteit) and Christos Gkantsidis, Dushyanth Narayanan,
Orion Hodson, and Antony Rowstron (Microsoft Research)
–  100GB程度のデータ分析が重要→スケールアウトだけではNG
–  HadoopのScale-up向けチューニングいろいろ→ Phoenixとか使えばいいんじゃね?
Day 1
Day 2
Day 3 (1/1)
Semantics of Distributed Applications
Day 3
• 
EventWave: Programming Model and Runtime Support for Tightly-Coupled
Elastic Cloud Applications
–  Wei-Chiu Chuang, Bo Sang, Sunghwan Yoo, and Rui Gu (Department of Computer
Science, Purdue University), Charles Killian (Purdue University and Google), and
Milind Kulkarni (School of Electrical and Computer Engineering, Purdue University)
–  EventWave: 一種のアクターベースのプログラミングモデル（ゲームなどを書きたいらしい）
–  クラウド環境で分散実行できるようにしました
• 
Tolerating Business Failures in Hosted Applications
–  Jean-Sebastien Legare, Dutch T. Meyer, Mark Spear, Alexandru Totolici, Sara
Bainbridge, Kalan MacRow, Robert Sumi, Quinlan Jung, Dennis Tjandra, David
Williams-King, William Aiello, and Andrew Warfield (University of British Columbia)
–  アプリケーションの状態を(ユーザが利用している)外部クラウドストレージにアウトソースする
ことで、サーバ側の致命的な障害からの復旧を可能にするWebアプリケーションフレーム
ワーク
• 
Consistency Without Borders [Vision Paper]
–  Peter Alvaro, Peter Bailis, Neil Conway, and Joseph M. Hellerstein (UC Berkeley)
–  クラウドとモバイルネットワークの普及とともにアプリ開発者は急速に分散コンシステンシへ
の対応を求められている
–  一方研究コミュニティでは、I/Oレベルの(緩和された)分散コンシステンシの研究ばかりが盛
んでアプリ開発者のデマンドに答えていないのではないか、という問題提起
Go, Server, Go! Parallel Computing
with Moving Servers
•  今日のDC
–  サーバが静止しており、データがネットワークを介して移動
–  非常にスケーラブルなネットワークが必要
–  保守や更新を可能にするとともに、通気性を確保するため密度
が低い
•  新しいDCアーキテクチャの提案
–  サーバが物理的に移動し、一対一接続により通信
•  (capacitive couplingを用いる) Intelligent Bricksでは、4cm×4cmの
接点で10Gb/sの双方向通信が可能
–  サーバ数に応じてリニアにバンド幅を増やせる
–  電力消費量、抜熱の観点でも有利
–  保守や更新のためにサーバを移動させられる
Go, Server, Go! Parallel Computing
with Moving Servers
Two-Row Shuffle by Half-Rotation
Extension to 2D and 3D
出展: http://www.socc2013.org/home/
program/a8-barber.pdf?attredirects=0
Go, Server, Go! Parallel Computing
with Moving Servers
規模を増大すると多段のHalf-Rotationに要する時間が増すが、
データ量が大きく、通信速度が遅ければ、バンド幅はノード数に対してまあまあリニア向上
出展: http://www.socc2013.org/home/program/a8-barber.pdf?attredirects=0
以上