CloudStackを活用したDaaS環境の実現 - CloudStack Day Japan 2014

CloudStack Day Japan 2014
CloudStackを活用したDaaS環境の実現
2014/3/6
株式会社 日立製作所
ITプラットフォーム事業本部 クライアントビジネス推進部
藤田 あずさ
© Hitachi, Ltd. 2014. All rights reserved.
Contents
１. これまでの日立の取り組み
２. CloudStackを活用したDaaS環境
３. DaaS環境向け独自機能
４. 今後の取り組み
５. まとめ
© Hitachi, Ltd. 2014. All rights reserved.
1
１. これまでの日立の取り組み
© Hitachi, Ltd. 2014. All rights reserved.
2
１-１ 日立クラウド基盤導入ソリューションの提供
 実績ある日立プラットフォーム製品で実現するプライベートクラウド
 大学での導入実績： 北海道大学さま アカデミッククラウド、九州大学さま キャンパスクラウド、他
 マルチハイパーバイザでの導入が可能： XenServer, VMware, KVM, ベアメタルで稼動実績有
 スモールスタート構成から高性能・高信頼構成まで幅広いニーズに対応
ブレードサーバ群
ユニファイドストレージ群
BladeSymphony
Hitachi Unified Storage 100 Series,
Hitachi Unified Storage VM,
Hitachi Virtual File Platform
高集積ブレード，PCサーバ群
HA8000-bd, HA8000
仮想マシンの高い集約が可能なブレードサーバ
（ノードあたり最大80コア, 3TBメモリ）から、
Hadoop実行環境などに最適な高集積ブレードサーバ
（5Uに40ブレードを収容）まで幅広いラインアップを用意
容量仮想化をいち早く実現しクラウドに最適なSANストレージ、
高性能・高拡張性の特長を有し海外で実績のあるハイエンド
NASなど、適材適所にご提供
© Hitachi, Ltd. 2014. All rights reserved.
3
１-２ 日立クラウド基盤導入ソリューションの概要
 「日立クラウド基盤導入ソリューション Powered by Apache CloudStack」
 クラウド基盤の利用イメージ
直感的なユーザインターフェースを持つポータル画面を通して、必要とする仮想サーバを
オンデマンドで調達し、利用可能
ポータル
画面例
オンデマンドで
3 仮想サーバを
仮想サーバ環境
配信
1 ポータル画面から
必要なサーバの
スペックを選択
2 利用申請
 本ソリューションを適用する効果
管理・運用に
かかる時間や
コストの低減
ITリソースの
一元管理が可能
ITガバナンス
の向上
クラウド基盤
Apache CloudStack
セキュリティ
環境の強化
© Hitachi, Ltd. 2014. All rights reserved.
4
１-３ システム構築事例(1)
 北海道大学さま 「アカデミッククラウド」
 大学におけるクラウドサービス実現に最適と考えられるCloudStackをいち早く採用
 利用申請や課金処理などのセンター運用管理機能とCloudStackの仮想マシン管理
ポータル画面を連携して提供
大規模
超高速計算機
システム
クラウドシステム
起動用ファイルシステム
ファイルシステム
クラウドサーバ
BladeSymphony BS2000
負荷分散装置
技術計算向けサーバ
SR16000
共有ファイルシステム
10Gbpsスイッチ
ギガビットスイッチ
端末装置、周辺装置
学内ファイアウォールルータ
ギガビットスイッチ
センター運用管理
ネットワーク
© Hitachi, Ltd. 2014. All rights reserved.
5
１-４ システム構築事例(2)
 九州大学さま 「キャンパスクラウド」
 大きく4システムをクラウドとして構築
高年次教育用クラウド、サーバ用クラウド、開発用クラウド、Hadoopなどのデータ処理用クラウド
 大学間の共通認証基盤として提供されているShibboleth認証*を利用したシングル
サインオン機能で学内外から柔軟に利用可能
ブレード管理
サーバ
学内ネットワーク
クラウド管理
サーバ
兼 認証サーバ
クラウド用LAN
教育用LAN
管理用LAN
開発用クラウド
システム
NAS
サーバ用クラウド
システム
高年次教育用
クラウドシステム
データ処理用
クラウドシステム
SAN
ストレージ
* Shibboleth認証： アメリカの大学と企業が参加する次世代インターネットの研究プロジェクトである「Internet2」において研究・開発され、
異なるドメイン間で認証情報を引き継ぐシングル・サインオン機能を提供します。
© Hitachi, Ltd. 2014. All rights reserved.
6
１-５ 主な日立の独自機能(1)
 Shibboleth認証基盤と連携したシングルサインオン
既設の認証基盤
既設のShibboleth認証基盤と日立ミドルウェア「uCosminexus
Secure Unify - SSO」を組み合わせ、シングルサインオン機能を
実現
uCosminexus
Secure Unify - SSO
連携
クラウド基盤
Shibboleth
セッション
認証アダプタ
画面例
ログイン
ＩdP* サーバ
* IdP: Identity Provider
Shibboleth認証画面
アカウント情報
画面例
アカウントが
ない場合は、
自動登録
アカウント情報
DB
CloudStack
CloudStack画面
© Hitachi, Ltd. 2014. All rights reserved.
7
１-６ 主な日立の独自機能(2)
 Hadoopへの対応
Hadoop
ビッグデータを分散並列処理するHadoopを利用する際、
仮想環境において、ストレージへの負荷を平準化させる
アロケーション機能を提供
 多数の仮想マシンを一括作成する機能を追加
 仮想マシンが一部の物理ディスクに偏らないよう、
複数のクラスタに仮想マシンを均等配置
仮想マシン
LU 1
仮想マシン
クラスタ 1
画面例
仮想マシン
仮想マシン
複数の仮想マシン
を一括作成
LU 2
クラスタ 2
仮想マシン
CloudStack
仮想マシン
仮想マシンを
複数のクラスタ
に均等配置
LU 3
クラスタ 3
プライマリストレージ
© Hitachi, Ltd. 2014. All rights reserved.
8
２. CloudStackを活用したDaaS環境
© Hitachi, Ltd. 2014. All rights reserved.
9
２-１ 本取り組みの目的と検証ポイント
目的
コストパフォーマンスの高いDaaS*環境を実現する。
* DaaS: Desktop as a Service
 想定するDaaS規模
 適用対象： 学術情報分野の研究室やセミナー教室など
 ユーザ数： 数十名～数百名
 コストパフォーマンス向上のために着眼した検証ポイント





高集積ブレードサーバの採用
オープンソースを活用したソフトウェア導入コスト低減
物理サーバの管理コスト低減
物理サーバの台数最適化
シンプルなシステム構成
© Hitachi, Ltd. 2014. All rights reserved.
10
２-２ 検証システムの構成
管理コンソール用PC
・
・
・
CloudStack
マネジャ
システムVM
仮想
デスクトップ
仮想
デスクトップ
プライマリ
ストレージ
仮想
デスクトップ
仮想
デスクトップ
仮想
デスクトップ
・・・
セカンダリ
ストレージ
管理サーバ
仮想
デスクトップ
クライアント端末
ホスト用物理サーバ群
ブレードサーバで構築
 主なコンポーネント
項目
内容
1 クラウド基盤
Apache CloudStack
2 ハイパーバイザ
KVM
3 画面転送ソフトウェア
X2Go
4 管理サーバ、ホスト
日立ブレードサーバ「HA8000-bd」 (Intel Xeon E3-1260L, メモリ16GB/台)
© Hitachi, Ltd. 2014. All rights reserved.
11
２-３ 管理コンソールの画面
 CloudStackポータル画面でDaaS環境を管理
画面例
日立独自機能
のメニューを
追加
© Hitachi, Ltd. 2014. All rights reserved.
12
２-４ シンクライアント端末の画面
 デスクトップはLinux
オープンソースを活用したクライアント環境
画面例
Ubuntu
X2Goクライアントが動作
X2Goサーバが動作
OpenSSHで保護
仮想
デスクトップ
ゲストOS = Ubuntu
OS = Windows 7
クライアント端末
ホスト
© Hitachi, Ltd. 2014. All rights reserved.
13
２-５ 日立エントリーブレードサーバ「HA8000-bd」を採用
1
高集積
5Uのベースユニットに最大40台のサーバブレードを搭載可能
5U
40U
・
・
・
HA8000-bd
集積度 1Uサーバ比 8倍
1Uサーバ
2
…
サーバブレード 40台
省電力・省スペース
1Uサーバ ラック24本
運用コスト 約290M¥
HA8000-bd ラック5本
(電気代 約73M¥+フロア代 約217M¥)
運用コスト 約60M¥
(電気代 約15M¥+フロア代 約45M¥)
サーバ500台×5年運用コスト 1Uサーバ比 約80%削減 (ラック当り6kW条件下)
3
容易なスケールアウト
スケールアウト
プレード追加
© Hitachi, Ltd. 2014. All rights reserved.
14
２-６ 「HA8000-bd」を活用したHadoopソリューション
 日立「かんたんHadoopソリューション」
ローカルディスクにデータを配置し、ブレード数に比例した性能向上を実現
A
B
マスタノード
スケールアウト
C
D
E
ビッグデータ
データノード群
第１弾 2012年5月発表
A
B
C
D
E
C
D
E
A
B
第２弾 2013年4月発表
「かんたんHadoopソリューション
for ログ解析」
「かんたんHadoopソリューション
for バッチ処理」
インメモリ型
BIツール
バッチ処理開発
フレームワーク
第３弾 2013年10月発表
「かんたんHadoopソリューション
for COBOL基幹データ活用」
COBOL
バッチデータ解析
© Hitachi, Ltd. 2014. All rights reserved.
15
２-７ 「HA8000-bd」を活用したDaaSソリューションの検証
 DaaSソリューションを検証中
サーバブレードに仮想デスクトップを配置し、CloudStackによるDaaS環境を構築
管理サーバ
DaaS管理者
スケールアウト
仮想
デスクトップ
仮想
デスクトップ
仮想
デスクトップ
仮想
デスクトップ
仮想
デスクトップ
仮想
デスクトップ
仮想
デスクトップ
仮想
デスクトップ
仮想
デスクトップ
仮想
デスクトップ
仮想
デスクトップ
仮想
デスクトップ
ホスト群
・
・
・
・
・
・
・
・
・
ブレード
追加
仮想
デスクトップ
・
・
・
ユーザ追加
ユーザ
 日立の独自機能を実装し、コストパフォーマンスの高いDaaS環境を実現
物理サーバ管理機能
仮想デスクトップ配置最適化機能
接続ブローカレス機能
© Hitachi, Ltd. 2014. All rights reserved.
16
３. DaaS環境向け独自機能
© Hitachi, Ltd. 2014. All rights reserved.
17
３-１ 独自機能の実装箇所
CloudStackポータル画面
物理サーバ
管理機能
仮想
デスク
トップ
管理
仮想デスクトップ
配置最適化機能
管理サーバ
仮想デスクトップ
仮想デスクトップ
仮想デスクトップ
仮想デスクトップ
仮想デスクトップ
仮想デスクトップ
仮想デスクトップ
・
・
・
仮想デスクトップ
・
・
・
仮想デスクトップ
・
・
・
KVM
KVM
KVM
物理サーバ
管理機能
物理サーバ
管理機能
物理サーバ
管理機能
ホスト
ホスト
ホスト
…
接続ブローカレス
機能
© Hitachi, Ltd. 2014. All rights reserved.
18
３-２-１ 物理サーバ管理機能(1)
目的
スムーズにスケールアウトするDaaS環境を実現するため、物理サーバ(ホスト)を
CloudStackへ容易に追加登録できるようにする。
 実現方法
登録手順
実現方法
1 物理サーバ機器に
対する作業
2
ホストOSのインストール
3
日立独自物理サーバ管理機能のインストール
4
システムへの接続と電源ON
(手動)
5 CloudStack管理画面
6 での作業
ゾーン、ポッド設定
IPMI*より情報取得
クラスタ設定
デフォルト値を設定
7
ホスト名設定
自動生成
8
ホスト管理者情報設定
デフォルト値を設定
ハイパーバイザのインストール
CloudStackモジュールのインストール
(キッティング)
* IPMI: Intelligent Platform Management Interface
CloudStack管理画面に日立独自の画面を追加
© Hitachi, Ltd. 2014. All rights reserved.
19
３-２-２ 物理サーバ管理機能(2)
 CloudStackポータル画面で、物理サーバの容易なスケールアウトを支援
物理サーバの追加登録
【追加登録前】
BMC: Baseboard Management Controller
【追加登録後】
新たに登録された物理サーバを表示
© Hitachi, Ltd. 2014. All rights reserved.
20
３-２-３ 物理サーバ管理機能(3)
 CloudStackポータル画面で、物理サーバの状態を管理
物理サーバの状態管理
ゾーン、ポッドの設定に利用
物理サーバの電源ON/OFFなどを制御
© Hitachi, Ltd. 2014. All rights reserved.
21
３-３-１ 仮想デスクトップ配置最適化機能(1)
目的
時間
時間
仮想デスクトップ A
仮想デスクトップ B
仮想デスクトップ C
を再配置
リソース使用量
リソース使用量
リソース使用量
 同じホストに配置された仮想デスクトップのリソース競合を低減
 仮想デスクトップのリソース使用量を平準化し、物理サーバ(ホスト)台数を削減
時間
仮想デスクトップ C
ホスト3
ホスト 3
仮想デスクトップの
配置最適化の結果、
「ホスト3」は不要に
リソース使用量
リソース使用量
(ライブマイグレーション)
時間
時間
仮想デスクトップ A+C
仮想デスクトップ B
ホスト1
ホスト2
© Hitachi, Ltd. 2014. All rights reserved.
22
３-３-２ 仮想デスクトップ配置最適化機能(2)
 実現のための仮説
 計測が必要なリソース量は、CPU利用率だけ
CPU利用率は、メモリ使用量、ディスクアクセス量に相関関係があるので、
仮想デスクトップのCPU利用率を計測すればリソース使用量の傾向がわかる。
 仮想デスクトップのCPU利用率は、一定周期でほぼ同じパターンの変化を繰り返す*
自己相関率
CPU利用率に関する、仮想デスクトップ12個の自己相関例
24時間周期で、同じような
パターンを繰り返している。
経過時間(時間)
 実現方法
*: LeThanhMan, C. and Kayashima, M., “Virtual Machine Placement Algorithm for Virtualized Desktop Infrastructure”, in Proceedings of IEEE CCIS, 2011
① 各仮想デスクトップのCPU利用率を一定期間計測し、変化パターンを把握
② 変化パターンの相関が異なる仮想デスクトップを同じホストへ配置
本方式をPBA方式と呼ぶ。 (PBA: Pattern-based Virtual Machine Placement Algorithm)
③ 各ホストのCPU使用率が閾値を超えないように再配置案を作成し、任意実行
© Hitachi, Ltd. 2014. All rights reserved.
23
３-３-３ 仮想デスクトップ配置最適化機能(3)
 PBA方式と別配置方式「単純方式(仮名)」を比較
単純方式
＝
新規の仮想デスクトップを、その時点で負荷が低いホストに配置する。
 検証条件
ホスト(物理サーバ)数 4台、ユーザ(仮想デスクトップ)数 12
 検証結果
CPU利用率にムラがある
ホスト1
ホスト2
ホスト3
ホスト4
CPU利用率が低い状態
CPU利用率 (%)
CPU利用率 (%)
PBA方式を適用すれば、ホスト4台のうち1台は不要
CPU利用率がほぼ平準
CPU利用率が0
⇒不要なホスト
経過時間(分)
経過時間(分)
単純方式
PBA方式
ホスト1
ホスト2
ホスト3
ホスト4
© Hitachi, Ltd. 2014. All rights reserved.
24
３-３-４ 仮想デスクトップ配置最適化機能(4)
 仮想デスクトップの配置案を管理者に提示し、ライブマイグレーションを実行
仮想デスクトップの再配置
CB12の仮想デスクトップが、CB14とCB15へ移動
© Hitachi, Ltd. 2014. All rights reserved.
25
３-４-１ 接続ブローカレス機能(1)
目的
クライアント端末が接続する仮想デスクトップ情報を提供する接続ブローカを
無くすことで、シンプルなシステム構成を実現する。
接続ブローカを利用する場合のログイン処理
ホスト
1
ユーザID/パスワード入力
2
認証DBにユーザ認証依頼
3
ユーザ認証結果を返送
4
接続先の仮想デスクトップ情報を返送
5
仮想デスクトップへログイン
管理サーバ
仮想デスクトップ
仮想デスクトップ
作成
5
ユーザと仮想
デスクトップ登録
認証DB
3
1
2
ユーザ
接続ブローカ
4
© Hitachi, Ltd. 2014. All rights reserved.
26
３-４-２ 接続ブローカレス機能(2)
 実現方法
 仮想化機構のライブマイグレーション機能を利用し、仮想デスクトップのIPアドレスを
ユーザごとに固定化
 接続先の仮想デスクトップ情報を、USBメモリに格納して各ユーザへ配布
接続ブローカレスの場合のログイン処理
ホスト
1
USBメモリをクライアント端末に挿入
管理サーバ
仮想デスクトップ
・ IPアドレスなど接続先の
仮想デスクトップ情報を取得
2
仮想デスクトップ
作成
仮想デスクトップへログイン
・ 初回接続時は、SSHポート
フォワーディング機能にて
adduserを実行し、ユーザ登録
2
接続先の仮想
デスクトップ登録
1
USBメモリ
ユーザ
© Hitachi, Ltd. 2014. All rights reserved.
27
３-４-３ 接続ブローカレス機能(3)
 ユーザの利用手順
① 接続先仮想デスクトップのIPアドレスなどが格納されたUSBメモリを
クライアント端末に挿入
② 仮想デスクトップへ初回接続時は、ユーザIDとパスワードを入力し、
ユーザ情報を仮想デスクトップに登録
③ 2回目以降に接続時は、パスワードだけ入力し、ログイン
 アカウント入力画面
初回接続時
ユーザIDとパスワードを登録
2回目以降接続時
登録済みパスワードを入力
© Hitachi, Ltd. 2014. All rights reserved.
28
４. 今後の取り組み
© Hitachi, Ltd. 2014. All rights reserved.
29
４-１ 分散共有ファイルシステムによるストレージ構築
 分散共有ファイルシステム 「Hitachi Striping File System」
複数サーバのローカルディスクで、シングルイメージのファイルシステムを構成
・・・
Hitachi Striping File System
ファイルを分割し、
複数のローカル
ディスクに分散配置
H
H
S
S
F
S
F
S
日立エントリーブレードサーバ HA8000-bd
 高性能・大容量のストレージを提供
 容易で柔軟なシステム拡張を実現
CloudStackを活用したDaaS環境における
プライマリストレージおよびセカンダリ
ストレージとしての利用を検証中
© Hitachi, Ltd. 2014. All rights reserved.
30
５. まとめ
© Hitachi, Ltd. 2014. All rights reserved.
31
５-１ まとめ
 CloudStackをはじめとしたオープンソース・ソフトウェアを活用することで、
コストパフォーマンスの高いDaaS環境を実現。
 日立独自機能と高集積ブレードサーバ「HA8000-bd」により、
シンプルな運用管理のDaaS環境を小規模からスタート可能。
 今後、「Hitachi Striping File System」による信頼性の向上や、
サーバラインナップを充実し、ユーザにとって使い勝手の良い
CloudStack活用DaaS環境を検討。
© Hitachi, Ltd. 2014. All rights reserved.
32
お問い合わせ先
 お問い合わせ窓口
 http://www.hitachi.co.jp/ha8000-bd-inq/
(日立製作所 ITプラットフォーム事業本部 ソリューションビジネス統括部)
 関連情報
 日立クラウド基盤導入ソリューション Powered by Apache CloudStack
http://www.hitachi.co.jp/Prod/comp/app/cloud-stk/
 Private Cloud/VDI構築サービス (日立ソリューションズ)
http://www.hitachi-solutions.co.jp/pcvdi/
 研修コース (日立インフォメーションアカデミー)
「Linuxで構築するクラウド基盤 －CloudStack編－」
http://www.hitachi-ia.co.jp/h_comp/service/cloud.htm
© Hitachi, Ltd. 2014. All rights reserved.
33
他社商品名、商標等の引用に関する表示
• Apache, Apache CloudStack, CloudStack, Apache CloudStackロゴ, Cloud Monkeyロゴ, Hadoop, Hadoopロゴ,
OpenOfficeは、Apache Software Foundationの登録商標または商標です。
• Asakusa Frameworkは、株式会社ノーチラス・テクノロジーズの登録商標です。
• Citrix, XenServerは、Citrix Systems, Inc.の米国およびその他の国における登録商標または商標です。
• Firefox, Firefoxロゴは、Mozilla Foundationの米国およびその他の国における登録商標または商標です。
• Google Chrome, Chromeロゴは、Google Inc.の商標です。
• IEEEは、米国におけるInstitute of Electrical and Electronics Engineers, Inc.の商標です。
• Intel, Intel Xeon, Xeonは、米国およびその他の国におけるIntel Corporationの商標です。
• LibreOfficeは、The Document Foundation の米国およびその他の国における商標または登録商標です。
• Linuxは、Linus Torvaldsの日本およびその他の国における登録商標または商標です。
• Microsoft, Windows, Windows 7, Windowsロゴ, Internet Explorer, Internet Explorerロゴは、米国Microsoft
Corporationの米国およびその他の国における登録商標または商標です。
• QlikViewは、QlikTech International ABの商標または登録商標です。
• Red Hat, Cygwinは、米国およびその他の国におけるRed Hat, Inc.の登録商標または商標です。
• Shibbolethは、Internet2の登録商標です。
• Ubuntuは、Canonical Ltd.の登録商標です。
• VMwareは、米国およびその他の地域におけるVMware, Inc.の登録商標または商標です。
• その他記載の会社名、製品名は、それぞれの会社の商号、登録商標または商標です。
• 製品の内容・仕様は、改良のために予告なしに変更する場合があります。
• 製品写真は出荷時のものと異なる場合があります。
© Hitachi, Ltd. 2014. All rights reserved.
34
END
CloudStackを活用したDaaS環境の実現
2014/3/6
株式会社 日立製作所
ITプラットフォーム事業本部 クライアントビジネス推進部
藤田 あずさ
© Hitachi, Ltd. 2014. All rights reserved.
35