1 - OTN - 日本オラクル

しばちょう先生の特別講義！！
ストレージ管理のベストプラクティス
～ASMからExadataまで～
日本オラクル株式会社
クラウド・テクノロジー事業統括
Database & Exadata プロダクトマネジメント本部
応用技術部 ディレクター
柴田 長
Copyright © 2016, Oracle and/or its affiliates. All rights reserved.
• 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するも
のです。また、情報提供を唯一の目的とするものであり、いかなる契約
にも組み込むことはできません。以下の事項は、マテリアルやコード、
機能を提供することをコミットメント（確約）するものではないため、
購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関
して記載されている機能の開発、リリースおよび時期については、弊社
の裁量により決定されます。
OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。
文中の社名、商品名等は各社の商標または登録商標である場合があります。
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
2
“しばちょう” こと、柴田長（しばた つかさ）です。
5年 48回
2011年11月～2016年10月20日時点
Oracle Technology Networkで、ほぼ毎月連載中
「しばちょう先生の試して納得！DBAへの道」
http://www.oracle.com/technetwork/jp/database/articles/shibacho/index.html
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
3
本日の内容
1
なぜ、ストレージ設計が必要なのか
2
Oracle Automatic Storage Management
3
ASMの最新機能紹介
4
ExadataにおけるASM構成
5
まとめ
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
4
本日の内容
1
なぜ、ストレージ設計が必要なのか
2
Oracle Automatic Storage Management
3
ASMの最新機能紹介
4
ExadataにおけるASM構成
5
まとめ
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
5
データベース時間（処理時間）とは？
ほぼ、CPU時間とI/O時間の合計で決まる
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
6
わんこそば理論
http://www.atmarkit.co.jp/ait/articles/1606/01/news007.html
そばがお椀に盛られなければ食べられない
= データが無ければ、CPU処理はできない
CPUボトルネック
食べる人が増えると？
I/Oボトルネック
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
7
Oracle Databaseのアーキテクチャ
ストレージ・アクセスが必要な主な処理
• SQL実行時に、Server Processによ
るData Blockの読込み/書出し
Consistent Reads
SP
– Buffer Cache上にBlockが存在しない時
– Direct Path Read（Table Full Scan）
– Direct Path Insert（APPEND ヒント等）
• その他の処理
– アーカイブ・ログ生成
– Flashback Logの書出し
– RMANバックアップ
SP
Current Block
CR Block
DBWn
Physical Reads
SP
SP
SGA
Buffer Cache
Buffer
Cache Hit
• DBWRによるDirty Blockの書出し
• LGWRによるRedo Recordの書出し
SP
Parallel Query
DB Server
SP
Undo Block
Log
Buffer
PMON SMON
Physical
Writes
PGA
Redo Writes
LGWR Others
Direct Path Read
Storage
※ 大容量メモリでは解決できない処理もある
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
8
ストレージ性能が充分ではない場合
性能劣化の例は?
# Case
待機イベントの例
性能劣化の事象
1 Data Blockの
読込み遅延
db file sequential read
db file scattered read
direct path read
SQL処理時間の劣化する
データが届かない為、CPUリソースも活用出来ない状況
2 Dirty Blockの
書出し遅延
free buffer waits
DBWRによるDirty Blockの書出しは、トランザクションとは非同期のため、この書出し
が遅延すること自体は直接的にSQL処理時間へは影響しない。しかし、Dirty Blockが
Buffer Cache上に増加することで、他のSQL処理で使用したいBlockをキャッシュし切
れなくなるため、free buffer waits待機イベントが発生し、最終的にはユーザーのSQL
処理時間の劣化につながる可能性有り
3 Redo Recordの
書出し遅延
log file sync
log buffer space
Commitのレスポンス・タイムが遅延する。最悪、書き出されていないRedo Recordが
Log Buffer内に滞留することで、Log Bufferの空きスペースが枯渇し、新たなRedo
Recordを生成する処理を実行できず待機する可能性有り
【注意ポイント！】
待機イベントの発生自体は100%悪ではありません。
その待機イベントの平均待機時間を、負荷が平常時とピーク時とで比較することが大切ですね。
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
9
Oracle® Databaseパフォーマンス・チューニング・ガイド
12cリリース1(12.1)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
10
パフォーマンス・チューニング
基本的な考え方
時間↓ = 処理量↓ / （速度 * 並列度）↑
じかん = みちのり ÷ はやさ
• 処理量を減らす
– Index, Partitioning, Compression, Exadata Smart Scan/Storage Index …
• 高速化
– Database In-Memory, Flash Device, InfiniBand, Exafusion, …
• 並列化
– Parallel Query, Multi-Core, RAC, ASM, …
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
11
複数ディスク上へのデータベースの配置の課題
容量ベースで設計すると、Hot Spotが生まれる？
• 業務要件の複雑化やアプリ改修の短期化により、
データベースのオブジェクト単位で個別最適化を目指す運用は難しい
!?
データへの
アクセス頻度
表A
表B
索引
TEMP
総ディスク割り当て容量
Hot Sport?
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
使用量（データ量）
12
Hot Sportを回避する為のRAWデバイス構成例
目的はストライピングによるI/O性能の向上
しかし、管理性は？
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
13
従来のRAWデバイス構成の課題
運用の複雑化
• 表領域が非常に細かく分割されている
– 空き領域が表領域毎に独立している為、無駄な空き領域が増大
– 監視対象（表領域）が多く、頻繁に領域不足に陥り、運用工数が増大
– データ・ファイル数が多く、SQLの性能劣化やミス・オペレーションを誘発
– 管理レイヤー数が多い為、運用オペレーションの複雑化
• データベース管理者とストレージ管理者の間での調整作業の難しさ
• データ・ファイル追加時に、既存データをリバランスしていない
– 空き領域が新規ボリュームにのみ存在する為、新たにINSERTされるレコード
がそのボリュームに集中することで、ボトルネックが発生し易い
– 既存レコードは既存ボリューム内に格納されている為、性能改善効果は無し
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
14
従来のRAWデバイス構成の課題
ディスク追加時に必要なオペレーション
• 領域不足/性能劣化の改善の為、ディスク追加
Hot Sport?
最新データが入っている1本のみにアクセスが集中
• Hot Sport回避のためには、既存データの再配置が必要
データ退避
ディスク追加後、RAIDグループ再構成
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
データロード後、
アクセスが均等化
15
こんなデータベース用のストレージがあったらいいな
高性能、管理容易性、高可用性
• 全てのデバイスにデータが均等に配置されるような仕組み
– データベースのパフォーマンス・チューニングで、
どのデータファイル（RAWデバイス）がボトルネックなのか？を特定する必
要が無くなる
• 容量やIOPSが不足した場合、新規デバイスを追加したら、
自動的に再配置される仕組みがあるといいな。
– RAIDグループの再構成やデータの入れ直しが必要無くなる
– オブジェクト単位で容量やIOPS要件を整理する必要がなくなる
• さらに、低コストで組みたいが、高い可用性は維持したい
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
16
本日の内容
1
なぜ、ストレージ設計が必要なのか
2
Oracle Automatic Storage Management
3
ASMの最新機能紹介
4
ExadataにおけるASM構成
5
まとめ
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
17
Oracle によるストレージ仮想化
Oracle Automatic Storage Management（ASM）
• Oracle Database 10g より提供されている、
ディスク構成の仮想化技術
– Oracleデータベースに対してボリューム・マネー
ジャ兼ファイルシステム
• Oracle Databaseにフラットなディスク・プールを提供
+ ディスク管理工数を大幅削減
• 複数ディスク・アレイにまたがってディスクを仮想化、
ディスク追加/削除時にデータを透過的に再配分
– エディション(EE/SE)に関係なく、シングル環境、
クラスタ環境共に使用可
– 11g Release2より、ASMクラスタファイルシステム
が実装
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
18
Oracle ASMの基本思想
Stripe And Mirror Everything (S. A. M. E)
• 「全てのDiskの均等利用を目的に、データをストライプして全ての
Disk上に分散配置し、ミラーリングも行う」という設計手法
– I/O性能の確保：全てのDiskのI/O帯域をフル活用
– 可用性を確保：ミラーリングの採用
– 設計の簡素化：物理的なDisk構成を隠蔽し、特別な設計は不要
ミラーリング
ストライピング
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
19
RAWデバイス構成とASM構成の比較
スタック構成イメージ図
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
20
Oracle Automatic Storage Management
3つの全体最適化機能
• ストライピング
– ASMディスク・グループ内の全ディスクでストライピングし、高性能を維持
• ミラーリング
– ファイルタイプに応じて、Oracleレベルでのミラーリング(2重化/3重化/ミ
ラー無し)を実装することで、ディスク障害に対する可用性の担保
• 動的リバランシング
– ディスクの追加/削除時に自動的に既存データを自動再配置
– 容量やIOPS不足時に、ディスクを追加するだけでストレージ拡張を実現
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
21
Oracle ASMによるストライピング
ASM File（データファイル）の分散配置例
• ASM Diskgroupに含まれる全てのASM Diskに対して、
ASM File（Data File）をFile Extent(Allocation Unit:=AU)単位に
分割して配置
ASM File(Data File)
1
2
3
4
5
6
7
8
File Extent (AU)
ASM Diskgroup
1
2
3
4
5
6
7
8
Disk
Disk
Disk
Disk
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
22
Oracle ASMによるストライピング
RAIDとの違い
• ASMのストライピングは、データファイル（ASM File）単位で均等化
• RAIDのストライピングは、データファイル（ASM File）を認識不可
– ハードディスク・レベルで、偏り（Hot Sport）が生まれてしまう可能性有り
A B C D E F G H DataFile#1
ASM Diskgroup
A
C
I
K
E
I
J K L M N O P DataFile#2
RAIDグループ
G
M O
ASM Disk#1
B
D
J
L N P
ASM Disk#2
ASMのストライピング例
F
H
A
B
C
D
E
I
F
L
G
H
K
M
O
J
N
P
RAIDのストライピング例
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
23
Oracle ASMによるミラーリング
全てのASM DiskがPrimaryであり、Mirrorも保持
• 異なる障害グループに属するASM Disk間で保持
– 通常、リソース(電源等)を共有している単位(筐体/コントローラー)で設定
– 例えば、障害グループBのDisk障害が発生しても、ASMファイルへアクセス可
ASMファイル(Normal)
1
2
3
4
Primary Extent
Secondary Extent
ASM Diskgroup
障害グループA
Disk
Disk
4
3
1
2
障害グループB
Disk
Disk
1
2
3
4
【しばちょう先生の試して納得！DBAへの道】
第34回 ASMのミラーリングによるデータ保護(1)
～障害グループと冗長性の回復～
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
24
Oracle ASMによるミラーリング
Oracle Clientに透過的、自動的に破損ブロックを修復
• Normal / High Redundancy（2重化、3重化）で構成されている場合
– 読み取り処理時に I/Oエラーを検知した場合
• Oracle Clientに対して透過的（ORAエラーは戻らない）
• サーバー・プロセスは、ミラー側から読み取ることで処理継続
– サーバー・プロセスは、不良ブロックの修復をASMへ依頼し、ASMが自動修復
– 書き込み処理時に I/Oエラーを検知した場合
• Oracle Clientに対して透過的（ORAエラーは戻らない）
• I/Oエラーが発生しても、一つでも成功していればサーバープロセスは処理継続
– 書込み失敗をASMへ通知し、ASMが障害Diskが自動でオフライン化
• 一時的な障害の場合、高速ミラー再同期により生存Disk側から必要最小限の差分データを同期
• 復旧できない場合、ASM Diskgroupから切り離し（自動リバランスが発生）
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
25
【参考】ディスクの同時二重障害を考慮した構成案
RAID1+0 × Normal vs. RAID0 × High の比較
• ASMのHigh Redundancy（トリプル・ミラー）が効率的
– Inifinibandを搭載したExadataであれば、よりメリットが出てくる
RAID1+0 ×
Normal
RAID0 × High
Read時にアクセスされるDisk数
6本
Write時のFC帯域を流れるデータ量
2倍
12本
Write時のストレージ内のI/O量
4倍
3倍
Disk使用量
4倍
3倍
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
3倍
26
RAID1+0 × Normal vs. RAID0 × High
各構成の可用性を担保する構造図
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
27
RAID1+0 × Normal vs. RAID0 × High
Write時のI/O量と分散状況
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
28
RAID1+0 × Normal vs. RAID0 × High
Read時にアクセスされるDisk数
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
29
Oracle ASMのリバランス（自動データ再配置）
データベース無停止でリバランスが可能
• ASM Diskを追加／削除（故障）した際、データの再配置を実施
– メタデータ（配置状況）を元に、ASM File単位で全てのDiskに均等配置され
るように、最小限のExtent（AU）の移動で実現
– 多重度（リバランス強度）の設定や計画実行で、業務影響を制御可能
+
Add
-
REBALANCE
Drop
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
30
ASMによるデータの分散配置
Data File単位で各ASM Diskに対し均等にFile Extent(AU)を割り当て
CREATE TABLESPACE TBS DATAFILE ’+DATA’ SIZE 1G ;
(1) 表領域の作成
TBS
ALTER TABLESPACE TBS RESIZE 2G ;
(2) 表領域の拡張
TBS
Data File
(3) 新規Diskの追加（リバランス）
TBS
File Extent（AU）
Data File
ALTER DISKGROUP DATA ADD DISK '/dev/sde1‘ ;
Data File
リバランス
TBS
Data File
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
31
ASMによるデータの分散配置
リバランス処理の2つのフェーズ
• リバランス・フェーズ
– ASM File（= Data File）単位で、各ASM Diskの利用率を均等に分散し直す
– 追加Diskへ移動するFile Extentは、全てのASM Fileが対象
• コンパクション・フェーズ
– リバランス・フェーズでFile Extentが追加Diskへ移動することで、
既存Diskでは歯抜け状態になるが、コンパクション処理でその状態を解消
• ASM Disk毎に、後方に位置するFile Extent（AU）から順番に前方の空きスペースへ移動
【しばちょう先生の試して納得！DBAへの道】
第33回 ASMのリバランスの動作
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
32
Add Disk時の各デバイスのI/O量（時系列）
ASM Disk3本で構成されるDiskgroupに1本追加（Power=2）
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
33
Oracle ASMリバランスの進捗確認
ASMインスタンスのV$ASM_OPERATIONビュー
SQL> SELECT PASS, STATE, SOFAR, EST_WORK, EST_MINUTES
2 FROM V$ASM_OPERATION;
PASS
STATE
SOFAR
EST_WORK EST_MINUTES
---------- ------------ ---------- ---------- ----------RESYNC
DONE
0
0
0
REBALANCE RUN
1658
4813
2
COMPACT
WAIT
0
0
0
– PASS：12.1~追加された列で、コンパクション・フェーズに対応。
• 従来はOPERATION列でコンパクション未対応のため、V$ASM_OPERATIONでリバランス・
フェーズが完了しても、内部的にコンパクション・フェーズが動いていて待たされていた。
– SOFAR : 完了した処理量
– EST_WORK：完了までに処理すべき処理量
– EST_MINUTES：完了までの残り見積り時間（分）
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
34
リバランス強度の設定
Grid Infrastructure 11.2.0.2以降
• リバランス強度の設定可能範囲が0~1024へ（以前は、0~11）
– ARB0プロセス（クラスタで1つのみ起動）が同時に発行する非同期I/Oの数
• ストレージのI/O性能に応じた適切な値を設定すること
– リバランス強度の設定箇所
• ASM_POWER_LIMITS初期化パラメータ < リバランス実行するALTER DISKGROUP文
– 事前準備：対象のASM DiskgroupのCOMPATIBILITY.ASM属性を11.2.0.2以上
• デフォルト値は、ASM Diskgroupを作成する方法に依存するので注意
– 例えば、Oracle ASM 12cでは、12.1がASMCA使用時のCOMPATIBLE.ASM属性のデフォルト設定
SQL CREATE DISKGROUP文とASMCMD mkdgコマンドを使用する場合のデフォルト設定は10.1
alter diskgroup <ASM Diskgroup Name>
set attribute 'compatible.asm'='11.2.0.2.0';
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
35
Fast Mirror Resync（高速ミラー再同期）
一時的なディスク障害の復旧を高速化 (11g Release 1~)
• 本機能が実装される以前の課題
– ストレージ・メンテナンスや一時的な I/O 障害（ディスク・パス障害や電源障
害等）にも関わらず、対象ディスクの削除+自動リバランスが行われてしまう
• 復旧後に、ディスク追加 + 再度リバランスを実行する必要有り
• 本機能により、上記課題を解決
– 指定期間（デフォルト3.6時間）は、障害ディスクをOFFLINE状態（自動削除
を保留）で保ち、復旧後にOFFLINE中に書き込まれるはずであった差分データ
のみをミラーデータを使用して高速同期
• 指定期間が経過しても復旧しない場合は、対象ディスクの削除+自動リバランス
【しばちょう先生の試して納得！DBAへの道】
第35回 ASMのミラーリングによるデータ保護(2) ～高速ミラー再同期～
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
36
Fast Mirror Resync（高速ミラー再同期）
disk_repair_time属性の設定、障害発生時のカウントダウン値の確認
• ASM Diskgroup単位で事前設定が可能
– 設定値は、V$ASM_ATTRIBUTEビューから確認
alter diskgroup <ASM Diskgroup Name>
set attribute 'disk_repair_time' = '24h';
• ディスク障害を検出後にカウントダウンを開始
– V$ASM_DISKビューのREPAIR_TIMER列で確認
GROUP_NUM DISK_NUM HEADER_S STATE
--------- -------- -------- -------3
0 MEMBER
NORMAL
3
1 MEMBER
NORMAL
3
2 MEMBER
NORMAL
3
3 UNKNOWN NORMAL
PATH
--------/dev/sdj1
/dev/sdk1
/dev/sdl1
NAME
-----DGN_D1
DGN_D2
DGN_D3
DGN_D4
FAI TOTAL FREE REPAIR_TIMER
--- ----- ---- -----------FG1 1019 537
0
FG1 1019 537
0
FG2 1019 536
0
FG2 1018 537
12409
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
37
Fast Mirror Resync（高速ミラー再同期）
障害発生後に、ディスク削除までの時間を引き延ばす方法
• 前頁の設定方法は、あくまで事前定義の扱い
– ディスク障害が発生した後に実行しても、
まさにカウントダウンをし始めた値に反映されない
• ディスク障害発生後、当初のdisk_repair_time属性の値が小さ過ぎ
たので、Drop Diskまでの時間を追加する方法（上書き）
alter diskgroup <ASM Diskgroup Name>
offline disks <ASM Disk Name> drop after 24h ;
alter diskgroup <ASM Diskgroup Name>
offline disks in failgroup <Fail Group Name> drop after 24h ;
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
38
Oracle ASMの構成例
Simple is the BEST
Diskgroup
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
39
Oracle ASMによる運用管理の簡素化
従来構成の課題を解決
• オペレーションの簡素化
– 表領域拡張やDisk追加の手順が簡素化し、運用オペミスのリスクが減少
• 管理対象オブジェクトの削減
– ASM Diskgroupの容量内で表領域を自由に拡張可能であり、従来のVolume
やRAWデバイス（データファイル）を意識する必要なし
– ストライピングでI/Oが均等化することで、表領域を細かく分割してI/O競合
を回避する必要なし。表領域の総数を大幅に削減可能
• データ再配置の工数不要
– Disk追加時に自動的に既存データの再配置（リバランシング）を実施
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
40
ASMによるデータベースの物理設計の簡易化
ストレージ管理を圧倒的に効率化
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
41
【参考】 データベース統合とASM Diskgroup
同一Oracle Clusterware上のOracle Databaseは、同一のASM Diskgroup
を利用可能
Single Databases
Single DB(a)
SGA
RAC Databases
DB Server
Single
DB(b)
SGA
RAC DB(c)-1
SGA
Oracle Clusterware
DBDB(d)-1
Server
RAC
SGA
RAC DB(c)-2
SGA
DBDB(d)-2
Server
RAC
SGA
Oracle Clusterware
マウント不可
ASM Diskgroup
DB毎の
領域制限は？
ASM Diskgroup
Single DB(A)のDatafiles
RAC DB(c)のDatafiles
Single DB(b)のDatafiles
RAC DB(d)のDatafiles
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Storage
42
ASMに最適なストレージ構成
Oracle Automatic Storage
Management に対して、
ストレージ側のLogica lUnit
（=ASM Disk）の最適な構
成方法について、幾つかポイ
ントをご紹介します。
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
43
ハードディスク・ドライブの性能特性
内周よりも外周の方がI/O性能が高い
• 一般的に、デバイスの先頭が外周
=> ASM Diskの先頭が外周
【参考】 ASM Intelligent Data Placementによるパフォーマンス・チューニング
http://www.oracle.co.jp/solutions/grid_center/nssol/pdf/wp-idp-gridcenter-nssol_v1.0.pdf
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
44
RAIDグループからの切り出す順番と配置
• 一般的に、
ハードディスクの外周から切り出すと言われているので、
先に切り出したLogical Unitの方が性能が高い
– 例）先に切り出したLogical Unit#1の方がディスクの外周に配置される為、
性能を比較すると、Logical Unit#1 > Logical Unit#2
RAIDグループ
Logical Unit#1
Logical Unit#2
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
45
HDDの同一RAIDグループから切り出したLUを
同一ASM Diskgroupへ組み込むのは？
• ディスクの外周と内周を行ったり来たりすることで、
シークによる待機時間の比率が高まる為に好ましくない
Table Full Scan
ASM Diskgroup
A
C
E
G
ASM Disk#1
A B C D E F G H ASM File
B
D
F
H
E
C
ASM Disk#2
A
RAIDグループ
Logical Unit#1
D
B
F
G
H
Logical Unit#2
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
46
ASM Diskgroupに所属するASM DiskへのI/O特性
• ASMは、各ASM Diskの使用率を「均等化」する
– サイズが異なるASM DiskでASM Diskgroupを構成した場合、
サイズが大きなASM Diskへ、より多くのデータが格納される
 アクセス量にも偏りが生じてしまう！
均等配置 = 均等アクセス
× ○
ASM
Diskgroup
ASM Disk
サイズ
使用率
50%
ASM Disk#1
使用率
50%
Disk#2
ASM
Diskgroup
使用率
50%
使用率
50%
ASM Disk#1
Disk#2
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
47
追加HDDの容量が現行より大きい場合
• パフォーマンス最適化の観点から、追加ハードディスクから切り出すLogical
Unit（ASM Disk）のサイズは現行のASM Diskと統一すること
– 容量が勿体ないのは理解できますが、性能劣化（偏り発生）の可能性を避けるべきです
• 余っている領域も、別のLUとして切り出して、別のASM Diskgroupを構成可能
– 但し、バックアップや古いデータの格納領域のように、
日中業務の負荷ピーク時間帯にアクセスが少ない用途として活用すべし
ASM Diskgroup
NGな例
50%
50%
50%
50%
既存ASM Disk
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
50%
50%
新規ASM Disk
48
現行HDDで運用、新規でSSDの追加が決定したら
• データベース全体をSSD上に移設できる容量の場合
– ASM Diskgroupを丸ごと移行
• 一部のデータしか移動できない場合
– SSDのみで構成されるASM Diskgroupを作成し、次のどちらかの方法で活用
1. 特定のオブジェクトや表領域をSSD上に配置
 AWRレポートを元に、手動でチューニング
第40回 AWRレポートを読むステップ2:アクセス数が多い表領域とセグメント
2. Database Smart Flash Cacheの活用
 Buffer Cacheから追い出されたブロックを自動的にSSD上にキャッシュ
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
49
【参考】 新規デバイス上へのデータ移行方法例
Level
完全無停止での移行方法
一時停止やオフラインを伴う移動方法
Table
表のオンライン再定義
[12.1] オンラインでのパーティション移動
Datapump Export /Import
表、パーティションの移動（alter table move文）
Pluggable Database
Tablespace / Datafile
Unplug & Plug
[12.1] オンライン・データファイルの移動
（alter database move datafile文）
Database
ASM Diskgroup
オフライン・データの移動
（alter tablespace rename datafile文）
トランスポータブル表領域
RMAN COPY + SWITCH DATAFILEコマンド
オフライン・データファイルの移動
（alter database rename datafile文）
RMAN COPY+SWITCH DATABASEコマンド
RMAN Duplicateコマンド
ASM Diskの追加+削除+リバランス
第47回 [Oracle Database 12c] オンライン・データファイルの移動
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
50
【参考】 システム無停止で、ストレージ筐体の入替
ASMの自動リバランスによるストレージ・マイグレーション
• http://www.oracle.com/jp/gridcenter/partner/nssol/wp-storage-mig-grid-nsso-289788-ja.pdf
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
51
しばちょう流 Oracle ASMにおけるストレージ設計指針
2016年10月版
1. 一つのRAID Groupは、一つ or 二つ+αのLogical Unitを切り出す


各RAID Groupから切り出した順序毎にASM Diskgroupで束ねる
可能な限り多くのLUを一つのASM Diskgroupで束ねる
2. 各ASM Diskgroupに含めるASM Disk(LU)は同一の性能 &サイズ

デバイス・タイプ（HDDやSSD）に応じて、別ASM Diskgroupを構成
3. RAIDグループと冗長構成パターン例


二重障害対応構成は「RAID無し or RAID0」 × ASM3重化
単一障害対応構成の場合は、RAID or ASMのどちらかで担保
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
52
RAIDグループを構成する場合は、後々の
HDDの追加購入単位も考慮しておきましょう
ASM Diskgroup構成例
RAIDミラー無し + ASM三重化
• 各ASM Diskgroupへ含めるASM Disk（LU）のサイズは統一
• DataFileは+DATAへのみ格納、負荷ピーク時間帯にシーク時間を極小化（+FRAはバックアップ）
• RAID設定が必須なストレージの場合、最小限の本数で組んだRAID0のRAIDグループを複数作成
Failure Group#1
Failure Group#2
Failure Group#3
+DATA
Diskgroup
・・・
・・・
・・・
+FRA
Diskgroup
・・・
・・・
・・・
Disk Enclosure#1
LU#1
LU#3
LU#2
LU#4
Disk Enclosure#2 Disk Enclosure#3
・・・
・・・
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
53
本日の内容
1
なぜ、ストレージ設計が必要なのか
2
Oracle Automatic Storage Management
3
ASMの最新機能紹介
4
ExadataにおけるASM構成
5
まとめ
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
54
主なASM関連機能の拡張
Oracle® Database新機能ガイド 12cリリース1 (12.1)
• 2.7.1 Oracle ASMの拡張
–
–
–
–
–
–
–
–
–
2.7.1.1
2.7.1.2
2.7.1.3
2.7.1.4
2.7.1.5
2.7.1.6
2.7.1.7
2.7.1.8
2.7.1.9
Oracle Flex ASM
ディスク・グループでのOracle ASMの共有パスワード・ファイル
Oracle ASMリバランスの拡張
Oracle ASMディスク再同期化の拡張
Oracle ASM chown、chgrp、chmodおよびオープン・ファイルの…
Oracle ASMでのALTER DISKGROUP REPLACE USERのサポート
Enterprise ManagerでのOracle ASM機能のサポート
WindowsでのOracle ASMファイル・アクセス制御
個別パッチに関するOracle Grid Infrastructureのローリング移行
– 2.5.4.1 Oracle ASMのディスク修正
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
55
ASM DiskgroupのCOMPATIBLE属性と機能
Oracle® Automatic Storage Management管理者ガイド 12cリリース1
使用可能なディスク・グループ機能
COMPATIBLE.ASM COMPATIBLE.RDBMS COMPATIBLE.ADVM
より大きなAUサイズ(32または64MB)のサポート
V$ASM_ATTRIBUTEビューに表示される属性
高速ミラー再同期
可変サイズのエクステント
Exadataストレージ
インテリジェント・データ配置
ディスク・グループに格納されるOCRおよび投票ファイル
デフォルト値以外に設定されるセクター・サイズ
ディスク・グループに格納されるOracle ASM SPFILE
Oracle ASMファイル・アクセス制御
最大値が1024のASM_POWER_LIMIT
ディスク・グループのコンテンツ・タイプ
ディスク・グループのレプリケーション・ステータス
ディスク・グループでの共有パスワード・ファイルの管理
>=
>=
>=
>=
>=
>=
>=
>=
>=
>=
>=
>=
>=
>=
11.1
11.1
11.1
11.1
11.1.0.7
11.2
11.2
11.2
11.2
11.2
11.2.0.2
11.2.0.3
12.1
12.1
>= 11.1
該当なし
>= 11.1
>= 11.1
>= 11.1.0.7
>= 11.2
該当なし
>= 11.2
該当なし
>= 11.2
該当なし
該当なし
該当なし
該当なし
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
該当なし
56
[12.1] Oracle Flex ASM
ASMインスタンスの柔軟な構成による可用性の向上
• ASMインスタンスをDBインスタンスが稼働するサーバーと分離
– DBインスタンスはネットワーク経由でASMインスタンスにリモート接続
– クラスタ全体でデフォルトで3つのASMインスタンスが起動
– ASMによるリソース(メモリー、CPU、ネットワークなど)使用量を低減
– 障害ポイントの削減
• ASMインスタンスの障害発生時、DBインスタンスは別の生存ASM
インスタンスへ接続をフェイル・オーバーして処理継続可能
– ASMインスタンスへの依存性が緩まり、DBサービスの可用性が向上
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
57
[12.1] Oracle Flex ASM
ASMインスタンス障害発生時の挙動
• 従来のASM構成（左図）では、ASMインスタンスが障害でDownした場合、
同一Node上のDBインスタンスもDownする仕様
• Flex ASM構成（右図）では、別Node上のASMインスタンスへ再接続が可能
Node1
Node2
DBA
DBA
ASM
ASM
Node3
DBB
ASM
ディスク・グループ A
従来のASM構成
Node4
DBB
ASM
Node5
DBB
Node1
Node2
DBA
DBA
ASM
Node3
DBB
ASM
Node4
DBB
ASM
Node4
DBB
ASM
ディスク・グループ A
Flex ASM構成
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
58
[12.1] Oracle ASMリバランスの拡張（1）
REPLACE DISKコマンドで、効率的なディスク交換
• ディスク交換後の操作を一つのコマンドで実施可能
SQL> ALTER DISKGROUP DATA REPLACE DISK DATA_0001 with '/dev/sdz';
– 交換するディスクの DROP 操作は不要 (OFFLINE 操作は必要)
• 以前のリリースでは、ディスク交換に伴い、2度のリバランスを実行する必要あり
– 交換するディスクをDROP+冗長性回復の為のリバランスを実行した後、
新ディスクを追加+再リバランスする必要があった
– 交換するディスクには、新しいディスクを元のディスクと同じ名前で追加され、
元のディスクと同じ障害グループに割り当てられる。
【しばちょう先生の試して納得！DBAへの道】
第49回 ASMディスク・グループ内のディスクの置換
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
59
[12.1] Oracle ASMリバランスの拡張（2）
優先順位と同時処理
• リバランス処理を重要なファイルから順に実施
– 制御ファイルや REDO ログ・ファイルなどを優先してリバランス処理を実施
– 以前のリリースまでは、file 番号順に実施されていた
• 複数のディスク・グループのリバランス処理の並列実行
– リバランス処理が完了するまでの時間を短縮
– 以前のリリースまでは、リバランス処理はシリアルに行われた
– 複数のディスク・グループに対して同時にリバランス処理がリクエストされた場合は、
後からリクエストされた処理はキューで待機
• リバランス処理時に、内部的にエクステントの論理チェックするように設定可能
– 破損を検知した場合、ミラーされているデータから自動で修正
– CONTENT.CHECK ディスク・グループ属性で設定
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
60
[12.1] Oracle ASMリバランスの拡張（3）
Explain Workコマンドで、リバランスの詳細な見積もり
• リバランス処理の作業量を見積もることが可能
– EXPLAIN WORK コマンドを使用して work plan を生成
– work plan は STATEMENT_ID で識別される
SQL> EXPLAIN WORK SET STATEMENT_ID='Drop DATA_0001'
2 FOR ALTER DISKGROUP DATA DROP DISK DATA_0001;
Explained.
• 見積もった 作業量を V$ASM_ESTIMATE ビューから確認
SQL> SELECT EST_WORK FROM V$ASM_ESTIMATE
2 WHERE STATEMENT_ID='Drop DATA_0001';
EST_WORK
----------279
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
61
[12.1] Oracle ASMディスク再同期化の拡張
POWER 句の指定による高速ミラー再同期処理の高速化
• ASM Diskgroupの高速ミラー再同期の処理に割り当てるリソース量
をPOWER 句により任意に設定することが可能
– 従来バージョンまでは、常に「1」で固定
– 12.1以降、POWER 句で 1 から 1024 まで指定可能
• 指定しない場合は、ASM_POWER_LIMITパラメータの値
– 対象ASM Diskgroup内でOFFLINEなASM Diskを全てOnline化
alter diskgroup <ASM Diskgroup Name> online all power <n>;
– 対象ASM Diskgroup内の特定のASM DiskをOnline化
alter diskgroup <ASM Diskgroup Name>
online disk <Disk Name> power <n>;
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
62
【参考】高速ミラー再同期のPOWER値の動的変更
通常のリバランス処理のPOWER値の変更方法と同じ
• 実行中のResync処理の強度を変更したい場合は？
– ○ alter diskgroup rebalance power <n> ; を上書き実行で変更可能
– × alter diskgroup online disk power <n>; を上書き実行では変更不可
SQL> alter diskgroup DATA_H online disk DATA_H_CD_09_JOJOC01 power 14;
alter diskgroup DATA_H online disk DATA_H_CD_09_JOJOC01 power 14
*
ERROR at line 1:
ORA-15032: not all alterations performed
ORA-15245: ASM disk DATA_H_CD_09_JOJOC01 is already being brought online
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
63
[12.1] Oracle ASMのディスク修正
• Normal、またはHigh RedundancyのASM Diskgroupにおいて、
論理データの破損をチェックして自動的に修復する機能
– データベースのWorkloadでは読み取られる可能性が少ないデータやASMのミ
ラーデータを検査することによって、可用性および信頼性が向上
– 本番システムでの通常のI/Oへの影響を最小限に抑える仕組み有り
– 実行単位：ASM Diskgroup、ASM Disk、ASM File
SQL> ALTER DISKGROUP data SCRUB POWER LOW;
SQL> ALTER DISKGROUP data SCRUB DISK DATA_0005 REPAIR POWER HIGH FORCE;
SQL> ALTER DISKGROUP data SCRUB FILE
'+DATA/ORCL/DATAFILE/example.266.806582193' REPAIR POWER HIGH FORCE;
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
64
[12.1] Oracle ASMのディスク修正
各種オプションの動作
• REPAIR
– 検出した破損を自動的に修復。指定しない場合は、破損チェックのみを実行
• POWER
– AUTO/LOW/HIGH/MAXの4種類。指定しない場合はAUTO
• WAIT
– 指定した場合はコマンド実行完了後まで待機
– 修正プロセスの実行中は、V$ASM_OPERATIONビューにて確認可能
• FORCE
– システムのI/O負荷が高い場合でも強制的にコマンド実行させる
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
65
【おまけ】ディスクの削除解除（11.1~）
alter diskgroup <Diskgroup Name> UNDROP DISKS ;
• 対象のASM Diskgroup内のASM Diskに対して、保留中の削除操作
を全て取り消すことが可能
– 以下のASM Diskは対象外
• ディスクの削除操作（削除に伴う冗長性回復の為のリバランス）が完了している
• ASM Diskgroupの削除に伴い削除されたASM Disk
• FORCE句を使用してDrop Diskが実行されたASM Disk
– 使用上の注意点
• 削除に伴う冗長性回復の為のリバランスをPOWER=0で停止させている状況で、
このUNDROP DISKSコマンドを実行した場合、コマンドは正常に実行される。
• ただし、V$ASM_OPERARIONビューには、リバランス処理がPOWER=0で残っているの
で、POWER=1以上でのリバランスを再実行すれば消える
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
66
12.2
Oracle Automatic
Storage Management
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
67
[12.2] Oracle ASM Flex Disk Groups
従来のASM Diskgroupの課題
Pre-12.2 diskgroup Organization
• ASMの冗長性は、Diskgroupレベルで設定
 冗長性毎にASM Diskgroupを作成しなければな
らず、容量設計が必要？
 冗長性を変更するには、Diskgroupの再作成
• 複数データベースで一つのASM Diskgroupを
共有する場合、各データベースの使用量制限
を設けることができない
Diskgroup
DB1 : File 1
DB3 : File 3
DB3 : File 1
DB2 : File 1
DB2 : File 2
DB1 : File 3
DB3 : File 2
DB2 : File 3
DB2 : File 4
DB1 : File 2
 データベース毎に、ASM Diskgroupを作成しな
ければならず、容量設計が必要？
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
68
[12.2] Oracle ASM Flex Disk Groups
データベースのストレージ管理を、より柔軟かつ高可用に
12.2 Flex Diskgroup Organization
• 新しいTYPEのASM Diskgroup
File Group
– 従来のRedundancy（External/Normal/High）に、
Flex Diskgroup
「FLEX」という新しい設定が追加
– File Group/Quota Groupがサポートされる
DB2
DB3
DB1
• File Group毎に冗長性を設定可能
• Quota Group毎に使用量制限が可能
• 使用条件
Quota
Group
File 1
File 1
File 1
File 2
File 2
File 2
File 3
File 3
File 3
File 4
– COMPATIBLE.ASMとCOMPATIBLE.RDBMSを
12.2以上に設定する必要あり
– 3本以上のASM Diskを含む必要あり
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
69
[12.2] Oracle ASM Flex Disk Groups
作成と移行
• 作成
create diskgroup <ASM Diskgroup Name>
FLEX REDUDANCY
disk '/dev/sdj1', '/dev/sdk1', '/dev/sdl1', '/dev/sdm1'
attribute
'COMPATIBLE.ASM'
= '12.2',
'COMPATIBLE.RDBMS' = '12.2' ;
• 移行(Normal RedundancyのDiskgroupをFlexへ)
alter diskgroup <ASM Diskgroup Name> mount restricted ;
alter diskgroup <ASM Diskgroup Name> CONVERT REDUNDANCY TO FLEX ;
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
70
[12.2] Oracle ASM Flex Disk Groups
Oracle ASM File Groups
• 冗長度、ストライピング粒度、リバランス強度等の設定の管理単位で、
データベースやPDBに紐づけて作成
– 動的にファイル冗長度（HIGH  MIRRORUNPROTECTED）の変更可
– 作成例
SQL> alter diskgroup flexdg add filegroup FG_ORCL database orcl;
– 変更例
SQL> alter diskgroup flexdg modify filegroup FG_ORCL
set 'datafile.redundancy' = 'HIGH';
SQL> alter diskgroup flexdg modify filegroup FG_ORCL
set 'archivelog.redundancy' = 'MIRROR';
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
71
[12.2] Oracle ASM Flex Disk Groups
Redundancyの変更（MIRROR  HIGH）
• 変更前の状態確認
ASMCMD [+FLEXDG/orcl] > lsfg -G FLEXDG --filegroup FG_ORCL
File Group
FG_ORCL
FG_ORCL
FG_ORCL
FG_ORCL
FG_ORCL
FG_ORCL
FG_ORCL
FG_ORCL
FG_ORCL
...
Disk Group
FLEXDG
FLEXDG
FLEXDG
FLEXDG
FLEXDG
FLEXDG
FLEXDG
FLEXDG
FLEXDG
Property
PRIORITY
STRIPING
REDUNDANCY
STRIPING
REDUNDANCY
REDUNDANCY
REDUNDANCY
REDUNDANCY
REDUNDANCY
Value
MEDIUM
COARSE
HIGH
FINE
MIRROR
MIRROR
MIRROR
MIRROR
MIRROR
File Type
CONTROLFILE
CONTROLFILE
DATAFILE
ONLINELOG
ARCHIVELOG
TEMPFILE
PARAMETERFILE
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
72
[12.2] Oracle ASM Flex Disk Groups
Redundancyの変更（MIRROR  HIGH）
• 変更の実行と確認
SQL> alter diskgroup FLEXDG modify filegroup FG_ORCL
set 'redundancy'='high';
File Group
...
FG_ORCL
FG_ORCL
FG_ORCL
FG_ORCL
FG_ORCL
FG_ORCL
FG_ORCL
...
Disk Group
Property
Value
File Type
FLEXDG
FLEXDG
FLEXDG
FLEXDG
FLEXDG
FLEXDG
FLEXDG
REDUNDANCY
STRIPING
REDUNDANCY
REDUNDANCY
REDUNDANCY
REDUNDANCY
REDUNDANCY
HIGH
FINE
HIGH
HIGH
HIGH
HIGH
HIGH
CONTROLFILE
CONTROLFILE
DATAFILE
ONLINELOG
ARCHIVELOG
TEMPFILE
PARAMETERFILE
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
73
[12.2] Oracle ASM Flex Disk Groups
Quota Groups for Oracle ASM File Groups
• Oracle ASM File Groupsの領域割り当てを制御する設定
– 複数のFile Groupを一つのQuota Groupに紐づける事も可能
– 任意のFlex Diskgroupに対して、新規Quota Groupの作成例
SQL> alter diskgroup FLEXDG add quotagroup QG_test01 set 'quota'=1024M;
– 作成したQuota Groupを確認
ASMCMD [+] > lsqg -G FLEXDG
Quotagroup_Num Quotagroup_Name Incarnation Used_Quota_MB
1
GENERIC
1
6512
2
QG_TEST01
1
0
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Quota_Limit_MB
0
1024
74
[12.2] Oracle ASM Flex Disk Groups
Quota Groups for Oracle ASM File Groups（つづき）
– 任意のFile Groupに対して、作成したQuota Groupを紐づけ
SQL> alter diskgroup FLEXDG modify filegroup FG_TEST_DB02
set 'quota_group'='qg_test01';
– この後、FLEXDGディスクグループ上に作成した表に対してInsert 処理を繰
り返すと、表領域が自動拡張でASM Diskgroupとして空き領域があるにも関
わらず、次のORAエラーが発生
ORA-01653: 表SCOTT.TBLCを128(表領域USERS)で拡張できません
– 使用量の確認するとQuotaの上限
ASMCMD [+] > lsqg -G FLEXDG
Quotagroup_Num Quotagroup_Name Incarnation Used_Quota_MB
1
GENERIC
1
6512
2
QG_TEST01
1
1024
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Quota_Limit_MB
0
1024
75
[12.2] Oracle ASM Flex Disk Groups
データベースのストレージ管理を、より柔軟かつ高可用に
• よりASMの基本思想S.A.M.Eに近づく拡張
– S.A.M.E:=「全てのDiskの均等利用を目的に、
データをストライプして全てのDisk上に分散配置
し、ミラーリングも行う」という設計手法
– より多くのデバイスで一つのプール化が可能とな
り、ストレージの使用効率の改善を実現できる
• 複数Diskgroupによる空き領域の分断からの解放
• IO要求をより多くのデバイスへ均等化
• 可用性要件（冗長度）への柔軟な対応
12.2 Flex Diskgroup Organization
File Group
Flex Diskgroup
DB1
DB2
DB3
File 1
File 1
File 1
File 2
File 2
File 2
File 3
File 3
File 3
File 4
Quota
Group
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
76
リファレンス
マニュアル・ドキュメント
• Automatic Storage Management Administrator's Guide
– http://docs.oracle.com/database/122/OSTMG/toc.htm
• 4 Administering Oracle ASM Disk Groups
– Managing Flex Disk Groups
•
•
•
•
About
About
About
About
Oracle ASM Flex Disk Groups
Oracle ASM File Groups
Oracle ASM File Group Properties
Quota Groups for Oracle ASM File Groups
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
77
本日の内容
1
なぜ、ストレージ設計が必要なのか
2
Oracle Automatic Storage Management
3
ASMの最新機能紹介
4
ExadataにおけるASM構成
5
まとめ
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
78
Oracle Exadata
柔軟なシステム構成、スケールアウトを実現
Eighth
Quarter
Half
Full
Multi-Rack
• 2 台のDatabase Serverと3台のStorage Serverからスタート
-
必要な分だけDatabase ServerもしくはStorage Serverを追加
• 旧世代のマシンも新世代のサーバーで拡張可能
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
79
Oracle Exadata
一般的な構成とExadata構成の差異
• 一般的な構成
• Oracle Exadataの構成
Real Application Clusters
Oracle S/W
Oracle S/W
Linux
IA Server
Real Application Clusters
Linux
Clusterware
IA Server
Oracle S/W
Oracle S/W
Oracle Linux
IA Server
Oracle Linux
Clusterware
IA Server
Exadata S/W
Oracle Linux
Storage
Controller/Cache
SAN Storage
(Fiber Channel)
Cell Server
(IA Server)
Database
Database
ストレージにServerを採用することでDBクラスタとの間で
互いに連携し補完する機能が実装可能になった
さらにCell Server は高機能化が加速中
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
80
Oracle Exadataがスケーラブルな一つの理由
• 複数のCell ServerをInfiniBand Networkで接続し、
ASMのテクノロジーで大量デバイスの性能を完全に引き出せるから
– しかも、事前最適化済みのストレージ構成
Real Application Clusters
マルチコア
InfiniBand
・複数ノードのマルチコアを使用
した並列処理を実行
・全てのディスクにデータを分散
・DBサーバーの性能を活かす
並列ディスクI/O処理
大量デバイス
Automatic Storage Management
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
81
Exadata X6 - DB I/O性能に革新をもたらした
301 GB/sec 分析スループット
560万 8K OLTP Read IOPS
520万 8K OLTP Write IOPS
240万 IOPS時に250 us I/Oレイテンシ
ラックを追加すれば更に拡張可能
Performance of 1 Exadata Rack with 10 DB servers and 12 EF storage servers
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
82
汎用のオールフラッシュ・ストレージを大きく越えた
Exadata X6の第二進化形態
DBメモリ帯域
Exadata
DB Servers
• 最新のFlash、PCIe NVMe、
InfiniBandをソフトウェア技術群
で事前チューニング済み
800GB/sec
クエリ
InfiniBand オフロード
ストレージ帯域
300GB/sec
Exadata Smart Storage
Flash PCIe NVMe
Chips
CPU
(Smart Scan/HCC/ExaFusion、等)
• メモリレベルの帯域幅をもつ
データベース・ストレージは
市場でOracle Exadataだけ
• Oracle Database 12c R2 では
更なるインメモリ＋フラッシュ技
術の進化を計画
※ソフトウェア・アップデートで入手可能
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
83
業務を変える驚異的なパフォーマンスを実現
検索処理
1時間30分
バッチ処理
2時間
データサマリ処理
10時間
店舗別/商品別 売上動向検索
30時間





1分(Exadata)
7分(Exadata)
10分(Exadata)
21分(Exadata)
明細からのアドホック分析（EUC）
20分
データロード処理
30時間
30秒(Exadata)
1時間(Exadata)
検索処理:某DWH製品との比較
4分
6秒(Exadata)
バッチ処理：取引データを一定の条件で加工/集計
4時間
10分(Exadata)
ノンチューニングで大幅なパフォーマンス向上
朝までに終わらないバッチ処理が、余裕で終わるようになった
従来不可能だった明細データからのアドホック分析が数～数十秒で完了
明細からの集計が高速になり、集計バッチ処理が不要になった
パフォーマンスの問題で実現できなかったリアルタイム連携が可能になった
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
84
NTT docomo : MoBills (Mobile Billing System)
http://www.atmarkit.co.jp/ait/articles/1601/20/news013.html
リアルタイム計算
課金処理の高速化
Benefits
MoBillsは、『+d』の実現に向けた取り組みを推進する基幹システムと
してきわめて重要な位置づけにあります。『Oracle Exadata』は非常に
10倍の性能向上 Oracle MAA
安定して稼動しており、期待どおりの性能を発揮しています。今後も
『Oracle Exadata』を活用することで、さらなる優位性を確立していきた
いと思います。
- 株式会社NTTドコモ 情報システム部 料金システム担当 担当部長 嶌村友希氏
Business Objectives
• 6600万顧客に対するリアルタ
イム・ビリング基盤
• 新サービスの追加やトラ
フィック量の増加に耐えうる
高い性能と拡張性、可用性
• コスト削減
Solution
• Oracle Exadata X4-2 : 30ラック
• Oracle MAA（Active Data
Guardの2面持ち）
高可用性
運用コスト
削減
導入コスト
削減
データセンターの
スペース削減
旧システム比
約2分の1
旧システム比
約4分の1
350ラック
 30ラック
約300万
SQL /sec
Pre-Exadata
• High-end Server & storage : 350 racks
• Storage Mirror Backup
• Storage Mirror Replication
• Oracle 9i Database Release 2
Exadata MAA
• Exadata X4-2 : 30 racks
[= 1 racks * 5 sets
* 3(Primary + 2 Standby) * 2 System]
• Local & Remote Data Guard Standby
• RMAN backup
• Oracle Database 11g Release 2
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
85
Oracle Exadata – Database Machine
H/W性能を最大限まで活用可能なアーキテクチャ
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
86
Oracle Exadata
事前定義済みのASM構成例
• 一本のデバイスを最低3つのパーティションに分割。ASM側でのみミラーリング。
• DataFileは+DATAへのみ格納、その他（+RECOはバックアップ、+DBFSは作業領域）
Failure Group#1
Failure Group#2
Failure Group#n
+DBFS
・・・
・・・
・・・
+RECO
・・・
・・・
・・・
+DATA
・・・
・・・
・・・
disk#1
Cell Server#1
Cell Server#2
Cell Server#n
・・・
disk#2
disk#3
・・・
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
87
Exadata特有な機能
ASM関連
• Cell Server間でのデータ転送
– DB Serverを経由せず、Cell Server間だけでデータを移動する事が可能
– これにより、InfiniBandネットワークを通じた転送量を従来の二分の一に抑え、
データベースサーバーのメモリ使用量も抑えることが可能
• コンパクション処理の省略
– リバランス処理時間の短縮とDiskに対する負荷軽減（アプリへの影響軽減）
• パートナリング・アルゴリズムの最適化
– Exadata Storage Server Software 11.2.3.3.0以降、ASM Appliance Modeが導入され、
ASM Diskgroup内のASM Diskのパートナリングのアルゴリズムが最適化
– これにより、ASM Diskが削除された際の冗長性回復の高速化を実現
• H/W構成が決まっているExadataだからこそ有効化可能なテクノロジー
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
88
本日の内容
1
なぜ、ストレージ設計が必要なのか
2
Oracle Automatic Storage Management
3
ASMの最新機能紹介
4
ExadataにおけるASM構成
5
まとめ
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
89
まとめ
Oracle Automatic Storage Management
• Simple is the BEST
– ASMを使用すれば、
I/O性能を最大限に引き出しつつ、容易な管理性を両立可能
• 最新バージョンでは柔軟性が強化され、
ASMの基本思想S.A.M.Eをより体現するものに進化
– S.A.M.E:=「全てのDiskの均等利用を目的に、データをストライプして全て
のDisk上に分散配置し、ミラーリングも行う」という設計手法
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
90
Oracle ASMの構成例
Simple is the BEST
Diskgroup
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
91
しばちょう先生の試して納得！DBAへの道
本資料に関連する記事一覧
• Automatic Storage Management
–
–
–
–
–
–
第30回
第31回
第33回
第34回
第35回
第49回
ASMディスク・グループの作成と使用量の確認
ASMのストライピングとリバランスによるI/O性能の向上
ASMのリバランスの動作
ASMのミラーリングによるデータ保護(1) ～障害グループと冗長性の回復～
ASMのミラーリングによるデータ保護(2) ～高速ミラー再同期～
[Oracle Database 12c] ASMディスク・グループ内のディスクの置換
• I/Oボトルネックのチューニング手法
– 第39回 AWRレポートを読むステップ1:バッファキャッシュ関連の待機イベントと統計情報
– 第40回 AWRレポートを読むステップ2:アクセス数が多い表領域とセグメント
• データの移動方法
– 第41回 [Oracle Database 12c] オンラインでのパーティション移動
– 第47回 [Oracle Database 12c] オンライン・データファイルの移動
– 第45回 Recovery ManagerのSWITCHコマンドでリストア時間ゼロ
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
92
Oracle Database 12c 対応研修コースのご案内
基礎から上級スキルまで。Oracle Database 12c の製品機能を学習できる多彩な研修コースでスキルアップを
Gold
Silver
Oracle Database 12c:
ASM 管理
(2日間)
Oracle Database 12c:
バックアップ・
リカバリ
(5日間)
Oracle Database 12c:
マルチテナント・
アーキテクチャ
(2日間)
Oracle Database 12c:
インストール＆
アップグレード
(2日間)
Oracle Database 12c:
管理ネクスト・
ステップ
(3日間)
Oracle Database 12c:
管理クイック・
スタート
(2日間)
Bronze
Oracle Database 12c:
Clusterware 管理
(4日間)
Oracle Database 12c:
パフォーマンス・
チューニング
(5日間)
Oracle Database 12c:
SQL チューニング
ワークショップ
(3日間)
Oracle Database 12c:
新機能
(5日間)
Oracle Database 12c:
PL/SQL プログラム
開発 (3日間)
データベース設計
(3日間)
Oracle Database 12c:
管理ワークショップ
(5日間)
Oracle Database 12c:
SQL 基礎 II
(2日間)
Oracle Database 12c:
Database Vault
(2日間)
Oracle Database 12c:
セキュリティ
(5日間)
Oracle Database 12c:
PL/SQL 基礎
(2日間)
Advanced Analytics Option 対応コース
Platinum
Oracle Database 12c:
RAC 管理
(4日間)
Oracle R Enterprise
エッセンシャルズ
(2 日間)
Oracle Database 11g:
データ・マイニング
手法
(2 日間)
Oracle ではじめる
統計入門
(1 日間)
Oracle Database 12c: SQL 基礎 I (3日間)
※ Oracle Database 12cR2 対応研修は順次提供予定です。詳しくはオラクルユニバーシティまでお問い合わせください。
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
93
Oracle Digitalは、オラクル製品の導入をご検討いただく際の総合窓口。
電話とインターネットによるダイレクトなコニュニケーションで、どんなお問い合わせにもすばやく対応します。
もちろん、無償。どんなことでも、ご相談ください。
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
94
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
95
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
96