Comments
Transcript
HP製サーバとHP Enterprise Virtual Array ストレージを使用したOracle
HP製サーバとHP StorageWorks Enterprise Virtual Arrayスト
レージを使用したOracle Grid Controlのベスト プラクティス
概要 . . . . . . . . . . . . . . . . . . . . .
ソリューションの構成 . . . . . . . . . . . . . .
ソフトウェア . . . . . . . . . . . . . . . .
管理ソフトウェア . . . . . . . . . . . .
HP Systems Insight Managerサーバ . . . .
HP OpenView Operations for Windowsサーバ
HP Command Viewサーバ . . . . . . . .
Oracleパッチ . . . . . . . . . . . . . .
テスト用のソフトウェア . . . . . . . . . . . .
Benchmark Factoryサーバ . . . . . . . .
テスト構成 . . . . . . . . . . . . . . . . .
ベースライン構成 . . . . . . . . . . . .
ネットワーク設定 . . . . . . . . . . . .
ネットワーク構成の留意事項 . . . . .
インフラストラクチャのセットアップ . . . . .
ファイバ チャネル ホスト バス アダプタ .
SANスイッチ . . . . . . . . . . . .
EVA4000の構成 . . . . . . . . . .
最終構成 . . . . . . . . . . . . . . .
Oracle Grid Controlの実装 . . . . . . . . . .
Oracle Grid Controlの概要 . . . . . . . .
Oracle Grid Controlのインターフェース . . .
Automatic Storage Management . . . . . .
テスト . . . . . . . . . . . . . . . . . . . . .
テストの概要 . . . . . . . . . . . . . . . .
テストの手法 . . . . . . . . . . . . . . . .
データの解釈 . . . . . . . . . . . . . . .
ベースライン テスト . . . . . . . . . . . . .
ベースラインの結果の解釈 . . . . . . .
パフォーマンス . . . . . . . . . . . . .
中間テスト . . . . . . . . . . . . . . . . .
中間の結果の解釈 . . . . . . . . . . .
パフォーマンス . . . . . . . . . . . . .
最終テスト . . . . . . . . . . . . . . . . .
最終結果の解釈 . . . . . . . . . . . .
パフォーマンスの向上 . . . . . . . . . .
ベスト プラクティスと結果 . . . . . . . . . . . .
結果の確認 . . . . . . . . . . . . . . . .
ベスト プラクティス . . . . . . . . . . . . .
構成のベスト プラクティス . . . . . . . .
管理のベスト プラクティス . . . . . . . .
まとめ . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3
4
5
5
6
6
6
6
7
7
8
8
8
9
9
9
10
10
11
12
13
14
18
20
20
20
21
21
22
22
25
29
29
33
36
36
40
40
41
41
43
45
付録A 構成の一覧 . . . . . . . . . . . . . . . . .
付録B テクニカル ガイダンス . . . . . . . . . . . . .
rawデバイスの設定 . . . . . . . . . . . . . . .
rawデバイス ファイルの例 . . . . . . . . . .
rawデバイスのinitスクリプトの例 . . . . . . . . .
Oracleのパフォーマンス低下 . . . . . . . . . . .
Oracle Grid Controlストレージのプロビジョニング手順
Oracle Grid Controlサーバのプロビジョニング手順 . .
（OracleへのOracle RACノードの追加） . . . . .
Oracleパッチ リスト . . . . . . . . . . . . . . .
付録C ハイライト . . . . . . . . . . . . . . . . . .
管理 . . . . . . . . . . . . . . . . . . . . .
パフォーマンス . . . . . . . . . . . . . . . . .
準拠 . . . . . . . . . . . . . . . . . . . . .
付録D 略語 . . . . . . . . . . . . . . . . . . . .
問い合せ先 . . . . . . . . . . . . . . . . . . . .
HPテクニカル リファレンス . . . . . . . . . . . .
ホワイト ペーパー . . . . . . . . . . . . .
HPソリューションおよびトレーニング . . . . . .
HP製品サイト . . . . . . . . . . . . . . .
ストレージ . . . . . . . . . . . . . . .
サーバ . . . . . . . . . . . . . . . .
インフラストラクチャ . . . . . . . . . . .
管理ソフトウェア . . . . . . . . . . . .
Oracle . . . . . . . . . . . . . . . . . . . .
Oracle Grid Control . . . . . . . . . . . . .
Oracle RAC . . . . . . . . . . . . . . . .
Quest Software . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
46
48
48
48
49
50
50
52
52
52
54
54
54
54
55
57
57
57
57
57
57
57
58
58
58
58
59
59
概要
Oracleは、Oracle Database10gの導入によって、エンタープライズ グリッド コンピューティング、つまり、
優れた管理機能、スケーラビリティ、可用性、および投資収益率（ROI）を実現するためにオンデマンド
で容量を追加する機能のために特に設計された管理ソフトウェアを提供しました。 本書では、HP
StorageWorks Enterprise Virtual Array（EVA）ストレージとHP ProLiantサーバを使用したOracle Grid
Control環境の実装および運用に関連した実務上の問題について説明します。 Oracle Grid Controlに
加えて、HP Enterprise管理機能についての詳細情報や、Oracle Grid Control環境内でこれらの機
能をどのように使用するかについての詳細情報も提供します。
本書では、次のような配備および運用上の基本的な問題を扱っています。
•
Oracle Real Application Cluster（RAC）環境を管理するためのOracle Grid Controlの使用方法
•
以前の管理フレームワークであるOracle Enterprise Managerと比較した場合のOracle Grid
Controlの違いと利点
•
追加のストレージ容量へのアドホック ニーズに対応するためのOracle Grid Controlの使用方法、お
よび、この容量を追加するための具体的な手順
•
Oracle Automatic Storage Manager（ASM）と組み合わせた場合のOracle Grid Controlの使用方法
•
追加のサーバ容量へのニーズに対応するためのOracle Grid Controlの使用使用方法、および、
RAC構成にサーバを追加するための具体的な手順
•
環境に加えられた変更の影響を確認するためのOracle Grid Controlの使用方法
•
Oracle Grid Controlを実行しているHP環境との相乗効果を実現するために推奨されるHP管理コン
ポーネントと、それらのコンポーネントをOracle Grid Controlで使用する方法
•
管理インフラストラクチャ全体に対するプランニングおよび配備の主な留意事項
以下の項では、これらのテスト結果、特に、テストから導き出された方法およびベスト プラクティスにつ
いて説明します。 これらの情報は、完全に機能するOracle Grid Control管理インフラストラクチャの生
産的なプランニングとタイムリーな配備の両方を容易にし、次のことを保証するためのものです。
•
全体的な運用の容易性
•
環境全体の総合的な監視
•
変更の実装へのアドホック要件に対応して、アクションを適切に検出、修正、および確認す
るための実証済みの手順
これらのベスト プラクティスのユーザーは、配備までの時間を短縮し、リスクを軽減し、さらに総コ
ストを最小化することができます。
3
ソリューションの構成
この環境は、HP ProLiant DLシリーズおよびHP ProLiant BL（ブレード）シリーズ サーバ、HP
StorageWorks 4000 Enterprise Virtual Array（EVA4000）ストレージ システム、Emulex/QLogicホスト バ
ス アダプタ（HBA）、HPネットワーク スイッチ、およびHP 16ポート/32ポートSANスイッチで構成されて
います。 これらのハードウェア コンポーネントは、2つのRACデータベースから成るベースライン構成に
まとめられています。 Linuxオンライン トランザクション処理（OLTP）データベースは1TBであり、ウェア
ハウジング（DSS）データベースは2TBです。 この環境のストレージ管理にOracle Grid Controlがどのよ
うに役立つかを示すために、2つのHP StorageWorks 4000-A Enterprise Virtual Array（EVA4000-A）スト
レージ システムを使用しました。 初期のLinux RACは2台のHP ProLiant DL585サーバで構成され、
Windows RACは2台のHP ProLiant BL480c BladeServerで構成されていました。 このどちらも、標準的
な、基本のRAC環境用に設定しました。 RACシステムを管理したり、RACノードを追加したりするOracle
Grid Controlの機能を示すために、これらの各環境にさらに1台のサーバを追加します。
使用したハードウェアを、表1、表2、および表3に示します。 図1は、テストに使用したベースライン構成
を示しています。 詳細は、「構成の一覧」（46ページ）を参照してください。
表1 サーバ
サーバの種類
サーバの用途
ProLiant DL380 G3
Oracle Grid Control 10g R2
ProLiant DL585
Linux Oracle RAC 10g R2（OLTP）
ProLiant BL480c
Windows Oracle RAC 10g R2（DSS）
ProLiant DL580 G3
Benchmark Factory（テスト プラットフォーム）
表2 ストレージ
SANコンポーネント
コンポーネントの種類
HBA
（2）FC2243 Mezzanine QLogic（MPIO）
（2）FC2143 Emulex（フェールオーバーのみ）
スイッチ
（1）HP 2/32 FCスイッチ（Brocade）
（2）HP 2/16 FC BladeSwitch（Brocade）
EVA
（2）EVA4000-Aストレージ システム
表3 ネットワーク コンポーネント
ネットワーク コンポーネント
HP 2/48Nネットワーク スイッチ
Cisco 16ポート ネットワーク スイッチ
4
図1 ベースライン構成
ソフトウェア
管理ソフトウェア
パフォーマンスを管理および追跡し、本書で使用されている各種のグラフを生成するために、次の
HP管理ソフトウェアを使用しました。
•
HP Systems Insight Manager（SIM）—サーバの稼動時間を追跡し、環境内のハードウェアおよびオ
ペレーティング システムのインベントリを作成するために使用しました。
•
HP OpenView Operations for Windows（OVOW）—環境内のすべてのコンポーネントのレポートおよ
び状態監視を提供するために使用しました。 現時点では、Linux 64ビットでのOracle統合はサポー
トされていませんが、近い将来にパッチがリリースされる予定です。
•
HP OpenView Performance Manager（OVPM）—OVOWやエージェントによって収集されたデータか
らグラフを生成するために使用しました。 このツールを使用すると、履歴グラフを生成できます。
•
HP OpenViewエージェント（WindowsおよびLinux）
•
HP Command View EVAおよびHP EVAPerf—Command View EVAはアレイ構成に使用し、EVAPerf
はアレイ固有のさまざまなパフォーマンス カウンタをキャプチャするために使用しました。
EVAから収集されたEVAPerfデータに基づいてEVAパフォーマンス グラフを生成するために、内蔵の
HPツールを使用しました。
5
HP Systems Insight Managerサーバ
HP SIMは、64ビットのMicrosoft Windows 2003 Enterprise Editionを使用するHP ProLiant DL580 G3
サーバ上で実行される環境で使用しました。 測定基準の主要な収集ポイントはOVOWでしたが、両方
の製品が互いに干渉することなく、同じサーバを運用できる点を示すことが非常に重要でした。 環境
内の各データベース サーバに、OVOWとSIM管理エージェントの両方を設定しました。
HP OpenView Operations for Windowsサーバ
データベース サーバのパフォーマンス測定基準は、OVOWを使用して、具体的にはOVPMを介して
収集されました。 このツールは、32ビットのMicrosoft Windows 2003 Enterprise Editionを使用する
HP ProLiant DL580 G2サーバ上で実行しました。 OVOWは、各ホスト サーバへのエージェントの配
備によって、Linuxなどのさまざまなオペレーティング システムのサーバを監視できます。 OVOWに
よって、CPU使用率、メモリ使用率とページング、ディスク スループットなどの、多くのサーバ測定基
準の監視が可能になりました。 プラットフォーム独立性が重要であるため、OVPMを使用して測定
基準をグラフ化し、分析しました（「テスト」（20ページ）を参照）。
HP Command Viewサーバ
HP ProLiant DL580マネジメント サーバは、この環境で2つの役割を果たしました。 EVAからOracleデー
タベース サーバへのストレージを設定して表示するために、HP Command Viewを使用しました。 テスト
中は、アレイのパフォーマンス、全体的なリソース使用率、ディスク レベルのレイテンシ、その他のEVA
パフォーマンス パラメータを監視するためにEVAPerfを使用しました。
次のコマンド例は、3.5時間にわたって15秒ごとに特定のEVAのすべての測定基準を実行したEVAPerf
ユーティリティを示しています。この実行間隔は、任意の長さに設定することができます。
この出力は、すべての主要なパフォーマンス測定基準カテゴリを示す一連の.csvファイルで、ディ
レクトリc:\perfに格納されます。 次に、パフォーマンスや潜在的なボトルネックを監視するため
に、これらのファイルを独自のグラフ作成ツールで分析しました。
適切な統合を確認し、すべてのソフトウェアがうまく連携できるようにするため、すべての管理ソフト
ウェアをOracleソフトウェア コンポーネントとともにインストールしました。 OpenView Operations用の
Oracle Server Plug-Inを除き、すべてのソフトウェアを意図したとおり正常に統合できました。 Oracle
Server Plug-Inは、AMDおよびインテル64ビット プラットフォーム上のLinuxでのサポートを継続するた
めに、今年の後半にパッチが適用される予定です。
Oracleパッチ
表4は、Oracle環境に適用されたパッチを示しています。
6
表4 適用されたパッチ
パッチ番号
適用対象
説明
3731593
Oracle Grid Controlサーバ
10.2.0.3 Oracle Grid Controlパッチ セット
5890474
Oracle Grid Controlサーバ
RACプロビジョニングの単発パッチの前に適用する必要の
ある必須パッチ
5998260
Oracle Grid Controlサーバ
LinuxおよびWindowsでのRACプロビジョニングの機能強
化を提供します。
5890474
Oracle Grid Controlサーバ
最新または更新版のEMCLIテンプレート、スクリプト、その
他が含まれます。 EMCLIを使用してプロビジョニング/拡張
/削除手順を実行する場合に適用します。
5337014
Oracleデータベース
Oracleデータベース用の10.2.0.3パッチ セット
5884103
Oracleエージェント（ターゲット）
夏時間後のタイム ゾーンの問題を解決するためのエー
ジェント パッチ
最近リリースされたパッチの完全なリストは、「テクニカル ガイダンス」（48ページ）に含まれています。
テスト用のソフトウェア
Benchmark Factoryサーバ
Oracle RACデータベース上でDSSおよびOLTPワークロードを実行するために、Quest Softwareの
Benchmark Factory for Databasesを使用しました。 このツールは、32ビットのMicrosoft Windows 2003
Enterprise Editionを使用した1台のHP ProLiant DL580 G2サーバ上で実行しました。 このツールを使用
すると、データベースへの各ユーザー接続のリアルタイムの監視や、1秒あたりのトランザクション数
（TPS）および最小/最大/平均トランザクション時間の測定が可能になります。 TPSはOLTPベンチマー
クの主要な測定単位であり、各種のテスト結果を比較するために使用されます。 クエリ時間は、パ
フォーマンスの点から見たDSSベンチマークの主要な測定単位です。 OLTPワークロードとDSSワーク
ロードの両方でのEVAのパフォーマンスは、図2で確認できます。
図2 [Benchmark Factory Agent]ウィンドウ
7
テスト構成
このプロジェクトでは、次の3種類のテスト構成を使用しました。
• 環境の特性を分析するためのベースライン構成
• 2番目のEVA4000-Aを追加した中間構成
• 環境に3番目のRACノードを追加した最終構成
この項では、環境がどのように変更されたかを示すために、ベースライン構成と最終構成につい
て説明します。
ベースライン構成
図3は、ベースライン構成でのコンポーネント同士の接続を示しています。
図3 ベースライン構成の図
ネットワーク設定
すべてのサーバが1Gb/秒のネットワーク接続を使用しています。 Oracle RACシステムは1Gb/秒
のネットワーク接続を2つ備え、パブリック ネットワークとプライベート ネットワークの間で均等に分
割されています。 パブリック ネットワーク インターフェースは、ラボ環境でのパブリックなインター
ネット プロトコル（IP）アドレス空間を使用します。これに対して、プライベート インターフェースは、各
スイッチと、192.168.x.xの範囲にあるルーティング不可能なプライベートIPアドレス空間内の接続に
制限されています。
8
ネットワーク構成の留意事項
Windows Serverオペレーティング システムには、RACのインストールを開始する前に実装する必要の
あるネットワーク構成の設定がいくつかあります。 特に、各システムでプライベートまたはパブリック接
続に同じネットワーク インターフェースが使用されていることを、正しい順序を指定することにより確
認してください。 次のスクリーンショットは、この変更を行うための[ネットワーク接続]の[詳細設定]
メニュー オプションへのパスを示しています。
現在、この手順はインストールの前提条件には含まれていませんが、詳細情報をOracle Technology
NetworkのWebサイトで参照できます。 この手順は、RACまたはそれ以降の拡張機能のインストール中
に、間違ったインターフェースがプライベートとして選択されないようにするために必要です。 技術的に
は、プライベートIPを含むIPアドレスが、プライベートな相互接続インターフェースとして常に検出され、
使用されます。 ただし、ハードウェアの追加やVLANの実装のために並べ替えが発生すると、その並
べ替えによって、オペレーティング システムが正常に起動できなくなったり、再起動の後にリモート ア
クセスが無効になったりするなど、RAC環境に重大な影響が及ぶ可能性があります。
注記：
Windows Serverのネットワーク インターフェースの名前も変更することをお勧めします。 これにより、パブリックとプライベートの
区別がいっそう簡単になります。
Linuxの場合は、同様の手法に従う必要があります。 使用されているネットワーク インターフェー
ス カード（NIC）を識別する場合は、mii-toolプログラムを使用して、どの物理インターフェースがど
のネットワークに接続されているかを特定します。 この操作は、相互接続インターフェースとパブ
リック インターフェースの2つに製造元が異なるタイプを使用している場合には特に重要です。 特
定のLinuxシステム内のすべてのインターフェースの順序を完全に把握するには、mii-toolまたは
eth-toolとifconfigを組み合わせて使用することをお勧めします。 これらのコマンドの使用法および出
力例は、「テクニカル ガイダンス」（48ページ）で参照できます。
インフラストラクチャのセットアップ
ファイバ チャネル ホスト バス アダプタ
HP ProLiant BL480cサーバのHBAは、Windows Serverシステム用のQLogicドライバベースの負荷分
散を使用しないで設定された、QLogicベースの4Gb/秒ファイバ チャネル メザニン カードでした。
HP Multipath I/O（MPIO）ドライバは、I/Oの負荷分散を実現できるため、WindowsおよびHP-UXに
適したソリューションです。 本書の構成例では最大スループットが必要なかったため、MPIOドライ
バには、テスト時のパス フェールオーバーのみを設定しました。 ただし、障害または遅延を防止
するために、フェールオーバーは必要です。
9
Linuxシステムでは、EmulexベースのHBAを使用しました。 これらにフェールオーバーのみを指定した
のは、最終構成でのテスト中、OLTPテストにはサーバあたり約2,000のI/O、3つのすべてのノードで最
大6,000～9,000のI/Oが必要であったためです。また、OLTPテストでは一般に、大量のI/Oが生成され
ますが、帯域幅の使用率は高くないためです。
注記：
テスト構成を一定にするため、システムのインストール後はHBAのファームウェアやBIOS（基本入出力システム）を変更しま
せんでした。
HP ProLiantサーバを最新の状態に維持するため、ProLiant Firmware CDを使用することをお勧
めします。 HP ProLiantサーバ内のすべてのコンポーネントの最新のファームウェアとBIOSの最
適な組み合わせに関する情報、およびアップデートのダウンロードについては、HPのWebサイト
http://welcome.hp.com/country/us/en/support.html（英語）を参照してください。
SANスイッチ
SANコンポーネントは、HP 32ポート ファイバ チャネル スイッチとHP 16ポート ファイバ チャネル ブレー
ド スイッチの間のスイッチ間リンク（ISL）を含め、すべて高可用性の構成として設定されていました。 こ
の環境では、16ポートと32ポートのSANスイッチの間に2つのトランクISL（合計4つ）を使用し、すべ
てのスイッチが4Gb/秒に対応しています。 これにより、HP ProLiant BL480cサーバに対して、合計
16Gb/秒の集合帯域幅が可能になります。 HP ProLiantブレード サーバはDSS（ウェアハウジング）
ワークロードを実行したため、できるだけ最大量のI/Oが必要でした。 ただし、16Gb/秒の帯域幅
は、2つのEVA4000-Aストレージ システムの最大スループットをはるかに超えています。 SANは高可
用性用に設定されているため、各ファイバ チャネル ブレード スイッチからの冗長パスが存在しま
す。 スイッチあたり2つのISLを使用することにより、各スイッチのフェールオーバー容量はもう一方
のスイッチの100%になるため、2つのEVA4000-Aストレージ システムで約720Mb/秒の最大帯域幅
の要件を犠牲にすることなく、冗長ソリューションが実現します。
EVA4000の構成
EVA4000-Aストレージ システムには、4台のEVAストレージ ディスク エンクロージャに56の146GB
15KRPMファイバ チャネル ディスク（エンクロージャあたり最大14のディスク）を完全実装しました。
DSSワークロードにはできるだけ高いスループットが必要であるため、56の物理ディスクを使用するこ
とにより、各EVA4000からの最大スループットを実現します。 使用可能なディスクをすべて使用して
EVAあたり2つのディスク グループを作成したため、EVAあたり最大の容量およびI/Oまたはスループッ
トが生成されました。 1つのディスク グループをプライマリ データLUN用の40のディスクで構成し、1
つのディスク グループをセカンダリ フラッシュバックLUN用の16のディスクで構成しました。 データ
ディスク グループとフラッシュバック ディスク グループの間でI/Oが分離されることにより、各ディス
ク グループのアーカイブ ログ（およびREDOログなど）によって最も効率化されたI/Oが実現される
可能性があるため、この構成は重要でした。
図4は、EVAストレージを使用したASMディスク グループの作成方法と、EVAディスク グループと
ASMディスク グループの違いを示しています。
10
図4 1セットのASMディスク グループの構成例
この方法を使用して、EVA4000-Aごとにプライマリ ディスク グループから8つのデータVdiskが作成さ
れ、EVA4000-Aごとにセカンダリ ディスク グループから8つのバックアップVdiskが作成されました。 各
RACシステムに、各EVA4000-Aの各ディスク グループから4つのLUNが割り当てられました。 ここ
では、各RACシステムに対して作成されたASMディスク グループと同等の状態が維持されました。
それは、プライマリ ディスク グループだけが実際の表領域データを保持し、セカンダリ ディスク グ
ループは表領域以外のデータしか保持しないという考えのもとに、各ASMディスク グループをプライ
マリとセカンダリのディスク グループとして作成したためです。
最終構成
ベースライン構成が、環境内の最初のEVAとまったく同様に設定された2番目のEVAを含むように拡
張されました。 各RACシステムに3番目のサーバが追加され、SAN上のパスとLUNの総数が増え
ました（図5を参照）。
11
図5 最終構成
4Gb/秒スイッチを使用すると最も単純な構成で最大の帯域幅が提供されるため、この環境では4Gb/
秒スイッチの使用をお勧めします。 これらのテストではパフォーマンスをあまり重視していませんが、
特に、本質的に高いスループットが要求されるDSSテストで、各テストの間に検出可能な違いがあるこ
とを確認できるだけの十分な帯域幅があります。
サーバを1台追加したことにより、潜在的なスループットは、DSSテストの場合でほぼ800MB/秒に、
OLTPテストの場合で約20,000 IOPS（1秒あたりのI/O数）に増加しました。
これらのテストでの主な懸念事項は、パフォーマンスではなく構成のサイズです。そのため、次
の範囲を対象にしました。
• Oracle Grid Controlを使用して環境を管理する方法
• Oracle Grid Controlの使用から得られる利点
• 環境内でOracle Grid Controlを使用するための留意事項
Oracle Grid Controlの実装
Oracle Grid Controlには多くの機能がありますが、Oracleグリッド コンピューティングの概念が、単
にOracle Grid Controlの実装ではない点を理解する必要があります。 Oracle Grid Computingに
は、ダイナミックな環境の管理、維持、および自動化のためのOracle Grid Controlなど、一連のコ
ンポーネントが含まれます。 Oracle Grid Controlの実装は、Oracleエンタープライズを簡素化す
るための最初の手順です。
12
Oracle Grid Controlの概要
Oracle Grid Controlでは、Oracle Grid Controlを介して監視するシステム間の通信にサーバ/エージェン
ト トポロジを使用します。 RACデータベースが監視されているため、データベース管理者（DBA）は
データベースのさまざまな側面に関心を持っています。
• 稼動時間
• クエリ パフォーマンス
• メモリの使用
• バッファ
• ストレージ使用率
企業内のすべてのデータベースで、これらの項目やその他のさらに多くの項目が懸念事項になりま
す。 DBAや管理チームは、Oracle Grid Controlを使用して、発生する恐れのある一般的な問題につい
て警告を受信できます。Oracle Grid Controlは、DBAや管理チームに直接メッセージを送信できます。
先に説明したように各システムにはエージェントがインストールされているため、時間が節約されるとと
もに、目に見えるものが発行されるため問題の説明責任も果たしやすくなります。 HP OpenViewは、
Oracle Grid Controlの機能をいくつか備えていますが、より汎用的な監視プラットフォームになります。
一方、Oracle Grid Controlは、いくつかの汎用機能を備えたOracle固有の監視プラットフォームです。
環境内で両方の製品を使用することによって、潜在的な問題が解決されます。
任意のOracleデータベース、またはOracle Grid Controlの監視環境に統合されたその他の任意のアプ
リケーションの場合、Oracle固有の問題の解決方法に関する問題点や提案などが企業全体から参照
しやすくなります。 このプロジェクトでは、次の2つの具体的な領域について調査します。
• ストレージとデータベースのパフォーマンス
• ストレージとデータベースの管理
表領域に関連した何らかの問題でOracle Grid Controlから警告が生成された場合、DBAはできるだけ
速く問題を解決しようとするはずです。 何が変更され、どれほどの表領域が影響されている可能性が
あるか。 この問題によって、他のどの領域が影響されている可能性があるか。 Oracle Grid Controlで
は広範囲のビューが提供されるため、DBAがより迅速に問題を突き止め、把握するのに役立ちます。
Oracle Enterprise Manager（Oracle EM）のさまざまなインスタンスが存在する環境の場合、DBAには、
問題の発生原因に関する何らかのヒントが得られます。 Oracle EMは、場合によっては問題の解決に
役立ちますが、Oracle EMのさまざまなインストールが存在する場合はかえって負担になります。
Oracle Grid Controlを使用して、Oracle EMで1つのペインに表示できるようにデータベースを統合する
と、DBAは1か所から任意のシステムの問題を発見できるようになります。 これだけでも時間を節約で
きます。 図6は、より高度な、冗長性の高いOracle Grid Control環境を示しています。
13
図6 Oracle Grid Controlの冗長アーキテクチャ
図6は、異なる場所またはタイム ゾーンにわたって使用されるOracle Grid Controlの拡張を示している
だけでなく、可用性の高い監視ソリューションも表しています。 Oracle Management Repository（OMR）
が格納されているOracle RACへのパスを使用してアクセス可能なOracle Management System（OMS）
が存在する場合、データを報告しているエージェントや、システムを監視しようとしている管理者は、情
報および監視インフラストラクチャであるOMRを常に使用することができます。
Oracle Grid Controlのインターフェース
インターフェースを確認することにより、Oracle Grid Controlにおけるナビゲーションを理解できるように
なります。 Oracle Enterprise Manager Grid Controlには、いくつかのナビゲーション タブがあります。 イ
ンターフェースには、次のタブが用意されています。
• [Home]
• [Targets]
• [Alerts]
• [Deployments]
14
• [Compliance]
• [Reports]
Oracle Grid Controlは、少数の基本的なタスクの監視や実行に使用される場合が最も多いため、この
プロジェクトで主に対象とするタブは[Home]タブと[Targets]タブです。 管理者は、 [Home] から開始
することによって、Oracle Grid Controlで監視されているすべてのターゲットの概要にすばやく目を
通すことができます。 図7は、[Home]タブの例を示しています。
図7 Oracle Grid Control — [Home]タブ
Oracle EMウィンドウの左のパネルにある円グラフには、どのシステムがどの状態にあるかが一目でわ
かるように表示されます。 一般に表示される状態は、up（稼働中）、down（ダウン）、unknown（不明）、お
よびblack out（停電）です。 図7に示されている例では、1つのターゲットだけが不明な状態にあります。
Oracle Grid Control環境では、インストールの時点でまだ実際に設定されていないターゲットが1つまた
は2つ存在する可能性があるため、これはごく標準的な状態です。 この場合は、そのターゲットを設定
および使用するために必要なコンポーネントが、環境内で使用できない可能性があります。 この問題を
解決するには、単純に[unknown (1)]リンクをクリックしてどのターゲットがエラーになっているかを
確認し、そのターゲットが必要ない場合は、[Targets]タブ（図8）をクリックしてターゲットを削除します。
Oracle Grid Controlでは、エージェントが監視している対象がすべてターゲットになります。 たとえ
ば、ホストのオペレーティング システム、Oracle Cluster Wareプロセス、Oracle ASMプロセス、Oracle
Database/RACプロセス、Oracleエージェント自体、エージェントがインストールされている各サーバ
のその他のプロセスがターゲットになります。
15
図8 Oracle Grid Control — [Targets]タブ
[Targets]ビュー ウィンドウには、注目すべきサブタブもいくつか存在します。 デフォルトのビューは
[Hosts]です。ここには、エージェントがインストールされ、OMSに登録されているサーバが表示されます。
OMSは、次のいくつかのターゲットを認識しています。
• [Hosts]
• [Databases]
• [Application Server]
• [Web Applications]
• [Services]
• [Systems]
• [Groups]
• [All Targets]
Oracle Grid Controlは、Oracle環境内のいくつかの異なる種類のターゲットを常時監視できます。 この
監視は、Oracle環境には制限されません。 たとえば、汎用的なWebアプリケーションやサービス、ある
いはApacheまたはIIS Webサーバ、JBossアプリケーション サーバなどのアプリケーション サーバのた
めのカスタム モニタを作成できます。 これらのカスタム モニタは、使いやすくするために[Systems]
サブタブや[Groups]サブタブに統合できます。
管理者は[Systems]サブタブをカスタマイズして、ターゲットの新しいシステム（たとえば、Data Guard環
境内の複数のRACシステム）を作成できます。 管理者は通常、そのシステムのすべてのコンポーネン
トを指定します。 同様の種類の複数のシステムが定義されている場合、管理者はこれらのシステム、
またはその他の使用可能な任意のターゲットから新しいグループを作成できます。
注目すべき最後のタブが、配備手順へのアクセスを提供する[Deployments]タブ（図9を参照）です。 こ
のタブには、さまざまな手順が表示されます。 このタブでは、新しいOracle RACサーバやインスタンス
16
を動的に追加または削除するための、新しいワンクリック拡張クラスタ データベース手順にほとん
どの時間が費やされます。 RAC環境の管理や移行を容易にできるこの手順は、現在、Linuxの32
ビットと64ビットのみをサポートしています。 ただし、パッチの適用やクローニングなどの操作では、
ほとんどのオペレーティング システムがサポートされています。
Oracleのサポートは変更される場合があるため、Metalink、OTN、またはOracleドキュメントのWebサイ
トを参照して、現在サポートされているプラットフォームを確認することをお勧めします。 すべてのサ
ポート情報が含まれているのはMetalinkだけですので注意してください。
図9 Oracle Grid Control — [Deployments]タブ
[Deployments]タブには、いくつかの非常に重要なセクションがあります。
• [Configuration]セクションは、管理者が環境への変更を格納、表示、および確認するのに役
立ちます。
• [Patching]セクションには、パッチの実装手順やパッチ リポジトリ ビューが表示され管理者が確認
できるため、パッチを管理された状態に維持するのに役立ちます。
• [Cloning]セクションは、データベースのクローニング専用に使用される一連の配備手順です。
• [Client Configurations]セクションは、他の任意のホストを、ハードウェア インベントリ、場合によって
はソフトウェア インベントリの目的でOracle Grid Control環境に統合するための手段を提供します。
• [Deployment Procedure Manager]セクションには、このプロジェクトで使用される特定の配備手順、
つまりワンクリック拡張クラスタ データベース手順が含まれています。
17
Automatic Storage Management
Oracleは、Oracle ASMと呼ばれる、データを格納するための新しい方法を提供しています。 この方法
は、VERITAS VxVM、LVM、EVMSなどの他のディスク管理ソフトウェア製品の方法に似ています。
Oracle ASMは、データやデータ ブロック内のホット スポットを監視する役割を果たし、それらのデータ
をアクセス変更のパターンとして再編成/再ストライプ化します。 この処理は、ノードをインストールする
とき、特にストレージを追加するときにOracle Grid Control環境を簡素化するうえで重要です。
Oracle Grid ControlはDBAに警告を表示するだけでなく、その問題に関する提案や、ディスクの使用状
況、クエリ パフォーマンス、テーブル アクセスなどの他の問題との関連性も提供します。 Oracleは、
ディスクやストレージの問題を容易に解決するために、Oracleがデータのパターンをより詳細に調べら
れるASMを導入しました。 そのため、Oracleは、発生している問題に対するより正確な解決策を提案で
きます。 たとえば、テーブルが更新されている間はI/Oのボトルネックが発生します。 単に、十分なディ
スクが存在しないために、許容可能なディスク アクセス回数に達しない場合は、Oracle Grid Control
によってこの問題の解決に役立つようにLUNを追加するためのメカニズムが提供されます。 この
追加は完全にオンラインで実行され、これらの変更や問題は、Oracle Grid Controlによって監視さ
れているすべてのシステムで観察されます。
このプロジェクトでは、ホット スポット、パフォーマンス チューニング、特にOracleが関与するその
他のストレージ関連の領域に関する一部の推測を自動化や解消できるようにするためにのみ
ASMを使用しています。 Oracle Grid Controlと組み合わせてASMを使用すると、Oracle 10g以降の
すべてのOracleデータベース インストールについて、1種類のデータ ストレージが1つのウィンドウ
に表示されるため、管理が容易になります。
図10は、Oracle Grid Controlの[ASM Administration]セクションの例を示しています。
図10 [ASM Administration] – [Disk Group]ビュー
18
図10には、ディスク グループの名前、サイズ、使用状況、状態、その他の詳細が表示されているた
め、管理者は各ディスク グループの状態を一目で把握できます。 ディスク グループの名前をクリック
し、そのディスク グループの実際のレイアウトを詳細に調べることによって、さらに詳細な情報を取得
できます。 管理者は、このインターフェースを通して、ASMディスク グループの下にファイルやファイ
ル属性を表示できます。 HP Customer Focused Testingでは、『Best Practices for Oracle 10g with
Automatic Storage Management and HP StorageWorks Enterprise Virtual Array』ホワイト ペーパーを作
成しました。このドキュメントは、次のHPの大企業向けWebサイトで入手できます。
http://h71028.www7.hp.com/enterprise/cache/429462-0-0-225-121.html（英語）
19
テスト
テストの概要
ここでは、テストの手順、手法、およびこのプロジェクトの目的をかなえるために収集したデータについ
て説明します。これらの目的を実証するための2つの単純な質問は次のとおりです。
1.
Oracle Grid ControlをOracle環境の管理に役立てることができるか。
2.
Oracle Grid Controlを使用して環境を拡張することができるか。
これらの質問への答え、およびテスト作業から得られた結果の詳細な説明と比較
は、「ベスト プラクティスと結果」（40ページ）で確認します。
テストの手法
ここでは、データベースのサイズと構成、データが生成された方法、テスト、および結果の解釈
について説明します。
これらのデータベースは、2つの一般的なデータ タイプおよび機能であるOLTPとDSSを使用し
て作成されました。どちらのオペレーティング システムも64ビット プラットフォーム上の64ビットでし
た。表5を参照してください。
表5 データベースの作成
データベース
の種類
サーバ
オペレーティン
グ システム
ブロック サイ
ズ
MEM/SGA
Oracleソフト
ウェアのバー
ジョン
データ サイズ
OLTP
ProLiant
DL585
Red Hat AS4
U4
8K
6G/4G
10.2.0.3
1.1TB
DSS
ProLiant
BL480c
Windows 2003
R2
16K
16G/8G
10.2.0.3
2.2TB
業界規格の基準に従った各データベースのデータをランダムに生成するために、Quest Software
Benchmark Factoryツールを使用しました。テストの目的はパフォーマンスのベンチマーク測定ではな
く、各テストで構成に加えられた変更の影響を測定することであったため、各テーブル セットのデ
フォルト値は変更しませんでした。
表6は、ベースラインのOLTPのテストの場合、RACには2台のサーバ、1台のEVA4000-A、およびデー
タベース上のトランザクションを実行する500のOLTPユーザーが含まれていることを示しています。こ
のテストでは、1秒あたりのトランザクション数（TPS）を測定します。
表6 テスト構成
データベース
の種類
ユーザー数
測定
EVA
データVdisk
サイズ
ノード
ベースライン
のOLTP
500
TPS
1
4
1.1TB
2
ベースライン
のDSS
3
時間
1
4
2.2TB
2
中間のOLTP
1,000
TPS
2
8
1.1TB
2
中間のDSS
3
時間
2
8
2.2TB
2
最終のOLTP
1,000
TPS
2
8
1.1TB
3
最終のDSS
3
時間
2
8
2.2TB
3
20
ベースラインのDSSテストは、OLTPテストの構成とほぼ同じです。RACには2台のサーバ、同じ
EVA4000-Aが存在しますが、3人のDSSユーザーがDSSデータベースに対して非常に長いウェアハウ
ジング クエリを実行しています。このテストでは、クエリの完了速度を測定します。
データの解釈
本書では、構成、環境、データベース、およびテスト結果について説明します。このデータの解釈で
は、テスト シナリオ、テスト構成、および最終結果について説明します。
ベースライン テスト
この環境は、OLTPデータベースのOLTPプライマリ データ ディスク グループごとに4つの約265GB
のLUNと、DSSプライマリ データ ディスク グループごとに4つの530GBのLUNで構成されていました
（図11を参照）。これらのサイズは、データの表領域とデフォルトの一時テーブルがディスク グルー
プに収まるように選択されました。Benchmark Factoryから提供される可変サイズのデータも、こ
れらのLUNサイズを選択した別の理由です。
図11 ベースライン構成の図
1台のEVA4000-Aの使用によってディスク容量の制限事項が発生したため、一時テーブルはセカンダ
リ ディスク グループに格納しました。
21
注記：
EVA4000-Aを1台だけ使用することは、最適な構成ではありません。ただし、このテスト構成には必要でした。
各テストのOLTPおよびDSSのユーザー負荷と、ベースライン テストの結果を表7に示します。
表7 ベースライン テストの結果
データベースの種類
ユーザー数
結果
サイズ
ベースラインのOLTP
500
38TPS
1.1TB
ベースラインのDSS
3
27時間
2.2TB
ベースラインの結果の解釈
各RACシステムには、2つのノードと1台のEVAが存在します。最高の結果を得るために、同時にはテ
ストを実行しませんでした。通常のユーザー トランザクションのタイミングをシミュレートするために、
OLTPテストにはデフォルトのTPC-C思考時間を使用しました。OLTPの結果は、思考時間が使用
される、このようなシステムではきわめて標準的な結果です。DSSでは、クエリの総数が、予備テ
スト中にかかった時間に基づいて17クエリから9クエリに削減されました。これによって全体的なテ
スト時間が短縮され、より短い期間により多く反復して実施できました。これらのベースラインの結
果は、後で中間テストの結果と比較されます。
パフォーマンス
この構成のパフォーマンスではさまざまな特徴が見られますが、調査すべき、ストレージ限定のパ
フォーマンスの特性がいくつか存在します。OLTPのシステムでは高レベルのI/Oが生成されるため、こ
の測定基準は、EVAのパフォーマンスの測定に使用するのが最も適しています。ただし、DSSのシステ
ムでは、長時間のクエリという性質から、生成されるI/OのレベルはOLTPのシステムよりはるかに低く
なるため、ストレージ レベルでスループットを密接に監視する必要があります。図12～図15は、それぞ
れのテストのI/Oとスループットを示しています。
図12 ベースラインのOLTPのグラフ
EVAの合計スループットは、約440MB/秒でした。
22
ベースラインのOLTPのテストでは、平均96 IOPS（1秒あたりのI/O数）を測定しましたが、95パーセンタ
イル値での測定としては211 IOPSでした。これに対して、OLTPスループット テストの結果に注目すべ
き点はありません（図13を参照）。OLTPワークロードに思考時間が追加されなかったとしたら、さらに
数千多いIOPSが生成され、サーバがボトルネックになると考えられます。
図13 Linuxノード1とノード2のOLTPスループット
OLTPとDSSのグラフはほとんど同じです。ただし、スループットを確認することにより、先に説明した違
いが明確になります。図14は、EVAから見たスループットを含む最初のDSSのグラフを示しています。
23
図14 ベースラインのDSSのグラフ
DSSのMB/秒は、OLTPのMB/秒の測定をはるかに超えています。実際、DSS環境では、約400MB/秒
まで耐えることのできるEVA4000をほぼ飽和するスループットが得られました。この2つのワークロード
の間に大きな違いがあるため、次の一連のテストを実行することにしました。
図15は、ホストから測定した場合にスループットが高くなることを示しています。このスループットに注
目した調査によって、OLTPワークロードとDSSワークロードの大きな違いが明らかになります。
24
図15 Windowsノード1とノード2のDSSのホスト スループット
中間テスト
図16は、中間構成を示しています。
25
図16 中間構成
中間テストでは、ベースライン構成に2番目のEVA4000-Aを追加し、LUNの数を2倍に増やすことに
よって、構成のパフォーマンスを向上し、容量を増やしました。中間テストの構成を実現するため
の手順として、次の2つがあります。
1.
EVA4000上のストレージをプロビジョンする。
2.
ASMディスク グループにLUNを追加する。
手順 1は、HP Command View EVAを使用して新しいLUNを作成し、追加のストレージを受け取るホス
トに提供することによって簡単に実行できます。図17は、HP Command View EVA 6.02を使用し
たプロビジョニングを示しています。
26
図17 [Command View EVA]ウィンドウ
電源と配線が完了していると仮定すると、2番目のEVAを追加する場合は次の操作を行います。
1.
SANスイッチで、新しいEVA4000-Aを収容する新しいゾーン セットを作成します。
2.
Command View EVAを使用して、初期化されていないEVAにアクセスし、初期化します。
3.
40の物理ディスクを含むデータ ディスク グループを作成します。
4.
16の物理ディスクを含むフラッシュバック ディスク グループを作成します。
5.
各ディスク グループに、最初のEVAと等しい数のデータVdiskを作成します。
6.
ホストを作成し、ホストごとに必要なポートを割り当てます。
7.
新しいVdiskを各ホストに提供して、一貫性を保ちます。
8.
オペレーティング システムのツールを使用して、各ホスト上の新しいLUNを検出します。
EVAから各ホストへの新しいストレージのプロビジョニングが完了したら、これらのLUNをASMインスタ
ンスに追加する必要があります。図18は、Oracle Grid Control ASMのインターフェースを示しています。
27
図18 Oracle Grid Control ASMのウィンドウ
必要なオペレーティング システムの変更を行ったら、この環境にオンラインでストレージを追加
できます。
1.
[Targets]タブで、ストレージを追加するクラスタからASMインスタンスを選択します。
2.
ホーム ページから[Administration]リンクをクリックするか、またはディスクを追加するディス
ク グループを選択します。
3.
追加するディスクを選択します。
4.
追加する各ディスク/LUNの横にあるボックスをオンにします。複数選択も可能です。
5.
使用可能な場合は、[Power Level]を選択します。
6.
[Finish]を選択します。
7.
[Performance]サブタブで、ディスク グループのリバランスの進行状況を監視します。
注記：
稼動システムは引き続き実行されますが、稼動ワークロードへの影響を避けるために、ストレージを追加する場合は
[Rebalance Power]に十分な注意を払う必要があります。
HP Command View EVAを使用してVdiskをプロビジョニングし、Oracle Grid Controlを使用して新しいス
トレージを追加すると、データを分散させるためのより多くのパスとLUNが提供されます。リバラン
スに必要な時間は、次のいくつかの要因によって異なります。
• ストレージ アレイの速度と使用率
28
• 使用可能なサーバ リソース
• ディスク グループに対して設定されたASMの指数のリバランス
データ ディスク グループをリバランスするために、530GBのLUNのセットごとに約3時間必要でした。リ
バランスの完了によって、拡張された環境で次の一連のテストを実行する準備ができました。
中間テストの結果を表8に示します。
表8 中間テストの結果
データベースの種類
ユーザー数
結果
サイズ
中間のOLTP
1,000
51TPS
1.1TB
中間のDSS
3
25時間
2.2TB
中間の結果の解釈
ユーザーの数を500から1,000の2倍に増やしても、拡張されたOLTP環境は負荷を維持し、38 TPS
から51 TPSに増加しました。ASMで使用可能なLUNのプールを増やしたことによって、サーバを追
加することなく、結果は約75%向上しました。この場合も、思考時間が使用されていなかったとした
ら、結果はまったく異なっていたと考えられます。これらの結果によって、OLTP環境が物理的なス
トレージ容量を獲得しただけでなく、実行した作業量もサポートしたユーザー数も前のRAC構成よ
り多かったことが示されています。
DSSの結果は、3ユーザーと9クエリで、クエリ実行時間が27時間から25時間に短縮されたことを
示しています。
OLTPの構成に2番目のEVAを追加したことによって、TPSが約25%増加し、DSSの結果は約26%
向上しました。
パフォーマンス
これらの構成のパフォーマンス測定基準は、ワークロードに固有のものです。比較する場合は、全体
を正しく判断するために、前の結果から導き出された測定基準を使用する必要があります。
これらのテストは、管理者がOracle Grid Controlを使用してその場でストレージを追加することによっ
て、データベースのパフォーマンスの向上や容量の追加が可能なことを示しています。
注記：
HP Command View EVA、hpfc_utils、Oracle Grid Control、Oracle ASMなどの一連のツールを使用したことにより、これらのテスト
が成功に至りました。ただし、このテストを成功させるには、これらのすべてのツールを使用する手順を採用する必要がありま
す。この手順やその他の手順の一覧については、「テクニカル ガイダンス」（48ページ）で参照できます。
ASMの再構成のどの時点でも、サーバのリブートや、RACデータベースの再起動、システムの他のコ
ンポーネントのシャットダウンは行われませんでした。このテストでのすべての変更が、データベース
の稼働中に実行されました。このプロジェクトの範囲を超えており、またASMがデータをリバランスして
いる間のアプリケーションへの影響は各ストレージ サブシステムによって異なることからも、ストレージ
を追加している間のパフォーマンスの影響は測定しませんでした。
これらのテスト中、OLTPのI/OとDSSのMB/秒は増加しました。図19と図20には、新しい測定を
示すOLTP固有のグラフが含まれています。
29
図19 OLTPの中間テストのIOPS
このグラフは、全体的なIOPSが前のテストから約300%増加したことを示しています。これは、追加さ
れたLUNと増加したユーザー負荷によるものです。このグラフは、図20に示されているスループッ
ト グラフとほぼ同じです。
30
図20 Linuxノード2のOLTP中間ホストのスループット
スループットは、新しいLUNの追加によって促進されたユーザー負荷の増加のために、平均で約
1.5MB/秒から7MB/秒に増加しました。ASMは、新しいLUNの追加により予想したとおりに動作し、すべ
てのLUNにわたってI/Oが確実に分散されました。
DSSワークロードのグラフはOLTPのグラフと似ており、その全体的なスループットは、1台のEVAだけを
使用して得られたスループットを超えています。図21は、OpenView Performance Managerを使用して
キャプチャされたシステム ビューからのスループット グラフを示しています。
31
図21 Windowsノード1とノード2のDSS中間ホストのスループット
ノードあたりの合計I/Oは、約180MB/秒からピーク時の200MB/秒以上に増加しました。
図22は、両方のEVAにわたる合計スループットを示しています。
32
図22 DSS中間テストのEVA MB/秒
2台のEVAを含む構成での合計の読み取り/書き込みスループットは、1台のEVA4000の構成が360MB/
秒であったのに対して、ピーク時に約440MB/秒でした。I/Oは、このテストで使用されたノードの数によっ
てのみ制限されています。各RAC環境への変更では、機能の点から見て同様の結果が得られました。
最終テスト
最終テストでは、DSS RACデータベースとOLTP RACデータベースにノードを1つずつ追加しまし
た。図23は、最終構成を示しています。
33
図23 最終構成
OLTP RACにノードを追加するために、[Deployments]タブのワンクリック拡張クラスタ データベース手
順を使用しました。Windowsには手動のRAC拡張が必要ですが、ASMインスタンス拡張の最後の手順
でOracle Grid Controlを使用してから、Oracleデータベース インスタンスをインストールしました。
注記：
Oracle Grid Controlを使用して3番目のOLTPノードをインストールする操作は比較的新しい機能であるため、その手順がさらに
詳細に説明されています。Windowsの手順の詳細は、「テクニカル ガイダンス」（48ページ）を参照してください。
図24は、[Deployment Procedure Manager]ウィンドウを示しています。
34
図24 ワンクリックの配備手順
[One Click Extend Cluster Database]を選択すると、図25に示すようなウィンドウが表示されます。
図25 ワンクリック拡張クラスタの設定
35
次の点に留意することが重要です。
1.
[Reference Host Options]を使用すると、必要なファイルをすべて複製するために、配備手順の参
照ノードとして使用するホストを選択できます。
複製されるファイルは、Clusterwareバイナリとデータベース バイナリです。
2.
[Select New Nodes]を使用すると、使用可能な任意のノードの追加や、必要に応じた、高度な設
定情報の表示が可能になります。
[Add]ボタンを使用すると、使用可能なすべての新しいノードが表示されます。本書の執筆時
点では、ノードが使用可能になるのは、配備手順を使用する前にOracleエージェントがインス
トールされている場合だけです。将来のリリースではこの条件が不要になり、この手順の一部
として、エージェントが新しいノードにインストールされます。
各環境に3番目のノードを追加した後、最後のテストを実行しました。表9は、最終テストの結果を
示しています。
表9 最終テストの結果
データベースの種類
ユーザー数
結果
サイズ
最終のOLTP
1,000
50TPS
1.1TB
最終のDSS
3
22時間
2.2TB
最終結果の解釈
DSSの結果では、パフォーマンスが大幅に向上し、クエリ時間が短縮されました。3番目のノードを追加
することによって、DSSのクエリ時間が3時間短縮されました。OLTP環境では、問題が発生してOracle
とともにサービス要求（SR）を開いたため、予想していた中間テストからの約35%の向上は実現しませ
んでした。それにもかかわらず、この環境は適切に動作しました。
注記：
本書の執筆時点で、HPとOracleは引き続きSRを開いており、この問題を正しく診断するには以降のテストを実行する必要があり
ます。更新が存在する場合は、「テクニカル ガイダンス」（48ページ）に一覧表示されています。
Oracle Grid Controlの機能を実行することは、このテストの最も重要な目標でした。ただし、操作の有
効性と成功を測定するために、パフォーマンス測定基準を使用しました。Oracle Grid Controlの次
の2つの主な機能を対象としました。
• 異種環境へのストレージの追加
• 異種環境へのサーバの追加
これらの項目を詳細に検討する前に、この最終テストのパフォーマンス測定基準について確認します。
パフォーマンスの向上
DSSとOLTPの測定基準の分析によって、ベースライン テストと比較した場合のパフォーマンスの向
上が示されています（図26、図27、図28、および図29を参照）。
36
図26 Windowsノード1、ノード2、およびノード3の最終のDSSスループット
これらの結果は、各環境に3番目のノードを追加したことによって、中間テスト中に見られた約360MB/
秒に対して、各ノードのパフォーマンスが合計で約560MB/秒に向上したことを示しています。各ノード
上で実行されているクエリには関係なく、I/Oのバランスのとれた状態を維持するうえでASMが
非常に重要な役割を果たしました。
図27は、両方のEVAにわたる合計スループットを示す累積グラフです。このグラフは、合計スルー
プットの点から見て前のグラフに一致しており、中間のDSSテストと比較した場合にMB/秒の大
幅な向上を示しています。
37
図27 最終のDSSのEVA MB/秒
OLTPワークロードの場合、最初のグラフには、3番目のノードを追加した後にこのテストで生成された
I/Oが表示されています。図28は、3番目のノードが追加された後のMB/秒の違いを示しています。最
終テストの結果では、結果の方向性に重大な変化が見られました。
図28 最終のOLTPのI/O
当初、グラフ図28は前のグラフと同様のパターンを示しています。しかし、テストのほぼ中間あたりで、
I/Oの減少が発生しています。前のテストのように、このグラフでも上昇傾向が続いていたとしたら、さ
らに高いTPSが得られていたと考えられます。このテスト中にこの問題が発生した理由を把握するため
に、Oracleとともに、さらに詳細なトラブルシューティングを行う必要があります。正確な原因を把握す
るために、OracleとHPは引き続きこの問題に取り組んでいます。
38
注記：
Oracleは、OLTPで3ノードのRACを使用した場合には最高の結果が生み出されない可能性があると述べており、ノードをペア
で追加してクラスタを対称に保つことを推奨しています。
図29に示すように、各ノードでMB/秒の減少が発生しました。テストの中間で結果が減少しな
かったとしたら、結果として得られたMB/秒は中間テストの2倍近くに上昇し、その結果、構成へ
の別のノードの追加によってパフォーマンスの大幅な向上が示されていたと考えられます。こ
のことは、スループットの点から見てDSSテストで示された結果に似ています。この問題の詳細
は、「テクニカル ガイダンス」（48ページ）を参照してください。
図29 Linuxノード1、ノード2、およびノード3の最終のOLTPスループット
これらのテスト結果から、構成へのストレージまたはサーバの追加によってパフォーマンスが向上する
という結論を出しました。これらのテストでは、パフォーマンスの変化が重要です。それは、Oracle Grid
Controlが問題の解決にどのように役立つかが示されるためです。これらの結果と元の目標の詳しい
検証は、ベスト プラクティスと結果に記載します。
39
ベスト プラクティスと結果
ここでは、全体的なテスト結果と関連するベスト プラクティスについて説明します。ベスト プラクティス
は、ほとんどの環境でOracle Grid Controlを立ち上げて実行するために役立ちます。
結果の確認
本書の冒頭で、目標に関する次の2つの質問を提起しました。
• Oracle Grid ControlはOracle環境の管理に役立つか。
• Oracle Grid Controlを使用して環境を強化することができるか。
これらの質問に関連した基本的な目標は次のとおりです。
• 既存のRAC環境にストレージを追加する
アクション：Oracle Grid Controlを使用してストレージをオンラインで追加することによって、スト
レージのパフォーマンスと容量を向上させる
• 既存のRAC環境を拡張する
アクション：Oracle Grid Controlを使用して各RACシステムに新しいノードをオンラインで追加するこ
とによって、RACのパフォーマンスと容量を向上させる
テストに基づいて判断すると、両方の質問への答えは「はい」です。 Oracle Grid Controlを通してパ
フォーマンスまたは容量を得るためのストレージ プールの拡張は、確かに正しく機能します。 つまり、容
量またはパフォーマンスの面からワークロードがデータベース ストレージに影響している場合は、ニー
ズを満たすようにストレージを増やすことができます。 詳細は、最終結果の解釈を参照してください。
2つ目の質問への答えは「はい」ですが、制約があります。 具体的には、Oracle Grid Control内での
OracleコンポーネントのためのWindowsプロビジョニングは、パッチの適用、Oracleコンポーネントの
アップグレード、Oracleコンポーネントのインストールなどの比較的単純な操作に制限されており、RAC
拡張機能の簡素化は含まれていません。 これは、将来のリリースで変更されます。
HPとOracleはこの問題に関して緊密に連携して作業してきており、Windows上のRAC拡張機能に対
応するために必要な変更は10.2.0.3 Oracle Grid Controlパッチでリリースされるか、または10.2.0.4リ
リースに含まれます。
手動のプロセスと自動化されたプロセスの組み合わせを使用してWindows上のRACを拡張する方
法については、本書の後の方で説明します。
Oracle Grid Controlがエンタープライズ環境の管理にどのように役立つかを理解することは、意思決定
プロセスにとって重要です。 Oracle Grid Controlでは、次のいくつかの方法で、大規模なOracle環境で
も容易に、かつ適切に管理できるようになります。
• 異種のOracle環境を管理する
• 下記の管理機能のための単一のビューを提供する
– ASM
– 警告
– ジョブ管理
– RACデータベース
– シングル インスタンス データベース
40
• 高度なカスタマイズが可能なインターフェース
• レポーティング エンジン
これらの各機能を使用すると、情報や管理機能に容易にアクセスできるようになります。 一般に、管理
者は、1か所からの管理ではなく、異なるプラットフォーム上で複数のOracle EMインスタンスを使用す
ることがあります。 また、DSSまたはOLTP環境でLinuxまたはWindowsを使用している場合は、1つのイ
ンターフェースを使用してディスクやLUNをASMに追加することもできます。それにより、システム管理
機能とパフォーマンスの両方が向上します。 Oracle Grid Controlでは詳細な履歴データは利用できま
せんが、HP OpenView（具体的にはOVPM）には数週間分の使用可能な監視対象データが保持される
ため、パフォーマンスのきめ細かな履歴管理が可能になります。
Oracle Grid Controlを使用して、環境の監視機能を次のように強化することができます。
• 異種環境にストレージをオンラインで追加することにより、パフォーマンスを向上させる
• 異種環境にRACをオンラインで追加または再構成することにより、パフォーマンスを向上させる
• 配備手順を使用して、再構成を自動化または簡素化する
• パッチ管理を使用して、安定性を向上または強化する
Oracle Grid Control環境へ他のターゲットの統合を開始する前に、Oracle Grid Controlがその環境でど
のように使用されるかを理解することが重要です。
Oracle Grid Controlを使用することにより、ストレージの追加およびサーバの追加の目標を達成するこ
とができました。 WindowsのDSSワークロードでは、LinuxのOLTP環境で検出されたパフォーマンスの
問題による遅延は発生しませんでした。 代わりに、Oracle Grid Control内から問題を検出し、監視し
て、さらにトラブルシューティングを行いました。
Oracle Grid Controlによって、両方の環境を管理する機能が強化されるとともに、インフラストラクチャ
のすべての領域を1か所から監視できるようになりました。 LinuxおよびWindows上のHP管理ソフトウェ
アとOracleソフトウェアは適切に統合され、一方のソフトウェア パッケージによって他方のインストール
や動作が阻害されることはありませんでした。 これにより、異種環境を管理するための全体的な機能
が明確に改善されるだけでなく、同一環境の管理も簡素化されます。
Oracle Grid Controlの最も重要な機能の1つは、警告やメッセージを集中管理して、これらの問題に責
任を負う特定のグループまたは個人に提供する機能です。 責任の管理領域と連携したフィルタを追加
することによって、警告のプロセスをカスタマイズしたり、自動応答を有効にしたりできます。 詳し
くは、ベスト プラクティスを参照してください。
ベスト プラクティス
ベスト プラクティスには、設定と管理という2つの主要な領域があります。 構成のベスト プラクティスに
は、最高のパフォーマンスと操作性を得るためにOracle Grid Controlを設定する方法が含まれます。
管理のベスト プラクティスには、Oracle Grid Controlを使用して環境を効率的に維持管理する方法の
ほか、Oracle Grid Control環境自体を管理するための最適な方法が含まれます。
構成のベスト プラクティス
Oracle Grid ControlがLinux X86上で正常に実行されたため、テストにはそのアーキテクチャを使用しま
した。 Linux X86、Linux IA64、Linux X86_64、およびHP-UX Itaniumで互いに同等な最新のOracle Grid
Controlパッチ セットまたはインストーラが入手可能であり、その結果、これらのいずれかのプラット
フォームを使用している限り、同様に適切な管理の操作性が提供されることを期待するのは妥当な判
断です。 WindowsベースのOracle Grid Controlは、将来のパッチ セットで同等になる予定です。
41
最初のベスト プラクティスの1つは、Oracle Grid Control環境をすばやく立ち上げ、最新の配備手順
とエージェントを取得するために、できるだけ最新のパッチ セットまたはダウンロード可能なインス
トーラを使用することです。
その他のベスト プラクティスとその理由には、次のものがあります。
• 最もすばやく配備するには、統合されたrdbmsオプションを使用します。
すばやく立ち上げるには、設定、メンテナンス、および時間の面で、これが最も簡単なオプション
です。
ただし、この設定には固有の問題、つまり、単一点障害（SPOF）の問題があります。 すべての管理
およびアプリケーション データが1つのシステムに収容されます。
– RAC以外 — データベース レベルのフェールオーバーはありません。
– クラスタ化されていないアプリケーション サーバ — Oracleエージェント通信用のリモート オ
フィスまたはシステム管理者によって使用された場合、通信が中断されると、環境ステー
タスへのアクセスが失われます。
• Oracle Grid Control 10.2.0.3以降を使用している場合は、リポジトリ データベース（OMR）にRAC
を使用します。
Oracle Grid Controlは、データベース（OMR）を使用して、エージェントがOMSにアップロードしたパ
フォーマンス、システム、警告、その他のすべての情報を保存します。 ベスト プラクティスは、
OMRの稼動時間をできるだけ長くすることです。 RACを使用すると、統合されたデータベース
の場合より長い稼動時間が提供されます。 さらに、共有されたリソースによって、Oracle Grid
Controlが徐々に低速になる可能性があります。
• RACに加えて、クラスタ化されたOracle Grid Controlサーバを使用します。
OMSはOracle Application Serverであり、稼動時間やリモート アクセス機能を向上させるために
クラスタ化することができます。 これにより、監視環境の各層に冗長性が追加されるため、
リモート サイト全体が停止する場合を除き、広範囲に及ぶ停止が発生する可能性がすべて解
消されます。 ただし、これは、プランニングや予算、広範に使用する前の適切なテストなどを必
要とする高度な設定です。
• Oracle Grid Controlからのリモート配備のために、エージェントをOMS上のエージェント ダウン
ロード ディレクトリ内にステージングします。
環境内での管理を予定しているすべてのホストに最新のエージェントを取得すると、Oracle Grid
Control環境の構築が容易になります。 すべてのエージェントを使用可能な状態にしておけば
時間が節約され、エージェント配備のスケジュール設定や自動化が可能になるとともに、移行
も容易になります。
注記：
将来のOracle Grid Controlリリースでは、Oracle Grid ControlがエージェントをMetalinkから直接ダウンロードするよう
になる予定です。
• デフォルトの認証情報オプションを、類似システムの最大数に一致するように設定して使用します。
このオプションを使用すると、配備や自動スクリプトが容易になるだけでなく、エージェント/
ターゲットの管理スキームが簡素化され、さらにターゲットまたはエージェントが不明な状態に
なることが防止されます。
42
• パッチ通知を設定します。
この設定は、Oracle環境内のバグの通知や診断をOracle Grid Controlで監視できるようにする
ために重要になります。 パッチ通知を設定するには、CPUで生成された重大なパッチの更新や
通知を受信するための有効なMetalinkアカウント情報を指定します。 さらに、パッチ通知を設定
することにより、CPUにリストされている必要なパッチをすべて自動的にダウンロードできま
す。それによって、バグの修正や、他の重大なパッチを適用しようとしたときに、それらのパッ
チをローカルで使用できるようになります。
管理のベスト プラクティス
データベース管理者には次のベスト プラクティスを使用することをお勧めします。
• データベース管理を簡素化するために、自動アクション スクリプトをカスタマイズして使用します。
Oracle Grid Controlを使用すると、通常は手動で実行するアクションを特定の条件に基づいて自動
化できるため、自己回復環境を作成することができます。 この機能は有効にできますが、デフォル
トではアクティブになっていません。 環境内で発生するすべての問題に対する解決のシナリオ
がOracleによって指定されているとしたら明らかに問題になる可能性があるため、自動アクショ
ンの機能はデフォルトでは無効になっています。 この機能は強力ですが、実装する前に計画、
設計、およびテストを行う必要があります。
• Oracle Grid Controlサーバを定期的にバックアップします。
Oracle Grid Control環境はきわめて重要であるため、この重要なインフラストラクチャ コンポーネン
トの定期的なバックアップを強くお勧めします。 OMRとOMSを個別に使用しているときに高度な設
定が使用されている場合、完全かつ適切なバックアップを取得するには、OMSをシャットダウンす
る必要があります。 最も重要なことの1つに、OMRは単なるOracle 10gデータベースであるため、
Oracle Recover Manager（RMAN）の使用が依然として推奨される点があります。RMANでは、OMR
のバックアップ期間中もインフラストラクチャ全体がオンラインに維持されます。
• カスタム レポートとダッシュボードを作成します。
分散している情報にすばやくアクセスするには、[Reports]タブでカスタム レポートを作成します。
また、カスタム レポートは、すでに作成されている任意のシステムまたはグループに基づいて
作成することもできます。 カスタム レポート機能を使用するには学習が必要ですが、非常に便
利な機能です。 カスタム レポート コンポーネントをカスタム ダッシュボードに追加すると、高
レベルの確認が可能になります。
• エージェント パッチの適用後も、エージェントが引き続き安全な状態になるようにします。
エージェントにパッチを適用すると、そのエージェントが安全な状態ではなくなる可能性がある
ことに注意してください。 場合によっては、エージェントが報告に使用するポートが変更される
ことがあります。 これにより、エージェントが安全な状態でなくなります。 エージェントが安全な
状態でない場合は、次の2種類の操作を行うことができます。
– 以前のポート設定に手動で変更します。
– agentcaコマンドを使用して、エージェントを再び安全な状態にします。
• ソフトウェア パッチ リポジトリを設定します。
ソフトウェア パッチ リポジトリを使用すると、そのリポジトリをOracleパッチだけでなく、オペレー
ティング システムのパッチにも使用できるため、時間が節約されます。 現在サポートされている
のはSun Solaris、Linux、HP-UX、およびIBM AIXだけですが、Oracle Grid Controlの将来のバー
ジョンではWindowsのパッチ適用もサポートされる予定です。
43
• メンテナンス時間が開始されたら、システムのブラックアウトを確立します。
ブラックアウトを使用すると、Oracle Grid Controlのインターフェースで、影響を受けているターゲット
が自動運用や関連するモニタによって「down」と報告されることがなくなります。 稼動時間またはそ
の他の測定基準が、Oracle Grid Controlやダッシュボードまたはレポートのいずれかを使用して監
査されている場合、ターゲットのブラックアウト期間中はこれらのシステム イベントが正常と見なさ
れるため、この機能は重要です。 Oracle Grid Controlを介して、いずれかのバックアップまたはそ
の他の定期的なメンテナンス操作が実装されていても、ブラックアウト期間中は開始されません。
• ASMを使用して、ディスクの集中管理に役立てます。
ASMによって、ディスクやデータ ストレージの集中管理機能へのアクセスが提供されます。 ディス
クのメンテナンスはOracle EMとほぼ同じですが、ASMを実行しているすべてのシステムが表示さ
れます。 それにより、Oracleストレージのすべてのメンテナンスを1か所から実行できるため、シス
テムとデータベース管理者の両方のオーバーヘッドが軽減されます。
• 配備手順をカスタマイズします。
デフォルトの配備手順を、それぞれ特定の環境のニーズを適切に満たすように拡張することによっ
て、Oracle Grid Controlを使用する場合の全体的な操作性を向上させます。 自動アクション スクリ
プトによって起動できる手順、またはベアメタル プロビジョニングを介した配備のために含まれてい
る他の種類のジョブに使用できる手順を作成することができます。
44
まとめ
本書に含まれているテスト結果とそれに関連する情報によって、HP Enterprise Managementと統合され
た、完全に機能するOracle Grid Control管理インフラストラクチャを正しく計画し、正常に配備し、さらに
生産的に使用するための正確な方法が明確に示されます。 本書で取り上げた個々の例は、Oracle
Grid ControlソフトウェアとHP Enterprise Managementを使用して、Oracle Grid Control環境内でコン
ポーネントをどのように追加するかを示すための方法を的確に表しています。
プランニングの主な留意事項には、次のものがあります。
• Oracle環境に最適なOracle Grid Controlのバージョンの選択
• 最新のパッチ セット、および最新の配備手順とエージェントを使用することの重要性
• 管理環境のスケーラビリティと可用性を保証するために、管理リポジトリ用のRACとクラスタ化され
たOracle Grid Controlサーバを使用することの重要性
運用の主な留意事項には、次のものがあります。
• ディスクの集中管理のためのASMの使用
• 自動アクション スクリプトのカスタマイズと使用
• カスタム レポートの作成
メンテナンスの主な留意事項には、次のものがあります。
• 環境自体の重要なコンポーネントであるOracle Grid Controlサーバのためのバックアップ手順の確立
• 正確な監視やレポートを保証するための計画された定期的な停止を反映したブラックアウト期
間などのポリシーの実装
これらの主な留意事項のすべてを理解するとともに、何を行うべきかを正確に認識していることが、
HPサーバ、ストレージ、および企業管理を含むOracle Grid Control環境の正常な配備にとっての鍵
となります。 ここで説明した、テストで実証済みの方法は、確実に成功するために自信を持って
使用できる完全なガイドとして利用できます。
45
付録A 構成の一覧
以下の表では、テストで使用した特定の環境について、参考のために記載します。
項目
個数
バージョン
HP StorageWorks 4000-A Enterprise Virtual Array（2C4D）
2
6.100
HP StorageWorks 146GB 15K FC HDD
112
HP01
3
G1
ストレージ
BF14658244
サーバ
ProLiant DL585—Linux OracleデータベースRACサーバ
HP ProLiant Support Pack
7.70
Red Hat Enterprise Linux AS 64ビット
4.0 Update 4
Oracle 10g Enterprise Edition
10.2.0.3
Oracle Clusterware
10.2.0.3
HP 300GB 10K U320ホットプラグ対応ハードディスク ドライブ
6
HP DL585 G1メモリ拡張ボード キット
6
HP 4GB REG PC2-3200 2×2GB DDRメモリ
8
Emulex HBAnyware
5.0.0ビルド4
HP FC1143SR 2Gb PCI-X DC HBA
3
8.01.06(7.07.05)
ProLiant DL380—Oracle Grid Controlサーバ
1
G3
HP ProLiant Support Pack
7.70
Red Hat Enterprise Linux AS 32ビット
4.0 Update 2
Oracle 10g Enterprise Edition
10.2.0.3
HP 300GB 10K U320ホットプラグ対応ハードディスク ドライブ
2
インテルX3.00GHz G3プロセッサ
2
HP 4GB REG PC2-3200 2×2GB DDRメモリ
8
QLogic SANSurfer
5.0.0ビルド14
HP FC2214DC 2Gb PCI-X HBA
2
8.01.06.01-fo 1.45
3.03.19
ProLiant DL580—HP OpenView Operations for Windowsサーバ
1
G2
HP ProLiant Support Pack
7.70
Microsoft Windows 2003 Enterprise Edition x64
RC2 SP2
Oracle 10g Client Win32
10.2.0.1
HP OpenView Operations for Windows
7.50（パッチ213、
228を含む）
HP OpenView Smart Plug-in for UNIX
7.5072
HP 146GB 10K U320ホットプラグ対応ハードディスク ドライブ
2
インテルXeon 2.8GHz G3プロセッサ
4
HP DL580 R03メモリ拡張ボード
2
HP 2GB REG PC2-3200 2×1GB DDRメモリ
8
ProLiant DL580—HP Systems Insight Managerサーバ
1
G2
46
HP ProLiant Support Pack
7.70
Microsoft Windows 2003 Enterprise x64 Edition
RC2 SP2
HP Systems Insight Manager（SIM）
5.01
HP ProLiant Essentials Performance Management Pack（PMP）
4.3
HP 36GB 15K U320ホットプラグ対応ハードディスク ドライブ
3
インテルXeon MP X2.8GHz-2MBプロセッサ
4
HP 4096MB PC1600 Reg SDRAMメモリ
2
ProLiant DL580−Benchmark Factoryサーバ
5
G2
HP ProLiant Support Pack
7.70
Microsoft Windows 2003 Enterprise Edition
RC2 SP2
Oracle 10g Client Win32
10.2.0.1
Quest Software Benchmark Factory for Databases
5.0.1
HP 36GB 15K U320ホットプラグ対応ハードディスク ドライブ
2
インテルXeon MP X2.85GHz-2MBプロセッサ
4
HP 4096MB PC1600 Reg SDRAMメモリ
4
ProLiant DL360−HP Command Viewサーバ
1
G4
HP ProLiant Support Pack
7.70
Microsoft Windows 2003 Enterprise x64 Edition
RC2 SP2
HP StorageWorks Command View EVA
6.0.2ビルド37
HP StorageWorks EVAPerf
6.0.2ビルド13
インテルXeon 3.06GHzプロセッサ
2
HP 72GB 15K U320ホットプラグ対応ハードディスク ドライブ
2
Emulex 1150ベースのHP FC2242DC
1
7.0036
Microsoft Storportドライバ パッチ
916048
HP MPIO Full Featured DSM for MSA Disk Arrays
1.00.01
SANインフラストラクチャ
HP StorageWorksマルチプロトコル ルータ フル16ポート
2
5.2.0b
Brocade SilkWorm 3800 SANスイッチ
8
3.2.1b
HP StorageWorks Fabric Manager
5.2.0a
47
付録B テクニカル ガイダンス
rawデバイスの設定
以下の2つの例は、このプロジェクトでrawデバイスのために使用した設定を示しています。 これら
のセクションは、rawデバイスの操作に精通しているユーザーに例を提供するために含まれていま
す。 Oracleでは、rawデバイスの代わりに、Linux上のASMLibを使用することを推奨しています。 た
だし、Oracle RACを使用している場合は、OCRやvotingディスクの場所にrawデバイスが必要にな
ることがあります。 また、この目的にはOCFS2も使用できます。
rawデバイス ファイルの例
次のデータは、このプロジェクトのLinux RACノードで使用された/etc/sysconfig/rawdevices
ファイルから引用しました。
###
# OCR and Voting Disks
#
/dev/raw/raw1 /dev/sdh1
/dev/raw/raw2 /dev/sdi1
###
# Data LUNs from First EVA
# DG1
/dev/raw/raw3 /dev/sda1
/dev/raw/raw4 /dev/sdb1
/dev/raw/raw5 /dev/sdc1
/dev/raw/raw6 /dev/sdd1
# DG2
/dev/raw/raw7 /dev/sde1
/dev/raw/raw8 /dev/sdf1
/dev/raw/raw9 /dev/sdg1
/dev/raw/raw10 /dev/sdj1
###
# Second EVA
# DG1
/dev/raw/raw11 /dev/sdk1
/dev/raw/raw12 /dev/sdl1
/dev/raw/raw13 /dev/sdm1
/dev/raw/raw14 /dev/sdn1
48
# DG2
/dev/raw/raw15 /dev/sdo1
/dev/raw/raw16 /dev/sdp1
/dev/raw/raw17 /dev/sdq1
/dev/raw/raw18 /dev/sdt1
rawデバイスのinitスクリプトの例
リブート後も適用されるアクセス許可の変更をサポートするために、/etc/init.d/rawdevicesス
クリプトに2つの点を追加しました。
•
Perms という名前の関数を作成しました。
Perms () {
# CRS Disks
chown oracle:oinstall /dev/raw/raw1
chown oracle:dba /dev/raw/raw2
# Primary Data Disks
# ASM DG1
chown oracle:dba /dev/raw/raw3
chown oracle:dba /dev/raw/raw4
chown oracle:dba /dev/raw/raw5
chown oracle:dba /dev/raw/raw6
# ASM DG2
chown oracle:dba /dev/raw/raw7
chown oracle:dba /dev/raw/raw8
chown oracle:dba /dev/raw/raw9
chown oracle:dba /dev/raw/raw10
# Secondary Data Disks
# ASM DG1
chown oracle:dba /dev/raw/raw11
chown oracle:dba /dev/raw/raw12
chown oracle:dba /dev/raw/raw13
chown oracle:dba /dev/raw/raw14
# ASM DG2
chown oracle:dba /dev/raw/raw15
chown oracle:dba /dev/raw/raw16
49
chown oracle:dba /dev/raw/raw17
chown oracle:dba /dev/raw/raw18
}
•
initスクリプトのcaseステートメントのstartセクションが次のようになるように
/etc/init.d/rawdevicesスクリプトを変更しました。
start)
# Assign devices
echo $"Assigning devices: "
assign_raw
echo $"done"
sleep 2
Perms
;;
rawdevicesのinitスクリプトに2行を追加しました。 assign_raw関数を実行した後、2秒スリープするよ
うにしました。これは、アクセス許可を割り当てる前に必要な最小時間です。 その後でPerms関数
を呼び出しているため、OCRやvotingディスクがCRSデーモンからアクセスされる前に、アクセス
許可が割り当てられます。
注記：
ASMLibを実装している場合、この操作は必要ない可能性があります。
Oracleのパフォーマンス低下
OLTPのLinux RACシステムの最終テストで、テストが50%完了するまでは優れたパフォーマンスが見ら
れました。 中間点では、中間テストまたはベースライン テストとそれほど変わらないパフォーマンスに
なりました。 Oracle SRが開かれ、可能性のある既知のバグに基づいてパッチが適用されましたが、本
書の執筆時点で、それらのパッチではこの環境の問題が解決されていません。
OracleとHPはこのような問題を解決するために密接にやり取りして作業しており、解決策を導き出すた
め、この問題に関して引き続き作業していく予定です。 問題がきわめて重大な場合、HP Customer
Focused Testingは、慣例に従い、問題やその解決方法をすべてのユーザーに周知するためにカス
タマ アドバイザリをリリースします。
Oracle Grid Controlストレージのプロビジョニング手順
ASMディスク グループにストレージをオンラインで追加するために、次の手順を使用しました。
1.
Command View EVAを使用して、新しいEVAとストレージをプロビジョニングします。
前提条件：
• 新しいEVAがSANに接続されている必要があります。
• すべてのRACホストが新しいEVAにゾーニングされている必要があります。
• すべてのRACホストにHP FCユーティリティがインストールされている必要があります。
50
2.
a.
2番目のEVAに新しいLUNを作成します。できれば、ASMディスク グループを作成するために
最初に使用したLUNと同じサイズにします。
b.
新しいLUNにホスト ポートを追加します。
c.
新しいLUNをホストに割り当てます。
新しいストレージが追加されたオペレーティング システムおよびドライバと通信します。
前提条件：
• ホストにHPファイバ チャネル ユーティリティがインストールされていることを確認します。
hp_rescan -aを使用して、ストレージのすべての使用可能なパスを再スキャンします。
3.
オペレーティング システムとASMを新しいストレージに対して準備します。
前提条件：
• ASMLIBを使用している場合は、/etc/init.dにあるoracleasmスクリプトを使用して、新しい
LUNをASMに追加します。
• rawデバイスを使用している場合は、/etc/sysconfig/rawdevicesにrawデバイス エント
リーを追加します。
•
4.
/dev/raw/にあるrawデバイスに関するアクセス許可が、少なくともグループdba、oinstall、
その他によって所有されていること、およびアクセス許可が664であることを確認します。
新しいLUNをASMに追加し、すべてのLUNにわたってデータをリバランスします。
a.
Oracle Grid Controlにログオンします。
b.
LUNを追加するターゲットRACシステムのRACインスタンスを選択します。
c.
Oracle Grid ControlのRACインスタンス画面の一番下からASMインスタンスを選択します。
d.
[Manage]を選択します。
e.
ディスク グループを選択します。
f.
[Add LUNs]を選択します。
g.
[Available]として表示されているLUNを選択します。
h.
前に作成した名前と同じ名前か、または前に使用したLUN名前付けスキームに基づく
名前を入力します。
i.
オプション：指数のリバランス レベルを、デフォルトの1より大きい値に設定します。
オプションは1～11であり、11が最も強力です。
j.
[Apply]を選択します。
この時点で、LUNが正常に追加されたこと、およびOracle Grid Controlからログアウトしても操作は継
続されることが通知されます。 すでにログアウトしているときに進行中のいずれかの操作を表示したい
場合は、ログインし、手順 4.cに従ってASMのビューに戻ります。 [Pending Operations]が0より大き
い値になっています。 [Pending Operations]ラベルの後にある数字をクリックすると、リバランスの
進行状況を監視するための画面を表示できます。 操作が完了した場合は、RACとASMの通知が
RAC画面のメッセージ部分に送信されます。
51
Oracle Grid Controlサーバのプロビジョニング手順
（OracleへのOracle RACノードの追加）
本書の執筆時点では、Windows RACシステムへの新しいノードの追加は手動で実行する必要が
あります。
Windows RACシステムに新しいノードを追加するには、次の手順に従います。
1.
新しいノードにOracleエージェントをインストールします。
2.
ノード1からインストーラを使用して、Clusterwareのインストールを新しいノードに拡張します。
3.
DBCAを使用して、ASMデータベースを新しいノードに拡張します。
4.
Oracle Grid Controlで、RACシステムの[Administrative]セクションを使用して、データベースを新
しいノードに拡張します。
Oracleパッチ リスト
表10は、2007年8月時点での、Oracle Grid Control用の最新のOracleパッチ リストのスナップショットを
示しています。
表10 Oracle Grid Control 10.2.0.3用のOracleパッチ
パッチ
説明
リリース
更新日
サイズ
6030081
Enterprise Manager Oracle Grid Control：パッチ
10.2.0.3
2007年8月10日
39K
10.2.0.3
2007年8月8日
62K
10.2.0.3
2007年8月6日
57K
10.2.0.3
2007年7月31日
7.2M
10.2.0.3
2007年7月27日
44K
10.2.0.3
2007年7月26日
87K
10.2.0.3
2007年7月25日
258K
10.2.0.3
2007年7月24日
12K
測定基準とポリシー設定をリンクすると内部エラーが
発生する
4662280
Enterprise Manager Oracle Grid Control：パッチ
パブリック レポート — レポートが変更されたにもかかわ
らず、レポートのキャッシュされた複製が表示される
6123725
Enterprise Manager Oracle Grid Control：パッチ
GCで役割を編集すると、現在の管理者とターゲット
の詳細が削除される
5998260
Enterprise Manager Oracle Grid Control：パッチ
10.2.0.3での基本バグ5937712の汎用プラットフォーム用
のコンテナ
6114814
Enterprise Manager Oracle Grid Control：パッチ
現在の測定基準を削除すると、「フェッチ順序が無効」
の例外が発生する
6268480
Enterprise Manager Oracle Grid Control：パッチ
バグ6214923、5863702に対する10.2.0.3でのラベルの
マージ要求
6177440
Enterprise Manager Oracle Grid Control：パッチ
バグ5978624、5076298、5901649に対する10.2.0.3での
ラベルのマージ要求
5714026
Enterprise Manager Oracle Grid Control：パッチ
エージェントURLの変更通知でクラスタ ターゲットが
動作しない
52
6082882
Enterprise Manager Oracle Grid Control：パッチ
10.2.0.3
2007年7月23日
39K
10.2.0.3
2007年7月23日
13K
10.2.0.3
2007年7月21日
239M
10.2.0.3
2007年7月21日
121M
10.2.0.3
2007年7月20日
201M
10.2.0.3
2007年7月17日
14K
2-Col UDM通知で、キーの測定基準ID名またはワイル
ドカードのみが許可されない
5938050
Enterprise Manager Oracle Grid Control：パッチ
逆pingジョブによるジョブのバックログ
5520278
Enterprise Manager Oracle Grid Control：パッチ
RDBMS 9.2.0.8、HP-UX Oracleホーム用のクローン サ
ポート ファイル
5511585
Enterprise Manager Oracle Grid Control：パッチ
RDBMS 9.2.0.8、Linux Oracleホーム用のクローン サ
ポート ファイル
5674779
Enterprise Manager Oracle Grid Control：パッチ
RDBMS 9.2.0.8、AIX Oracleホーム用のクローン サポー
ト ファイル
6235191
Enterprise Manager Oracle Grid Control：パッチ
10.2.0.3以降のデータベースで2007年7月のCPUをサ
ポートするためのEMディレクティブ
53
付録C ハイライト
この付録には、このプロジェクトの異なる側面からのハイライトが含まれています。
管理
• Oracle Grid Controlは時間を節約できる
• データベース管理
• ASMによるストレージ管理
• プラットフォームに依存しない、企業全体にわたるジョブのスケジュール設定
• Oracle Grid Controlは管理者に役立つ
• シングル インスタンスおよびRACデータベースのプロビジョニング
• Oracleエージェントのインストール
• オペレーティング ソフトウェア パッチ リポジトリ
• パフォーマンス比較のためのAWR（Automatic Workload Repository）スナップショット
パフォーマンス
• DSSの時間が短縮
• ベースラインは360MB/秒で27時間
• 最終は560MB/秒で22時間
• 時間を19%短縮
• スループットが36%向上
• OLTPのTPSが向上
• ベースラインは100 IOPSで36 TPS
• 最終は300 IOPSで50.75 TPS
• TPSが30%向上
• I/Oが66%向上
準拠
• ソフトウェア リポジトリの設定が必要
• ベアメタル プロビジョニング
• Oracleパッチ管理
• 汎用コンポーネントのインストール
• セキュリティと準拠の適用
• セキュリティ ポリシーの通知
• 準拠のポリシーと設定の通知
• カスタマイズ可能なポリシーに基づいて、設定可能な準拠スコアを提供
54
付録D 略語
表11に、本書で使用されている略語を示します。
表11 略語
略語
定義
2C12D
2 controller 12 drive shelves。2コントローラ12ドライブ シェルフ（EVA構成）
ACK
acknowledgement。確認応答
ALB
automated load balancing。自動負荷分散
ASM
automatic storage management
AWR
Automatic Workload Repository
BMF
Benchmark Factory
CFT
Customer Focused Testing（HP）
CPU
central processing unit。中央演算処理装置
DBA
database administrator。データベース管理者
DSS
decision support system。意思決定支援システム
EVA
Enterprise Virtual Array
EVAPerf
Enterprise Virtual Array performance monitoring tool。Enterprise Virtual Arrayパフォー
マンス監視ツール
FATA
Fiber Attached Technology Adapted（ドライブ）
Gb
gigabit。ギガビット
GB
gigabyte。ギガバイト
G2/G3/G4
サーバ世代モデル（たとえば、DL580 G4）
FC
Fibre Channel。ファイバ チャネル
HBA
host bus adapter。ホスト バス アダプタ
HP-UX
Hewlett-Packard UNIX
I/O
input/output。入出力
IOPS
I/Os per second。1秒あたりのI/O数
LUN
logical unit number。論理ユニット番号
Mb
megabit。メガビット
MB
megabyte。メガバイト
MPIO
Microsoft Multipath I/O
ms
millisecond。ミリ秒
OA
Oracle Agent。Oracleエージェント
OMR
Oracle Management Repository
OMS
Oracle Management Service
OLTP
online transaction processing。オンライン トランザクション処理
OVOW
HP Open View Operations for Windows
PCI
peripheral component interconnect
pfile
Initialization Parameter File（Oracle）
RAC
Real Application Clusters
RAID
redundant array of independent disks
55
略語
定義
RAM
random access memory。ランダム アクセス メモリ
RMAN
Oracle Recovery Manager
RDP
Rapid Deployment Pack
RPO
recovery point objective。目標復旧時点
RR
round robin。ラウンド ロビン
SAN
storage area network。ストレージ エリア ネットワーク
SGA
system global area。システム グローバル領域
spfile
Server Parameter File（Oracle）
SIM
HP Systems Insight Manager
TB
terabyte。テラバイト
TPS
transactions per second。1秒あたりのトランザクション数
Vdisk
virtual disk。仮想ディスク
56
問い合せ先
HPテクニカル リファレンス
ホワイト ペーパー
• 『Configuring Oracle ASM hidden parameters for EVA8000 knowledge brief』
『Best Practices for Oracle 10g with Automatic Storage Management and HP StorageWorks
Enterprise Virtual Array white paper』
http://h71028.www7.hp.com/enterprise/cache/429462-0-0-225-121.html（英語）
• 『HP StorageWorks Enterprise Virtual Array configuration best practices white paper』
http://h71028.www7.hp.com/ERC/downloads/4AA0-2787ENW.pdf（英語）
• 『HP StorageWorks SAN design reference guide』
http://h20000.www2.hp.com/bc/docs/support/SupportManual/c00403562/c00403562.pdf（英語）
HPソリューションおよびトレーニング
• Customer Focused Testing
http://www.hp.com/go/hpcft（英語）
• HPとOracleの提携
http://h71028.www7.hp.com/enterprise/cache/4281-0-0-0-121.html（英語）
• ネットワーク ストレージ サービス
http://h20219.www2.hp.com/services/cache/10825-0-0-225-121.aspx（英語）
• HPストレージおよびSAN教育コース
http://education.hp.com/curr-storsan.htm（英語）
HP製品サイト
ストレージ
• エンタープライズ クラス ストレージのポートフォリオ
http://h18006.www1.hp.com/storage/enterprisestorage.html（英語）
• HP StorageWorks Enterprise Virtual Array
http://h18006.www1.hp.com/products/storageworks/eva/index.html（英語）
• HP StorageWorks Command View EVA
http://h18006.www1.hp.com/products/storage/software/cmdvieweva/index.html（英語）
サーバ
• HP ProLiant DLサーバ
http://h10010.www1.hp.com/wwpc/pscmisc/vac/us/en/ss/proliant/proliant-dl.html（英語）
• HP BladeSystem
57
http://h71028.www7.hp.com/enterprise/cache/80316-0-0-0-121.aspx（英語）
インフラストラクチャ
• BシリーズSANスイッチ
http://h18006.www1.hp.com/storage/networking/b_switches/san/index.html（英語）
• ファイバ チャネル ホスト バス アダプタ
http://h18006.www1.hp.com/storage/saninfrastructure/hba.html（英語）
管理ソフトウェア
• Multi-Path Options for HP Arrays
http://h18006.www1.hp.com/products/sanworks/multipathoptions/index.html（英語）
• HP OpenView Operations for Windows
http://h20229.www2.hp.com/products/ovowin/index.html（英語）
• HP OpenView Performance Manager & Agent
http://h20229.www2.hp.com/products/ovperf/index.html（英語）
• HP OpenView Smart Plug-in for UNIX
http://h20229.www2.hp.com/products/spi/spi_server/index.html（英語）
• HP Systems Insight Manager
http://h18013.www1.hp.com/products/servers/management/hpsim/index.html（英語）
• HP ProLiant Essentials Performance Management Pack
http://h18013.www1.hp.com/products/servers/proliantessentials/valuepack/PMP/index.html（英
語）
• HP ProLiant Essentials ProLiant Support Pack
http://h18013.www1.hp.com/products/servers/management/psp/index.html（英語）
Oracle
Oracle Grid Control
• 『Oracle Enterprise Manager Oracle Grid Control Installation and Basic Configuration Guide 10g
Release 2(10.2)』
http://download.oracle.com/docs/cd/B19306_01/em.102/b40103.pdf
• 『Oracle Enterprise Manager Oracle Grid Control Quick Installation Guide 10g Release 2(10.2)
for Linux X86』
http://download.oracle.com/docs/cd/B16240_01/doc/install.102/b28091.pdf
• 『Oracle Database Installation Guide 10g Release 2 (10.2) for Linux X86-64』
http://download.oracle.com/docs/cd/B19306_01/install.102/b15667.pdf
• Oracle Gridブログ
58
http://blogs.oracle.com/gridautomation/
Oracle RAC
• 『Oracle Database Oracle Clusterware and Oracle Real Application Clusters Installation Guide 10g
Release 2 (10.2) for Linux』
http://download.oracle.com/docs/cd/B19306_01/install.102/b14203.pdf
• 『Oracle Database Installation Guide 10g Release 2 (10.2) for Windows X64』
http://download.oracle.com/docs/cd/B19306_01/install.102/b15681.pdf
• 『Oracle Database Oracle Clusterware and Oracle Real Application Clusters Installation Guide 10g
Release 2 (10.2) forWindows』
http://download.oracle.com/docs/cd/B19306_01/install.102/b14207.pdf
• 『Oracle Database 10g Release 2 Automatic Storage Management Overview and Technical Best
Practices』
http://www.oracle.com/technology/products/database/asm/pdf/asm_10gr2_bptwp_sept05.pdf
Quest Software
• Benchmark Factory for Databases（データベース パフォーマンスおよびスケーラビリティ テスト）
http://www.quest.com/benchmark_factory/
© 2007 Hewlett-Packard Development Company, L.P. 本書の内容は、将来予告なしに
変更されることがあります。 Hewlett-Packard Company製品およびサービスに対する
保証については、当該製品およびサービスの保証規定書に記載されています。 本書
のいかなる内容も、新たな保証を追加するものではありません。 本書の内容につ
きましては万全を期しておりますが、本書の技術的あるいは校正上の誤り、省略
に対しては責任を負いかねますのでご了承ください。
MicrosoftおよびWindowsは、米国におけるMicrosoft Corporationの登録商標です。
Oracleは、Oracle Corporationまたはその関連会社の登録商標です。
Itaniumは、米国およびその他の国におけるIntel Corporation の商標です。
UNIXは、The Open Groupの登録商標です。
4AA1-5325JAP、2007年10月
59