Comments
Description
Transcript
仮想インフラで高可用性を実現するための ベストプラクティス
DELL™ POWEREDGE™ サーバ、 DELL POWERVAULT™ ストレージ、 および VMWARE VSPHERE™ を使用した 仮想インフラで高可用性を実現するための ベストプラクティス 2009 年 6 月 Dell 仮想化ソリューションエンジニアリング www.dell.com/virtualization ここに記載されている内容は、予告なく変更されることがあります。 © Copyright 2009 Dell Inc. 無断複写・複製・転載を禁ず。 Dell Inc. の書面による許可なしに、この内容のいかなる無断転載・複製を一切禁じます。 本ホワイトペーパーは、情報提供のみを目的としており誤字または技術的な誤りが含まれている可能性があ ります。 この保証以外には、いかなる明示または黙示の保証はありません。 Dell の ロ ゴ で あ る Dell, EqualLogic, PowerEdge, PowerVault, PowerConnect お よ び OpenManage は、 Dell Inc. の商標です。 ；Intel および Xeon は、Intel Corporation の登録商標です。 ；Microsoft および Windows は、Microsoft Corporation の登録商標です。 ；VMware の製品は、http://www.vmware.com/go/partents の リストに表示されている１つまたは複数の特許の対象です。VMware は、米国およびその他の地域における VMware,Inc の登録商標または商標です。 この文書の中で、マークの所有権を主張する団体およびその製品名を指すために、その他の商標および商標 名が使用されることがあります。Dell は、他の団体のマークおよび名称に対する所有権を拒否します。 2 目次 はじめに.................................................................................................................................4 対象とする読者および記述範囲. ...........................................................................................4 ソリューションのコンポーネント.........................................................................................5 Dell の第 11 世代 PowerEdge™ R 610 および R 710...............................................................................5 メモリサブシステムにおける可用性................................................................................................. 5 PowerEdge サーバのストレージサブシステムにおける可用性..................................................... 6 I/O デバイスレイヤにおける可用性.................................................................................................. 6 それ以外の可用性の機能.................................................................................................................... 6 Dell PowerVault™ MD 3000 i................................................................................................................6 Dell PowerConnect...............................................................................................................................7 VMware vSphere 4 ソフトウェア.........................................................................................................7 「VMware High Availability (HA) 」 ......................................................................................................... 7 「VMware Fault Tolerance (FT) 」.......................................................................................................... 7 NIC チーミング......................................................................................................................................... 8 iSCSI マルチパス...................................................................................................................................... 8 VMware vCenter Server ........................................................................................................................ 8 3 ノードアーキテクチャのサンプル......................................................................................8 設定に関する指針..................................................................................................................................9 MD 3000 i の設定...................................................................................................................................... 9 Dell PowerEdge R 710 の設定..............................................................................................................10 vSphere 4 の設定....................................................................................................................................10 可用性の機能の検証............................................................................................................ 10 インフラストラクチャの設定..............................................................................................................10 ESX ホストの設定..................................................................................................................................10 ESX ホストネットワークの設定......................................................................................................11 iSCSI ストレージ以外のすべてのトラフィック.............................................................................12 iSCSI ストレージネットワークの設定............................................................................................14 ESX クラスタの設定...............................................................................................................................15 MD 3000 i の設定....................................................................................................................................15 MD 3000 i ネットワークの設定........................................................................................................15 MD 3000 i ストレージの設定............................................................................................................16 外部ネットワークレイヤの設定............................................................................................................16 電源についての考慮...............................................................................................................................18 警告通知...................................................................................................................................................18 ワークロードの設定............................................................................................................ 18 アプリケーションワークロード............................................................................................................18 仮想マシンの設定............................................................................................................... 19 フェイルオーバー事例およびテスト結果........................................................................... 19 結論..................................................................................................................................... 23 3 はじめに ハードウェアおよびソフトウェアレイヤの両方における仮想化技術の進歩に伴い、多くの仮想マシンならびにアプリケー ションがシングルサーバーで実行されています。仮想化技術の進化はサーバ統合比率を改善しましたが、新たな課題を もたらしました。シングルサーバで実行される場合、インフラストラクチャのいずれかのレイヤにおいて障害が起きた 場合に、複数の重大なアプリケーションを失うリスクが発生します。 図１に示されているように、可用性が懸念事項である場合、異なるレイヤ、すなわち「仮想マシン」 「ハイパーバイザ」 「サー バ」 「ネットワークファブリック」および「ストレージレイヤ」において可用性を提供するソリューションを設計しなけれ ばなりません。 本ホワイトペーパーは、仮想インフラストラクチャに最高レベルの可用性を提供するために、複数のインフラストラク チャ レイヤにおいて障害に耐えられるように設計されている Dell ソリューションのサンプルを紹介します。最初に、ソ リューション設定の例からはじめ、そのあとに設定がどのような方法でアップタイムを最大限に高めるサポートをする かについて説明します。 外部 ネットワーク 外部 ネットワークレイヤ VM VM VM VM VM VM VM VM VM VM ハイパーバイザ ハイパーバイザ ハイパーバイザと 仮想マシンレイヤ サーバレイヤ ストレージ機器 ストレージ機器レイヤ ストレージアレイレイヤ 図 1： サンプルの仮想インフラストラクチャの構造 対象とする読者および記述範囲 本ホワイトペーパーが対象とする読者は、可用性が最大の懸念であるアプリケーションを実行するために、サーバの仮 想化を実施する予定の IT 管理者、IT 管理職およびチャネルパートナーです。 読者は、サーバ、ストレージの基礎およびネットワーク構築技術ならびに VMware vSphere 4 サーバ仮想化ソフトウェ アに精通していることを前提とします。 本ホワイトペーパーは、設定の例および Dell の第 11 世代サーバ、Dell PowerVault MD 3000 i iSCSI アレイ、Dell PowerConnect スイッチおよび VMware vSphere 4 ソフトウェアを使った高可用性アーキテクチャの配置および設定の ベストプラクティスを紹介します。検討されるソリューションは、インフラストラクチャーコンポーネントの枠内で、 ソフトウェアおよびハードウェアのインフラストラクチャーコンポーネントの可用性を最大限に高めるように設計され ます。 本 ペ ー パ ー は、Dell PowerEdge R 710 サ ー バ、PowerVault MD 3000 i、PowerConnect ス イ ッ チ お よ び VMware vSphere 4 . 0 ソフトウェアを使用したサンプルアーキテクチャを紹介していますが、本ペーパーで紹介されているデザ イン指針および可用性の機能を利用し、Dell™ EqualLogic™およびVMware vSphereソフトウェアなど他のDellサーバ 1、 ストレージ製品を使うことで、高可用性インフラストラクチャを設計できます。 vSphere 4 . 0 の VMware High Availability (HA) および VMware Fault Tolerance (FT) 機能は、仮想マシンレイヤにおい て可用性を提供するために使用されます。可用性を提供するその他のソリューションが存在する可能性はありますが、 本ペーパーの対象外になります。 1 VMware vSphere 4 . 0 および VMware Fault Tolerance (FT) を実行する認可がある Dell サーバ。ESX サーバソフトウェアとともに実行 できる認可を持つ Dell ハードウェアの一覧は、www.vmware.com/go/hcl の VMware HCL を参照してください。 4 アプリケーションレイヤにおける可用性は、アプリケーションの種類により異なる独自の組み込み型可用性機構を持つ ことがあるため、アプリケーションとして説明していません。本ペーパーで紹介されている設計アプローチは、そうし た機構を補足し、その他の方法による可用性の設計、管理または維持が困難な場合にアプリケーションの可用性を増大 させるためにサポートします。 顧客の要求に応じて、推奨されるアーキテクチャの更なるカスタマイズが必要になることがあります。特殊な要求を満 たすための本ソリューションのカスタマイズ方法に関する詳細は、Dell テクニカルセールス担当者にご相談ください。 ソリューションのコンポーネント この章では、高可用性仮想化インフラストラクチャのスタックソリューションに使用されるコンポーネントの概要を説 明します。本ペーパーの残りの箇所では、Dell PowerEdge R 710 /R 610 サーバ、PowerVault MD 3000 i iSCSI ストレー ジアレイ、PowerConnect スイッチおよび VMware vSphere 4 ソフトウェアをどのように使用して、異なるインフラス トラクチャ レイヤにおいて可用性を提供できるソリューションを設計するかを検討します。 Dell の第 11 世代 PowerEdge™ R 610 および R 710 サーバは、改良されたワットあたりのパフォーマンス、増 強された仮想化機能、改善されたエネルギー効率および簡素化されたシステム管理ツールによって、総所有コスト（TCO） を抑えるのに貢献します。 メモリサブシステムにおける可用性 PowerEdge R 610 および R 710 サーバは、それぞれ最大 192 GB DDR 3 メモリまでサポートします。DDR 3 メモリに、 アンバッファード (UDIMMs) またはレジスタード (RDIMMs) があります。UDIMMs は、コスト節減および省電力のメリッ トをもたらし、RDIMMs は、増量された記憶容量およびさらなる信頼性、可用性および保守機能 (RAS) を提供し、仮想 化インフラストラクチャの可用性を高めるために理想的です。誤り訂正符号 (ECC)、SDDC およびメモリミラーリング などの可用性の機能は、メモリサブシステムにおける障害を阻止する役目を果たします。 デルは、以下のメモリーモードおよび可用性機能をサポートします。 • メモリの最適化：3 つすべてのメモリチャネルを使用することでパフォーマンスの最大化が可能ですが、SDDC 機能 は x 4 チップのみにサポートしています。 • 上級 ECC モード：このモードは、メモリー・コントローラー・ハブ (MCH) を 2 つ使用し、128 ビットのデータバ ス DIMM を模倣するために両方を結びあわせます。これにより、x 4 および x 8 DRAM の両テクノロジーに基づいた DIMM 用の SDDC を可能にします。 • ミラーモード：このモードは、3 つのメモリチャネルの内の 2 つを利用します。各チャネルにおいて、同一のデータ書 き込みが行われますが、読み込みは 2 チャネル間で交互に行われます。メモリミラーリングは、チャネル上の DIMM の障害に対して冗長性を提供します。ここで、メモリが 2 チャネルにわたってミラーリングされているため、OS はサー バにインストールされている物理的な容量の半分だけしか認識しないことに注意しなければなりません。 システムメモリの設定の詳細に関して、R 610 /R 710「Hardware Owner’s Manual」のシステムメモリの章を参照して ください。 5 PowerEdge サーバのストレージサブシステムにおける可用性 Dell PowerEdge RAID コントローラ (PERC) 6 シリーズのコントローラは、性能、信頼性および耐障害性を強化するよ うに設計されています。以下の機能は、PERC 6 コントローラに内部または直接取り付けで接続されたストレージの信 頼性および耐障害性を強化します。 • RAID レベル：PERC 6 コントローラは、RAID レベル 0、1、5、6、10、50 および 60 をサポートし、性能および可 用性の両方を満たすために多様な設定オプションを提供します。ここで RAID レベル 0 は、ハードディスクの障害に対 する保護を提供しないため、推奨されないことに注意しなければなりません。 • PERC 6 RAID コ ン ト ロ ー ラ は、 管 理 者 が Dell BIOS 設 定 ユ ー テ ィ リ テ ィ 並 び に Dell OpenManage StorageManagement を使ってセットアップできるグローバルホットスペア、専用のホットスペアおよびアフィニティ 設定をサポートします。通常グローバルホットスペアは、ホットスペアが RAID コンテナに適合できる十分な容量があ る場合、劣化状態にあるいかなる RAID アレイにも使用できます。専用のホットスペアは、特定のディスクグループ用 にリザーブされています。 • PERC 6 /I コントローラは、256 MB の誤り訂正符号 (ECC) バッテリバックアップ式キャッシュを備えています。 PERC 6 /E コントローラは、256 MB または 512 MB の ECC バッテリバックアップ式キャッシュメを提供します。 • PERC 6 RAID コントローラは、一貫性検査、バックグラウンドイニシャライズおよびデータ損失ならびに安全なデー タ検索を可能にする SMART 機能などの高度なメディアエラー監視および修復技術を提供します。 Dell PERC コントローラの追加機能に関する詳細および取扱説明に関して、「Dell Open Manage Server Administrator Storage Management User’s Guide」を参照してください。 I/O デバイスレイヤにおける可用性 Dell PowerEdge R 710 および R 610 サーバは、2 つのデュアルポート（計 4 つのポート）組み込み Broadcom NetXtreme II 5709 c ギガビットイーサネット NIC を有します。さらに、Dell PowerEdge 710 は、以下のような設定ができます。 • 2 つの PCIe（x 8）および 2 つの PCIe（x 4）G 2 • 1 つの PCIe（x 16）および 2 つの PCIe（x 4）G 2 I/O スロット PowerEdge R 610 は、2 つの PCIe（x 8）G 2 I/O スロットを有します。 複数の I/O スロットおよび装置は、ネットワークまたはストレージファブリックに複数のパスを提供するために、イー サネットまたはファイバーチャネルコントローラなどの冗長装置の使用を可能にします。チーミングおよびマルチパス ソフトウェアとの組み合わせて、冗長装置は装置の障害に対する保護を提供します。 それ以外の可用性の機能 • 2 つまでのホットプラグ、省電力構成または高出力冗長電源装置 • ホットプラグ冗長ファン (PowerEdge R 710 のみ ) Dell PowerVault™ MD 3000 i は、16 ホストまでのストレージ統合、高性能および可用性を提供できるように設計 された高性能 iSCSI ストレージエリアネットワーク (SAN) です。共有ストレージがライブマイグレーションなどの上級 仮想化機能の必要条件であることから、MD 3000 i は、仮想化インフラストラクチャの理想的な入門レベルのストレー ジアレイとなります。MD 3000 i アレイの以下の機能が、ホストが利用できるストレージの可用性を増大します。 • デュアル RAID コントローラは、フェイルオーバーおよび冗長エンクロージャ管理機能を提供します。各コントローラ は、停電発生時に 72 時間まで保護可能な 512 MB のバッテリバックアップ式キャッシュを有します。各 RAID コント ローラは、2 つの 1 Gb イーサネットポートを有し、アレイごとに合計 4 つのポートを有します。仮想ディスクまたは MD 3000 i 上の LUN は、常時 2 つの内の 1 つの RAID コントローラに制御されています。コントローラに障害が起きた 場合に、すべての仮想ディスクは他のコントローラへフェイルオーバーし、ホストへのストレージの可用性を維持し ます。 6 • RAID コントローラは、RAID レベル 0、1、10、5 および 6 の選択肢を提供し、性能および可用性の両方のストレージ 設定が可能な複数のオプションを提供します。ここで RAID レベル 0 は、ハードディスクの障害に対する保護を提供し ていないため推奨されないことに注意しなければなりません。 • ホットスペアディスクは、ディスクグループにおける物理ディスクの障害に対する追加のデータ保護を提供します。 物理ディスクの障害の際に、障害のあるディスクのデータはホットスペアディスクに再構築されます。障害のあるディ スクが置き換えられた時に、ホットスペアのデータが代替の物理ディスクにコピーバックされます。ホストは、フェ イルオーバーまたはフェイルバックプロセスにおいて継続的にデータにアクセスします。 • 各 RAID コントローラは、アレイの帯域外の管理用に利用できる管理ポート（10 / 100 Mb イーサネット）を備えてい ます。コントローラまたは管理ポート、パスの障害が起きた際に、すべての管理機能を含むアレイへのフルアクセスが、 他のコントローラの管理ポートを通して利用できます。 • 冗長電源および冷却 MD 3000 i の機能および使用に関する詳細は、MD 30000 i の文書を参照してください。 注：MD 3000 i アレイレベルにおける重大な障害（例、両方の RAID コントローラの障害）に対する可用性は、本ペーパーの対象外です。 Dell PowerConnect™ 5400 シリーズ スイッチ は、すべての大きさの組織の要求に対応する高度なセキュリ ティーおよび企業管理機能を備えた 24 ポート (PowerConnect 5424 ) または 48 ポート (PowerConnect 5448 ) ワイヤ スピードのギガビットイーサネットを提供します。PowerConnect 5400 のスイッチは、iSCSI トラフィックに対して自 動的に最適化します。iSCSI トラフィックフローを検知し、iSCSI パケットにより質の高いサービスを割り当てることで、 PowerConnect スイッチは iSCSI ストレージトラフィックがリソースの競合が起きた場合に優先されることを保証しま す。 ネットワークレイヤにおける可用性を提供するために、ESX ホスト上の NIC チーミングと共に冗長イーサネットスイッ チを使用します。これにより、スイッチまたはネットワークデバイスの障害に対する保護を実現できます。 機能および使用に関する詳細は、PowerConnect の資料を参照してください。 VMware vSphere 4 ソフトウェアは、VMware の次世代サーバ仮想化ソフトです。 vSphere 4 の多くの機能の中で、VMware HA（High Availability）、VMware Fault Tolerance (FT)、NIC チーミングおよ び iSCSI マルチパスが仮想化インフラストラクチャの可用性の増強に関係するものとして特に興味深いです。 「VMware High Availability (HA) 」 VMware HA は、仮想マシンの ESX ホストの障害に対する保護を提供します。HA クラスタの一部であるすべてのホスト は、共有ストレージへのアクセスを持たなければなりません。ESX ホストに障害が起きた場合、障害の起きたホスト上 の仮想マシンはクラスタ内の他の利用可能なホスト上で再起動されます。ここでアプリケーションに応じて、影響を受 けた仮想マシンの再起動後にアプリケーションの可用性を継続するために特別な手順を踏まなければならないことにつ いて留意しなければなりません。 「VMware Fault Tolerance (FT) 」 VMware FT も ESX ホスト障害に対する保護を提供します。しかし、仮想マシン（VM）が他の利用可能なホスト上で再 起動できる VMware HA とは異なり、VMware FT で保護された場合、仮想マシンはホスト障害が起きても継続して稼動 します。VMware vLockstep 技術を活用することにより、VMware FT は、被保護またはプライマリ VM を使ってロック ステップにアクティブなセカンダリ VM を作成、維持することで VM を保護します。セカンダリ VM は、プライマリ VM と同じシーケンスの指示を実行します。ESX ホスト障害によりプライマリに障害が起きた場合、セカンダリ VM がデー タ損失またはサービスの中断なしに引き継ぎを行ないます。VMware FT は、共有ストレージへのアクセスを提供するす べての HBA（ファイバーチャネル HBA のみ）に障害が起きた場合にワークロードを保護します。 7 VMware FT は以下のような障害に対して仮想マシンを保護しないことに注意しなければなりません。 • 保護された仮想マシン内のソフトウェア障害 • ホスト上のコンポーネント障害。例、仮想マシンのトラフィックに使用されるネットワークカードの障害は、プライ マリ VM からセカンダリ VM への引き継ぎを引き起こさない。 • ストレージアレイレベルでの障害など。 VMware FT の仮想マシン（VM）の設定における必要条件について： VM にはシングル vCPU の利用、スナップショッ トのサポートなし、従来の（シンプロビジョニングでない）仮想ディスクのみ、FT 被保護の VM に自動化 DRS 不可、す べての仮想ディスクが共有 iSCSI、ファイバーチャネル、NFS ストレージ上になければならないこと、等に注意しなけ ればなりません。VMware FT および VMware HA の必要条件の完全な一覧表について、「VMware vSphere Availability Guide」を参照してください。 NIC チーミング NIC チーミング機能は、サーバ上でのチーム作成または 2 つ以上の物理ネットワークポートの結合を可能にします。NIC チーミングは、ネットワーク装置のレイヤならびにネットワークトラフィックのロードバランシングの双方にフェイル オーバー機能を提供します。ネットワークチームを作成する際に、管理者は異なる PCI バス、スロット、アダプターに 属するネットワークポートを選択することを考慮すべきです。これにより、PCI バス、スロットまたはアダプターポー トの障害に対する追加的な保護を提供します。 iSCSI マルチパス vSphere 4 は、iSCSI セッションレイヤにおいてマルチパス機能を提供する強化されたソフトウェア iSCSI イニシエー タを有します。これは、パスの冗長化および iSCSI トラフィックのロードバランシングを可能にします。設定および iSCSI ストレージ用のベストプラクティスに関する詳細は、 「vSphere iSCSI SAN Configuration Guide」を参照してくだ さい。 VMware vCenter Server vCenter Server は、VMware ESX 仮想インフラストラクチャ環境の集中管理を担います。vCenter は、VMotion、分散 型リソーススケジューリング (DRS)、高可用性および耐障害性などの高度な機能のコントロールポイントとして機能し ます。vCenter の可用性は、本ペーパーでは考慮されません。 HA および FT などの機能が設定された時点で、vCenter は仮想マシンの可用性を維持する必要がなくなります。vCenter の可用性が要求された場合、以下のアプローチを取ることができます。 • vCenter Server を保護するために、VMware vCenter HeartBeat を使用すること。 • vCenter Server のアプリケーションを保護するために、Microsoft クラスタサービスを使用すること。 • VMware HA クラスタで稼動している仮想マシン内で、vCenter Server を実行すること。 3 ノードアーキテクチャのサンプル 図 2 は、異なるインフラストラクチャ レイヤにおける可用性のために設計された 3 ノードアーキテクチャのサンプルを 表します。事前に定義されたハードウェアまたはソフトウェアコンポーネントに障害または不具合が起きた場合に、仮 想マシンは最小限の停止時間を経験します。以後の章で、アーキテクチャに関する詳細および本ソリューションが通常 の障害事例においてどのように可用性を提供するかを検討します。 8 仮想マシンとマネジメントネットワーク VMotion ネットワーク FT ネットワーク ストレージネットワーク アグリゲーションレイヤへのアップリンク NIC チーム vCenter Server アグリゲーションレイヤへの アップリンク イーサネットスイッチ 2 VM フォールトトレランス ESX ホスト 冗長化した イーサネットスイッチ LAG アクセスレイヤ イーサネットスイッチ 1 VM VM フォールトトレランス VM ECC メモリとミラーリング 冗長化したネットワークコントローラ 冗長化した電源とファン、PERC ホットプラグとホットスペアディスク ESX ホスト ESX ホスト NIC チーム VMware FT と VMware HA iSCSI MPIO ストレージレイヤの スイッチ イーサネットスイッチ 4 イーサネットスイッチ 3 コントローラ 1 ポート 1 コントローラ 1 ポート 0 コントローラ 0 ポート 1 PowerVault MD3000i ストレージへの複数経路 冗長化したイーサネットスイッチ コントローラ 0 ポート 0 冗長化した RAID コントローラ ホットスペアディスクとホットプラグ 冗長化した帯域外マネジメント 冗長化した電源と冷却装置 各 RAID コントローラにつき 2 本の 1Gb iSCSI データポート 図 2： 3 ノード高可用アーキテクチャのサンプル 図 2 で示されているように、3 つの R 710 サーバが VMware ESXi サーバ 4 . 0 を実行し、PowerEdge R 610 で稼動する vCenter Server 4 . 0 に管理されています。「ソリューションコンポーネント」の章に記載されている異なるレベルにおけ る障害に耐えられるように各レイヤのソリューションスタックが設計されています。図に示されているように、3 つの PowerEdge R 710 サーバが Dell PowerVault MD 3000 i iSCSI ストレージに接続されています。イーサネットスイッチ 3 および 4 は、MD 3000 i エンクロージャに複数の ESX ホストの接続を可能にします。イーサネットスイッチ 1 および 2 は、ESX サーバ用にアクセスレイヤ（レイヤ 2）を形成し、ESX ホスト上にチーム化されたイーサネットアダプター用 にレイヤー 2 領域を形成します。vCenter Server は、アクセスレイヤスイッチならびに ESX サーバホストへの冗長接続 を有します。 設定に関する指針 この章は、図 2 に示された高可用性アーキテクチャに使用されるハードウェアおよびソフトウェアに関する一般的な設 定についての指針をいくつか紹介します。 MD 3000 i の設定 • HA 設定の MD 3000 i アレイは、2 つの冗長デュアルポート RAID コントローラを有します。 • コントローラ 0、ポート 0、およびコントローラ 1 ポート 0 は、イーサネットスイッチ 3 に接続され、コントローラ 0、 ポート 1、およびコントローラ 1 ポート 1 は、イーサネットスイッチ 4 に接続されます。 MD 3000 i を VMware ESX サーバで設定する詳細に関して「Dell PowerVault Configuration Guide for VMware ESX Server」を参照してください。 9 Dell PowerEdge R 710 の設定 • プロセッサの数：2 つの Quad Core Intel® Xeon® 5500 シリーズのプロセッサ。ここで、仮想マシンを保護するため に VMware FT を使用する場合、セカンダリ仮想マシン用に追加の CPU リソースが必要になることに注意しなければ なりません。ベストプラクティスとして、プライマリおよびセカンダリ仮想マシンの両方を考慮した上で、CPU の要 件をサイジングします。デフォルト設定で、セカンダリ VM 用の CPU リソースは、セカンダリ VM を実行する ESX ホ スト上にリザーブされていません。しかし、これはプライマリ VM 用に明示的な CPU リザベーションを設定すること で変えることができます。このリザベーションは、セカンダリ VM にも適用され、プライマリおよびセカンダリ VM を 実行するホストが十分なリソースを利用できることを保証します。 • メモリ：UDIMMに比べてRDIMMのほうが優れたRAS機能を持つため、UDIMMではなくRDIMMを使用します。ここで、 VM を保護するために VMware FT を使用する場合、プライマリ VM と同量のメモリがセカンダリ VM が属するホスト 上のセカンダリ VM 用に確保されることに注意しなければなりません。保護されている各 VM のメモリ要求が 2 倍にな るため、各自のメモリ要求を適宜にサイジングします。 -- メモリサブシステムにおいてさらなる可用性を提供する場合、メモリミラーリングを使用できます。しかしな がら、ESX ホスト用にインストールされた物理メモリ容量の半分のみ 使用できます。従って、ミラーリング を使用する場合、物理メモリが ESX ホストおよび VM が必要とする容量の 2 倍になるようにサイジングします。 • 内部 RAID コントローラ：Dell PowerEdge RAID コントローラ (PERC) 6 /I • ハードディスク：最低 3 つのハードディスク ESX 用の RAID- 1 ボリュームとして設定されたハードディスク 2 つおよ び RAID- 1 ボリューム用のホットスペアとして設定されたハードディスク 1 つ。 • ネットワークアダプター：最低 6 つのギガビットイーサネットネットワークアダプター vSphere 4 の設定 • VMware vSphere 4 ソフトウェアコンポーネント -- VMware vSphere ソフトウェア：vSphere 4 . 0 Patch 1 Advanced、Enterprise または Enterprise Plus 版 -- VMware vCenter Server 4 . 0 註：Dell がサポートする iSCSI 設定を展開するために、ESX/ESXi 4 . 0 Patch 1 をインストールしなければなりません。このパッチは、 iSCSI フェイルオーバー機能に関連した重大な修正を搭載しいます。 可用性の機能の検証 以前の章に記述されているとおり、耐障害性インフラストラクチャーは異なるインフラストラクチャ レイヤにおける障 害に対応するため、複数レベルの冗長性を持たなければなりません。図 2 に示されたアーキテクチャの仮想マシンの動 作を検査するために、3 つの R 710 物理サーバおよび 1 つの MD 3000 i ストレージエンクロージャで構成された HA クラ スタがセットアップされました。 アプリケーションの可用性のさまざまな障害の影響を検証するために、Microsoft® Windows® Server 2003 仮想マシ ンの中にある Dell DVD ストアアプリケーションが使用されました。以下の章は、図 2 に示されたセットアップ用のソフ トウェアおよびハードウェア設定に関する詳細について記述しています。 インフラストラクチャの設定 ESX ホストの設定 同一の物理的な設定で 3 つの Dell PowerEdge R 710 サーバが使用されました。設定に関する詳細は、表 1 に記載されて います。ローカル RAID 1 ボリュームに、VMware ESXi 4 . 0 Installable がインストールされました。vCenter を実行す るために、PowerEdge R 610 サーバを実行する Microsoft Windows Server 2003 Standard Edition が使用されました。 10 ESX ホストの設定 サーバ Dell PowerEdge R 710 プロセッサ 2 X Intel Xeon Processor X 5560 ( 2 . 8 GHz, 8 MB cache) メモリ 48 GB ( 6 x 8 GB 1066 MHz RDIMMs) ハイパーバイザ VMware ESXi Server 4 . 0 Patch 1 Installable ネットワークアダプター 4 x 1 Gb オンボード Broadcom NetXtreme II 5709 c ネットワークアダプター Intel PRO/ 1000 PT デュアルポートサーバアダプター RAID コントローラ Dell PERC 6 /I ハードディスク 3 x 73 GB 15 K SAS ドライブ RAID 設定 ESX インストール用の RAID 1 ボリューム内の 2 つのドライブ RAID 1 ボリューム用のホットスペアとして設定された 1 つのドライブ BIOS バージョン 1 . 1 . 4 またはそれ以降 BIOS オプション仮想化テクノロジー 使用可能状態 BIOS オプション電源管理 OS 制御 表 1：ESX ホストの設定 註：VMware FT を作動させるために、BIOS オプション「仮想化テクノロジー」は、「使用可能状態」に設定されなければなりません。 註：VMware FT を実行する際のベストプラクティスとして、プライマリおよびセカンダリ VM を同じスピードのプロセッサ上で実行 します。従って、 「電源管理」BIOS オプションは ESX にプロセッサの電力状態を管理させるために「OS 制御」に設定するべきです。 ESX ホストネットワークの設定 ESX ネットワークは、以下の目的を念頭に設定されました。 可用性：さまざまな種類のネットワークトラフィック：ESX 管理、仮想マシン , iSCSI ストレージ、VMotion および耐 障害性ロギングに冗長性を提供すること。 トラフィック隔離：異なる種類のネットワークトラフィックを物理的に隔離、または仮想化によって隔離すること。こ の場合、iSCSIストレージトラフィックを他から物理的に隔離します。残りのトラフィックは、VLANを使って隔離します。 性能：最適なパフォーマンスを達成するために、ソフトウェア iSCSI イニシエータの iSCSI マルチパス機能および仮想 マシントラフィック用のネットワークレイヤロードバランシングを利用すること。 図 3 は、クラスタ内部の任意の ESX ホストのネットワーク設定がどのようなものかを描写しています。チーム化するア ダプターを選択する際に、PCI バス上のネットワークポートの位置およびそれぞれのネットワークコントローラが考慮 されました。この設定で使用されている各 PowerEdge 710 について、物理的ネットワークアダプターは以下のように 列挙されました。 vmnic 0、vmnic 1：1、2 番目の LOM ポート（筐体に Gb 1 および Gb 2 とマークされた）はそれぞれシステムのマザーボー ドに組み込まれた1番目のデュアルポートBroadcom NetXtreme II 5709ギガビットイーサネットコントローラ上にある。 vmnic 2、vmnci 3： 1、2 番目の LOM ポート（筐体に Gb 3 および Gb 4 とマークされた）はそれぞれシステムマザーボー ドに組み込まれた2番目のデュアルポートBroadcom NetXtreme II 5709ギガビットイーサネットコントローラ上にある。 vmnic 4、vmic 5：アドイン Intel PRO/ 1000 PT デュアルポートサーバアダプター上にある 1、2 番目のポート。 以下に、さまざまな種類のネットワークトラフィックに関する詳細が記載されています。 11 iSCSI ストレージ以外のすべてのトラフィック 図 3 に示されているように、4 つのネットワークアダプター vmnic 0、vmnic 2、vmnic 3 および vmnic 5 がアップリンク として vSwitch 0 に接続されています。4 つのポートすべてが vSwich レベルでチーム化されているが、各ポートグルー プレベルにおいてチーミングの設定を変更しました。 4 つの NIC の内、vmnic 0 および vmnic 2 は、主として管理および仮想マシンのトラフィック用として使用され、vmnic 3 は主として Vmotion 用ならびに vmnic 5 は FT ロギングトラフィックに使用されます。これは、すべての種類のネットワー クトラフィックに専用の帯域およびフェイルオーバー機能を提供します。 図 3：ESX ホストネットワークの設定 管理ネットワーク（ポートグループ管理ネットワーク） NIC チーミング：vmnic 0 がアクティブ、vmnic 2 , vmnic 3 および vmnic 5 ( 表記順 ) が待機アダプタ。 ロードバランシング：起点となる仮想ポート ID VLAN 設定：管理ネットワークのポートグループは、VLAN ID 162 と共にタグ ESX ホスト管理パケットに設定 されます。ここで、使用される VLAN ID は、各ユーザーのセットアップにより異なることに注意しなければなり ません。 フェイルバック：無効。フェイルバックを無効にすることで、ポートがトラフィックを供給するまでの準備時間 における管理トラフィックのロスを防ぎます。これは、管理ネットワークの一時的なロスにより、いずれかの偽 のホスト隔離が引き起こされるのを防ぎます。 12 仮想マシンネットワーク（ポートグループ VM ネットワーク） NIC のチーミング：vmnic 0 および vmnic 2 がアクティブ、アクティブ。vmnic 3 および vmnic 5 ( 表記順 ) が待機 アダプター。 ロードバランシング：起点となる仮想ポート ID VLAN の設定：VM ネットワークポートグループは、仮想マシンネットワークパケットを VLAN ID 164 でタグす るように設定されています。ここで、使用される VLAN ID が各ユーザーのセットアップ VLAN ID によって異な る場合があることに注意しなければなりません。 仮想インフラストラクチャの可用性のためのビジネスレディーソリューション フェイルバック： 有効 このセットアップは、仮想マシンネットワーク用に高可用性およびロードバランシングを可能にします。ここで、フェ イルバックを有効にすることで仮想マシンへのネットワークアクセスが一時的に失われることがあり、アダプターが障 害から復帰した後にフェイルバックすることに注意しなければなりません。このような動作を容認できない場合、フェ イルバックを無効にします。 VMotion ネットワーク ( ポートグループ VMkernelVMotion) NIC チーミング：vmnic 3 がアクティブ、vmnic 0、vmnic 2 および vmnic 5 ( 表記順 ) がスタンバイ。VMotion NIC の障害時に、VMotion および FT トラフィックを隔離するため、vmnic 0 および vmnic 2 を最初に待機リストに保 持します。 ロードバランシング：デフォルトの仮想スイッチの指針 VLAN の設定：VMkernel-VMotion ポートグループは、VLAN ID 163 で VMotion パケットをタグするように設定 されています。ここで、ユーザーのセットアップに応じて使用される VLAN ID が異なることに注意しなければな りません。 フェイルバック：有効 このセットアップは、VMotion トラフィック用にフルギガビット帯域および高可用性を提供します。 FT ロギングネットワーク（ポートグループ VMkernelFT） NIC チーミング：vmnic 5 がアクティブ；vmnic 2、vmnic 0 および vmnic 3 ( 表記順 ) がスタンバイ。 FT NIC の障害時に FT および VMotion トラフィックを隔離するため、vmnic 2 および vmnic 0 を最初に待機リスト に保持します。 ロードバランシング：デフォルトの仮想スイッチの指針 VLAN 設定：VMkernel- FT ポートグループは、VLAN ID 165 で FT ロギングパケットをタグするように設定され ています。ここで、ユーザーのセットアップに応じて使用される VLAN ID が異なることに注意しなければなりま せん。 フェイルバック：有効 このセットアップは、FT ロギングトラフィック用にフルギガビット帯域および高可用性を提供します。 ここで、フェイルバックを有効にすることによりネットワークアダプターが障害から復帰した後に、VMotion および FT ロギング NIC への接続が一時的に失われることに注意しなければなりません。これにより、FT に保護された VM の一時 的な無保護状態を引き起こすことがあります。 アダプター（VMotion、FT ロギングネットワークがフェイルバックする）がトラフィックを完全に供給できるようになり、 FT、VMotion リンクが利用できるようになると VM は自動的に保護されます。VMotion および FT ロギングの両方が高帯 域を要求するため、障害のあるアダプターが障害から復帰した後に、トラフィックが専用の NIC を利用できるようにす るためにフェイルバックが利用できるようになりました。 13 註： • ポートがオンラインになるまでの時間を短縮するために、ネットワークアダプター vmnic 0、vmnic 2、vmnic 3 および vmnic 5 の Speed、Duplex 設定を 1000 Mb/Full Duplex にします。 • 本ペーパーに記載されている設定のサンプルは、FT ロギングトラフィック用にギガビットネットワークアダプターを使用します。 FT ロギングの利用頻度が高い場合、10 Gb イーサネットアダプターの使用が推奨されます。 VMotion または FT リンクに障害が起きた場合、それぞれのトラフィックを維持するために vmnic 0 または vmnic 2 の内 1 つが使用されます。同様に、イーサネットスイッチ 1 または 2 に障害が起きた場合、iSCSI ストレージトラフィック以外 のすべての種類のネットワークトラフィック用に、2 つのネットワークアダプターのみ使用できます。VMotion および FT ロギングリンクの両方が高帯域を要求するため、仮想マシントラフィック用の帯域要求に応じて、障害後に物理的な ネットワークインターフェースを共有することは望ましくないかもしれません。そうした場合に、VMotion および FT ロ ギングリンク用にフェイルオーバーサポートを提供するために、追加の 2 つの専用ネットワークアダプター (VMotion お よび FT ロギング用の合計 4 つの専用ネットワークアダプター ) を利用できます。この設定のためにフェイルバックを無 効にすることができます。 iSCSI ストレージネットワークの設定 マルチパス：iSCSI ストレージトラフィック用にパスの冗長化およびトラフィックロードバランシングを提供するた め、2 つのネットワークアダプター (vmnic 1 および vmnic 4 ) を使用します。図 3 に示されているように、vmnic 1 は vSwitch 1 にアップリンクされ、vmnic 4 は vSwitch 2 にアップリンクされます。esxcli コマンドを使って、VMkernel イ ンターフェース vmk 1 (vmnic 1 に対応 ) および vmk 2 (vmnic 4 に対応 ) がソフトウェア iSCSI イニシエータに取り付けら れます。マルチパス用のソフトウェア iSCSI イニシエータの設定に関して、vSphere 4 iSCSI SAN ConfigurationGuide を参照してください。 VMkernel-iSCSI 1 インターフェースは、MD 3000 i コントローラ 0、ポート 0 およびコントローラ 1 ポート 0 と同じ IP サ ブネットに属するように設定されます。VMkernel-iSCSI 2 インターフェースは、MD 3000 i コントローラ 0 ポート 1 お よびコントローラ1 ポート1と同じIPサブネットに属するように設定されます。これは、いずれかのMD3000iコントロー ラに所有されるLUN への2つのアクティブパス（1つは、VMkernel-iSCSI1を通り、もう1つはVMkernel-iSCSI2インター フェースを通る）を可能にします。 ロードバランシング：上記の設定は、いかなる MD 3000 i コントローラ上のいずれかの LUN 用に 2 つのアクティブパ スを提供します。しかし、ESX ホストにさらされた各 LUN について、バランス トラフィックを利用可能な両アクティ ブパスを通して装着する場合、パス選択指針を「Round Robin」に設定します。その他のパス選択指針である「Most Recently Used (MRU)」または「Fixed」は、フェイルオーバーのみ提供し、ロードバランシング機能を持ちません。「Round Robin」は、送信および受信トラフィックの両方にパスの冗長化およびロードバランシングを提供します。 VLAN：トラフィックとしていかなる VLAN も使用されず、専用のスイッチを使って物理的に隔離されています。 ジャンボフレーム：これらは、性能向上のためのオプションとして有効にできます。ジャンボフレームは、vSwitch お よび VMkernel ポート用に使用可能な状態にしなければなりません。VMkernel インターフェースがジャンボフレームを 使用できるように設定する方法に関する詳細は、vSphere iSCSI Storage Configuration guide を参照してください。こ こで、ジャンボフレームを使用する際に ESX ホストの仮想スイッチ、VMkernel インターフェース、イーサネットスイッ チおよび MD 3000 i データポートにおいてジャンボフレームの端末相互間を使用可能な状態にしなければならないこと に注意しなければなりません。 14 VMkernel-iSCSI 2: IP: 192.168.131.11 Netmask: 255.255.255.0 VMkernel-iSCSI 1: IP: 192.168.130.11 Netmask: 255.255.255.0 vSwitch2 vSwitch1 ESX ホスト vmnic4 vmnic1 イーサネットスイッチ 4 イーサネットスイッチ 3 コントローラ 0 ポート 0: 192.168.130.101 コントローラ 0 ポート 1: 192.168.131.101 Netmask: 255.255.255.0 コントローラ 1 ポート 0: 192.168.130.102 コントローラ 1 ポート 1: 192.168.131.102 Netmask: 255.255.255.0 PowerVault MD3000i 図 4：ESX-MD 3000 i ストレージネットワークの設定 ESX クラスタの設定 ESX クラスタは、VMware HA 用および VMware DRS 用の両方が使用可能な状態にされました。クラスタ HA のセッ ティングは、シングルノードの障害に耐えられるように設定されました。DRS 指針は、完全自動に設定されましたが、 VMware FT によって保護された VM について DRS 設定は手動に設定されます。 MD 3000 i の設定 MD 3000 i ネットワークの設定 MD3000iアレイは、2つのアクティブRAIDコントローラで構成されます。しかし、どんなときでも1つのRAIDコントロー ラのみが仮想ディスクまたはLUNを所有します。各RAIDコントローラは、iSCSIデータトラフィック用に2つのギガビッ トイーサネットポートを有します。1 つの IP サブネットをコントローラ 0 ポート 0 およびコントローラ 1 ポート 0 に設 定し、もう 1 つの IP サブネットをコントローラ 0 ポート 1 およびコントローラ 1 ポート 1 に設定することにより、物理 的なイーサネットセグメント（冗長イーサネットスイッチを使う）にわたるトラフィック隔離およびパスの冗長化の両方 を実現できます。 本ペーパーにおいて、MD 3000 i iSCSI データポートは、図 4 に示されている以下の IP 設定で設定されました。 コントローラ 0、ポート 0： 192 . 168 . 130 . 101 / 255 . 255 . 255 . 0 コントローラ 0、ポート 1： 192 . 168 . 131 . 101 / 255 . 255 . 255 . 0 コントローラ 1、ポート 0： 192 . 168 . 130 . 102 / 255 . 255 . 255 . 0 コントローラ 1、ポート 1： 192 . 168 . 131 . 102 / 255 . 255 . 255 . 0 2 つのコントローラは、冗長 PowerConnect 5424 スイッチに接続されます。 15 MD 3000 i ストレージの設定 図 2 に表示されている設定を実証するために、2 つのコントローラを持つシングル MD 3000 i アレイおよび 15 個の 146 GB 15 K SAS ドライブが使用されました。異なる RAID レベルのディスクグループを設定するために、14 個のドラ イブおよびグローバルホットスペアとして 1 つのディスクが使用されました。各ディスクグループは、個々の RAID 設定 により保護され、同時にグローバルホットスペアは物理的なディスク障害により劣化したRAIDセットを保護します。デー タベース、ログおよび OS 仮想ディスク（DVD ストア仮想マシン用）を保管するために別の LUN が作成されました。2 つの同一の仮想ディスクが各ディスクグループ上に作成され、2 つの RAID コントローラにわたって負荷を分散するため に 2 つのコントローラに配置されました。各仮想ディスクは、クラスタ内の各ホストにマップされました。 表 2 MD 3000 i のストレージ設定を記載しています。 物理ディスク 0,1,2,3,4,5,6,7 ディスクグループ DB RAID レベル RAID 10 仮想ディスク / 主コントローラ DB 1 ( コントローラ 0 ) および DB 2 ( コン トローラ 1 ) 8 , 9 , 10 , 11 Log RAID 10 Log 1 ( コントローラ 0 ) および Log 2 ( コン トローラ 1 ) 12 , 13 OS RAID 1 OS 1 ( コントローラ 0 ) および OS 2 ( コント ローラ 1 ) 14 ( ホットスペア ) -- -- -- 表 2 MD 3000 i のストレージ設定 外部ネットワークレイヤの設定 イーサネットスイッチ1および2：図5に表示されているように、イーサネットスイッチ1および2は下記の種類のネッ トワークトラフィックグループを扱います。仮想マシン、管理、VMotion および FT ロギング。このネットワーク設定と ともに、既述の各 ESX ホストの vSwitch 設定は以下の主要目的を達成します。 • VMotion および FT ロギングトラフィックを別のネットワークアダプターおよびスイッチに隔離することにより、ギガ ビットネットワーク帯域幅限界にネットワークリンクの過負荷が掛からないことを保証すること。 • 2 つのイーサネットスイッチおよび ESX ホスト上にある 4 つのネットワークアダプターをチーミングすることで、ネッ トワークアダプターおよびスイッチ障害の両方に対する冗長性を提供すること。 個々のトラフィックグループが独自の VLAN に属するため、イーサネットスイッチ 1 上の vmnic 0 および vmnic 3 ならび にイーサネットスイッチ 2 上の vmnic 2 および vmnic 5 に接続されたネットワークポートは、トランクポートとして設定 されます。 イーサネットスイッチ 1 および 2 は、トランクとして設定された 4 ポート LAG を使って互いに接続されます。4 ポート LAG は、可用性ならびに図 2 に記載されたセットアップのための十分な帯域幅の両方を提供します。チームメンバーの 間にパス領域を提供するため、2 つのスイッチの間にレイヤ 2 接続（この場合は 4 ポートにトランクされた LAG）が必要 になります。イーサネットスイッチ 1 および 2 がアグリゲーションレイヤ（レイヤ 2 / 3）のスイッチに接続された場合、 レイヤ 2 のループを避けるためにレイヤ 2 / 3 アグリゲーションレイヤのスイッチを設定する際に慎重に行わなければな りません。スパニングツリープロトコル(STP)が使用される場合に、NICチームメンバーの間に常に物理レイヤ2のパス（ア クセスまたはアグリゲーションレイヤスイッチを通して）が存在するように STP を調整しなければなりません。 レイヤスイッチへアクセスするために、VMotion、FT ロギングおよび ESX ホストハートビートトラフィック ( 管理ネッ トワーク上 ) をローカルに保つために、イーサネットスイッチ 1 および 2 を LAG を使って接続することが推奨されます。 16 イーサネットスイッチ 1 vmnic0 vmnic2 vmnic3 4 ポート LAG vmnic5 vmnic0 イーサネットスイッチ 2 vmnic2 vSwitch0 ESX ホスト 1 vmnic3 vmnic5 vSwitch0 ESX ホスト 2 図 5：外部ネットワーク設定に関する詳細 物理レイヤ2パスが、チーム化されたネットワークアダプターの間でなぜ必要かを理解するために、図4の管理ネットワー ク（vmnic 0 を使った）設定を考察します。管理ネットワークは、vmnic 0 をプライマリおよび vmnic 2 を一番目の待機用 として使用するように設定されています。例えば、ESX ホスト 2 上の vmnic 0 に障害が起きた場合、ホスト 2 において vmnic 2 がプライマリ管理 NIC になります。ESX ホスト 1 において、vmnic 0 がまだ管理トラフィック用のプライマリイ ンターフェースです。vmnic 2 上で vmnic 0 のためにいずれかのトラフィックを遮断するのは、ESX ホスト 1 上の ESX 仮想スイッチのプロパティです。従って、ESX ホスト 1 およびホスト 2 の間にある管理インターフェースが接続できる 唯一の方法は、トランクされた LAG に提供された物理レイヤ 2 パスを通してのみです。 チームで互いにコミュニケーションを取り合うために、レイヤ 2 のパスは異なるネットワークアダプター ( 例えば、 vmnic 0 を使う仮想マシンと vmnic 2 を使う仮想マシンがコミュニケーションを取るために ) を使う仮想マシンにおいて も必要になります。 イーサネットスイッチ 1 および 2 の設定に関する追記： • HA クラスタにおいて、管理トラフィックの一時的な損失によるいかなる偽のホスト隔離事象を回避することが重要で す。従って、ベストプラクティスとして、できるだけ速くオンラインにアクセスするためにエッジポート（ESX サー バを連結するポート）をイーサネットスイッチ 1 および 2 上に設定し、管理トラフィックの一時的な遮断を阻止するた めに、以下のエッジポートのセッティングを設定します。 -- Fast Link（または Port Fast）を有効にする。これにより、STP が収束する前にブロッキング状態で待機するの ではなく、ESX ホストに接続されたポートが転送状態に直入できるようにします。 -- オートネゴシエーションを無効にする。speed/duplex が 1000 Mb 全二重に設定されていることを確認します。 • スパニングツリープロトコル (STP) の代わりに、ラピッドスパニングツリープロトコル（RSTP）を使用します。 • イーサネットスイッチ 1 および 2 のいかなるアップリンクスイッチ、ルーターへの接続をイーサネットスイッチ 1 およ び 2 に障害が起きた場合でも ESX ホストが管理ネットワークゲートウェイに到達できるように設定することが重要で す。 イーサネットスイッチ 3 および 4 は、iSCSI ストレージトラフィックに使用されます。 これらのスイッチに特別な設定は不要です。ESX ホストに接続するポートのジャンボフレームを有効にすることは、性 能を向上させるためのオプションとなっています。ここで、ジャンボフレームを使用する場合にESXホストの仮想スイッ チ、VMkernel、イーサネットスイッチおよび MD 3000 i データポートにおいてジャンボフレームの端末相互間を使用可 能な状態にしなければならないことに注意しなければなりません。 17 電源についての考慮 バスパワーの損失が全体のインフラストラクチャーに影響を与えないために、サーバ、ストレージ、スイッチの電源を 別のパワーバスに接続することを推奨します。特にこの設定に関して、以下のように接続します。 • ESX、vCenter ホストと 2 つの異なるパワーバスからの MD 3000 i 電源装置 • 1 つのパワーバスからのイーサネットスイッチ 1 および 3 と異なるパワーバスからのイーサネットスイッチ 2 および 4 警告通知 インフラストラクチャーの各レイヤは、障害を警告する機能を持ちます。 1 . ESX ホストで実行中の Dell OpenManage Server Administrator (OMSA) エージェントは、すべてのハードウェアの 障害を捕らえ、E メールまたは SNMP メッセージを使い警告を送信することができます。サーバ警告の設定および 管理方法に関する詳細は、「Dell OpenManage Server Administrator User’s Guide」を参照してください。 2 . MD 3000 i アレイからの警告は、MD Storage Manager アプリケーションに報告され、E メールまたは SNMP メッセー ジを使って送信できます。MD 3000 i 警告の設定および管理方法に関する詳細は、Dell PowerVault Modular Disk Storage Manager User’s Guide を参照してください。 3 . Dell PowerConnect スイッチは、警告を SNMP メッセージとして送るように設定できます。PowerConnect スイッ チの設定および警告の管理方法に関する詳細は、Dell PowerConnect User Guide を参照してください。 4 . vCenter および ESX サーバのソフトウェアは、ESX または vCenter レイヤで発生したアラームを SNMP メッセージ または E メールで送信するように設定することができます。ESX および vCenter 用の SNMP 警告の設定ならびに管 理方法に関する詳細は、vSphere Basic System Administration Guide を参照してください。 ワークロードの設定 アプリケーションワークロード DVD ストアは、Dell によって開発、メンテナンスされているオンライン e コマーステストアプリケーションで、リアルワー ルドデータベースの操作をシミュレートし、データベースの作成および索引用のスクリプトならびにクライアントアク セス用のドライバプログラムで構成されています。ドライバプログラムは、ログオン、閲覧および DVD を購入すること で、オンライン DVD ストアアプリケーションのリアルユーザーアクセスをシミュレートします。アクティブスレッドの 数を変更することでロードを変えることができ、各スレッドはデータベースへのユーザーアクセスの完全な 1 サイクル をシミュレートします。プライマリパフォーマンスメトリックスは、1 分ごとの注文すなわち実行済みの注文の合計数 の累加平均であり、ベンチマークの標準的な稼動時に 10 秒ごとに報告されます。 DVDストアセットアップの小型、中型、大型データベースのデフォルトサイズはそれぞれ10MB、1GBおよび100GBです。 通常の使用事例に近づけるために、アプリケーションと共に利用可能なデータセット生成スクリプトを使って 10 GB の カスタムデータベースが構築されました。クライアントドライバプログラムは、別の物理マシンで実行され、各 VM に 遠隔接続されました。適当なロードをシミュレートするために、各 VM において 5 つのスレッドが同時に実行されました。 ストレージフェイルオーバーの事例に対応するために、各データベース操作のタイムアウトは 200 秒に設定されました。 VM への接続に失敗した際、リモートホスト上のドライバプログラムがこのタイムアウト後にエラーを報告します。ド ライバプログラムの接続は、さまざまな障害事例におけるアプリケーションの可用性を監視するためのベンチマークと して利用されました。 Dell の DVD ストアアプリケーションに関する情報は、http：//www.delltechcenter.com/page/DVD+Store を参照して ください。 18 仮想マシンの設定 初期 VM は、1 vCPU および 1 GB RAM で作成されました。Microsoft Windows Server 2003 Enterprise 版がゲスト OS としてインストールされ、Microsoft SQL Server 2005 がデータベースアプリケーションとしてインストールされまし た。3 つの仮想ディスク（2 つは SQL Server のデータベースファイルの保管用、1 つは SQL Server のログファイルの保 管用）がこの VM に取り付けられています。10 GB の DVD ストア用カスタムデータベースが、DVD ストアアプリケーショ ンと共に提供されたスクリプトを使って作成されました。 表 3 は、仮想マシンの概要を説明します。 OS Windows Server 2003 R 2 Enterprise 版 仮想 CPU の数 1 メモリ 1 GB 仮想ディスク OS： 8 GB | デ ー タ ベ ー ス 1： 15 GB | デ ー タ ベ ー ス 2：15 GB | ロ グ： 15 GB データベースアプリケーション Microsoft SQL Server 2005 ワークロード Dell DVD ストア DVD ストアのデータベースのサイズ 10 GB SCSI タイムアウト 2 200 秒 表 3：DVD ストア仮想マシンの設定 その後、初期 VM は 12 個の VM を作成するためにクローンされ、R 710 サーバのクラスタに追加されました。DRS は VM を提供するために使用されたが、すべての物理サーバにわたって VM の負荷分散が慎重に行われました。VMware の ホストごとに合計 4 つまでのプライマリまたはセカンダリ VM を実行するベストプラクティスに従って、VMware FT は、 3 ノードクラスタにおいて 6 つの仮想マシンに対応できるようになりました。 3 フェイルバックが仮想マシンポートグループ用に使用可能な状態になった場合、障害（アダプターまたはスイッチ障害） から復帰したアダプターにフェイルバックする仮想マシンは、アダプターの障害復帰後にフェイルバックするネットワー クアクセスの一時的な損失を経験することがあります。 フェイルオーバー事例およびテスト結果 この章は、実験室でシミュレートされたいくつかの障害事例および障害の DVD ストアアプリケーションへの影響につ いて説明します。DVD ストアアプリケーションの可用性を検査するために、DVD ストアアプリケーションに付随する SQL サーバドライバプログラムを使用しました。 ドライバは、各 DVD ストア VM 用に外部クライアントステーションから実行されました。 DVD ストア用にアプリケーションレベルのアベイラビリティソフトウェア・機構は設定されていません。表 4 に記載さ れている通り、クライアントの DVD ストアアプリケーションへの接続性は障害のシミュレート時に確認されました。表 4 が示すように、この設定は異なる種類の障害に対する耐性があり、DVD ストアアプリケーションの可用性を維持でき ました。 2 MD 3000 i コントローラのフェイルオーバー事例に対応するため、Windows VM の SCSI タイムアウトが 200 秒に設定されました。 19 VM の 保護提供者 アプリケーション 可用性への影響 障害領域 障害の説明 MD3000iアレイ ハードディスクを引き 抜くことによりシミュ レートされたハード ディスク障害。 RAID セ ッ ト お よびホットス ペア なし ホットスペアディスクが障害のあ るディスクを引き継ぎ、RAID セッ トの再生を開始する。 アクティブコントロー ラを引き抜くことによ りシミュレートされた RAID コントローラの障 害。 デ ュ ア ル RAID コントローラ なし 影響を受けたコントローラが所有 する LUN は、その他のコントロー ラへフェイルオーバーする。 影響を受けた LUN への SCSI コマ ンドは、フェイルオーバー中に遅 延される。ESX ホストは、すべて の LUN 2 へ の I/O 用 の 2 つ の ア ク ティブパスをまだ保持している。 アクティブポートの ネットワークケーブル を引き抜くことにより シミュレートされた RAID コントローラ上の シングルポート障害。 ESX iSCSI マ ルチパスと併 用 の コ ン ト ローラごとの デュアルポー ト なし 2 つの内、1 つのパスのみ I/O 用に 利用できる。障害のあるポートを 使用するパスは、機能停止とマー クされ、待機中の他のコントロー ラのパスを通る。 アクティブコントロー ラネットワークケーブ ルを両方引き抜くこと によりシミュレートさ れた RAID コントローラ のデュアルポート障害。 ESX iSCSI マ ルチパスと併 用のデュアル コントローラ なし 影響を受けたコントローラが所有 する LUN は、その他のコントロー ラへフェイルオーバーする。影響 を受けた LUN への SCSI コマンド は、フェイルオーバー中に遅延さ れる。ESX ホストは、すべてのボ リュームへの I/O 用の 2 つのアク ティブパスをまだ保持している。 アクティブ RAID コント ローラから電源を引き 抜くことによりシミュ レートされた電源障害。 デュアル電源 なし 第 2 電源が障害のある電源を引き 継ぐ。 コントローラの管理 ポートからネットワー クケーブルを引き抜く ことによりシミュレー トされた管理ポートの 障害。 アレイごとの デュアル管理 ポート なし 他のコントローラの管理ポートを 通してまだ利用できる MD 3000 i アウトバンド管理。 スイッチ機器へ電源を 引き抜くことによりシ ミュレートされたスト レージスイッチ障害 （イーサネットスイッチ 3 または 4） 冗 長 イ ー サ ネットスイッ チ なし 各ボリューム用に、1 つのパスの み I/O 用に利用でき、1 つは待機 状 態 を 維 持 す る。 障 害 の あ る ス イッチを使用するパスは、機能停 止とマークされる。 ネットワーク ファブリック 障害後の動作 20 アプリケーション 可用性への影響 障害の説明 ネットワーク ファブリック スイッチ機器へ電源 ケーブルを引き抜くこ とによりシミュレート されたアクセスレイヤ イーサネットスイッチ 障害 3。 冗 長 イ ー サ ネットスイッ チ なし 3 vmnic 0 お よ び vmnic 3 は ダ ウ ン リ ン ク す る。 管 理 ト ラ フ ィ ッ ク は、vmnic 2 にフェイルオーバー し、 仮 想 マ シ ン ト ラ フ ィ ッ ク は vmnic 2 および vmnic 5 にフェイル オーバーする。 スイッチ機器へ電源 ケーブルを引き抜くこ とによりシミュレート されたアクセスレイヤ のイーサネットスイッ チ 2 の障害 4。 冗 長 イ ー サ ネットスイッ チ なし 4 vmnic 2 お よ び vmnic 5 は ダ ウ ン リンクする。VMotion トラフィッ クは、vmnic 0 にフェイルオーバー し、FT ロギングトラフィックは vmnic 3 にフェイルオーバーする。 ハードディスクを引き 抜くことによりシミュ PERC 6 /I によ り提供された なし 障害のあるディスクをホットスペ アが引き継ぎ、RAID セットの再 レートされたローカル ハードディスク障害。 RAID セット iSCSI ネ ッ ト ワ ー ク ア ダプター用のネット ワークケーブルを引き 抜くことによりシミュ レートされたシング ル iSCSI ホ ス ト ポ ー ト 障 害（vmnic 1 ま た は vmnic 4）。 iSCSI マルチパ ス なし 2 つの内、1 つのパスのみ I/O 用に 利用できる。障害のあるポートを 使用するパスは、機能停止とマー クされ、待機中のその他の RAID コントローラのパスを通る。 vmnic 3 用にネットワー クケーブルを引き抜く ことによりシミュレー ト さ れ た VMotion リ ン ク (vmnic 3 ) 障害 4。 NIC チーミング なし 4 VMotion ト ラ フ ィ ッ ク は vmnic 0 へフェイルオーバーする。 vmnic 5 用にネットワー クケーブルを引き抜く ことによりシミュレー ト さ れ た FT ロ ギ ン グ NIC(vmnic 5 ) 障害 4。 NIC チーミング なし 4 FT ロ ギ ン グ ト ラ フ ィ ッ ク は vmnic 2 へフェイルオーバーする。 FT に保護された VM は保護状態を 維持する。 ESX ホスト 3 VM の 保護提供者 障害領域 障害後の動作 生を開始する。 フェイルバックが仮想マシンポートグループ用に使用可能な状態になった場合、障害（アダプターまたはスイッチ障害）から復帰し たアダプターにフェイルバックする仮想マシンは、アダプターの障害復帰後にフェイルバックするネットワークアクセスの一時的な損 失を経験することがあります。 4 フェイルバックが VMotion、FT ロギングポートグループ用に使用可能な状態になった場合、ネットワークアダプター、スイッチの障 害復帰後に、VMotion および FT ロギング NIC が一時的に接続を失うことがあります。 これは、FT に保護された VM を一時的に無保護状態にすることがあります。 アダプター（VMotion、FT ロギングネットワークがフェイルバックする）がトラフィックを完全に供給できるようになり、FT/VMotion リンクが利用できるようになると VM は自動的に保護されます。 21 障害領域 ESX ホスト 障害の説明 VM の 保護提供者 アプリケーション 可用性への影響 vmnic 0 用にネットワー クケーブルを引き抜く ことによりシミュレー トされた管理リンク (vmnic 0 ) 障害。 NIC チーミング なし 管 理 ト ラ フ ィ ッ ク は vmnic 2 へ フェイルオーバーする。 vmnic 0 ま た は vmnic 2 用にネットワークケー ブルを引き抜くことに よりシミュレートされ た仮想マシンリンク (vmnic 0 または vmnic 2 ) 障害 5。 NIC チーミング なし 5 仮想マシントラフィックが他のア ダプターにフェイルオーバーし、 フェイルオーバーの間ネットワー クアクセスの一時的な損失が確認 されていない。 DIMM を 実 行 中 の シ ス テムから引き抜くこと によりシミュレートさ れた DIMM 障害。 メモリミラー リング 6 なし ESX および仮想マシンが影響を受 けずに継続して実行する。 異 常 注 入 DIMM を 使 っ ECC メモリ なし ESX および仮想マシンが影響を受 てシミュレートされた シングルビットメモリ エラー。 異 常 注 入 DIMM を 使 っ てシミュレートされた マルチビットメモリエ ラー。 5 障害後の動作 けずに継続して稼動する。 メ モ リ ミ メモリミラー ラ ー リ ン グ 6、 リ ン グ を 使 用 VMware FT する場合はな し。 も し そ う で な け れ ば、 VM ware FT により保護さ れ た VM は 影 響を受けない。 メモリミラーリングを使用する場 合、ESX および仮想マシンは影響 を受けずに稼動を続ける。ミラー リングが使用されない場合、サー バソフトウェアが強制終了する。 FT に保護された VM の場合、セカ ンダリ VM がプライマリ VM を引 き継ぐためアクセスを維持する。 HA に保護され た VM の 場 合、 VM が他のホス トで再起動さ れるまでアプ リケーション を利用できま せん。 DVD ストアアプリケーション VMware FT は、 新 し い プ ラ イ マ リ VM 用にセカンダリ VM を生成 す る。HA に 保 護 さ れ た VM は、 クラスタ内にある残り 2 つのホス ト で 再 起 動 さ れ る。DVD ス ト ア アプリケーションは、VM がオン ラインにアクセスした後に利用で きる。 フェイルバックが仮想マシンポートグループ用に使用可能な状態になった場合、障害（アダプターまたはスイッチ障害）から復帰し たアダプターにフェイルバックする仮想マシンは、アダプターの障害復帰後にフェイルバックするネットワークアクセスを一時的に失 うことがあります。 6 メモリ稼動モードサーバの BIOS オプションをミラーモードに設定しなければなりません。 22 障害領域 ESX ホスト vCenter Server 障害の説明 VM の 保護提供者 アプリケーション 可用性への影響 障害後の動作 ホストのパワーオフに よりシミュレートされ た ESX ホスト障害 V M w a r e F T 、 FT に保護され VMware HA た VM の 場 合 はなし。 HA に保護され た VM の 場 合、 VM が他のホス トで再起動さ れるまでアプ リケーション を利用できま せん。 FT に保護された VM の場合、セカ ンダリ VM が障害のあるホスト上 で実行中のプライマリ VM を引き 継 ぐ。VMware FT は、 新 し い プ ライマリ VM 用にセカンダリ VM を生成する。 HA に 保 護 さ れ た VM は、 ク ラ ス タ内にある残り 2 つのホストで再 起 動 さ れ る。DVD ス ト ア ア プ リ ケーションは、VM がオンライン にアクセスした後に利用できる。 電源を引き抜くことに よりシミュレートされ た電源障害 デュアル電源 なし 第 2 電源は、サーバへの電源供給 を維持する。 vCenter Serverをパワー オフすることにより シミュレートされた vCenter 障害 ESX ホ ス ト ク ラスタ なし FT および HA に保護された VM は 稼動を維持する。HA、FT のいか なる設定変更を含む ク ラ ス タ の 管 理 は、vCenter Server が使用可能な状態になるま で利用できません。 サーバをパワーオフす ることによりシミュ レ ー ト さ れ た vCenter 障害およびホストをパ ワーオフすることによ りシミュレートされた ESX ホスト障害。 V M w a r e F T 、 FT に保護され VMware HA た VM の 場 合 はなし。 HA に保護され た VM の 場 合、 VM が他のホス トで再起動さ れるまでアプ リケーション を利用できま せん。 FT に保護された VM の場合、セカ ンダリ VM が障害のあるホスト上 で実行中のプライマリ VM を引き 継 ぐ。VMware FT は、 新 し い プ ライマリ VM 用にセカンダリ VM を生成する。 HA に 保 護 さ れ た VM は、 ク ラ ス タ内にある残り 2 つのホストで再 起 動 さ れ る。DVD ス ト ア ア プ リ ケーションは、VM がオンライン にアクセスした後に利用できる。 図 4：フェイルオーバーの検査および監視 結論 小さな障害であっても、多くのアプリケーションのダウンタイムを引き起こすことがあるため、可用性の計画は、仮想 化インフラストラクチャにとって重要です。本ペーパーは、仮想化インフラストラクチャ用に高可用性アーキテクチャ 構築の際のアプローチを提示しました。全体のインフラストラクチャーのすべてのレイヤにおける可用性を考慮するこ とが重要で、アーキテクチャのサンプルを使って、異なる種類の障害に対するアーキテクチャの復元性を強調しました。 23 References/Additional Links 1 .Dell PowerEdge R 710 Documentation: http://support.dell.com/support/edocs/systems/per 710 2 . Dell PowerEdge R 610 Documentation: http://support.dell.com/support/edocs/systems/per 610 3 . Dell PowerVault MD 3000 i Documentation: http://support.dell.com/support/edocs/systems/md 3000 i/en/ 2 ndGen/index.htm 4 . Dell PowerVault MD 3000 i configuration with vSphere 4 . 0 : http://www.delltechcenter.com/page/VMware+ESX+ 4 . 0 +and+PowerVault+MD 3000 i 5 . Dell PowerConnect Documentation: http://support.dell.com/support/edocs/network/ 54 xx/en/index.htm 6 . Dell OpenManage Server Administrator Storage Management User’s Guide: http://support.dell.com/support/edocs/software/svradmin/ 6 . 0 . 3 /omss/index.htm 7 . Dell vSphere 4 . 0 Documentation: http://support.dell.com/support/edocs/software/eslvmwre/VS/VS.htm 8 . VMware vSphere 4 . 0 iSCSI SAN Configuration Guide: http://vmware.com/pdf/vsphere 4 /r 40 /vsp_ 40 _iscsi_san_cfg.pdf 9 . VMware vSphere 4 . 0 Availability Guide: http://vmware.com/pdf/vsphere 4 /r 40 /vsp_ 40 _availability.pdf 10 . VMware vSphere 4 . 0 Basic System Administration Guide: http://vmware.com/pdf/vsphere 4 /r 40 /vsp_ 40 _admin_guide.pdf 11 . Dell Virtualization Home Page: http://www.dell.com/virtualization 12 . Dell Business Ready Configurations for Virtualization: http://content.dell.com/us/en/business/virtualization-business-ready-configurations.aspx 13 . Dell Enterprise Technology Center: http://www.delltechcenter.com