Comments
Transcript
LifeKeeper for Linux による VMware 環境HAシステム構築
LifeKeeper for Linux による VMware 環境 HA システム構築ガイド - 富士通 PRIMERGY 編 - 第１版 サイオステクノロジー株式会社 LifeKeeper for Linux による VMware 環境 HA システム構築ガイド 目次 1 本ドキュメントの目的 ........................................................................................................3 2 LifeKeeper for Linux の特徴 ........................................................................................3 3 検証システム構成 ...............................................................................................................6 4 構成 ....................................................................................................................................7 5 インストールおよび設定.....................................................................................................9 6 動作確認 ........................................................................................................................... 11 7 留意事項 ........................................................................................................................... 12 8 お問い合わせ .................................................................................................................... 13 9 免責事項 ........................................................................................................................... 14 10 謝辞 .................................................................................................................................. 14 11 参考文献 ........................................................................................................................... 14 改版履歴 2013 年 3 月 21 日 第１版 2 ©2013 SIOS Technology, Inc. LifeKeeper for Linux による VMware 環境 HA システム構築ガイド 1 本ドキュメントの目的 本ドキュメントは、増加傾向にある仮想環境上の業務システムの可用性を向上するために HA クラスタ環境を実現する際の参考となるよう、HA クラスタソフト LifeKeeper for Linux を用い 富士通サーバ PRIMERGY とストレージシステム ETERNUS で構成した HA クラスタシステムを 構築し動作検証を行いガイドとしてまとめたものです。 LifeKeeper for Linux は V8 を使用し、最新の PRIMERGY S7 モデル、ETERNUS S2 モデルを 用いて仮想環境 VMware 上に仮想ゲストサーバー間クラスタを構築し、さらに共有ディスクと の接続には近年利用システムが増えている iSCSI 接続を採用し動作確認を行いました。 iSCSI 接続でのクラスタ形態は増加傾向にありますが、LifeKeeper 対応ストレージとして認定 されていないストレージも存在します。このような場合、または何らかの要因によって SCSI コ マンドによる I/O フェンシング＊が行えない場合、Quorum/Witness というクラスタ形態（4. 構成を参照）を利用し可用性を維持することができます。今回の検証では iSCSI 接続による LifeKeeper 未対応ストレージ利用の構成検証の位置づけで検証しています。 また、HA クラスタとして保護するアプリケーションとしてはオープンソースデータベース PostgreSQL を用いています。 本ガイドは、本番設計・構築時の参考資料として活用できることを目的としており、作成に当た っては、富士通株式会社とサイオステクノロジー株式会社（以下弊社）とで共同で検証を実施し その結果をもとに記載しております。 ＊I/O フェンシング：I/O フェンシングは、共有データに対する入力に制限を設けることで 特定のノードからのみアクセス可能とする技術の総称です。詳細については、下記文書を参 照ください。 http://jpdocs.us.sios.com/Linux/8.1.1/LK4L/TechDoc/index.htm#configuration/lifekee per_io_fencing/introduction.htm 2 LifeKeeper for Linux の特徴 LifeKeeper は、業務システムの可用性を高めるための HA クラスターソフトウェアです。セ カンダリサーバー（待機系）を準備した上でプライマリサーバー（待機系）に障害が生じた場合 に自動的にセカンダリサーバーに切り替えを行い、システム復旧時間の短縮と運用負荷の低減を 3 ©2013 SIOS Technology, Inc. LifeKeeper for Linux による VMware 環境 HA システム構築ガイド 可能にします。サーバー同士が一定間隔で監視を行う仕組みをソフトウェア上で行い、通信が不 可能となればシステムダウンとみなして、セカンダリサーバーへの切り替えを実行します。 LifeKeeper には、多くのアプリケーション用に ARK(アプリケーションリカバリーキット)と呼 ばれるオプションが用意されており、スクリプトの開発なしでアプリケーションの冗長化を実現 できます。 これにより、 開発コストや運用管理者の負担・コストを削減することにつながります。 また、独自のアプリケーションなど、仮に ARK が存在しない場合でも、Generic ARK という機 能を用いて任意のアプリケーションを LifeKeeper の保護対象に組み込むこともできます。 LifeKeeper の基本的な構成について以下に説明します。 共有ディスク構成 外部ストレージを共有ディスクと して用いる一般的な HA クラスタシ ステム構成です。 ストレージおよびマルチパス構成 を含めたクラスタシステムの監視 を行っており、より信頼性の高いフ ェイルオーバーを実現します データレプリケーション構成 高価な外部ストレージを必要とせ ず安価にクラスタシステムを構成 可能です。 サーバ毎に接続されたローカルデ ィスクをレプリケーションするこ とで、待機系にミラーボリュームを 作成することで可用性向上を図り ます。本構成をとることにより、災 害対策として遠隔地へのフェイル オーバーも可能となります。 4 ©2013 SIOS Technology, Inc. LifeKeeper for Linux による VMware 環境 HA システム構築ガイド 仮想環境 仮想 to 仮想 仮想環境内で仮想マシンの高可 用性を実現します。 物理 to 仮想 複数の物理サーバーの待機系を 仮想サーバーとする HA クラス ターシステムであり、災害対策 システム、段階的な仮想環境へ の移行プロセスとしての利用も 可能です。 5 ©2013 SIOS Technology, Inc. LifeKeeper for Linux による VMware 環境 HA システム構築ガイド 3 検証機器 今回の検証で使用した機器は以下の通りです。 (1) クラスタ用サーバ RX300S7:CPU Xeon E5 2690 (2.9GHz/8 コア) ×2 ① MEM 8GB ② HDD 600GB×2(RAID1/SAS/10krpm) ③ 増設 LAN 1Gbps Dual Port ④ OS RedHat EnterpriseLinux 6.2 ⑤ 仮想 VMware vSphere 5 ⑥ クラスタ LifeKeeper for Linux V8 ⑦ DB PostgreSQL 8.4.9 (RHEL6.2 に同梱) (2) vCenterServer RX200S6:CPU Xeon X5680 (3.33GHz/6 コア) ×2 ① MEM 8GB ② OS Windows Server 2008R2 standard (3) 共有ディスク ETERNUS DX80S2 450GB×8(RAID1+0) (4) vSphere Client / Witness Server FMV LIFEBOOK E780A：Core i7-620M(2.66GHz) ① MEM 4GB ② OS Windows7Enterprise ③ 仮想 VMware vSphere Client 6 ©2013 SIOS Technology, Inc. LifeKeeper for Linux による VMware 環境 HA システム構築ガイド 4 構成 各サーバーおよびストレージの構成を以下に示します。 運用 待機 PRIMERGY RX300S7 PRIMERGY RX300S7 vSphere5 + RHEL6.2 + LifeKeeper V8 + PostgreSQL vSphere5 + RHEL6.2 + LifeKeeper V8 + PostgreSQL 内蔵 LAN1 内蔵 PY-LA222 LAN2 LAN3 LAN4 LAN1 PY-LA222 LAN2 LAN3 LAN4 管理LAN 業務LAN iSCSI LAN LAN Windows7Enterprise + vSphereClient FMV BIBLO LAN1 LAN2 LAN CM0 CM1 WindowsServer2008R2 + vCenterServer ETERNUS DX80S2 PRIMERGY RX200S6 ※ 構成上のポイント 共有ディスクの接続は、iSCSI を採用。サーバ側は専用に２ポートアダプタ(PY-LA22)を iSCSI 用に割り当てている。 LifeKeeper は Quorum/Witness Server 方式を採用。Quorum/Witness サーバとして FMV を割り当てている。 LifeKeeper のコミュニケーションパスは、管理 LAN と業務 LAN にて兼用したが、実際に 設計される際には独立した２本の専用パスを設けることが望ましい。 Quorum/Witness Server 方式を採用したため、STONITH により相手サーバを強制電源切 断行えるようにすることが望ましい。VMware 仮想マシン環境では vCLI にて仮想マシンの 電源切断が可能。 VMware/OS/LifeKeeper/PostgreSQL は、各サーバのローカルディスクにそれぞれセット 7 ©2013 SIOS Technology, Inc. LifeKeeper for Linux による VMware 環境 HA システム構築ガイド アップ、DB のみ共有ディスクに配置 ※ Quorum/Witness Server 方式について 本項では、本検証の構成に適用した Quorum/Witness Server 方式について説明します。 Quorum/Witness Server 方式は、ノード障害を検知した際のフェイルオーバ先を多数決に より決定する Quorum Check と、第三者サーバに問い合わせて、相手ノードの死活状態を再 確認する Witness Check 機能によって構成されます。 この機能を利用するには、LifeKeeper v7.3 以降で追加された Quorum/Witness Server Kit パッケージ(steeleye-lkQWK)をインストールする必要があります。なお、パッケージは Recovery Kit として製品メディアに同梱されています。 Quorum Check のモードについて Quorum Check は、ノードの監視機能として、TCP_remote 方式と Majority 方式の 2 つのモードが用意されています。 TCP_remote 方式 Quorum Host に指定したホストのうち過半数に接続できるかどうかで、自ノードが多数 派かどうかをチェックします。 Majority 方式 Witness Server と呼ばれる役割を持つ第三のノードをクラスタに参加させることに よって、多数決を実現します。 どちらのモードを選択するかによって、HA システムの構成が異なります。今回の検証では、 TCP_remote 方式で検証を実施しています。 Quorum/Witness Server 方式の詳細については、以下の資料を参照ください。 http://jpdocs.us.sios.com/Linux/8.0/LK4L/TechDoc/Content/configuration/lifekeep er_io_fencing/quorum_witness.htm STONITH の概要 STONITH は "Shoot The Other Node In The Head"の略語であり、他ノードの電源を 強制的に遮断する動作を指します。LifeKeeper においては、v7.3 から STONITH がサポー トされ、更に LifeKeeper v7.5 からは Virtual STONITH がサポートされました。Virtual STONITH は、仮想環境上の各ゲスト OS に対して、電源を強制的に遮断する仕組みです。現 8 ©2013 SIOS Technology, Inc. LifeKeeper for Linux による VMware 環境 HA システム構築ガイド 在、VMware vSphere 上の仮想マシンのみが標準的にサポートされています。この機能があ ることで、ハートビート切断障害発生時のフェイルオーバにおいてにフェイルオーバ元ノード (仮想マシン)の電源を強制的に遮断することが可能となり、スプリットブレインの発生を確実 に抑止出来ます。 上述の Quorum/Witness Server Kit では、障害ノードが自発的に電源断を行い、スプリッ トブレインを回避します。しかし、カーネルのハングアップなど、障害ノードが完全に応答を 停止してしまった場合は、OS による自発的な電源断は期待できません。そのような場合にお いても、Virtual STONITH を利用することで、仮想サーバーでも物理サーバー同様外部から 強制的に電源を遮断した状態にすることができます。この機能を使用することで、スプリット ブレインが発生する可能性を排除します。 STONITH 及び VirtualSTONITH については、以下を参照ください。 http://jpdocs.us.sios.com/Linux/8.0/LK4L/TechDoc/Content/configuration/lifekeep er_io_fencing/stonith.htm 5 インストールおよび設定 (1) VMware と iSCSI VMware vSphere 5 は標準構成でインストールします。その後、以下のマニュアルに従い iSCSI の設定を行います。 http://pubs.vmware.com/vsphere-50/index.jsp?lang=ja/topic=/com.vmware.ICbas e/nl/ja/PDF/ic_pdf.html (2) Red Hat Enterprise Linux DVD からインストールします。SVIM は使いません。その後、富士通 Linux サポートパッ ケージ(FJ-LSP)を手動でインストールします。 FJ-LSP は、富士通の SupportDesk 契約者様向けサイト(SupportDesk Web： http://eservice.fujitsu.com/supportdesk/)からダウンロードします。 (3) LifeKeeper の Quorum/Witness 方式の設定内容 (1) QUORUM_MODE=tcp_remote (2) QUORUM_HOSTS=10.20.107.19:135 (3) QUORUM_TIMEOUT_SECS=20 (4) WITNESS_MODE=none (5) QUORUM_LOSS_ACTION=fastkill (6) RESERVATIONS=none ----------① ----------② ----------③ ----------④ ----------⑤ ----------⑥ ① ３つのモード（none/off、majority、tcp_remote）から選択して設定 ② 複数ある場合はコンマで区切って記載 9 ©2013 SIOS Technology, Inc. LifeKeeper for Linux による VMware 環境 HA システム構築ガイド ③ TCP_remote の時に有効 ④ Quorum チェック後、witness ホストにセカンドオピニオンを問い合わせる場合 には”remote_verify”を設定する ⑤ “fastkill”は電源切断。“fastboot”とすることも可能であるが、起動後にハートビー トが復活していない場合、リブートが繰り返される可能性があるので注意が必要 ⑥ Quorum 方式では共有ディスクへのアクセスの管理を行うので、SCSI RESERVATION は使わないため none を設定 ※ 参考 IPMI STONITH Quorum/Witness 方式の場合は STONITH を併用することが望ましい。本構成におい て STONITH（相手サーバの強制電源断）の設定を行うことで動作は可能です。 VMware vSphere 環境においては vCLI (vSphere Command-Line Interface)を利用 することで、VMware の仮想マシン間での LifeKeeper STONITH の実装に適用する ことができます。 Witness 方式 Quorum 方式による多数決で自身が正常であると判断したあと、さらに Witness Server にクラスタの相手状態を問い合わせを行う方式です。Quorum Server と同じ サーバでも別のサーバでもかまいません。 Quorum/Witness 方式のライセンス Majority モードで動く WitnessServer には LifeKeeper Core ライセンスが LifeKeeper for Linux v8.1.1 からは不要となっています。 10 ©2013 SIOS Technology, Inc. LifeKeeper for Linux による VMware 環境 HA システム構築ガイド 6 動作確認 (1) 確認項目 ① 各ソフトウェアのインストール・セットアップが正常に行えること ② いくつかの障害を起こし、それぞれで正常にフェイルオーバーすること (2) 確認結果 ① インストール・セットアップ 1. VMware ESXi5.0 : ローカルディスクに標準セットアップ 2. RHEL6.2：ローカルディスクに標準セットアップ 3. LifeKeeper for Linux V8：従来バージョンと変わったところは無し 4. PostgreSQL 8.4.9：LifeKeeper より前にインストールし、セットアップする のは従来どおり 5. 上記いづれも問題なくインストール・セットアップを完了 ② フェイルオーバーテスト 1. Quorum サーバとの経路断 →正常にフェイルオーバー、待機系にて業務を継続 2. iSCSI 経路断 →正常にフェイルオーバー、待機系にて業務を継続 11 ©2013 SIOS Technology, Inc. 7 留意事項 仮想化システム上で HA クラスタを構築する場合は、事前に障害時の仮想化ソフトの振る舞い、 LifeKeeper としての仮想化システム上での留意事項等、システム構成に照らし合わせて確認し、 動作検証を行うことを推奨します。 （１）仮想化システム上での基本的な HA クラスタ構成 （２）構成上の留意点 仮想マシンのクラスタリングであることに注意 仮想マシンのディスクは、実際には VMware 管理下の物理ハードディスクあるいは SAN に接続された共有ディスク、ネットワーク経由の NAS などに定義されるため、物 理的な障害（FC 切断やネットワーク障害など）が起きた場合、VMware の障害対応動 作によっては障害を検出できない、あるいは障害を検出できてもフェイルオーバできな い可能性があります。この場合、手動での切り替えが必要になります。 VMware システムイメージ、ゲスト OS イメージ、共有ディスクを物理的に異なるディ スクに配置する設計を推奨します。物理的に同じディスクに配置した場合、そのディス クの故障は２重の障害となり、期待する動作が得られなくなるためです。 サイオステクノロジー株式会社 LifeKeeper for Linux による VMware 環境 HA システム構築ガイド VMware vSphere の機能 全てのオプション機能およびその組み合わせ環境下で動作確認を行っているわけで はありませんので、各機能をクラスタノードに適用の際には vSphere 側の制約や条 件を考慮し適用ください。必要に応じて十分な検証を行っていただくことをお勧めし ます。 共有ディスク（RDM）の構成時、LifeKeeper のマルチパス ARK は必要ありません 仮想マシンに LifeKeeper for Linux を導入する場合、オプションであるマルチパス ARK は必要ありません。(vSphere ESXi Server 上のマルチパスドライバが制御しま す） 仮想マシンには仮想環境専用ライセンスが適用できます 仮想マシンのクラスタノードが２つ以上ある場合、仮想環境専用ライセンスがお得で す。仮想環境用ライセンスは Core のみ提供されています。オプション ARK について は物理サーバと同様にクラスタノード毎に必要です。 インストールと設定は物理マシンと仮想マシンに差はありません LifeKeeper のインストールは物理マシンと同じ手順で実施できます。 LifeKeeper のクラスタ設定は物理マシンと同じ手順で実施できます。 8 お問い合わせ 本ドキュメントの記載内容についてのお問い合わせ先 LifeKeeper 製品の導入を検討中のお客様 弊社パートナー営業部までお問い合わせください。 TEL:03-6860-5111 (受付時間 9:00～17:00 土日祝祭日および弊社休業日は除く） お問い合わせメールフォーム https://www.sios.com/products/bcp/lkdk/contact/ LifeKeeper 製品をご購入済みのお客様 弊社 LifeKeeper 製品サポート窓口までお問い合わせください。 購入後のお問い合わせ https://www.sios.com/products/bcp/lkdk/contact/support_lk.html 13 ©2013 SIOS Technology, Inc. LifeKeeper for Linux による VMware 環境 HA システム構築ガイド 免責事項 9 本書に記載された情報は予告なしに変更、削除される場合があります。最新のものをご確認 ください。 本書に記載された情報は、全て慎重に作成され、記載されていますが、本書をもって、その 妥当性や正確性についていかなる種類の保証もするものではありません。 本書に含まれた誤りに起因して、本書の利用者に生じた損害については、サイオステクノロ ジー株式会社は一切の責任を負うものではありません。 第三者による本書の記載事項の変更、削除、ホームページ及び本書等に対する不正なアクセ ス、その他第三者の行為により本書の利用者に生じた一切の損害について、サイオステクノ ロジー株式会社は一切の責任を負うものではありません。 システム障害などの原因によりメールフォームからのお問い合せが届かず、または延着する 場合がありますので、あらかじめご了承ください。お問い合せの不着及び延着に関し、サイ オステクノロジー株式会社は一切の責任を負うものではありません。 【著作権】 本書に記載されているコンテンツ（情報・資料・画像等種類を問わず）に関する知的財産権は、 サイオステクノロジー株式会社に帰属します。その全部、一部を問わず、サイオステクノロジー 株式会社の許可なく本書を複製、転用、転載、引用、公衆への送信、販売、翻案その他の二次利 用をすることはいずれも禁止されます。またコンテンツの改変、削除についても一切認められま せん。 本書では、製品名、ロゴなど、他社が保有する商標もしくは登録商標を使用しています。 10 謝辞 検証に際し、富士通トラステッド・クラウド・スクエアにて最新機器を貸出しいただきま した。また環境構築に際し、各ソフトウェアの設定・動作のご支援をいただきまし た。御礼を申し上げます。 富士通トラステッド・クラウド・スクエア http://jp.fujitsu.com/facilities/tcs/ 11 参考文献 LifeKeeper for Linux V8.0 リリースノート http://jpdocs.us.sios.com/Linux/8.0/LK4L/ReleaseNotes/ LifeKeeper for Linux V8.0 インストレーションガイド http://jpdocs.us.sios.com/Linux/8.0/LK4L/SPSInstall/ LifeKeeper for Linux V8.0 テクニカルドキュメンテーション 14 ©2013 SIOS Technology, Inc. LifeKeeper for Linux による VMware 環境 HA システム構築ガイド http://jpdocs.us.sios.com/Linux/8.0/LK4L/TechDoc/ LifeKeeper for Linux スタートアップガイド(V8.0) http://lk.sios.com/modules/doc/index.php?page=visit&cid=5&lid=42 PostgreSQL Recovery Kit のドキュメンテーション http://jpdocs.us.sios.com/Linux/8.0/LK4L/pgSQL/ VMware vSphere 5 ドキュメント http://pubs.vmware.com/vsphere-50/index.jsp?lang=ja ETERNUS DX80S2 ユーザーズマニュアル サイオステクノロジー株式会社 〒105-0001 東京都港区虎ノ門 4-1-28 虎ノ門タワーズ 電話:03-6860-5105 FAX:03-6860-5133 http://www.sios.com 15 ©2013 SIOS Technology, Inc.