Comments
Description
Transcript
拡張クラスタ構成における、標準 NFS を使用 した 3 番目の投
Oracle ホワイト・ペーパー 2009 年 12 月 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用 した 3 番目の投票ファイルのサポート バージョン 1.2 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート はじめに.............................................................................................................................. 2 拡張クラスタまたはキャンパス・クラスタ 投票ファイルの使用 ...................................................................................................... 4 投票ファイルの処理 ...................................................................................................... 5 Linux 上の NFS サーバーのセットアップ ..................................................................... 6 Linux 上のクラスタ・ノードへの NFS マウント ....................................................................7 AIX 上の NFS サーバーのセットアップ ........................................................................ 8 AIX 上のクラスタ・ノードへの NFS マウント .......................................................................9 Solaris 上の NFS サーバーのセットアップ ................................................................. 10 Solaris 上のクラスタ・ノードへの NFS マウント................................................................ 11 HP-UX 上の NFS サーバーのセットアップ................................................................. 12 HP-UX 上のクラスタ・ノードへの NFS マウント ...............................................................13 NAS/SAN を使用したクラスタへの 3 番目の NFS 投票ファイルの追加 .................... 14 Oracle ASM を使用したクラスタへの 3 番目の NFS 投票ファイルの追加 ................ 16 インストールでの 3 つのファイル・システム・ベース投票ファイルの構成 ............. 22 既知の問題 ................................................................................................................... 23 付録 A：詳細情報 ........................................................................................................ 24 1 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート はじめに Oracle Clusterware にとってもっとも重要なファイルの 1 つに投票ファイルがあります。Oracle Clusterware 11g Release 2 では、1 つのクラスタに複数（最大 15）の投票ファイルを配置できるた め、ファイルやストレージの障害時にも冗長性が維持されます。 投票ファイルは、スプリット・ブレイン・シナリオを解消するために Oracle Clusterware が内部で 使用する小さなファイル（最大 50MB）であり、サポート対象となる SAN デバイスまたは NAS デ バイス上に配置されます。 オラクルは、このホワイト・ペーパーに記載した特定の例外を除いて、いかなる標準 NFS ファイル の使用もサポートしていません。このホワイト・ペーパーでは、標準 NFS を使用した投票ファイル の設定方法について説明します。 Oracle Clusterware において、標準 NFS プロトコルを使用してマウントされた 3 番目の投票ファ イルが最初にサポートされたバージョンは、Oracle Clusterware 10.2.0.2 です。テストの成功によっ て、このサポートは Oracle Clusterware 11.1.0.6 にも拡大されました。 Oracle Clusterware 10.2.0.2 より前のバージョンでは、標準 NFS を使用した 3 番目の投票ファイルのホスティングは現在もサ ポートされていません。その他すべてのデータベース・ファイルを標準 NFS 上に配置することもサ ポートされていません。また、クラスタ内の投票ファイルの数は 3 つ以上であることが前提です。 これらの 3 つ以上の投票ファイルのうち、 標準 NFS の使用がサポートされているのは 1 つの投票ファ イルのみです。Oracle Clusterware 11.2.0.1.0 以降では、Oracle Automatic Storage Management （Oracle ASM）を使用して投票ファイルをホストできるため、このホワイト・ペーパーでは Grid Infrastructure 11.2.0.1.0 を中心に説明しています。 このドキュメントに説明されている手順は、現時点で、AIX、 HP-UX、Linux、Solaris のみでサポートされています。 サポート対象となる NFS サーバーおよび NFS クライアント構成については、表 1を参照してください。 2 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート 表 1：サポートされている NFS サーバー/クライアント構成 NFS サーバー Linux 2.6 カーネル （最小要件） NFS クライアント NFS クライアントのマウント・オプション NSF サーバーのエクスポート Linux 2.6 カーネル rw,bg,hard,intr,rsize=32768,wsize=32768,tcp,noac /votedisk ,vers=3,timeo=600 *(rw,sync,all_squash,anonuid=500,a （最小要件） nongid=500) IBM AIX5.3 IBM AIX5.3 rw,bg,hard,intr,rsize=32768,wsize=32768,timeo=6 /votedisk ML4 ML4 00,vers=3,proto=tcp,noac,sec=sys sec=sys:krb5p:krb5i:krb5:dh:none,r w,access=nfs1:nfs2,root=nfs1:nfs2 Linux 2.6 カーネル （最小要件） IBM AIX5.3 rw,bg,hard,intr,rsize=32768,wsize=32768,timeo=6 /votedisk ML4 00,vers=3,proto=tcp,noac,sec=sys *(rw,sync,all_squash,anonuid=300,a nongid=300) 注 1： Sun Solaris 10 Sun Solaris 10 rw,hard,bg,nointr,rsize=32768,wsize=32768,noac, /etc/dfs/dfstab : SPARC SPARC proto=tcp,forcedirectio,vers=3 share F nfs o anon=500 /votedisk HP-UX 11.31 rw,bg,hard,intr,rsize=32768,wsize=32768,timeo=6 /etc/dfs/dfstab : 00,noac,forcedirectio 0 0 share F nfs o anon=201 /votedisk rw,bg,hard,intr,rsize=32768,wsize=32768,timeo=6 /votedisk 00,noac,forcedirectio 0 0 *(rw,sync,all_squash,anonuid=201,a HP-UX 11.31 （最小要件 - 11.31 （最小要件 - 11.31 以下のすべての 以下のすべての HP-UX バージョン HP-UX バージョン はサポートの対象 はサポートの対象 外です。) 外です。) Linux 2.6 カーネル （最小要件） HP-UX 11.31 （最小要件 - 11.31 以下のすべての nongid=201) HP-UX バージョン はサポートの対象 外です。) 注 1： Linux のデフォルト設定では、NFS マウントに 1024 より小さいポートを使用する必要があり、AIX のデフォ ルト設定では、1024 より大きいポートが使用されます。次のコマンドを使用して、AIX の予約ポート範囲 を制限してください。 # /usr/sbin/nfso –p o nfs_use_reserved_ports=1 このコマンドを実行しない限りマウントは失敗し、次のエラーが表示されます。 vmount:Operation not permitted. 3 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート 拡張クラスタまたはキャンパス・クラスタ Oracle では、拡張クラスタまたはキャンパス・クラスタという用語は、各ノードが物理的に 2 つのロ ケーションに分かれている複数のノード構成を指します。このドキュメントの目的上、実際のロケー ション間の物理的距離は重要ではありません。 投票ファイルの使用 投票ファイルは、一般にスプリット・ブレインと呼ばれるネットワーク・スプリットを解決するた めに、Oracle Clusterware の一部であるクラスタ同期サービス（CSS）コンポーネントによって使用さ れます。クラスタ内の"スプリット・ブレイン"とは、分割されたクラスタが互いのノードを確認でき ない状態を示します。 投票ファイルは、構成ノードのステータス（稼働中または停止）を最終的に決める判定者として使 用され、排除通知を届ける媒体の役割を果たします。つまり、特定のノードを排除する必要がある と決定されたら、それが投票ファイルに記されます。あるノードがディスク・ハートビートを書き 込む際に、クラスタ内の過半数の投票ファイルにアクセスできない場合、このノードはクラスタか ら排除されます。 投票ファイルに関する限り、ノードは常に過半数の投票ファイルにアクセスできる状態にある必要 があります（単純多数）。n 個の投票ファイルに障害が発生しても対応できるようにするには、クラ スタに 2n+1 個の投票ファイルを構成する必要があります（n=投票ファイル数）。最大 15 の投票ファ イルを構成できる場合、同時に 7 つのディスク障害が発生しても保護が実現されます。ただし、こ のような構成が意味を持つ、統計的に独立した障害特性を備えた十分なディスク・システムを使用 できるケースは現実的ではありません。いずれにしても、複数の投票ファイルを構成することで、 ディスク障害に対するシステムのフォルト・トレランスが向上します。 拡張クラスタは、一般にサイト障害からシステムを保護する可用性を提供するために導入されます。 その目的は、1 つのサイトに障害が発生した際も、各サイトはこれとは無関係に実行可能にすること です。拡張クラスタ構成における問題は、ほとんどのインストールでストレージ・システムが 2 つ （各サイトに 1 つ）しか使用されない点にあります。この場合、過半数の投票ファイルをホストする サイトがクラスタ全体のシングル・ポイント障害になる可能性があります。n+1 個の投票ファイルが 構成されたストレージまたはサイトに障害が発生すると、Oracle Clusterware は過半数の投票ファイ ルにアクセスできなくなるため、クラスタ全体が停止します。 クラスタ全体の停止を回避するため、Oracle では標準 NFS にマウントされたデバイス上への 3 番目 の投票ファイルの配置をサポートしています。このデバイスには、ネットワーク上にある安価なロー エンド・デバイスを使用できます。オラクルは、本番環境に属する専用サーバーにこの NFS 投票ファ イルを配置することを推奨します。 4 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート 図 2：3 番目のサイトに標準 NFS 投票ファイルを配置した拡張 RAC 環境 投票ファイルの処理 通常の処理中、各ノードは一定の間隔でディスク・ハートビートの書込みと読取りを行います。ハー トビートを完了できない場合、ノードは終了し、通常はノードがリブートされます。 オンライン上に十分な投票ファイルがある限り、ノードは存続できます。しかし、オフライン投票 ファイルの数がオンライン投票ファイルの数を超えるか、または等しくなると、クラスタ通信サー ビスのデーモンが失敗し、リブートが必要になります。 この論理的根拠は、各ノードで過半数の投票ファイルがオンラインである限り、対をなす両方のノー ドからアクセスできる投票ファイルが必ず 1 つ存在するからです。 5 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート Linux 上の NFS サーバーのセットアップ この構成は、現在 Linux でのみサポートされています。 バージョン 2.6 以降のカーネルが必要です。 NFS サーバーをセットアップするには、ソフトウェア所有者の UID と DBA グループの GID が必要 です。この UID と GID はすべてのクラスタ・ノード上で一致する必要があります。Oracle ユーザー の UID と GID を取得するには、いずれかのクラスタ・ノード上で Oracle ソフトウェアの所有者（例： oracle）として id コマンドを実行します。 $ id uid=500(oracle) gid=500(dba) groups=500(dba) このケースでは、UID と GID はいずれも 500 です。 root として NFS サーバー上に投票ファイル用のディレクトリを作成し、取得した Oracle ソフトウェ ア所有者の UID および GID をこのディレクトリの所有権に設定します。 # mkdir /votedisk # chown 500:500 /votedisk このディレクトリを NFS エクスポート・ファイル（/etc/exports）に追加します。 このファイルに含まれる行は次のようになります。 /votedisk *(rw,sync,all_squash,anonuid=500,anongid=500) anonuid および anongid には、クラスタ・ノード上の Oracle ユーザーの UID と DBA グループの GID が表示されています（ここでは、UID、GID ともに 500）。 このサーバーの起動中に NFS サーバーが開始されることを確認します。RedHat Linux の場合は、次 のコマンドを使用するとこのチェックを実行できます。 chkconfig --level 345 nfs on 次に、NFS サーバー上で NFS サーバー・プロセスを開始します。 RedHat Linux の場合は、次のコマンドを使用します。 service nfs start NFS サーバー・プロセスがすでに実行中であり、その間に新しいエクスポート・ディレクトリを /etc/exports ファイルに追加した場合は、NFS サーバーを再起動するか、または"exportfs -a"コマンド を使用して再エクスポートします。 6 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート 次に示すとおり、exportfs -v コマンドを使用して、投票ファイルを含むディレクトリが正しくエクス ポートされていることを確認します。 # exportfs -v /votedisk <world>(rw,wdelay,root_squash,all_squash,anonuid=500,anongid=500) Linux 上のクラスタ・ノードへの NFS マウント 標準 NFS にマウントされたドライブに 3 番目の投票ファイルを実装するためのマウント・オプショ ンとしてサポートされている、テスト済みのオプションは次のとおりです。 rw,bg,hard,intr,rsize=32768,wsize=32768,tcp,noac,vers=3,timeo=600 NFS サーバーでサポートされる最小の Linux カーネル・バージョンは 2.6 カーネルです。 NFS エクスポートをマウントするには、root ユーザーとして、/voting_disk という名前の空のディレ クトリを各クラスタ・ノードに作成します。各クラスタ・ノードの/etc/fstab ファイルに次の行を追加 すると、起動時に NFS エクスポートがクラスタ・ノードにマウントされることを確認できます。 nfs-server01:/votedisk /voting_disk nfs rw,bg,hard,intr,rsize=32768,wsize=32768,tcp,noac,vers=3,timeo=600 0 0 各サーバー上で mount /voting_disk コマンドを実行して、NFS エクスポートをマウントします。 mount コマンドを使用して、NFS エクスポートが正しくマウントされたことを確認します。 次のような行が表示されます。 # mount nfs-server01:/votedisk on /voting_disk type nfs (rw,bg,hard,intr,rsize=32768,wsize=32768,tcp,noac,nfsvers=3, timeo=600,addr=192.168.0.10) 7 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート AIX 上の NFS サーバーのセットアップ NFS サーバーをセットアップするには、ソフトウェア所有者の UID と DBA グループの GID が必要 です。この UID と GID はすべてのクラスタ・ノード上で一致する必要があります。Oracle ユーザー の UID と GID を取得するには、いずれかのクラスタ・ノード上で Oracle ソフトウェアの所有者（例： oracle）として id コマンドを実行します。 $ id uid=500(oracle) gid=500(dba) groups=500(dba) このケースでは、UID と GID はいずれも 500 です。 root として NFS サーバー上に投票ファイル用のディレクトリを作成し、取得した Oracle ソフトウェ ア所有者の UID および GID をこのディレクトリの所有権に設定します。 # mkdir /votedisk # chown 500:500 /votedisk このディレクトリを NFS エクスポート・ファイル（/etc/exports）に追加します。 このファイルに含まれる行は次のようになります。 /votedisk sec=sys:krb5p:krb5i:krb5:dh:none,rw,access=nfs1:nfs2,root=nfs1:nf s2 このサーバーの起動中に NFS サーバーが開始されることを確認します。 AIX の場合、rcnfs の起動について/etc/inittab をチェックします。 # cat /etc/inittab |grep rcnfs rcnfs:23456789:wait:/etc/rc.nfs > /dev/console 2>&1 # Start NFS Daemons NFS サーバーが構成されていない場合、smitty を使用して構成を完了します。 # smitty nfs Choose “Network File System (NFS)” Î “Configure NFS on This System” Î “Start NFS” Check for “START NFS now, on system restart or both choose both ” NFS サーバー・プロセスがすでに実行中であり、その間に新しいエクスポート・ディレクトリを /etc/exports ファイルに追加した場合は、NFS サーバーを再起動するか、または"exportfs -a"コマンド を使用して再エクスポートします。 8 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート 次に示すとおり、exportfs -v コマンドを使用して、投票ファイルを含むディレクトリが正しくエクス ポートされていることを確認します。 # exportfs -v /votedisk sec=sys:krb5p:krb5i:krb5:dh:none,rw,access=nfs1:nfs2,root=nfs1:nfs2 AIX 上のクラスタ・ノードへの NFS マウント 標準 NFS にマウントされたドライブに 3 番目の投票ファイルを実装するためのマウント・オプショ ンとしてテストされ、サポートされているオプションは次のとおりです。 rw,bg,hard,intr,rsize=32768,wsize=32768,timeo=600, vers=3,proto=tcp,noac,sec=sys NFS サーバーとしてサポートされる最小の AIX バージョンは AIX 5L 5.3 ML4 CSP です。また、この バージョンには NFS Server Version 4（最小要件）が含まれています。これ以降のバージョンはすべ てサポートされています。 # oslevel -s 5300-04-CSP lslpp を使用して正確な NFS ファイルセット・バージョンを確認します。 # lslpp -L | grep nfs bos.net.nfs.adt 5.3.0.40 bos.net.nfs.client 5.3.0.44 bos.net.nfs.server 5.3.0.10 C A C F F F NetworkFileSystem NetworkFileSystemClient NetworkFileSystemServer NFS エクスポートをマウントするには、root ユーザーとして、/voting_disk という名前の空のディレク トリを各クラスタ・ノードに作成します。各クラスタ・ノードの/etc/filesystems ファイルに次の行を 追加すると、起動時に NFS エクスポートがクラスタ・ノードにマウントされることを確認できます。 /voting_disk: dev vfs nodename mount options account = "/votedisk" = nfs = node9 = true = rw,bg,hard,intr,rsize=32768,wsize=32768, timeo=600,vers=3,proto=tcp,noac,sec=sys = false 9 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート 各サーバー上で mount /voting_disk コマンドを実行して、NFS エクスポートをマウントします。 mount コマンドを使用して、NFS エクスポートが正しくマウントされたことを確認します。 次のような行が表示されます。 # mount node9 /votedisk /voting_disk nfs3 Nov 03 11:46 rw,bg,hard,intr,rsize=32768,wsize=32768,timeo=600,vers=3,proto=tc p,noac,sec=sys または、次のコマンドを使用します。 # lsnfsmnt /votedisk node9 /voting_disk nfs -rw,bg,hard,intr,rsize=32768,wsize=32768,timeo=600,vers=3,proto=tc p,noac,sec=sys yes no Solaris 上の NFS サーバーのセットアップ NFS サーバーをセットアップするには、ソフトウェア所有者の UID と DBA グループの GID が必要 です。この UID と GID はすべてのクラスタ・ノード上で一致する必要があります。Oracle ユーザー の UID と GID を取得するには、いずれかのクラスタ・ノード上で Oracle ソフトウェアの所有者（例： oracle）として id コマンドを実行します。 $ id uid=500(oracle) gid=500(dba) groups=500(dba) このケースでは、UID と GID はいずれも 500 です。 root として NFS サーバー上に投票ファイル用のディレクトリを作成し、取得した Oracle ソフトウェ ア所有者の UID および GID をこのディレクトリの所有権に設定します。 # mkdir /votedisk # chown 500:500 /votedisk このディレクトリを NFS エクスポート・ファイル（/etc/dfs/dfstab）に追加します。 このファイルに含まれる行は次のようになります。 share -F nfs -o anon=500 /votedisk anon には、Oracle ユーザーの UID（ここでは 500）が含まれます。 10 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート /etc/dfs/dfstab にエントリを追加した後、システムを再起動するか、または shareall コマンドを実行す ると/votedisk ディレクトリが共有可能になります。 # shareall share コマンドを使用して、votedisk ディレクトリが正しくエクスポートされたことを確認します。 このコマンドから返される行は次のようになります。 # share - /votedisk anon=500 "" Solaris では"share"コマンドの"anon"オプションに指定できるのは UID のみであり、NFS クライアン ト・マシン上の root ユーザーがファイルを作成する場合、GID には常に UID と同じ値が設定されま す。UID と GID が一致しない場合、crsctl add css votedisk コマンドは失敗します。このため、UID と GID に同じ値を設定することを推奨しています。 Solaris 上のクラスタ・ノードへの NFS マウント 標準 NFS にマウントされたドライブに 3 番目の投票ファイルを実装するためのマウント・オプショ ンとしてサポートされているテスト済みの Solaris 10 向けのオプションは次のとおりです。 rw,hard,bg,nointr,rsize=32768,wsize=32768,noac,proto=tcp, forcedirectio,vers=3 . NFS サーバーでサポートされる最小の Solaris バージョンは Solaris 10 SPARC です。 NFS エクスポートをマウントするには、root ユーザーとして、/voting_disk という名前の空のディレ クトリを各クラスタ・ノードに作成します。各クラスタ・ノードの/etc/vstab ファイルに次の行を追 加すると、起動時に NFS エクスポートがクラスタ・ノードにマウントされることを確認できます。 nfs-server01:/votedisk - /voting_disk nfs yes rw,hard,bg,nointr,rsize=32768,wsize=32768,noac,proto=tcp,forcedirectio,vers=3 各サーバー上で mount /voting_disk コマンドを実行して、NFS エクスポートをマウントします。 mount コマンドを使用して、NFS エクスポートが正しくマウントされたことを確認します。 11 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート HP-UX 上の NFS サーバーのセットアップ 注：NFS サーバーでサポートされる最小の HP-UX バージョンは HP-UX 11.31 です。 11.31 より前のバージョンはいずれもサポートされていません。 NFS サーバーをセットアップするには、ソフトウェア所有者の UID と DBA グループの GID が必要 です。この UID と GID はすべてのクラスタ・ノード上で一致する必要があります。Oracle ユーザー の UID と GID を取得するには、いずれかのクラスタ・ノード上で Oracle ソフトウェアの所有者（例： oracle）として id コマンドを実行します。 $ id uid=201(oracle) gid=201(dba) このケースでは、UID と GID はいずれも 201 です。 root として NFS サーバー上に投票ファイル用のディレクトリを作成し、取得した Oracle ソフトウェ ア所有者の UID および GID をこのディレクトリの所有権に設定します。 # mkdir /votedisk # chown 201:201 /votedisk このディレクトリを NFS エクスポート・ファイル（/etc/dfs/dfstab）に追加します。 このファイルに含まれる行は次のようになります。 share -F nfs -o anon=201 /votedisk anon には、Oracle ユーザーの UID（ここでは 201）が含まれます。 /etc/dfs/dfstab にエントリを追加した後で shareall コマンドを実行すると、/votedisk ディレクトリが共 有可能になります。 # shareall share コマンドを使用して、votedisk ディレクトリが正しくエクスポートされたことを確認します。 このコマンドから返される行は次のようになります。 # share - /votedisk anon=201 "" HP-UX では"share"コマンドの"anon"オプションに指定できるのは UID のみであり、NFS クライアン ト・マシン上の root ユーザーがファイルを作成する場合、GID には常に UID と同じ値が設定されま す。UID と GID が一致しない場合、crsctl add css votedisk コマンドは失敗します。このため、UID と GID に同じ値を設定することを推奨します。 12 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート HP-UX 上のクラスタ・ノードへの NFS マウント 標準 NFS にマウントされたドライブに 3 番目の投票ファイルを実装するためのマウント・オプショ ンとしてサポートされているテスト済みの HP-UX 11.31 向けのオプションは次のとおりです。 nfs rw,bg,hard,intr,rsize=32768,wsize=32768,timeo=600, noac,forcedirectio 0 0 NFS エクスポートをマウントするには、root ユーザーとして、/voting_disk という名前の空のディレ クトリを各クラスタ・ノードに作成します。各クラスタ・ノードの/etc/vstab ファイルに次の行を追 加すると、起動時に NFS エクスポートがクラスタ・ノードにマウントされることを確認できます。 oracle04.bbn.hp.com:/votedisk /voting_disk nfs rw,bg,hard,intr,rsize=32768,wsize=32768,timeo=600,noac,forcedirectio 0 0 各サーバー上で mount /voting_disk コマンドを実行して、NFS エクスポートをマウントします。 mount コマンドを使用して、NFS エクスポートが正しくマウントされたことを確認します。 13 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート NAS/SAN を使用したクラスタへの 3 番目の NFS 投票ファイルの追加 注：Oracle Clusterware の保守および設定に慣れていない場合、以下の手順を実行する前に Oracle Consulting へオンサイト・サポートを依頼することを推奨します。また、投票ファイルの構成を変更 する前に、次に示すように ocrconfig を使用して Oracle Cluster Registry のバックアップを取得するこ とを強く推奨します。 $GRID_HOME/bin/ocrconfig -manualbackup 以前のリリースでは、DD コマンドを使用した投票ディスクのバックアップは、インストール後の必 須タスクでした。Oracle Clusterware 11g Release 2 とそれ以降のリリースでは、DD コマンドを使用し た投票ファイルのバックアップおよびリストアはサポートされていません。 何らかの構成変更が生じると、投票ディスクは自動的に Oracle Cluster Registry にバックアップされ るため、今後、投票ファイルを手動でバックアップする必要はありません。また、投票ディスクが 追加されると、そのディスクに投票ディスクのデータが自動的にリストアされます。 システムへの設定が完了している投票ファイルを確認するには、$GRID_HOME/bin/crsctl query css votedisk コマンドを使用します。標準の冗長性を持つ Oracle ASM ディスク・グループまたは NAS デ バイスに基づく投票ディスクの冗長性を使用して、Oracle Clusterware のデフォルト・インストール を行った後に確認すると、3 つの投票ファイルが構成されています。 [root@node1]# crsctl query css votedsk ## -1. 2. 3. STATE ----ONLINE ONLINE ONLINE File Universal Id ----------------a1625cd6c8b24f0cbfbade52f5e7fa01 0f9d817b97a54f57bf258da457c22997 746a2646226c4fd7bf6975f50b1873a3 File Name Disk group --------- --------(/nas/cluster3/vdsk1) [] (/nas/cluster3/vdsk2) [] (/nas/cluster5/vdsk3) [] 上の例では、vdsk1 と vdsk2 はサイト A のストレージ上にあり、vdsk3 はサイト B のストレージ上に あると考えられます。しかし、実際には 3 番目の投票ファイルをサイト C（NFS にマウントされた デバイス）のストレージに配置する必要があります。 新しい投票ファイルを追加する前に、NFS 共有をマウントしておく必要があります。前述のとおり、 使用するプラットフォームに適したマウント・オプションを使用して、すべてのクラスタ・ノード の/etc/fstab（Linux の場合）にマウント定義を追加してから、適切な mount コマンドを実行します。 /voting_disk というマウント・ポイントをすべてのノードで使用できるように追加するための、/etc/fstab のエントリ例を示します。 node1:/votedisk /voting_disk nfs rw,bg,hard,intr,rsize=32768,wsize=32768,tcp,noac,vers=3,timeo=600 0 0 14 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート すべてのノードで mount -a を実行したら、root ユーザーとして以下の手順を実行します。 • 1 つのノードへの投票ファイルの追加 [root@node1 /]# crsctl add css votedisk /voting_disk/vote_3 Now formatting voting disk:/voting_disk/vote_3. CRS4603:Successful addition of voting disk /voting_disk/vote_3. 新しく追加された投票ファイルの所有権を確認します。Oracle 所有者の id:グループ（例：oracle:dba） に属していない場合、chown コマンドを使用して正しい所有権を設定します。 再度、crsctl コマンドを使用して、新しく使用可能になったディスクをチェックします。 [root@node1 /]# crsctl query css votedisk ## STATE File Universal Id -- --------------------1. ONLINE a1625cd6c8b24f0cbfbade52f5e7fa01 2. ONLINE 0f9d817b97a54f57bf258da457c22997 3. ONLINE 746a2646226c4fd7bf6975f50b1873a3 4. ONLINE b09fadba33744fc0bfddb3406553761e Located 4 voting disk(s). File Name Disk group --------- --------(/nas/cluster3/vdsk1) (/nas/cluster3/vdsk2) (/nas/cluster5/vdsk3) (/voting_disk/vote_3) [] [] [] [] ここまでで、A、B、C のサイトにあるストレージに投票ファイルが配置されましたが、サイト A の ストレージには依然として 2 つの投票ファイル（vdsk1 と vdsk2）が存在します。vdsk1 または vdsk2 を削除するため、1 つのノードのみで次のコマンドを実行します。 [root@node1 /]# crsctl delete css votedisk 0f9d817b97a54f57bf258da457c22997 CRS-4611: Successful deletion of voting disk 0f9d817b97a54f57bf258da457c22997. [root@node1 /]# crsctl query css votedisk ## STATE File Universal Id -- --------------------1. ONLINE a1625cd6c8b24f0cbfbade52f5e7fa01 2. ONLINE 746a2646226c4fd7bf6975f50b1873a3 3. ONLINE b09fadba33744fc0bfddb3406553761e Located 3 voting disk(s). File Name Disk group --------- --------(/nas/cluster3/vdsk1) [] (/nas/cluster5/vdsk3) [] (/voting_disk/vote_3) [] これが最終的な構成になります。この時点で、ストレージ A（認定ストレージ）、ストレージ B（認 定ストレージ）、ストレージ C（NFS マウント）にはそれぞれ 1 つの投票ファイルが配置されてい ます。さらに別のストレージ・ユニットにディスクを追加すると、冗長性が向上します。どのよう な場合も、1 つのストレージ上にホストされる投票ファイルが過半数に達しないように注意する必要 があります。 新しい投票ファイルが実際に使用されているかどうかを確認するため、起動中に$CRS_HOME/log/< ホスト名>/alert<ホスト名>.log にあるクラスタ・アラート・ログを監視する必要があります。crsctl コマンドを使用して投票ファイルを追加または削除すると、$GRID_HOME/log/<ホスト名>/client/crsctl.log にログ・ファイルが書き込まれます。 15 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート Oracle ASM を使用したクラスタへの 3 番目の NFS 投票ファイルの追加 Oracle Grid Infrastructure 11g Release 2 では、Oracle Cluster Registry および投票ファイルを Oracle Automatic Storage Management ディスク・グループ内に格納できます。Oracle クラスタにとっては Oracle Cluster Registry も投票ファイルも同じように重要ですが、前述のとおり、投票ファイルへのアクセスを中断 させないことが極めて重要であるため、このホワイト・ペーパーでは投票ファイルに焦点を合わせ て説明します。 Oracle ASM では、 その他の保管ファイルとは異なる方法で投票ファイルが管理されます。 Oracle ASM ディスク・グループに投票ファイルが保管されると、Oracle Clusterware によりその正確な場所が記 録されます。このため、Oracle ASM に障害が発生した後も、クラスタ同期サービス（CSS）は投票 ファイルにアクセスできます。 Oracle Clusterware でサポートされるのは、投票ファイルの保管および管理を完全に Oracle ASM で行 うケースか、まったく Oracle ASM を使用しないケースです。一部の投票ファイルをファイル・シス テムに保管し、残りを Oracle ASM に保管するような混合構成はサポートされていません。 投票ファイルを Oracle ASM に保管すると、投票ファイルをホストする ASM ディスク・グループに より、冗長レベルに応じて適切な数の投票ファイルが配置されます。 外部冗長性：外部冗長性を持つディスク・グループには、1 つの投票ディスクのみが含まれます 標準冗長性：標準冗長性を持つディスク・グループには、3 つの投票ディスクが含まれます 高冗長性：高冗長性を持つディスク・グループには、5 つの投票ディスクが含まれます デフォルトでは、Oracle ASM はディスク・グループ内の各障害グループに 1 つの投票ディスクを配 置します。このため、必要となる障害グループおよびディスクの数が上記に従って決定されます。 障害グループは、Oracle Automatic Storage Management ディスク・グループに含まれるディスクのサ ブセットであり、障害への対応が必要とされる一般的なリソースを共有しています。障害グループ は、どの ASM ディスクにデータの冗長コピーを格納するかを決定するために使用されます。 たとえば、大規模 JBOD（Just a Bunch of Disks）アレイからなる取り外し可能なトレイに 4 つのドラ イブが配置されている場合、トレイを取り外すと 4 つのドライブすべてが同時に停止するため、こ れら 4 つのドライブは同じ障害グループに属します。 クォーラム障害グループは特別な障害グループです。この障害グループに属するディスクはユーザー・ データを含まず、冗長要件を決定する際にも考慮されません。障害グループについて詳しくは、『Oracle Database ストレージ管理者ガイド 11g リリース 2（11.2）』の 4-24 ページに記載された"Oracle ASM の障害グループ"を参照してください。 Oracle Cluster Registry や投票ディスク・データをディスク・グループに格納するには、ディスク・グ ループの互換性属性である COMPATIBLE.ASM に 11.2 以上を設定する必要があります。 16 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート 以下の手順における目的は、既存のディスク・グループ DATA を再構成し、2 つのストレージ・ア レイで 3 つの投票ファイルをホストしている現状に、3 番目となる標準 NFS ベースの投票ファイル を追加することにあります。 Oracle Universal Installer を使用した場合、現時点では、Oracle Grid Infrastructure の初期インストール 中に、クォーラム障害グループやその他の障害グループを作成することはできません。 このため、次のいずれかの方法が推奨されています。初めにごく単純なディスク・グループを構成 しておき、後から拡張クラスタ構成に適したディスク・グループで置き換えます。または事前に適 切なディスク・グループを作成しておき、以下の手順に従ってこのディスク・グループを変更しま す。この手順で前提とされる NFS サーバーと NFS クライアントの要件は、NAS および 3 番目の NFS 投票ファイルの要件と同じです。 次の例では、DATA という既存のディスク・グループの 2 つのストレージ・ユニット上に、3 つの投 票ファイルがホストされていることを前提としています。/dev/sdg10 はストレージ A に、/dev/sdf10 および/dev/sdf11 はストレージ B に配置されています。注意すべき点として、これらのディスクを異 なるストレージ・ユニットに配置するという事実は Oracle ASM にとって透過的であるため、管理者 が意図的に実施する必要があります。 また、デフォルト割当てを除いて、いかなる障害グループも割り当てられていないと仮定します。 つまり、以下に示した各ディスクはデフォルトのまま、個別の障害グループに配置されています。 Oracle Universal Installer のデフォルト・インストール手順では、これ以上の細かい障害グループ割当 ては実行できません。きめ細かな定義が必要な場合は、初期インストールの完了後に、新しい Oracle ASM ディスク・グループを作成し、必要な設定を行うことを推奨します。 node1> crsctl query css votedisk ## STATE File Universal Id -- --------------------1. ONLINE 3e1836343f534f51bf2a19dff275da59 2. ONLINE 138cbee15b394f3ebf57dbfee7cec633 3. ONLINE 63514dd105e44fb0bfa741f20126e61c Located 3 voting disk(s). File Name Disk group --------- --------(/dev/sdg10) [DATA] (/dev/sdf11) [DATA] (/dev/sdf10) [DATA] まず、GUI ASMCA コマンドを起動する前に、NFS 共有に空のファイルを作成します。 dd if=/dev/zero of=/voting_disk/vote_stnsp0506 bs=1M count=500 NFS 投票ファイルのマウント・ポイントにこのファイルを配置し、ASMCA を実行する前にすべて のノードからアクセスできるようにする必要があります。 標準 NFS ベースの投票ファイルを含むクォーラム障害グループをクラスタから利用できるようにす るため、ASMCA（GUI）を起動して、既存の DATA ディスク・グループを変更します。 17 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート 図 3：ASMCA の GUI 既存の DATA ディスク・グループを右クリックしてウィンドウを開き、「Add Disks」をクリックし ます。 図 4：既存ディスク・グループへのディスクの追加 18 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート 現時点で/dev/sd*のみにディスクを持つ ASM ディスク・グループに NFS ベースの投票ファイルを追 加するには、NFS マウントされたファイルが ASM ディスク検出パスに含まれるように変更する必要 があります。 図 5：ディスク検出パスの変更 19 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート 次に NFS 投票ディスクにクォーラムのチェックを付けてから、「OK」をクリックします。 図 6：クォーラム・ディスクの指定 追加処理が完了したら、ACMCA の GUI を終了します。 20 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート 図 7：クォーラム・ディスク追加完了後の Add Disks 画面 ASMCA の GUI を終了すると、Oracle Clusterware によって自動的にディスク・グループ変更が通知 され、必要に応じて投票ファイルが再配置されます。crsctl query css votedisk を使用して、投票ディ スクが再構成されたことを確認します。次に示した投票ディスク構成では、ストレージ A に/dev/sdg10 が、ストレージ B に/dev/sdf11 が、そして外部 NFS サーバー上に/voting_disk/vote_node1 が配置され ています。 node1> crsctl query css votedisk ## STATE File Universal Id -- --------------------1. ONLINE 3e1836343f534f51bf2a19dff275da59 2. ONLINE 138cbee15b394f3ebf57dbfee7cec633 3. ONLINE 462722bd24c94f70bf4d90539c42ad4c Located 3 voting disk(s). File Name Disk group --------- --------(/dev/sdg10) [DATA] (/dev/sdf11) [DATA] (/voting_disk/vote_node1) [DATA] 21 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート インストールでの 3 つのファイル・システム・ベース投票ファイルの構成 Oracle Clusterware 11g Release 2 では、インストール時の構成オプションで NFS ベースの投票ファイ ルを指定できます。標準冗長性を持つ投票ファイルを使用するには、"Voting Disk Storage Option"画 面で 3 つの異なるロケーションを入力します。 初めの 2 つのロケーションにはそれぞれ異なる NAS ストレージ・ボックス上にある場所を指定し、 3 番目には標準 NFS を使用した 3 番目のサイト内の場所を指定します。NFS サーバーと NFS クライ アントのセットアップは、Oracle Clusterware のインストール前に実行しておく必要があります。 インストールが完了したら、次のとおりに投票ディスクとそのステータスを確認します。 stnsp005_10:19:33>crsctl query css votedisk ## -1. 2. 3. STATE ----ONLINE ONLINE ONLINE File Universal Id ----------------360041f8fbd94f68bf50b90da7ee02f3 8da8a7c656054f2bbf41f9664d23be52 2a10a4379f334f06bf072b682b462b13 File Name Disk group --------- --------(/nas/cluster3/vdsk1) [] (/nas/cluster5/vdsk2) [] (/voting_disk/vdsk3) [] Located 3 voting disk(s). 22 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート 既知の問題 NFS デバイスの場所にアクセスできない場合は、以下の問題が発生します。 1. 任意のノードで"crsctl stop crs"を使用して Oracle Clusterware を停止すると、ノード上のスタッ クは停止しますが、CSS の再構成に時間がかかります。この余分にかかる時間は、 css_misscount に指定された時間と同じです。 2. "crsctl start crs"を使用して Oracle Clusterware を起動すると、古いクラスタウェア・プロセスが NFS 投票ファイルへの I/O でハングするため、処理がハングします。ポートなど、これらの プロセスに割り当てられたリソースは解放されません。 これらの問題への対処は開始されており、将来のバージョンで修正される予定です。 結論：Oracle Clusterware を停止または起動する前に、"df"コマンドなどを使用して、NFS ロケーショ ンにアクセスできることを確認してください。コマンドがハングしない場合、NFS ロケーションは アクセス可能であり、使用できる状態にあると見なされます。 23 Oracle Clusterware 11g Release 2（11.2）– 拡張クラスタ構成における、標準 NFS を使用した 3 番目の投票ファイルのサポート 付録 A：詳細情報 管理について詳しくは、以下のドキュメントを参照してください。 • 『Oracle® Database ストレージ管理者ガイド 11g リリース 2（11.2）』 • 『Oracle® Clusterware 管理およびデプロイメント・ガイド 11g リリース 2（11.2）』 24 Oracle Clusterware 11g Release 2（11.2）拡張クラスタ構成における、標準 NFS を 使用した 3 番目の投票ファイルのサポート 2009 年 12 月 著者：Roland Knapp 共著者：Markus Michalewicz Copyright © 2009, Oracle and/or its affiliates.All rights reserved. 本文書は情報提供のみを目的として提供されており、ここに記載される内容は予告なく変更されることがあります。本文書は一 切間違いがないことを保証するものではなく、さらに、口述による明示または法律による黙示を問わず、特定の目的に対する商 品性もしくは適合性についての黙示的な保証を含み、いかなる他の保証や条件も提供するものではありません。オラクル社は本 文書に関するいかなる法的責任も明確に否認し、本文書によって直接的または間接的に確立される契約義務はないものとします。 本文書はオラクル社の書面による許可を前もって得ることなく、いかなる目的のためにも、電子または印刷を含むいかなる形式 や手段によっても再作成または送信することはできません。 Oracle は米国 Oracle Corporation およびその子会社、関連会社の登録商標です。その他の名称はそれぞれの会社の商標です。 0109