サーバ クラスタリングの概要

ホワ イ ト ペーパー
サーバ ク ラ ス タ リ ングの概要
ク ラス タ とは
ク ラ ス タ と は、 複数の コ ン ピ ュ ー タ を接続 し て、 1 台の コ ン ピ ュ ー タ では処理で き ない問題を、 適切かつ効率的に解決で き る
よ う に設定 し た ものです。 ク ラ ス タ を使用する と 、 ハイ アベ イ ラ ビ リ テ ィ な どのビ ジネス ニーズのほか、 気象パ タ ーンの追跡
や台風予測な どの科学的なニーズに応え る こ と がで き ます。 ク ラ ス タ を構成する個々の コ ン ピ ュ ー タ は 「 ノ ー ド 」 と 呼ばれま
す。 あ ら ゆる ク ラ ス タ は、 ハイ アベ イ ラ ビ リ テ ィ 、 スケー ラ ビ リ テ ィ 、 管理性、 負荷分散の 4 つの タ イ プに分類で き ます。 最
近の ク ラ ス タ 設計のなかには、 2 つの タ イ プ、 あるいは 3 つの タ イ プ を包含 し た も の さ えあ り ます。
ク ラ ス タ の種類
ハイ アベ イ ラ ビ リ テ ィ
ハ イ アベ イ ラ ビ リ テ ィ ク ラ ス タ は、 通常は 2 ～ 3 台のサーバで構成 さ れます。 ク ラ ス タ を構成する サーバは、 互いの状態を監
視 し 、 何 ら かの障害が発生す る と 適切な措置を実行 し ます。 こ の タ イ プの ク ラ ス タ は、 1 つの ラ ッ ク 内に 2 台のサーバを設置
（ １ 方を プ ラ イ マ リ 、 他方を セカ ン ダ リ と す る ） す る だけの構成か ら 、 世界中に展開す る マルチ ノ ー ド コ ンチネ ン タ ル ク ラ ス
タ 構成ま で、 シ ス テ ム規模に柔軟性があ り ます。 プ ラ イ マ リ ノ ー ド に障害が発生す る と 、 セカ ン ダ リ ノ ー ド が処理を引 き 継ぎ、
ユーザにはほ と ん ど影響を与え ません。 コ ンチネ ン タ ル ク ラ ス タ では、 深刻な災害が起 き た場合で も 、 アプ リ ケーシ ョ ンのア
ベ イ ラ ビ リ テ ィ を維持で き ます。 サーバ障害の原因 と し て最 も 一般的な も のには、 デ ィ ス ク や I/O シ ス テ ムの障害、 電源障害、
ソ フ ト ウ ェ ア障害、 自然災害、 人為的 ミ ス な ど があ り ます。
スケー ラ ビ リ テ ィ
ビ ジネ ス が成長す る に従い、 ミ ッ シ ョ ン ク リ テ ィ カルな アプ リ ケーシ ョ ンに必要 と さ れ る 処理能力や帯域幅 も ますます大 き く
な り ます。 こ の問題を コ ス ト 効率良 く 解決す る 方法は、 現存の IT イ ン フ ラ ス ト ラ ク チ ャ にサーバを追加 し 、 処理の負荷を複数
のサーバ間で分散す る こ と です。 ど の よ う な種類の処理であ っ て も 、 複数に分割で き る 処理であれば、 こ の タ イ プの ク ラ ス タ
で効果的に対処で き る 可能性があ り ます。 ク ラ ス タ 化に よ っ て ス ケー ラ ビ リ テ ィ を実現 し てい る 一般的な アプ リ ケーシ ョ ンに
は、 E メ ール サーバや Web サーバのほかに も 、 地震解析や画像処理の よ う な科学技術計算があ り ます。 小規模なシ ス テ ム を ク
ラ ス タ 化す る 代わ り に、 大規模な対称型マルチプ ロ セ ッ シ ン グ サーバを採用す る こ と も 、 こ の よ う な ビ ジネ ス ニーズに対す る
一般的な ソ リ ュ ーシ ョ ンです。
ス ケー ラ ビ リ テ ィ ク ラ ス タ の目的は、 機能性 と 容量の 2 つに分類 さ れます。 大容量を目的 と す る ク ラ ス タ は、 独立 し た複数の
コ ン ピ ュ ー タ が集中管理 さ れ、 個々のジ ョ ブが 1 つま たは少数の ノ ー ド に割 り 当て ら れて処理 さ れ る シ ス テ ム と 考え る こ と が
で き ます。 こ の タ イ プの ク ラ ス タ を設計す る 場合は、 効率的で信頼性の高い ノ ー ド 間相互接続 と 、 包括的な管理基盤を実現す
る こ と が最大の課題 と な り ます。 こ の タ イ プの ク ラ ス タ は、 ノ ー ド 間の相互運用を あ ま り 必要 と し ないため、 「疎結合」 ク ラ ス
タ と 呼ばれ る こ と も あ り ます。
高機能性を実現す る よ う に設計 さ れた ク ラ ス タ では、 複数の ノ ー ド が協調 し て 1 つの タ ス ク を処理す る 必要があ り ます。 高機
能計算を必要 と す る アプ リ ケーシ ョ ンには、 ゲ ノ ム配列解析、 計算流体力学、 経済予測な ど があ り ます。 こ の タ イ プの ク ラ ス
タ では、 あ る プ ロ セ ス の処理結果が別のプ ロ セ スへの入力 と な り ます。 高機能 ク ラ ス タ は、 一般に大容量 ク ラ ス タ よ り も 規模
が大 き く 、 ノ ー ド 数が 1000 を超え る 場合 も あ り ます。 ただ し 、 高機能 ク ラ ス タ を大規模に展開す る ためには、 い く つかの課題
があ り ます。 た と えば、 並列処理の効率性向上、 シ ス テ ム規模を拡大す る 際の安定性の確保、 シ ス テ ムで実行可能な アプ リ ケー
シ ョ ン セ ッ ト を拡張す る ための並列プ ロ グ ラ ミ ン グ技術の開発な ど です。 こ の タ イ プの ク ラ ス タ は、 ノ ー ド 間の相互動作が連
続的に必要 と さ れ る ため、 「密結合」 ク ラ ス タ と 呼ばれてい ます。
All contents are Copyright © 1992–2005 Cisco Systems, Inc. All rights reserved. Important Notices and Privacy Statement.
Page 1 of 8
管理性
よ り 多数のサーバを限ら れた資源で管理する ために、多 く の IT 企業が ク ラ ス タ リ ン グ技術を利用する よ う になって き ています。 ク
ラ ス タ管理コ ン ソールを使用する と 、 多数のシ ス テム を一箇所で集中的に監視および設定で き ます。 管理者は幅広い種類のアプ リ
ケーシ ョ ンに対し、 問題点や障害の発生を一目で把握で き、 適切な処置を取る こ と がで き ます。 こ れは、 多数のサーバを抱え る企
業に と っ て、 時間 と コ ス ト の大幅な節約 と な り ます。 さ ら に、 ソ フ ト ウ ェ アのバージ ョ ン管理 と 更新が容易にな る と い う 利点も あ
り ます。 先進的な ク ラ ス タ コ ン ソ ールでは、 たった 1 つの コ マン ド に よ り 、 多数の ノ ー ド に ソ フ ト ウ ェ ア パ ッ チを配布で き ます。
負荷分散
こ の タ イ プの ク ラ ス タ は、 各 ノ ー ド が同一のサービ ス を提供す る よ う に構成 さ れます。 Web サーバは、 最 も 典型的な負荷分散
アプ リ ケーシ ョ ンです。 マ ス タ ー ス イ ッ チ ま たは管理 ノ ー ド に要求が送 ら れ る と 、 負荷分散 ソ フ ト ウ ェ アに よ り 、 ク ラ ス タ 化
さ れた各 ノ ー ド に こ の処理が分配 さ れます。 処理の分配方法には、 ラ ウ ン ド ロ ビ ン、 ラ ン ダ ム、 さ ま ざ ま な加重アルゴ リ ズ ム
な ど、 多 く の種類があ り ます。 負荷分散に使用 さ れ る 技術は、 ハ イ アベ イ ラ ビ リ テ ィ ク ラ ス タ に使用 さ れ る 技術 と よ く 似てい
ます。 実際、 多 く のハ イ アベ イ ラ ビ リ テ ィ ク ラ ス タ 実装には、 負荷分散機能 も 組み込まれてい ます。
サーバの種類
ワー ク ス テーシ ョ ン
ワー ク ス テーシ ョ ンは、 多 く のユーザが使用 し てい る デス ク ト ッ プ PC に よ く 似てい ます。 ワー ク ス テーシ ョ ン と 通常のデス ク
ト ッ プ コ ン ピ ュ ー タ と の主な違いは、 堅牢な I/O サブシ ス テ ム と 、 高性能な画像処理機能にあ り ます。 ワー ク ス テーシ ョ ンの
メ ーカーが対象 と し てい る のは、 エン ジニ ア、 科学者、 お よ びデジ タ ル コ ン テ ン ツ制作者な ど の市場です。 ま た、 ほ と ん ど の
ワー ク ス テーシ ョ ンには、 ラ イ ン レー ト のパフ ォーマ ン ス を提供す る 高速ネ ッ ト ワー ク 接続が実装 さ れてい ます。 ま た、 ク ロ ッ
ク レー ト の高い 1 基ま たは 2 基のプ ロ セ ッ サが搭載 さ れてい ます。
タ ワー型サーバ
タ ワー型サーバには、 ラ ッ ク を必要 と し ないデス ク ト ッ プ ま たはデス ク サ イ ド に配備する サーバ構成 と 、 I/O 接続の追加を必要
と す る サーバ構成の 2 種類があ り ます。 一般に タ ワー型サーバは、 1 ～ 4 基のプ ロ セ ッ サを搭載 し 、 拡張 さ れた I/O 接続 と 大容
量を備え てい ます。
ラ ッ ク マウン ト タ イ プのサーバ
ラ ッ ク マ ウ ン ト タ イ プのサーバは、 最 も 普及 し てい る サーバ構成です。 こ の よ う な ラ ッ ク マ ウ ン ト タ イ プのサーバは、 標準
19 イ ンチ ラ ッ ク での占有 ラ ッ ク ユニ ッ ト （RU） 数で分類し ます。 その種類は、 わずか 1 RU し か使用し ない も のか ら 、 ラ ッ
ク 全体を占有する も の ま であ り ます。 多数のサーバ ベン ダーは、 高性能の 1 RU デュ アル プ ロ セ ッ サ x86 ベース シ ス テ ム を、
ク ラ ス タ アプ リ ケーシ ョ ン用に特別に設計 し て提供 し てい ます。
ブ レー ド サーバ
ブ レー ド サーバは、 省電力かつ高性能なプ ロ セ ッ サ と 高速バ ッ ク プ レーン の発達に よ り 、 現在大 き な注目を集めてい ます。 ブ
レー ド サーバは、 シ ャーシ （エン ク ロ ージ ャ） と サーバ ブ レー ド の 2 つの部分で構成 さ れます。 シ ャーシのサ イ ズは 4 ～ 6 RU
で、 電源、 ネ ッ ト ワー ク 接続、 お よびバ ッ ク プ レーン イ ン ターフ ェ イ ス接続をブ レー ド に提供 し ます。 ブ レー ド は、 電源 と I/O
接続以外のサーバ機能を １ 枚の回路基盤に実装 し た も ので、 シ ャ ーシに挿入 し 、 シ ャーシのバ ッ ク プ レーンに接続 し て使用 し ま
す。 ブ レー ド サーバは ラ ッ ク マ ウ ン ト タ イ プのサーバ と 比べ、 は る かに高い CPU 密度を提供 し ます。 さ ら にブレー ド サーバは、
管理性 と 保守性の面で も 利点があ り ます。 た と えばブ レー ド の交換やア ッ プグ レー ド は、 使用中のブ レー ド と 新 し いブ レー ド を
ホ ッ ト ス ワ ッ プする だけで済みます。
ス イ ッ チの種類
固定構成
固定構成ス イ ッ チのポー ト は数 と 種類が固定 さ れてお り 、 ポー ト の変更が必要にな っ た と き には機器自体を交換する 必要があ り
ます。 固定構成ス イ ッ チのなかには、 冗長フ ァ ンや冗長電源な どの基本的なアベ イ ラ ビ リ テ ィ 機能を備えてい る も の も あ り ます。
© 2005 Cisco Systems, Inc. All right reserved.
Important notices, privacy statements, and trademarks of Cisco Systems, Inc. can be found on cisco.com
Page 2 of 8
ス タ ッ カ ブル
ス タ ッ カブル ス イ ッ チは、 固定ス イ ッ チの一種です。 ス タ ッ カブル ス イ ッ チは、 ス イ ッ チの高速バ ッ ク プ レーン を他の ス イ ッ
チに ま で拡張す る こ と で、 ス イ ッ チの性能を高め る こ と がで き ます。 こ の機能には、 ス イ ッ チの高速ア ッ プ リ ン ク ポー ト を他
の ス イ ッ チに接続す る 場合 と 同様の効果があ り ます。
モ ジ ュ ラ型
モジ ュ ラ 型ス イ ッ チは、 最 も 用途の広い ス イ ッ チです。 モジ ュ ラ 型 ス イ ッ チには、 電源、 高速バ ッ ク プ レーン、 お よ び ラ イ ン
カー ド やスーパバ イ ザ エン ジ ン を追加す る ための ス ロ ッ ト があ り ます。 ス イ ッ チがサポー ト す る すべての レ イ ヤ 2 ～ 4 の処理
は、スーパバ イ ザ エン ジ ンが イ ン テ リ ジ ェ ン ト に制御 し ます。ラ イ ン カー ド に よ っ て ス イ ッ チの イ ン タ ーフ ェ イ ス が提供 さ れ、
さ ま ざ ま な速度、 ポー ト 数、 種類の イ ン タ ーフ ェ イ ス が選択で き ます。 モジ ュ ラ 型ス イ ッ チは、 新たな ラ イ ン カー ド やスーパ
バ イ ザ エン ジ ン を追加す る だけで、 簡単にア ッ プグ レー ド で き ます。
相互接続の種類
イ ーサネ ッ ト
イ ーサネ ッ ト は世界で最 も 普及率が高 く 、 最 も 広 く 展開 さ れてい る ネ ッ ト ワ ー ク 技術です。 イ ーサネ ッ ト は も と も と 、 近 く に
あ る 機器同士を接続す る 技術 と し て開発 さ れま し た。 それがやがて、 ク ラ ス タ 相互接続、 LAN、 WAN な ど の幅広い種類のアプ
リ ケーシ ョ ンに対応す る 、 優れた相互接続技術へ と 成長 し ま し た。 イ ーサネ ッ ト には、 銅線ケーブルだけでな く 、 光フ ァ イ バ
ケーブルを使用す る こ と も で き ます。
イ ーサネ ッ ト を使用す る と 、 Quality of Service （QoS; サービ ス品質） やセキ ュ リ テ ィ な ど、 他の ク ラ ス タ 相互接続では実現で き
ない高度な機能を も っ たネ ッ ト ワー ク を実現で き ます。 QoS と は、 それぞれのデー タ に指定 さ れた遅延要件を監視す る 機能で
す。 た と えば、 ノ ー ド 間通信には高いプ ラ イ オ リ テ ィ を割 り 当て、 外部か ら の要求や管理 ト ラ フ ィ ッ ク と い っ た緊急性の低い
ト ラ フ ィ ッ ク よ り も 優先 さ れ る よ う に設定で き ます。
InfiniBand
InfiniBand は、 イ ン タ ーネ ッ ト イ ン フ ラ ス ト ラ ク チ ャ での I/O 接続をサポー ト す る ために設計 さ れた新技術で、 サーバ向け I/O
相互接続の次世代標準 と し て設計 さ れま し た。 InfiniBand は、 従来の コ ン ピ ュ ー タ 内部でのバ ス接続の拡張を目的 と し てお り 、
コ ン ピ ュ ー タ の内部 と 外部の ど ち ら の相互接続に も 利用で き ます。 サーバ同士の通信やサーバ と ス ト レージ間の通信だけでな
く 、 プ ロ セ ッ サ と メ モ リ 間の通信 も 、 同一の I/O アーキ テ ク チ ャ に よ っ て処理で き ます。 InfiniBand の リ ン ク 速度は、 標準デー
タ レー ト であ る 2.5 Gbps の倍数 と し て表現 さ れます。最 も 一般的な InfiniBand は 4x ですが、こ のほかに 1xや 12x な ど があ り ます。
Myrinet
Myrinet は高性能のパケ ッ ト 通信お よ びス イ ッ チン グ技術で、 遅延の少ない ク ラ ス タ 相互接続が必要な アプ リ ケーシ ョ ンに使用
さ れます。 表 1 に、 ク ラ ス タ 相互接続の各 タ イ プの概要を ま と め ます。
表1
ク ラ ス タ 相互接続
イ ン ターフ ェ イス タ イプ
帯域幅
ケーブル タ イ プ
ポー ト 単価 *
ギガ ビ ッ ト イ ーサネ ッ ト
全二重 1 Gbps
光 フ ァ イバま たは銅線
US$500
10 ギガ ビ ッ ト イ ーサネ ッ ト
全二重 10 Gbps
光 フ ァ イバ
US$3000
InfiniBand
全二重 10 Gbps （2.5 Gbps、30 Gbps）
銅線
US$1500
Myrinet
全二重 2 Gbps
光 フ ァ イバ
US$975
＊ポー ト 単価には、 ス イ ッ チ ポー ト と ホス ト ア ダ プ タ も 含まれます。 価格は参考のためであ り 、 実際には さ ま ざ ま な価格があ り ます。
© 2005 Cisco Systems, Inc. All right reserved.
Important notices, privacy statements, and trademarks of Cisco Systems, Inc. can be found on cisco.com
Page 3 of 8
ネ ッ ト ワー ク パ フ ォ ーマ ン ス
ク ラ ス タ の相互接続のパフ ォーマ ン ス に最 も 大 き く 影響す る のは、 帯域幅 と 遅延です。 帯域幅 と は、 1 回線で管理可能な情報量
です。 ほ と ん ど のネ ッ ト ワー ク では、 帯域幅は 1 秒当た り の ビ ッ ト 数 （bps） で表現 さ れます。 遅延 と は、 デー タ が送信 さ れて
か ら 宛先に到達す る ま でにかか る 時間であ り 、 通常はマ イ ク ロ 秒単位で計測 さ れ ます。 よ く あ る 誤解は、 帯域幅 と 遅延が互い
に関連 し てい る と い う も のです。 遅延を少な く し て も 、 ネ ッ ト ワー ク が仕様以上の帯域幅を提供する こ と はあ り ません。
ほ と んどのネ ッ ト ワー ク では、帯域幅は簡単に拡大で き ます。1 回線の帯域幅が 1 Gbps の場合は、2 回線にすれば帯域幅は 2 Gbps
にな り ます。 こ れは単純化 し た例ではあ り ますが、 回線を増やせばそれだけ帯域幅 も 拡大 し ます。 イ ーサネ ッ ト 標準の IEEE
802.3ad では、 複数の イーサネ ッ ト 接続を使っ て帯域幅を拡大する ための仕様を定義し ています。
一方、 遅延の改善はそれほ ど単純ではあ り ません。 1 Gbps のネ ッ ト ワ ー ク 上で 1 Gb のデー タ ブ ロ ッ ク を転送す る 場合、 デー
タ が宛先に到達す る ま での時間は 1 秒 （帯域幅） + ｘ （遅延） です。 ネ ッ ト ワー ク 速度を上げて 1000 Gbps にすれば、 こ の時間
は 0.001 秒 + ｘ （遅延） と な り ます。 多 く のネ ッ ト ワー ク アーキ テ ク チ ャ では、 大き なデー タ ブ ロ ッ ク をパケ ッ ト と 呼ばれ る
小 さ なブ ロ ッ ク に分割す る こ と で、 高速な転送を実現 し てい ます。 し か し 、 すべてのパケ ッ ト にはネ ッ ト ワ ー ク 遅延が追加 さ
れます。 ネ ッ ト ワー ク 遅延は、 ネ ッ ト ワー ク 上で転送 さ れ る あ ら ゆ る デー タ の転送時間を増加 さ せる 要素です。
ネ ッ ト ワー ク 遅延は、 デー タ が さ ま ざ ま なネ ッ ト ワー ク 機器を経由 し て転送 さ れ る 過程で生 じ ます。 デー タ パ ス上にあ る 各機
器の処理速度お よ び数が、 遅延を決定す る 最大の要因 と な り ます。 すべての イ ーサネ ッ ト ス イ ッ チの遅延は同 じ だ と い う 考え
も 、 一般的な誤解です。 イ ーサネ ッ ト ス イ ッ チの メ ーカーに よ っ ては、 遅延を ミ リ 秒 （1/1000 秒） 単位で測定 し てい ます し 、
シ ス コ シ ス テ ム ズでは ス イ ッ チの遅延を マ イ ク ロ 秒 （1/100 万秒） 単位で測定 し てい ます。 ス イ ッ チに組み込まれてい る チ ッ プ
セ ッ ト の品質 と 性能に よ っ て、 ス イ ッ チの遅延に関す る パフ ォーマ ン ス は大 き く 異な り ます。
ク ラ ス タ の設計、 お よ び ク ラ ス タ 上で動作す る アプ リ ケーシ ョ ンの種類に よ っ ては、 帯域幅や遅延がパフ ォーマ ン ス の拡張性
に大 き く 影響 し ます。 以下に、 典型的な科学技術計算処理の例 と 、 こ れ ら の処理におけ る 相互接続の問題について説明 し ます。
大容量環境
レ ン ダ リ ング フ ァ ーム
写真の よ う に精巧な キ ャ ラ ク タ ーが本物の よ う な 3 次元 イ メ ージ と し て登場す る 、 驚 く べ き 品質のアニ メ ーシ ョ ン映画が制作
さ れてい ます。 映画は、 何千 も の フ レームに よ っ て作成 さ れます。 1 つの フ レームは 1 つの画像であ り 、 こ れ ら を連続 し て表示
す る と 、 人間の目には一続 き の動 き の よ う に見え ます。 個々の フ レームは互いに完全に独立 し てい る ため、 複数の コ ン ピ ュ ー
タ を使用 し ていて も 、 互いにほ と ん ど情報のや り 取 り を行わずに各フ レーム を レ ン ダ リ ン グで き ます。
ほ と ん ど の レ ン ダ リ ン グ フ ァ ームは、 多数の小型高速サーバを高速かつ信頼性の高い方式で相互接続す る こ と で構成 さ れてい
ます。 ク ラ ス タ 内の 1 つの ノ ー ド はデ ィ レ ク タ の役割を担い、 各フ レームの レ ン ダ リ ン グに必要な情報を他の ノ ー ド に配布 し
ます。 各 ノ ー ド は 1 つのフ レーム処理が完了す る と 、 その情報をデ ィ レ ク タ ノ ー ド ま たは ス ト レージ デバ イ ス に送 り 返 し てか
ら 、 引 き 続 き 次の フ レームの レ ン ダ リ ン グ を開始 し ます。 1 フ レーム当た り の処理時間は、 その複雑 さ に応 じ て数マ イ ク ロ 秒か
ら 数時間程度ま で さ ま ざ ま です。
レ ン ダ リ ン グ フ ァ ームの相互接続設計には、デ ィ レ ク タ ノ ー ド と 実際に処理を行 う ワーキ ン グ ノ ー ド と の接続に高い帯域幅が
必要にな り ます。 遅延や ノ ー ド 間の帯域幅はそれほ ど重要ではあ り ません。 デ ィ レ ク タ ノ ー ド は、 ノ ンブ ロ ッ キ ン グの ワ イ ヤ
ス ピー ド でネ ッ ト ワー ク に接続す る 必要があ り ます。ワ ーキ ン グ ノ ー ド はオーバーサブ ス ク ラ イ ブであ っ て も 問題あ り ません。
帯域幅要件を決定す る には、 次の数式を使用 し ます。
フ レームの水平解像度×垂直解像度×ピ ク セル当た り の ビ ッ ト 数 （bpp） = 転送ビ ッ ト 数
平均的な レ ン ダ リ ン グ時間が 1 秒未満であれば、 ネ ッ ト ワー ク は全 ノ ー ド か ら の フ レーム転送を同時に処理す る 必要があ り ま
す。 レ ン ダ リ ン グ時間が こ れ よ り 長 く かか る 場合には、 レ ン ダ リ ン グ時間に比例 し て帯域幅要件 も 低 く な り ます。 次の例を参
考に し て く だ さ い。
© 2005 Cisco Systems, Inc. All right reserved.
Important notices, privacy statements, and trademarks of Cisco Systems, Inc. can be found on cisco.com
Page 4 of 8
フ レーム解像度 1024 × 768
色深度 = 32
ビ ッ ト 数 = 25 Mb
ノ ー ド 数 = 24
必要な帯域幅 = 603 Mbps
大容量ア プ リ ケーシ ョ ン
計算流体力学
計算流体力学や負荷の高いアプ リ ケーシ ョ ンの処理を想定 し た ク ラ ス タ では、1 つの大き な問題を細分化 し 、 その各部分を処理
す る ための ノ ー ド を多数用意 し ます。 あ る ノ ー ド の出力が別の ノ ー ド への入力 と な る ため、 こ の設計では遅延が ス ケー ラ ビ リ
テ ィ の障害要素 と な り ます。 ク ラ ス タ での処理はデ ィ レ ク タ ノ ー ド に よ っ て管理 さ れますが、 多 く の処理は、 前の処理か ら の
出力が転送 さ れ る ま で開始で き ません。 ほ と ん ど の場合、 こ の相互接続間では小 さ いサ イ ズのデー タ パケ ッ ト だけが送受信 さ
れます。 あ る ノ ー ド が、 他の ノ ー ド か ら 送 ら れ る 処理結果を待機す る 間は、 CPU サ イ ク ルが無駄に消費 さ れ る こ と にな り ます。
こ の よ う な タ イ プのアプ リ ケーシ ョ ンに対 し て相互接続方式を選択す る 場合は、 遅延が最 も 重要な課題です。
ク ラ ス タ のスケー リ ング
ほ と ん ど の ク ラ ス タ 実装で制限 と な る のは、 相互接続です。 ク ラ ス タ を設計す る 上での最終目標は、 線形ス ケー リ ン グです。 つ
ま り 、 1 つの ノ ー ド か ら な る シ ス テ ムが 1 つの計算を完了する ま でに 60 分かか る のであれば、 2 つの ノ ー ド か ら な る ク ラ ス タ
に よ る 処理時間は 30 分 と な る こ と です。 ただ し 、 こ れは実現可能な計算 と い う よ り は理論上の目標です。 ノ ー ド を ク ラ ス タ に
追加す る と 、 一定量のオーバーヘ ッ ド も 追加 さ れます。 大規模な ク ラ ス タ 実装では、 スーパー ノ ー ド ま たは管理 ノ ー ド と 呼ば
れ る 、 ノ ー ド 間通信を管理す る ための専用マシ ンが必要です。 こ れ ら の ノ ー ド は、 シ ス テ ムの処理能力には関与 し ませんが、 ク
ラ ス タ のオペレーシ ョ ンには重要な役割を果た し ます。
ク ラ ス タ のパフ ォーマ ン ス を どれだけ拡張で き る かは、 ク ラ ス タ 化 し た アプ リ ケーシ ョ ンの ノ ー ド 間通信の特性に依存 し ます。
前に説明 し た 4 つの タ イ プの ク ラ ス タ の どれについて も 、 ス ケー リ ン グに関 し てそれぞれの課題があ り ます。 パフ ォーマ ン ス
の向上を目的 と し たハ イ アベ イ ラ ビ リ テ ィ ク ラ ス タ の管理者は、 「計画的お よ び計画外のダ ウ ン タ イ ム を ど の よ う にすれば減
ら す こ と がで き る か」 、 「特定の場所、 地域、 ま たは国全体で発生す る 災害か ら アプ リ ケーシ ョ ン を ど の よ う に保護す る か」 と
いっ た課題を解決 し なければな り ません。 ハ イ アベ イ ラ ビ リ テ ィ ク ラ ス タ を拡張する 場合は、 ク ラ ス タ 相互接続の距離お よ び
パフ ォーマ ン ス要件が厳 し く な り ます。 必要な距離が長 く なれば、 光フ ァ イ バ ケーブルの導入 も 必須 と な り ます。
容量の拡大を目的 と し た ス ケー ラ ビ リ テ ィ ク ラ ス タ の管理者であれば、「アプ リ ケーシ ョ ンの処理時間を ど う し た ら 短縮で き る
か」、「 ノ ー ド の追加時に線形ス ケー リ ン グ を維持す る にはど う すれば よ いのか」 と い っ た問題に直面 し ます。 ス ケー ラ ビ リ テ ィ
ク ラ ス タ のパフ ォーマ ン ス を向上 さ せ る には、複数の ノ ー ド を ワ イ ヤ ス ピー ド で接続で き る ス イ ッ チン グ フ ァ ブ リ ッ ク が必要
にな り ます。 最初に ク ラ ス タ を設計す る 時点では、 遅延だけが問題にな り ます。 既存の ク ラ ス タ に ノ ー ド を追加 し て も 、 ネ ッ
ト ワー ク の遅延は増加 し ません。 ただ し 、 ク ラ ス タ に レ イ ヤ を追加す る と 遅延 も 増加 し ます。 こ れは、 各パケ ッ ト が目的の ノ ー
ド に辿 り 着 く ま でに通過 し なければな ら ない ス イ ッ チが増え る ためです。
多数のサーバを管理す る よ う に設計 さ れた ク ラ ス タ には、 「 も っ と 離れた場所か ら 、 よ り 多 く のシ ス テ ム数を管理す る にはど う
し た ら よ いか」 と いっ た問題が伴い ます。 こ こ では、 ハ イ アベ イ ラ ビ リ テ ィ ク ラ ス タ と 同様、 相互接続距離が重要な要素にな
り ます。 最後の ク ラ ス タ タ イ プであ る 負荷分散型 ク ラ ス タ は、 線形ス ケー リ ン グ を簡単に実現 し やすい と いえ ます。 負荷分散
アプ リ ケーシ ョ ンでの相互接続方式におけ る 主な要素は、 帯域幅 と 複数の ノ ー ド をサポー ト で き る 能力です。
ク ラ ス タ 構築のためのアーキテ ク チ ャ
ク ラ ス タ の規模は、 アプ リ ケーシ ョ ン、 スペース、 予算、 利用可能な技術 と い っ た さ ま ざ ま な要因に応 じ て、 2 つの ノ ー ド を直
接接続す る 形態か ら 、 何千 も の ノ ー ド で構成 さ れた キ ャ ンパ ス ク ラ ス タ ま で、 多岐にわた り ます。
© 2005 Cisco Systems, Inc. All right reserved.
Important notices, privacy statements, and trademarks of Cisco Systems, Inc. can be found on cisco.com
Page 5 of 8
単一層構造
図1
単一層構造のネ ッ ト ワー ク 設計
単一層 ク ラ ス タ は、 単一レベルの ス イ ッ チン グ フ ァ ブ リ ッ ク が特徴です。 図 1 に示す 48 ポー ト の固定構成ス イ ッ チでは、 ノ ン
ブ ロ ッ キ ン グ ラ イ ン レー ト 対応のギガ ビ ッ ト イ ーサネ ッ ト ポー ト に最大 48 の ノ ー ド を接続で き ます。 こ の ト ポ ロ ジーでは、
非常に高速な、 低遅延の ク ラ ス タ ノ ー ド 間通信を実現で き ます。 単一層 ク ラ ス タ は、 ス イ ッ チのポー ト 数を増やす こ と で拡張
で き ます。 固定構成ス イ ッ チ ま たは ス タ ッ カブル ス イ ッ チで実現で き る のは、 4 ～ 48 ポー ト ま でです。 それ以上の数の ノ ー ド
を ク ラ ス タ 化す る 場合には、 モジ ュ ラ 型 ス イ ッ チを使っ たほ う が よ いで し ょ う 。 モジ ュ ラ 型ス イ ッ チは数百ポー ト に ま で拡張
で き 、 構成次第では、 ど のポー ト 間で も ラ イ ン レー ト のパフ ォーマ ン ス を提供す る こ と が可能です。 多 く の ク ラ ス タ では、 ノ ー
ド 間通信のための専用のネ ッ ト ワ ー ク が構築 さ れます。 ま た、 ク ラ ス タ と LAN の両方の ト ラ フ ィ ッ ク を伝送す る 統合ネ ッ ト
ワー ク を使っ た ク ラ ス タ アプ リ ケーシ ョ ンの場合は、 高速ア ッ プ リ ン ク を使用 し てネ ッ ト ワー ク コ アに接続 し ます。
2 層構造
図2
2 層構造のネ ッ ト ワー ク設計
こ の タ イ プの相互接続設計 （図 2） では、 よ り 大 き な ス ケー ラ ビ リ テ ィ を実現で き 、 場合に よ っ ては 1 台のモジ ュ ラ 型ス イ ッ チ
を使用す る よ り も コ ス ト を抑え る こ と がで き ます。 ただ し 、 一方のサーバ グループ内の ノ ー ド は、 他方のサーバ グループ内の
ノ ー ド と の接続に対 し て、 ノ ンブ ロ ッ キ ン グ ラ イ ン レー ト のパフ ォーマ ン ス を提供で き ません。 ラ イ ン レー ト パフ ォーマ ン ス
を実現す る には、 上 り の帯域幅 と 下 り の帯域幅を一致 さ せます。 イ ーサネ ッ ト 環境では、 高速ア ッ プ リ ン ク に よ り 、 多層 ク ラ
ス タ 構成での ラ イ ン レー ト パフ ォーマ ン ス を実現で き ます。 モジ ュ ラ 型ス イ ッ チを使用す る 構成であれば、 1 台の ス イ ッ チの
全ポー ト で ラ イ ン レー ト パフ ォーマ ン ス を提供す る こ と も 可能です。 レ イ ヤ 1 ス イ ッ チか ら のア ッ プ リ ン ク は、 いっ たんア グ
リ ゲーシ ョ ン ス イ ッ チに接続 さ れてか ら 、 ネ ッ ト ワー ク コ アに接続 さ れます。 こ の構成が実現可能な ソ リ ュ ーシ ョ ン と な る か
ど う かは、 アプ リ ケーシ ョ ン、 お よ びネ ッ ト ワ ー ク 上を流れ る ト ラ フ ィ ッ ク の種類に依存 し ます。 こ の ト ポ ロ ジーを決定す る
基準は、 ラ イ ン レー ト パフ ォーマ ン ス が必要か ど う か と い う 点です。
すべての ノ ー ド 間で ラ イ ン レー ト パフ ォーマ ン ス を実現可能な、 Fat Tree 設計 と 呼ばれ る ス ケー ラ ブルな ト ポ ロ ジーがあ り ま
す。 Fat Tree 設計では原則的に、 ツ リ ー内の各レベルが備え る 回線数お よ び帯域幅が、 それぞれの 1 つ前の レベル よ り も 少な く
な り ます。 下 り のエン ド ノ ー ド への接続の帯域幅は、 相互接続に使用す る 上 り パ スへの接続の帯域幅 と 同 じ です。
こ のネ ッ ト ワー ク 設計の も う 1 つの利点は、 ケーブル管理が容易な こ と です。 各サーバ ノ ー ド と のネ ッ ト ワー ク 接続は、 1 つ
の ラ ッ ク 内に集約 さ れます。モジ ュ ラ 型ス イ ッ チを使っ た大規模な アプ リ ケーシ ョ ンでは、距離がかな り 離れてい る 場合であ っ
て も 、 個々のサーバを モジ ュ ラ 型ス イ ッ チに接続 し なければな り ません。
© 2005 Cisco Systems, Inc. All right reserved.
Important notices, privacy statements, and trademarks of Cisco Systems, Inc. can be found on cisco.com
Page 6 of 8
3 層構造
図3
3 層構造のネ ッ ト ワー ク設計
一般に 3 層構造の設計 （図 3） では、 24 ポー ト ま たは 48 ポー ト の小型ス イ ッ チを使っ て各 ノ ー ド を接続 し ます。 こ れ ら の レベ
ル 1 ス イ ッ チか ら のア ッ プ リ ン ク は、 高速ア ッ プ リ ン ク 機能に よ っ て ア グ リ ゲーシ ョ ン ス イ ッ チ と 接続 さ れます。 ア グ リ ゲー
シ ョ ン ス イ ッ チは、 ク ラ ス タ 化 さ れた コ ア ネ ッ ト ワー ク ス イ ッ チ と ア ッ プ リ ン ク 接続 し ます。 こ の設計は、 ノ ー ド 間で ラ イ ン
レー ト パフ ォーマ ン ス を必要 と し ない、 大規模な ク ラ ス タ に最適です。 図 3 で示 し てい る のは最小構成での接続例です。 さ ら
に接続数を増や し 、 アベ イ ラ ビ リ テ ィ やパフ ォーマ ン ス を高め る こ と も 可能です。
多層 ク ラ ス タ 設計では、 高性能 イ ーサネ ッ ト ス イ ッ チの レ イ ヤ 3 ルーテ ィ ン グ機能が大 き な役割を果た し ます。 レ イ ヤ 3 ルー
テ ィ ン グ を使用す る と 、 ネ ッ ト ワー ク 上で伝送 さ れ る 集約 ト ラ フ ィ ッ ク の量が減少す る ため、 ネ ッ ト ワ ー ク パフ ォーマ ン ス が
向上 し ます。 VLAN を使用す る と サーバ グループ ま たは ク ラ ス タ 全体を分割 し 、 VLAN を不要なネ ッ ト ワー ク ト ラ フ ィ ッ ク か
ら 分離で き ます。
結論
複数の コ ン ピ ュ ー タ の相互接続に よ り 、 問題解決 と 情報の共有を可能にす る こ と は、 シ ス コ の 20 年以上に も わた る 強みです。
何年 も の間、 コ ン ピ ュ ー タ ク ラ ス タ は主に、 高価な独自仕様のハー ド ウ ェ アで構成 さ れたハ イ エン ド 実装に使用 さ れて き ま し
た。 し か し 近年では、 低価格で高性能な x86 ベース サーバが導入 さ れ、 ク ラ ス タ 対応の ソ フ ト ウ ェ アお よ び OS も 改良を続け
てい る ため、 ク ラ ス タ の人気 も 高ま っ てい ます。
ゼ ロ か ら ク ラ ス タ を設計す る 場合、 最 も 重要な決定事項の 1 つ と な る のが、 相互接続の タ イ プです。 相互接続の性能が不十分
だ と 、 情報処理の完了を待機す る 間、 ノ ー ド がア イ ド ル状態にな っ て し ま う ため、 ク ラ ス タ のパフ ォーマ ン ス が制限 さ れます。
逆に必要以上に高性能の相互接続を選択す る と 、 ク ラ ス タ 構築が高 コ ス ト で複雑にな っ て し ま う ため、 その分の コ ス ト を処理
能力の増強にかけ る 方が妥当 と い う こ と に も な り ます。 ネ ッ ト ワー ク ト ラ フ ィ ッ ク と アプ リ ケーシ ョ ンの依存性を正確に分類
し た上で、 適切な相互接続技術を選択す る よ う に し て く だ さ い。 アプ リ ケーシ ョ ン に適 し た正 し い相互接続技術を選択す る こ
と が重要です。
© 2005 Cisco Systems, Inc. All right reserved.
Important notices, privacy statements, and trademarks of Cisco Systems, Inc. can be found on cisco.com
Page 7 of 8
©2005 Cisco Systems, Inc. All rights reserved.
Cisco、 Cisco Systems、 および Cisco ロゴは米国およびその他の国における Cisco Systems, Inc. の商標または登録商標です。
この文書で説明した商品、 サービスはすべて、 それぞれの所有者の商標、 サービスマーク、 登録商標、 登録サービスマークです。
この資料に記載された仕様は予告なく変更する場合があります。
シスコシステムズ株式会社
URL: http://www.cisco.com/jp/
問合せ URL: http://www.cisco.com/jp/go/contactcenter/
〒 107-0052 東京都港区赤坂 2-14-27 国際新赤坂ビル東館
TEL: 03-6670-2992
05.02
電話でのお問合せは、 以下の時間帯で受付けております。
平日 10:00 ～ 12:00 および 13:00 ～ 17:00
お問合せ先