Comments
Description
Transcript
SAP®データセンターで 見られる UNIX から Linux への
SAP®データセンターで 見られる UNIX から Linux への マイグレーションのトレンド: アーキテクチャの影響に関する 最新情報および考察 REALTECH コンサルティング コンサルティングマネージャ Helmut Spöcker 2009 年 7 月 目次 この最新情報の概要および経緯......................................................................................... 3 前回のホワイトペーパーの見直し ..................................................................................... 5 アーキテクチャの調査と分析 .......................................................................................... 14 Linuxへのマイグレーション: ハードウェアシェア ...................................................................................14 開発プラットフォームの優位性..............................................................................................................16 グリーンITの側面 .......................................................................................................................................20 SAP分野における仮想化の影響 .................................................................................................................25 これから始まる歴史の未来.............................................................................................. 29 付録.................................................................................................................................. 30 グリーンITの側面—計算表 .........................................................................................................................30 電力入力当たりの容量 ............................................................................................................................30 排熱当たりの容量 ...................................................................................................................................31 電力密度 ..................................................................................................................................................32 ソースおよび参考資料................................................................................................................................33 インターネット .......................................................................................................................................33 その他......................................................................................................................................................33 REALTECHについて ..................................................................................................................................34 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 -2- この最新情報の概要および経緯 このホワイトペーパーの前身にあたる『Trend from UNIX to Linux in SAP Data Centers（SAP データセンター で見られる UNIX から Linux へのマイグレーションのトレンド）』が 1 年前に公開されたとき、それがどれ だけの影響を与え、注目を集めるかを想像できた関係者は 1 人もいませんでした。それ以来、ノベルと REALTECH はさまざまな印刷物やオンラインメディアで数千ものダウンロード、抄録、概要を発行してき ました。内容に関する詳細についてだけではなく、最終的な意思決定を行う上級管理職にこのメッセージを 伝える方法や Linux へのマイグレーションの計画および実行について、ノベルと REALTECH は世界中のお 客様からのお問い合わせを受けてきました。さらに、SAP データセンターにおける Linux のアーキテクチャ や、ノベルと REALTECH が観察して文書化したこのトレンドの重要性について、Intel などの有力企業から もお問い合わせを受けました。こうした世間の関心の高まりと、仮想化技術の機能やサポートの向上といっ た技術の飛躍的な進歩を目の当たりにし、今回改めて詳細に検討するだけの価値があると判断いたしました。 この最新情報およびアーキテクチャに関するホワイトペーパーでは、まず前回のホワイトペーパーを分析し、 そこで述べられた見解、予測、および意見を、その後の実態と照らし合わせます。前回のホワイトペーパー に記載した仮定や結論の多くが正しかったこと、そして場合によっては、1 年前に予測したトレンドが予測 した以上の勢いを獲得していることを検証していきます。最も重要なのは、現在のトレンドが今後 1～2 年 間継続すれば、今もサポートされている UNIX 系システムは、REALTECH の Linux へのマイグレーション ソースの 80%を大幅に上回るであろうという点です。またパフォーマンス面に関して言えば、x64 ライン以 上に迅速にコスト削減を実現する CPU アーキテクチャは依然としてありません。 次に、SAP を利用するお客様が Linux にマイグレートする理由と、堅牢性、信頼性、柔軟性などのハードウェ ア特性がマイグレーションプロセスにおいてどのような意義を持つのかについて検討します。パフォーマン スの影響や、x64 CPU が実質的に世界中のほぼすべての SAP 負荷を担うことが可能な理由について詳細に 見ていきます。ノベルおよび他社の研究者による調査では、Linux へのマイグレーションがトレンドとなっ ている重要な側面および要因として、x64 アーキテクチャの信頼性と安定性が挙げられることが明確に示さ れています。 また、チップメーカーがどのような方向に向けて改善や開発を行っているのかについても詳細に見ていきま す。たとえば、Linux 向けの SAP および SAP 向けの Linux の開発をリードしているのはどの企業か、また その理由は何なのかについても説明します。Linux アーキテクチャ上で実行する SAP 向けの最適な x64 が 存在するかどうか、または今後出現するかどうかについても見ていきます。また、Linux は UNIX から派生 した、SAP に最適な開発プラットフォームであるため、UNIX に対する優位性を内在的に備えている点につ いても説明します。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 -3- データセンターの計画や実装においては、グリーン IT や環境面がかつてないほど重視されています。した がって、現在使用可能な CPU やサーバのアーキテクチャのグリーン IT や環境面に関連する特性についても 詳細に調査します。CPU のアーキテクチャとグリーン IT は密接に関連している点を示します。主に Intel が提供する x64 アーキテクチャは、3 つの基準のうち 2 つで首位に立っており、グリーン IT に関するあら ゆる側面においてトップ 10 を独占していることは明白です。環境面で競争力を持つ唯一の UNIX CPU アー キテクチャは SPARC です。ここで考慮する基準とは、電力入力当たりの容量（エネルギー効率）、排熱当 たりの容量（排熱効率）、および電力密度（フロアスペース）です。電力入力当たりの容量はアーキテクチャ の設計や更新サイクルと密接に関連しているため、コア数が多く、周波数の低いアーキテクチャの方がエネ ルギー効率に優れていることになります。排熱当たりの容量に関しては大規模な UNIX サーバの立場は非常 に弱く、SAP アプリケーションを大規模な UNIX サーバに統合する場合は、十分かつ拡張可能な空調設備が 整っていることを確認する必要があります。電力密度に関してトップ 10 に入っているサーバの CPU タイ プは、SPARC、Xeon、Opteron の 3 つしかありません。 次のステップでは、SAP を利用するお客様が仮想化を検討すべき理由について説明します。仮想化技術に 関して、どの企業が最も優れた機能と専門的なサポートを提供しているのかを調査します。Linux が一般的 に仮想化に最適な OS である理由についても説明します。 最後の、そして間違いなく最も説得力のある章では、CPU アーキテクチャのロードマップ、開発スピード、 発展状況に関する調査結果を紹介し、さまざまな OS および CPU アーキテクチャの将来的な市場シェアの 予測を試みます。長期的に見ると、CPU アーキテクチャ業界の古くからの同業者の一部は苦境に立たされ、 極めて不確かな未来に突入することになると考えられます。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 -4- 前回のホワイトペーパーの見直し この章では、前回のホワイトペーパー『Trend from UNIX to Linux in SAP Data Centers（SAP データセンター で見られる UNIX から Linux へのマイグレーションのトレンド）』を見直し、当時の分析による提案をここ 12 ヶ月間の発展状況と照らし合わせて検討します。 「…マイグレーションソースとしての Windows の割合がわずか 13.6%という著しい低下を見せる中、マイグ レーションソースとしての UNIX の割合は 68.2%まで上昇しました。…Linux への SAP マイグレーションの 3 分の 2 以上が UNIX からのものです。…記載された統計の第 1 期では、すべての Linux マイグレーション の約 20%が Reliant や Tru64 などの製造が中止されたプラットフォームからのものでしたが、第 2 期ではこ の割合が約 5%まで低下し、現在では自然と 0 に近づいています。 …現在最も減少率の高い UNIX 系は HP-UX… および AIX であり、…Solaris が希少なソースであることは UNIX ベンダにとって特別な好材料とは言えま せん…」 まだ 1 年余りしか経過していないため、統計分析を 1 からやり直す必要性は感じていません （この期間中 に完了したマイグレーションの数だけでは、数学的に有効な統計的基礎にはなり得ません）。ただし、新規 および継続中のプロジェクトを見直した上で確信を持って言えるのは、現在のトレンドが今後 1～2 年間継 続すれば、今もサポートされている UNIX プラットフォームは、Linux へのマイグレーションソースの 80%を 大幅に上回ることになるということです。（現在）製造が中止されているプラットフォームのシェアは 0 または 0 に近い数値まで低下し、Windows から Linux にマイグレートするお客様の数も 10%未満まで低下 する可能性があります。従来の 3 つの UNIX プラットフォームのディストリビューションから HP-UX およ び Itanium アーキテクチャへのマイグレーションは増加していると考えられます。そして、Solaris を実行す る SPARC アーキテクチャが初めてシェアを大幅に伸ばしています。 お客様の数とデータベース市場のトレンドについては同様のことが言えます。つまり、Linux へのマイグレー ションに関心を持つお客様の数とデータベースのサイズのどちらもが増大し続けているのです。Oracle を 使用する大規模なお客様は、UNIX から Linuxにマイグレートしても Oracle を使用し続ける傾向が強いです。 「マルチコア技術およびマルチスレッド技術により、CPU の性能が何倍にも向上したため、2 つまたは 4 つ の CPU を搭載した標準的なサーバが、同じ OS を搭載した 1～2 年前のはるかに大規模なシステムを簡単に 凌駕することも珍しくないでしょう。…このような CPU パフォーマンスの向上は一般的な進化であり…UNIX にとっての真の問題は、x64 ベースのサーバがミッドレンジセクションのサーバパフォーマンスを獲得し たことです。…このような発展により、今後も x64 アーキテクチャの優位性は増す可能性が高いと考えら © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 -5- れます。なぜなら、Intel と AMD の間の競争により、x64 が更新される頻度は他のどのプラットフォームよ りも高いからです」 前回のホワイトペーパーに対するフィードバックとして、（前回のホワイトペーパーの）図 3 のアーキテク チャがどのような基準に基づいて決まるのかという質問がありました。簡単に言うと、図 3 はその時点での 状況を表すスナップショットでした。図 3 が完全かつ完璧なものであると主張したわけではありません。前 回のホワイトペーパーの主な意図は、発展状況を文書化することにありました。しかしながら、ホワイトペー パーの読者の間では、これをランキングとして解釈する傾向が出てしまいました。したがって、図 1 に記載 した CPU アーキテクチャでは選択基準を厳格にしました。あまりにも多くのベンチマークが実施され、す べてを考慮に入れることはできないため、次の選択基準および記載基準を確立しました。 ［A］ この一連のホワイトペーパーは、アーキテクチャと SAP における Linux の関係について扱ったものです。 したがって、SAP LinuxLab に現在取り組んでいるハードウェアベンダのみを考慮に入れています。将来的 に取り組む計画のあるベンダは考慮に入れていません。 ［B］ あるベンダが同じ種類の CPU アーキテクチャのベンチマークを複数回実施した場合、最高の結果のみを記 載しています。適切かつ合理的な場合、CPU の最高結果を他の種類のサーバにも転用しました （これは、 前回のホワイトペーパーでも同様です）。 ［C］ まったく同じ種類の CPU のベンチマークが異なるベンダによって実施されている場合、その CPU はそれ ぞれのベンダについて 1 つずつ記載されます。ただし、共通ベンチマーク（Sun と富士通が実施している 2008021 など）の場合は、アーキテクチャの保守および開発を主に担当していると考えられるベンダの結果 のみが記載されます。 ［D］ 今回は、公式のベンチマーク（2-tier-SD）によって裏付けられたパフォーマンス測定のみを記載しています。 これにより、前回のホワイトペーパーに 2 つの重要な修正が加えられることになります。 修正 1: Itanium 9050（Montecito）は 3641 SAPS と記載されていました。しかしながら、この値は非公式 の情報源から取得されたものであり、裏付けを取ることができませんでした。したがって、Itanium の値を 2-tier-SD ベンチマークの現在の最高結果、Itanium 9140M（Montvale）、2925 SAPS（ベンチマーク番号 2008052）に修正しました。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 -6- 修正 2: Power6 は 7812 SAPS と記載されていました。しかしながら、この値は、2008002 が実際には 4 CPU にもかかわらず、誤って 2 CPU としていたベンチマークリストに基づいていました。したがって、Power6 の値を 2-tier-SD ベンチマークの現在の最高結果、CPU 当たり 5561 SAPS（ベンチマーク番号 2008019） に修正しました。 注意深い読者であれば、これらの 2 つの修正により、従来の UNIX アーキテクチャと x64 上の Linux との間 の価格性能比がさらに広がることに簡単に気付くでしょう。 ［E］ SAP ECC 6.0 2-tier-SD ベンチマークが UNICODE 環境で実施された場合は、パフォーマンスが 5%引き上 げられています。 ［F］ 同一または同様のアーキテクチャに関する前回の測定と比較して向上が見られなかったベンチマークや結果 が下回ったベンチマークは、適宜削除しました。 ［G］ 2009 年初頭以来、SAP ECC 6.0 拡張パッケージ 4 に基づいた新しい 2-tier-SD ベンチマークが登場してい ることは認識しています。ただし、これらのベンチマークはすべて UNICODE で実施されたものです。そし てさらに重要なのは、これらが大幅に向上した SD 機能を備えた新リリースに基づいている点です。 今回は、 2008 年における発展状況を前回のホワイトペーパーに記載した予測や数値と比較することが目的であり、 SAP ECC 6.0 の単一コードページのベンチマークを SAP ECC 6.0 拡張パッケージ 4 の UNICODE ベンチマー クで再計算して信頼できる数値を算出するための十分なデータが現時点ではないため、新しいベンチマーク は考慮に入れていません。 ［H］ 全体的なサーバパフォーマンス、EURO/SAPS、またはグリーン IT のパラメータに関する後半のリストで は、信頼できるコストデータを取得可能なサーバ、または特別な技術上の観点（グリーン IT 分析でのブレー ドアーキテクチャなど）から重要と思われるサーバを選択しました。 このリストは、業界の分類に基づいた包括的なものであり、これらの基準を修正するものです。ただし、2008 年に実施された 2-tier-SD ベンチマークに関しては、情報が完璧であるという保証はありません。直観的な 見やすさに配慮して、（前回のホワイトペーパーの図 3 とは異なり）CPU の SAPS 値を高いものから順に 記載しています。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 -7- Reference Benchmark Certification Number CPU Performance [SAPS, normalized] XEON X5570 2008079 12765 IBM x3650 M2 yes XEON X5570 2008071 12500 HP Proliant DL 380 G6 yes XEON X5570 2008072 11825 FSC PRIMERGY TX300 S5 yes UltraSPARC64 T2 (Niagara 2) 2007059 10950 SUN Enterprise M9000 no UltraSPARC64 T2 Plus (Victoria Falls) 2008021 10450 SUN Enterprise T5440 no Windows Opteron 2384 2008065 6890 HP Proliant DL385 G5p yes Windows XEON X7460 2008067 6638 IBM x3850 M2 yes Windows XEON X7460 2008050 6458 HP ProLiant DL580 G5 yes XEON X7460 2008060 6430 FSC PRIMERGY Model RX600 S4 yes XEON X5470 2008047 6300 HP Proliant DL 380 G5 yes XEON X5460 2007065 6125 HP Proliant ML 370 G5 yes XEON X7460 2008051 6084 Sun Fire X4450 yes XEON X5460 2008039 5760 FSC PRIMERGY Model RX330 S1 yes Windows XEON E5450 2008022 5710 PRIMERGY BFi20 S4 yes AIX Power6 2008019 5561 IBM p595 P6 yes Windows XEON E7450 2008049 5545 HP ProLiant BL680c G5 yes Ranking Server Vendor Benchmark OS 1 IBM Windows 2 HP Windows 3 FSC Windows 4 SUN Solaris 5 SUN Solaris 6 HP 7 IBM 8 HP 9 FSC Windows 10 HP Windows 11 HP Windows 12 SUN Solaris 13 FSC Linux 14 FSC 15 IBM 16 HP Processor Name & Type Server Type Original Benchmark Server Type Listed 17 SUN Solaris UltraSPARC64 T1 (Niagara 1) 2007051 5530 SUN Enterprise M9000 N1 no 18 IBM Windows Opteron 8384 2008076 5500 IBM Blade LS42 yes 19 DELL Windows XEON X5460 2008043 5425 DELL PowerEdge 2900 no 20 DELL Windows XEON X7460 2008074 5358 DELL PowerEdge R900 yes 21 HP Windows Opteron 8356 2008015 5260 HP Proliant DL385 G5 yes 22 SUN Solaris Opteron 8384 2008070 5167 SUN Fire X4600 M2 yes 23 FSC Windows XEON X5355 2007049 4850 PRIMERGY Model BX620 S4 yes 24 FSC Windows Opteron 8356 2008037 4790 FSC PRIMERGY Model RX330 S1 yes 25 HP Windows Opteron 8360 SE 2008041 4755 HP Proliant DL385 G5 yes 26 IBM Linux XEON X7350 2007068 4730 IBM x3850 M2 yes 27 SUN Solaris Opteron 8356 2008033 4697 Sun Blade Model X8440 yes 28 IBM Windows XEON X5355 2007019 4635 IBM x3500 no 29 FSC Windows XEON X7350 2008004 4580 FSC PRIMERGY Model RX600 S4 yes 30 IBM Windows Opteron 8356 2008032 4430 IBM x3755 yes 31 HP Linux Opteron 8384 2008064 4425 HP Proliant DL785 G5 yes 32 IBM Windows XEON X3210 2007036 4400 IBM x3250 yes 33 DELL Windows XEON X7350 2008027 4170 DELL PowerEdge R900 yes 34 DELL Windows XEON X5355 2007008 4090 DELL PowerEdge 2900 no 35 SUN Solaris Opteron 8360 SE 2008061 3904 SUN Fire X4600 M2 yes 36 HP Windows Opteron 8360 2008026 3273 HP Proliant DL785 G5 yes 37 HP HP-UX Itanium 9140M (Montvale) 2008052 2925 HP rx6600 Integrity no 38 SUN Windows XEON E7340 2008045 2630 Sun Blade Model X8450 yes yes 39 SUN Solaris Opteron 8220 2007063 2363 SUN Blade x8420 40 SUN Solaris SPARC64 VI 2007026 2286 SUN Enterprise M9000 no 41 SUN Solaris Opteron 8222 2007077 1853 Sun Fire X4600 M2 yes 図 1: CPU のアーキテクチャおよびベンチマークの値（サンプル選択: 2007～2008 年）。灰色の背景はシングルコア、 黄色の背景はデュアルコア CPU、緑色の背景はクアッドコア CPU、オレンジ色の背景はヘキサコア CPU、青色の背景 はオクトコア CPU を表します。CPU パフォーマンスの大幅な向上がひと目でわかります（結果の高い順に記載）。 1 年前と比較して、パフォーマンスのベンチマークが向上しているのは x64 アーキテクチャだけです。これは、x64 アー キテクチャの競争力の高さと開発のスピードを裏付けるものです。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 -8- 以上を踏まえた上で、前回のホワイトペーパーに記載された結果と予測についての解釈に戻ります。前回の ホワイトペーパーに記載された予測は正しかったことが証明されました。図 1 は、CPU のベンチマーク結 果を選択して、パフォーマンス順（高いものが上）に記載したものであり、前回のホワイトペーパーの図 3 と事実上同じものです。主な変更点は、2008 年に実施された関連する 2-tier SD ベンチマークを（前述の基 準の枠組内で）追加したことです。1 年前、最もパフォーマンスの高い CPU は Sun の Niagara 2 で、2 番 目が Intel Xeon 5460（前述の［D］に記載された修正に注意）、3 番目が Power6 でした（修正した値に基 づく）。 記載された上位 5 つのプロセッサタイプのうち、4 つは x64 ドメインではありませんでした。現在では、こ の状況が劇的に変わりました。3 社の異なるハードウェアベンダ （FSC、HP、IBM） の測定によると、 「Nehalem」 の名で知られる Intel Xeon 5570 が、SAP ERP アプリケーションで使用可能な最高の CPU となっています。 x64 のその他の CPU（Xeon 54xx および 74xx、Opteron）により、Power 6 と Niagara 1 はトップ 10 から 押し出されました。Sun は、Victoria Falls を使用して、より小規模なサーバアーキテクチャで Niagara 2 の ベンチマークを測定したものの、前回の結果を上回ることができませんでした。その他の x64 以外のアーキ テクチャ（Power、Itanium）では、関連するベンチマークは追加されませんでした。予測したとおり、Intel と AMD の間の競争により、x64 は最も頻繁に更新されており、その結果、最も速く進化を遂げています。 x64 分野のハードウェアベンダの競争により、周辺のサーバアーキテクチャが、これらの最新 CPU 向けに 短期間で最適化されています。このサーバクラスに製品を投入するすべてのハードウェアベンダは、当然こ のプロセスに参加して、それぞれの x64 サーバが市場で最高のものであることを証明したいと考えています。 だからこそ x64 アーキテクチャのベンチマークは、他のどのアーキテクチャよりも多く実施されるのです。 Itaniumは満足のいく結果が得られませんでした。関連する 2-tier SDベンチマークのうち、REALTECHのリ ストに入ったものは 1 つしかありませんでした（前述の 2008052）。それ以外では、Itaniumアーキテクチャ の利用可能なベンチマークは他のアーキテクチャと比較してパフォーマンスが大幅に下回っています。たと えば、FSC PRIMEQUEST設定では、32 Itanium 9150M CPUで 52,320 SAPS 1 を記録したものの、数ヶ月後 には同クラスのSPARC 32 CPU設定でこの 2 倍以上の数値が記録されました。 2 4 ウェイNehalem設定が可 能な場合、SMPオーバーヘッドを大幅に削減して（Itaniumコアの 64 に対して、Nehalemコアは 16）、ほ ぼ同じパフォーマンスを実現できる点に注目してください。この期間内のその他のすべてのItanium SDベン チマークは、 ブレードアーキテクチャやOracle RACなどとの並列化を対象としているため、比較できません。 次世代ItaniumのTukwilaは、2010 年初頭までまたしても延期されました （延期は過去にも数回ありました）。 Tukwilaは 65 nm技術に基づくため（Xeonは 45 nm。今後は 32 nmに移る予定）、Itaniumがある程度の競争 1 SAP ベンチマーク認定番号 2008023。このベンチマークは Itanium の改善にはまったく寄与していないため、図 1 には記載されてい ません。CPU 当たりの SAPS としては、2005 年にベンチマークが実施された Power5 と 2007 年にベンチマークが実施された Opteron 8222 の間に位置します。 2 SAP ベンチマーク認定番号 2008075、123,470 SAPS © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 -9- 力を維持するためには、IntelのTick Tock戦略 3 で示唆されているアーキテクチャ改善計画で大幅な向上を実 現する必要があります。 Server Vendor Maximum Maximum Performance per number of Undiscounted Server CPUs in EURO/SAPS p.a. [SAPS, configuration normalized] Processor Name & Type Server Type DELL XEON X5355 DELL PowerEdge 2900 2 8180 € 0,55 IBM XEON X5355 IBM x3500 2 9270 € 2,29 HP Opteron 8360 SE HP Proliant DL385 G5 2 9510 € 0,53 HP Opteron 8356 HP Proliant DL385 G5 2 10520 € 0,48 DELL XEON X5460 DELL PowerEdge 2900 2 10850 € 0,42 HP Itanium 9140M (Montvale) HP rx6600 Integrity 4 11700 € 6,33 HP XEON X5460 HP Proliant ML 370 G5 2 12250 € 0,75 HP XEON X5470 HP Proliant DL 380 G5 2 12600 € 0,74 HP Opteron 2384 HP Proliant DL385 G5p 2 13780 € 0,37 DELL XEON X7350 DELL PowerEdge R900 4 16680 € 0,48 DELL XEON X7460 DELL PowerEdge R900 4 21430 € 0,37 HP XEON X5570 HP Proliant DL 380 G6 2 25000 € 0,37 IBM XEON X5570 IBM x3650 M2 2 25530 € 0,74 HP XEON X7460 HP ProLiant DL580 G5 4 25830 € 0,73 SUN UltraSPARC64 T2 Plus (Victoria Falls) SUN Enterprise T5440 4 41800 € 0,56 SUN SPARC64 VI SUN Enterprise M9000 32 73140 € 25,02 IBM XEON X7350 IBM x3850 M2 16 75680 € 6,31 IBM Power6 IBM p570 P6 Modell 9117 16 88975 € 12,00 IBM XEON X7460 IBM x3850 M2 16 106200 € 4,52 SUN UltraSPARC64 T1 (Niagara 1) SUN Enterprise M9000 N1 32 176960 € 10,34 IBM Power6 IBM p595 P6 32 177950 € 19,20 HP Itanium 9140M (Montvale) HP Integrity Superdome 64 187200 € 19,91 IBM XEON X7460 IBM x3950 M2 32 212400 € 5,50 SUN UltraSPARC64 T2 (Niagara 2) SUN Enterprise M9000 32 350400 € 5,16 図 2: サーバ当たりの最高パフォーマンス順に並べたサーバタイプ（低い順。小規模サーバから大規模サーバへ）およ び CPU タイプ。2 つの CPU を搭載した Xeon サーバ 4 台および Opteron サーバ 1 台の方が、Itanium を搭載した 4 CPU の rx6600 よりもパフォーマンスが高い点に注目してください。 図 2 からわかるように、パフォーマンスが 20,000 SAPS を超える x64 アーキテクチャのサーバは 7 台あり （1 年前は 2 台のみ）、フル装備の IBM x3950 であれば上位 5 位以内に優に入るでしょう。ただし、このリ ストは包括的なものではありません。コスト計算のための最も重要な情報である TPC-C ベンチマークはほ とんどが Intel の CPU で実施されており、図 1 に記載されているすべてのサーバおよびアーキテクチャの確 かな財務データを入手できませんでした。したがって、AMD を搭載した HP Proliant DL785（およそ 35,400 SAPS）などはここには記載されていません。重要なのは、とりわけ Intel（そして AMD）アーキテクチャ のパフォーマンスが猛スピードで向上しているということです。 3 大量生産方式の変更とアーキテクチャ機能の変更を 1 年ごとに行う戦略。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 10 - 「…ベンチマークパフォーマンスはサーバコストよりも速いペースで向上しています。価格性能比（値引き 前の EURO/SAPS）が最も高いシステムの上位 4 機種は x64 サーバであり、全体の中でも最高パフォーマン スが必ずしも低いわけではありません。…x64 のコスト面での優位性は、Linux プラットフォームへのマイ グレーションの主な要因になっています…」 Maximum Maximum Performance per number of Undiscounted Server CPUs in EURO/SAPS p.a. [SAPS, configuration normalized] Server Vendor Processor Name & Type Server Type HP Opteron 2384 HP Proliant DL385 G5p 2 13780 € 0,37 HP XEON X5570 HP Proliant DL 380 G6 2 25000 € 0,37 DELL XEON X7460 DELL PowerEdge R900 4 21430 € 0,37 DELL XEON X5460 DELL PowerEdge 2900 2 10850 € 0,42 HP Opteron 8356 HP Proliant DL385 G5 2 10520 € 0,48 DELL XEON X7350 DELL PowerEdge R900 4 16680 € 0,48 HP Opteron 8360 SE HP Proliant DL385 G5 2 9510 € 0,53 DELL XEON X5355 DELL PowerEdge 2900 2 8180 € 0,55 SUN UltraSPARC64 T2 Plus (Victoria Falls) SUN Enterprise T5440 4 41800 € 0,56 HP XEON X7460 HP ProLiant DL580 G5 4 25830 € 0,73 IBM XEON X5570 IBM x3650 M2 2 25530 € 0,74 HP XEON X5470 HP Proliant DL 380 G5 2 12600 € 0,74 HP XEON X5460 HP Proliant ML 370 G5 2 12250 € 0,75 IBM XEON X5355 IBM x3500 2 9270 € 2,29 IBM XEON X7460 IBM x3850 M2 16 106200 € 4,52 SUN UltraSPARC64 T2 (Niagara 2) SUN Enterprise M9000 32 350400 € 5,16 IBM XEON X7460 IBM x3950 M2 32 212400 € 5,50 IBM XEON X7350 IBM x3850 M2 16 75680 € 6,31 HP Itanium 9140M (Montvale) HP rx6600 Integrity 4 11700 € 6,33 SUN UltraSPARC64 T1 (Niagara 1) SUN Enterprise M9000 N1 32 176960 € 10,34 IBM Power6 IBM p570 P6 Modell 9117 16 88975 € 12,00 IBM Power6 IBM p595 P6 32 177950 € 19,20 HP Itanium 9140M (Montvale) HP Integrity Superdome 64 187200 € 19,91 SUN SPARC64 VI SUN Enterprise M9000 32 73140 € 25,02 図 3: 図 2 と同じサーバタイプを、値引き前の EURO/SAPS 順に並べたリスト。 パフォーマンスの向上に関する結論が正しかったことはわかりました。それでは、価格性能比についてはど うでしょうか。前述の引用が正しくて、パフォーマンスがサーバコストよりもはるかに速いペースで向上し ているとしたら、EURO/SAPSでの価格性能比は大幅に改善しているはずです。しかしこれは、この期間内 にパフォーマンスが向上したCPUアーキテクチャにしか当てはまりません。前回の価格性能比の比較 4 と同 じモデルとまったく同じルールを使用して、 前回の比較時以降にベンチマークが実施されたアーキテクチャを 4 前回のホワイトペーパーの 13～15 ページ © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 11 - 追加しました。今回も、可能な場合はTPC-Cベンチマークの公開価格情報を、そうでない場合は代わりとな る信頼できる情報を使用しました。 前述のとおり、価格性能比を比較するためのすべてのサーバについての持続的な財務データを見つけること ができませんでした（HP Proliant 785、または図 1 のすべての FSC サーバなど）。ただし、このリストが 包括的なものではないという事実により、REALTECH のメッセージが弱まるというわけではありません。 x64 は価格性能比が最も速いペースで改善しているプラットフォームであり、Intel または AMD のいずれを 選択しても、SAP を使用するお客様は 0,37 EURO/SAPS のサーバパフォーマンスを実現することも可能で す。この分野の上位 10 台のうち 9 台は x64（Linux 上）アーキテクチャです。6 台は Intel CPU を搭載し、 3 台は AMD を搭載しています。競争力の高い SPARC 製品 1 台を除いて、従来の UNIX との差はさらに広 がりました。さらに注目すべきは、Intel のロードマップ情報によると、Nehalem アーキテクチャ技術が、 CPU のタイプや名称にかかわらず、すべての 4 ウェイおよび 8 ウェイのサーバシステムに拡張されること が明らかになっている点です。これにより、x64 プラットフォームのパフォーマンスはさらに向上すること になります。従来の UNIX ではこのような結果は期待できません。「パフォーマンス面に関して言えば、x64 ライン以上に迅速にコスト削減を実現する CPU アーキテクチャはありません」という 1 年前の予測が、こ れまでのところ、そして見通し得る将来において、正しかったわけです。 「今後、運用環境における Linux ベースの仮想化の重要性は高まります。UNIX から Linux へのマイグレーション のトレンドはさらに勢いを増すでしょう」 RAAD Consult（SAP 市場を専門とする市場調査会社で、本拠地はドイツ。REALTECH の研究および調査 とは無関係）は、2008 年の第 4 四半期に 2 つの調査を実施しました。1 つは「SAP 環境における仮想化」 についてであり、もう 1 つは「Linux を例とする SAP 環境におけるオープンソース」についてでした。ここ でも、REALTECH の調査結果が裏付けられることになりました。SAP を使用するすべてのお客様のうち、 約 70%が IT 環境で仮想化を使用しています（2007 年前半は 48%）。約 40%はすでに SAP 環境またはその 一部を仮想化しています。90%以上が VMware（89%）や Xen（3%）を仮想化技術として使用していると いう事実は、REALTECH の予測と一致しています。これはつまり、OS として Linux または Windows を使 用し、x64 CPU アーキテクチャを採用していることを示唆しています。また同時に、Linux は、UNIX の特 性を持ち、SAP アプリケーションサーバで最もよく使用される OS の第 2 位（15%、第 1 位は 18%の AIX） となるまでに成長しました。市場シェアを拡大している OS は Linux 以外にはありません。つまり、その分 Windows を含むその他の OS はすべて市場シェアを失っているということです。SAP データセンターへの OS の導入または交換を計画しているお客様のうち、56%は Linux を予定しています。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 12 - 以上により、仮想化と Linux の使用は密接に関連し、Linux への一般的なトレンドは大きく勢いを増している という結論を導き出すことができます。これらの発展状況については、以降の章でより詳しく見ていきます。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 13 - アーキテクチャの調査と分析 Linux へのマイグレーション: ハードウェアシェア この章では、SAP を利用するお客様が Linux にマイグレートする理由と、堅牢性、信頼性、柔軟性などのハー ドウェア特性がマイグレーションプロセスにおいてどのような意義を持つのかについて検討します。パフォー マンスの影響や、x64 CPU が実質的に世界中のほぼすべての SAP 負荷を担うことが可能な理由について詳 細に見ていきます。 Linux へのマイグレーションがトレンドとなっている潜在的かつ有力な要因として、コスト削減効果が挙げ られることについては前回のホワイトペーパーで詳細に扱いました。前回は、サーバコストを標準化された 比較可能な値である EURO/SAPS に変換し、実際の値を比較したところ、驚くべき結果が得られました。 一方、 お客様が Linuxにマイグレートするその他の動機については、これまで詳細に扱ってきませんでした。 まず、RAAD の調査では、コストが主要な動機であるという REALTECH の予測が裏付けられました。SAP Linux のお客様 200 社を対象に行った調査では、81%が動機の 1 つとしてコストを挙げました。調査は複数 回答可能形式で行われ、Linux にマイグレートする理由として 56%のお客様が複数の回答を選択しました。 RAAD の調査によると、Linux にマイグレートする理由として 2 番目に多かったのが、 サーバ/プラットフォー ムの高可用性（25%）で、3 番目がパフォーマンスの向上への期待（21%）でした。これは、REALTECH にとっては予想外の結果でした。REALTECH では、UNIX から Linux への知識移転の容易さ（RAAD の分析 では 7%）と技術の類似性（バックアップ/復元の手順、インタフェース、管理手順など。いずれも「その他 の理由」として挙げられ、22%）の方が重要だと考えていました。 しかしながら、SAP を使用するお客様が意思決定を行う際には、技術的詳細を予想していたよりもはるか に丹念に調べるようです。特に UNIX からのマイグレーションを検討するお客様は、企業の重要な ERP シ ステムの安定性に対して高い基準を持っているようです。また、x64 ベンダがサーバ CPU 製品にメモリミ ラーリング機能、メモリスペアリング機能、データ修正機能、エラー修正機能、I/O ホットプラグ機能などを 追加するのを待っていたお客様もいたようです。 この点について Intel は特に積極的に対応しており、 （RISC、 SPARC、Power では数年前から標準となっている）これらの機能を 5xxx および 7xxx クアッドコア（また はそれ以上）の CPU シリーズに導入して、サーバアプリケーション（X8 SDDC や誤り訂正符号など）を 利用可能にしています。ハードウェアの信頼性と安定性を高めるために、お客様は今後も CPU アーキテク チャ技術の向上を求めるだろうというのが REALTECH の予想です。I/O バス、ネットワークカード、メモ リコンポーネント、その他の類似の機能など、関連するすべてのサーバコンポーネントも同様に技術の向上 が要求されるでしょう。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 14 - OS に対しても同様の信頼性が求められています。Linux にマイグレートした（または現在検討中の）一部 のお客様からのフィードバックによると、高可用性および高安定性が Linux カーネルに導入されているかど うか、およびそれらの実際のユーザビリティは、大きな意思決定要因であり、場合によっては、これにより Linux へのマイグレーションの最終判断が延期されたこともあることがわかっています。高可用性と高安定 性は、サーバベースの SAN ミラーリングのためのクラスタ化された論理ファイルシステムと、OS を統合 したクラスタソリューションにより実現されます。Linux については、高可用性や高安定性が SUSE Linux Enterprise Server 11 にすでに導入されているか、近い将来導入される予定です。 しかし一般的には、お客様は x86 ファミリのコスト効率の高い「コモディティ化した」サーバは信頼性が低 いとは考えなくなりました。これは REALTECH が日々の経験から実感していることです。実際、クリティ カルな SAP アプリケーションで、（特に Linux を実行する）x64 サーバが使用され、1 年以上のアップタイ ムが実現している例を見てきました。OS やデータセンターの保守のためにサーバを停止することはあって も、予期しない物理障害や論理障害で停止することはありません。 Reasons for Deploying Linux in SAP Environments (Ger, Nov.-Dec. 2008, n = 199, d = 1.56) Cost Reduction 81% High Availability 25% Performance Improvement Low Training Effort for Migration from UNIX to Linux 21% 7% Other Source: RAAD 22% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 図 4: Linux を導入する理由。出典: RAAD Consult、ノベル提供。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 15 - 開発プラットフォームの優位性 SAP を使用するお客様は CPU アーキテクチャの安定性と信頼性を綿密に調べます。そして、Linux にマイ グレートする（コスト削減、安定性向上に次ぐ）3 番目に重要な要因は、パフォーマンス向上への期待です。 そのため、 このようなお客様は、x64 プラットフォームに Linuxを導入する決断を下す前に、 期待するパフォー マンスが現実的なものであるかどうかに注目するはずです。実際、大規模な AIX ベースの SAP インフラを 活用して、通常の SAPS 測定とはまったく異なる、Power アーキテクチャと Intel Xeon アーキテクチャの 測定比較を実施した REALTECH のお客様もありました。この測定結果はさまざまな意味で驚くべきもので あり、この結果により、REALTECH が実施していたある CPU アーキテクチャの長所と短所に関する調査 はまったく新しい方向に進むことになりました。 まず、このお客様の設定と測定対象について説明します。このお客様は 2 つのシナリオを設定しました。 1 つ目のシナリオでは、AIX アプリケーションサーバと x64 Linux アプリケーションサーバで、同じ SEM 中 央システムに対してまったく同じ大規模な読み取りバッチジョブを実行しました。2 つ目のシナリオでは、 同等サイズの 3 台のアプリケーションサーバ（AIX/Power が 2 台、Linux/XEON が 1 台）で、同じ中央イン スタンスおよびデータベースに対して、 パフォーマンス要件の厳しい同一のダイアログ処理を実行しました。 その目的はアプリケーションサーバの CPU のランタイムを比較することであり、すべてのジョブが同じデー タベースに対して実行されたため、バッファリングによる有利不利は発生しませんでした。この設定で何ら かの有利不利を生じる要素があったとするならば、AIX アプリケーションサーバは内部 LPAR 接続を介して 中央インスタンス/データベースと通信したのに対し、Linux アプリケーションサーバでは外部接続を使用し なければならなかった点です。結果はこのお客様固有のものであり、反復可能なベンチマークでも、一般に 適用可能なベンチマークでもないものの、驚くべきものであることは事実です。SEM テストでは、同じ数 だけの BI ページ（45,740）を読み取るのに、Linux アプリケーションサーバの方が AIX アプリケーション サーバよりも 2.000～3.000 秒（10～15%）速いという結果が得られました。Linux アプリケーションサー バの合計ジョブランタイムは、AIX アプリケーションサーバのおよそ半分でした。 ERP テストの平均レスポンスタイムでも、Linux アプリケーションサーバの方が 10～15%速く、2 つの AIX アプリケーションサーバよりも 18,000 ダイアログステップ多く実行しました。平均 CPU 時間では、Xeon システムの方が Power システムよりも 30～60%優れていました。データベースのレスポンスタイムはすべ てのケースで同等でした。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 16 - © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 17 - このような差が発生する原因はどこにあるのでしょうか。SAPS は完全に同等でしたし、Linux アプリケー ションサーバの設定にも明らかに優位な点はありません。答えは SAP 自体が間接的に示しています。 「Linux は、SAP ソフトウェア開発の参照プラットフォームです」 SAP、プロジェクト開発マネージャ、Manfred Stein 氏（Web セミナーのプレゼンテーションにて） この引用には、「x64 CPU アーキテクチャ上の Linux は」と補足する必要があります。他のすべての UNIX プラットフォームは、後からそれぞれのコンパイルにコードが組み込まれた、Linux の後発移植なのです。 ソフトウェアの開発プラットフォームは、何らかの理由によりパフォーマンス上の優位性を内在的に備えて いるのでしょうか。備えているとしたら、その理由は何なのでしょうか。 SAP Binary Kernel Sizes (accumulated - DB-dependent and DB-independent-parts) Patchlevel SAP KERNEL 7.10 64-BIT UNICODE 143 SAP KERNEL 7.11 64-BIT UNICODE 21 AIX 64 Bit HP-UX on IA64 64 Bit HP-UX on PA-RISC 64 Bit Linux on IA64 64 Bit Linux on Power 64 Bit Linux on x86_64 64 Bit Solaris on SPARC 64 Bit Solaris on x64_64 Bit Windows Server on IA64 64 Bit Windows Server on x64 64 Bit AIX 64 Bit HP-UX on IA64 64 Bit HP-UX on PA-RISC 64 Bit Linux on IA64 64 Bit Linux on Power 64 Bit Linux on x86_64 64 Bit Solaris on SPARC 64 Bit Solaris on x64_64 Bit Windows Server on IA64 64 Bit Windows Server on x64 64 Bit DB2 UDB [MB] MaxDB [MB] Oracle [MB] 707 1165 738 767 758 506 596 n/a 1006 791 707 1179 734 784 775 498 574 567 1018 798 707 1160 734 763 754 503 591 572 1001 788 708 1176 741 782 771 496 571 564 1013 795 702 1154 732 761 749 502 591 571 1037 809 702 1168 728 776 768 495 569 563 1049 816 図 5: 各プラットフォームの SAP バイナリカーネルサイズ。緑は最小値、赤は最大値、黄色は中央値を表します。 最初に、さまざまなプラットフォームでの SAP カーネルのコンパイル済みコードのサイズを調べました。 そして予想どおり、調査したすべての OS/データベースの組み合わせの中で、x64 上の Linux が最も小さかっ たのです。上の図 5 をよく見ると、使用されるコードのサイズが、少なくとも OS と同程度には、CPU アー キテクチャとも関係していることに気付くはずです。たとえば、Power での Linux バイナリサイズは Power での AIX バイナリサイズと同程度であり、Itanium でのバイナリサイズはすべてのプラットフォームで大き な数値を記録しています。しかし驚くべきことに、一番大きいのは HP-UX です。これは実際のところ、何を 意味しているのでしょうか。一般に、バイナリが大きいほど、CPU の 1 つの命令サイクルで実行される命 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 18 - 令の割合は小さくなります。つまり、より大きいバイナリセットを実行する必要のある CPU アーキテクチャ が、SAP カーネルコードを完全に実行するには、より多くの命令サイクルが必要になるということです。 この相関関係は絶対的なものではなく、コンパイラによる最適化、CPU キャッシュサイズ、CPU 周波数な ど、その他の重要な要素も関わっていることを理解することが重要です。このことを示すために、Windows Server のバイナリサイズも記載しました。Windows Server のバイナリサイズは、ほとんどの UNIX バイナ リと同程度（かつ Linux バイナリよりも大きい）ですが、Windows（x64）上でネイティブに開発されてい ます。したがって前述のテストでは、Windows アプリケーションサーバのパフォーマンスは、AIX サーバよ りも Linux アプリケーションサーバに近いと考えられます（ほとんどの x64 ベンチマークは Windows 上で 実施されている点にも留意してください）。ただし、Windows Itanium に移植されたコードのサイズははる かに大きく、同じ方法で最適化されていないと考えられます。パフォーマンス上の大きなデメリットがある と考えるのが妥当です。Linux バイナリについて、SAP システムは GNU Compiler Collection（GCC）を使 用します。GCC よりも、Xeon アーキテクチャ用のネイティブの Intel Compiler Collection（ICC）の方がよ り最適化されたコードを生成します。したがって、GCC の最適化に取り組むことを Intel が最近発表したこ とは、Linux にとってはかなりの朗報です。これにより Linux は今後、開発プラットフォームとしての恩恵 だけではなく、最適化されたコンパイルプロシージャの恩恵も受けられることになります。これらのプロシー ジャは、他の UNIX OS や CPU アーキテクチャに対する x64 上の Linux のパフォーマンス面での優位性をさ らに高めるものと考えられます。 この調査によって、Linux と x64 の CPU アーキテクチャは、SAP の参照開発プラットフォームであるため、 UNIX に対して直接的な優位性があることが判明しました。x64 の絶対サーバパフォーマンスは、新世代 x64 サーバの I/O 機能も含めて、ほとんどの単一の ERP 開発システムでは活用しきれないほど高いレベルに到 達しています。x64 システムの全体的なパフォーマンスについて、Linux の導入を検討中の企業が懸念する 点があるとすれば、 ハイパフォーマンス環境における I/O 機能についてでしょう。しかしながら、REALTECH が最近実行した Linux/x64 へのマイグレーションでは、この点に関して自信を持てる結果が得られました。 探究心の強い読者は測定結果や数値を求めることでしょう。しかし、I/O 負荷や I/O 帯域幅の測定には、か なり複雑な要素が複数関係してくることが常であるため、このような数値を取得して比較することは困難で す。同じベンチマークを使用し、バックエンドコンポーネントがボトルネックさえ発生させなければ比較が 可能となるサーバパフォーマンスのベンチマークとは正反対なのです。ただし、上で詳述したパフォーマン ステストを実施したお客様が、AIX/Power と Linux/Xeon の I/O 動作に関する調査を予定しており、REALTECH はその調査結果に強い関心を寄せています。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 19 - グリーン IT の側面 データセンターの計画や実装においては、グリーン IT や環境面がかつてないほど重視されています。この 章では、現在入手可能な CPU アーキテクチャに関連する特性について詳細に検証し、その長所や短所を考 察します。 CPU アーキテクチャやサーバファミリが環境に及ぼす影響を判断するには、基本的に次の 3 つの側面に目を 向ける必要があります。 1. 投入エネルギー当たりのパフォーマンス。 2. 投入エネルギーのうち、排熱となる割合（および冷却に必要となる追加エネルギー量）。 3. 限られたデータセンタースペースで実現可能なパフォーマンス。 標準化されたベンチマークを使用し、標準化されたコスト指標を計算すれば、 図 6: 電力入力当たりの容量をワット当たりの SAPS で高いものから順に示した図。各色は CPU アーキテクチャファミ リを表します。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 20 - これらの環境面について調べることはそれほど難しくありません。この分析のための調査では、各サーバの コスト評価に関するデータシートを収集し、電力入力当たりの容量、排熱当たりの容量、プラットフォーム の実際 5 の電力密度という 3 つの特性値を計算しました。 1 つ目の電力入力当たりの容量を見ると、データセンターでどれだけのエネルギーコストが発生するかがわ かります。このコストは、許容可能なパフォーマンスレベルで SAP アプリケーションを実行するために必 要となるパフォーマンス（SAPS）に基づいています。単純に言うと、どれだけの電気代が発生するかを表 しています。電力入力当たりの容量は、周波数およびソケットのアーキテクチャを中心とした一般的な技術 上のアプローチ、アーキテクチャの全体的な SAPS 性能、サーバの仕様と大きく関係しています。つまり、 電力入力当たりの容量はアーキテクチャの更新サイクルならびにサーバファミリの更新サイクルおよび技 術的進歩と密接に関係しているのです。 このため、リストに記載された上位 10 位にx64 サーバが 9 台入っており、そのうち 8 台がIntel製だという ことも驚くことではありません。これは、 AMDよりもIntelの方が評価期間中の更新サイクルが早かったことを 表しています。トップに位置しているのは、エネルギー最適化されたXeon E7450 を搭載したブレードアー キテクチャ 6 です。興味深いことに、エネルギーの総消費量に対する全体的なパフォーマンスに関して言え ば、コア数が多く、周波数が低いほど優位であるようです。Nehalemが圧倒的なベンチマーク結果を記録し ているにもかかわらず、Intelの 74xxシリーズがNehalem（X5570）を上回っているのはそのためです。サー バの仕様や特性も重要となります。たとえば、Intel X7460 を搭載したIBMのx3xxxシリーズはDellのR900 を 上回っています。また、この点に関して言えば、HPのProliant ML 370 はDellのPowerEdge 2900 を上回っ ています。これらのサーバは、Xeon X5460 を搭載した状態で 10,000～12,000 SAPSと、全体的なパフォー マンスでは拮抗しています。 一般に、この測定結果は小規模なサーバアーキテクチャに有利なように見えますが、高度にモジュール化さ れた IBM のハイエンド xSeries（x3850 および x3950）を見れば、必ずしもそうでないことがわかります。 巧みな設計によって克服できるのです。コア数が多く、周波数が低く、更新サイクルが早く、サーバの規模 が小さいほど有利という事情により、この測定は Itanium にとってはあまり有利ではありません。ハイエン ドの Superdome とミッドレンジの rx6600 はどちらも、トップの Xeon アーキテクチャの 3 分の 1 以下です。 つまり、HP-UX/Itanium ベースのアーキテクチャで上位 3 つのサーバ/OS/CPU アーキテクチャと同等のパ フォーマンス（SAPS）を実現するには、データセンターに最大 3 倍の電力を供給する必要があるというこ とです。 5 理論上の電力密度に対して、標準的なラックの寸法を計算に含めました。 6 関連コストは評価できませんでしたが、サーバクラスを比較するために評価に含めました。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 21 - 図 7: 排熱当たりの容量を kJ/h 当たりの SAPS で高いものから順に示した図。 電力入力当たりの容量を、次の基準である排熱当たりの容量と比較すると、従来の UNIX チップアーキテク チャが少なくとも 2 つは順位を落とすことがわかります（最下位の Niagara 1 を搭載した Sun M9000 を除 く）。このランキングで最も重要な点は、エネルギー効率の高い設計が採用された新しいプロセッサの方が 優位であり、その結果として当然 x64 アーキテクチャ、つまり Intel がここでもトップに位置していること です。 ランキングの下位 5 つが大規模な UNIX システムによって独占されている点は見逃せません。つまり、 SAP アプリケーションの統合を大規模な UNIX サーバで実行するつもりならば、空調設備が適切に整って いることを確認する必要があるということです。一方、上位に目を向けると、電力入力当たりの容量では好 ましい結果を得られなかった Dell サーバが 2 台とも上位を独占している点は注目に値します。Dell サーバ では電力入力が熱放射に回ることなく、ハードディスク、バス、送風装置などの低効率のサーバコンポーネン トに回っていると考えられます。IBM の x3650 が、より大規模な x3850 と x3950 を上回っている（3 台と も Intel X7460 を搭載）という事実は、内部サーバ通信インタフェースが熱出力に大きく貢献していることを 強く示しています。 グリーン IT について取り上げる最後の側面は、特定のレベルの SAPS パフォーマンスを実現するために、 データセンターでどれだけのスペースが必要になるかです。対応する特性は電力密度です。図 8 を見ると、 この基準に関してブレードシステムは一般的に考えられているほどの優位性が必ずしもあるわけではないこ とがわかります。多くのブレードはおそらく CPU を削減したアーキテクチャで投入エネルギーを活用して © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 22 - おり、スロットリングメカニズムを備えることで、消費エネルギーと排熱を削減しています。ブレードシス テムには、高度な対称型マスサーバを簡単に設定でき、その結果、保守が容易になる、接続数が低減するな どの利点がありますが、パフォーマンス密度に関して優位性があるわけではありません。ブレードシステム がパフォーマンス密度に優れているというのは事実ではありません。この測定では、特に CPU 当たりの絶 対パフォーマンスに優れた大規模サーバが優位なように見えます。また、上位 10 位には SPARC、Xeon、 Opteron の 3 種類の CPU しか入っていないことは明らかです。当然、高電力密度を実現した Sun の大規模 サーバシステムはコスト（膨大な電力コストや冷却コストなど）が高いと考えられます。しかし少なくとも、 最大の関心事がデータセンターのスペースにあるお客様にとっては、SUN の大規模システムは選択肢の 1 つになります。 図 8: 電力密度を立方メートル当たり 1,000 SAPS で高いものから順に示した図。表示の計算後の数値は実際の電力密度 です。表示の各サーバタイプについて、標準的なラックまたはブレードラックに収納可能な数を考慮に入れています。 一方、Itanium ではここ数年間アーキテクチャの更新が行われていないため、他のほぼすべてのグリーン IT 特性と同様に望ましい結果は得られていません。電力密度に関しては、ハイエンド Superdome サーバとミッ ドレンジ rx6600 サーバはどちらも、小規模なローエンドシステムとともに最下位 5 機種に含まれています。 使用可能なスペースが 100 立方メートルあるデータセンターに、8,000,000 SAPS の Superdome または 40,000,000 SAPS 以上の Sun SPARC あるいは HP Xeon を収納できるわけです。このような検討材料は、 ホスティングプロバイダや大企業の IT サービス部門にとっては特に重要なはずです。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 23 - CPU アーキテクチャとグリーン IT 側面の関係の最終評価として、主に Intel を搭載した x64 アーキテクチャ は 3 つの基準のうち 2 つにおいてトップに位置しており、あらゆる側面において明らかに上位 10 位を独占 状態である点を述べておきます。環境面において競争力を持つ唯一の UNIX CPU アーキテクチャは SPARC です。これに次ぐのが Power6 ですが、多くはランキングで中の下に位置しています。グリーン IT の基準 で考えると、現在入手可能な Itanium アーキテクチャは優れた選択肢とは言えません。この差を埋めるため に、 次世代 Itaniumである Tukwila には、 パフォーマンスだけではなく効率に関しても大幅な向上が必要です。 OS および環境適合性に関する OSの特別な機能の影響は、測定が困難なためここでは考慮に入れていません。 しかし、環境に及ぼす影響を抑えながら IT システムを構築するための強力なサポートが新機能として Linux カーネルに導入されたことは、環境面での朗報です。このような機能の中には、「ティックレスアイドル」 （CPU の節電力モードのサポート強化）や不要なタイマーイベントの抑制などが含まれています。Linux へ のマイグレーションと効率の高い CPU アーキテクチャを組み合わせることで、IT 関連の二酸化炭素排出量を 間違いなく削減できます。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 24 - SAP 分野における仮想化の影響 この章では、SAP を使用するお客様が仮想化の使用を検討すべき理由について見ていきます。この特別な 技術に関して Intel が優れた機能を提供していることを示し、Linux がおそらく仮想化に最適な OS である理 由について説明します。 さらに、Intel と Linuxの組み合わせが最高の選択である理由についても説明します。 このホワイトペーパーでもすでに述べたとおり、また 1 年前に実施した最初の分析でも予測したとおり、 SAP データセンターにおける仮想化の重要性は益々増しています。前述の RAAD 調査によると、圧倒的な 割合（61%）のお客様が、仮想化技術を使用することで既存のコンピューティング性能をさらに活用できる と信じています。この調査および大規模 IT サービスプロバイダとの議論によって、SAP を使用するお客様 の真の狙いが何であるのかに関する重要なヒントを得ることができました。サービスプロバイダが抱える主 な課題は、過去も現在も同じです。つまり、「単一の CPU が 12,000 SAPS に到達したものの、運用環境で は単一の CPU サーバでは不十分な状況の中で、どうすれば 5,000 SAPS の運用パフォーマンス分のコスト しか払うつもりのない内部顧客に 5,000 SAPS のパフォーマンスを提供できるのか」ということです。これ は、「スライス問題」と呼ばれる問題へとつながります。 一般に、（とりわけ SAP 分野の）多くのアプリケーションは、機能上または組織上の理由により、他のア プリケーションから分離する必要があります。OS レベルで隔離しなければならない場合すらあります。し かしこれらのアプリケーションは、使用可能なパフォーマンス性能の数パーセントしか使用しません。SAP 分野での一般的なコンポーネントと言えば、ビジネスコネクタや価格設定コンポーネントなどのサイドコン ポーネントの他、開発システムがあります（ただし、物理ハードウェアの性能が限界まで活用されることは ほとんどありません）。しかし次第に、スライス問題は ERP 開発システムにも当てはまるようになってき ています。これが、SAP 分野で仮想化技術が必要となる真の理由なのです。このスライス問題により、場 合によっては仮想化がほとんど必須となっています。この問題を解決することで、コスト効率の向上、エネ ルギー消費当たりのパフォーマンスの向上、データセンタースペースの節約、そして極めて有用な副次効果 など、仮想化のその他の利点の大半を享受できます。しかし REALTECH では、これらが仮想化導入の意思 決定要因になることはほとんどないと考えています。 SAP データセンターにおける仮想化市場を見てみると、お客様は基本的には導入する技術をすでに決定し ています。RAAD によると、90%近くのお客様は VMware ベースの仮想化技術を使用しているか使用する 予定であり、2 位以下を大きく引き離しています。したがって、SAP を使用するお客様が導入可能な仮想化 技術（VMware、Xen）のうち、どちらがより良い（より安価、より高性能、より柔軟）かの問題について は、これ以上深入りしません。代わりに、x64 の仮想化分野に取り組んでいる 2 つの CPU ベンダのうち、 どちらが現時点で優位であるかに焦点を当てます。現時点での優位性はいずれ変わる可能性があるのは明白 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 25 - であり、しかも近い将来変わる可能性すらあります。したがって、この分析から時間が経過するにつれて、 記載された見解および観察結果を注意深く精査する必要があります。 図 8: Xeon 7350 CPU（Tigerton）搭載の SUSE Linux Enterprise Server 10 SP2 および Xeon 5570（Nehalem）搭載の SUSE Linux Enterprise Server 11 で実行した Xen のメモリスループット。後者の大幅な向上に注目してください。 SAP LinuxLab に参加する x64 技術のベンダである Intel と AMD はどちらも、仮想化向けに提供する各社の CPU アーキテクチャに対するサポートを強化する積極的なロードマップを発表しました。AMD の Rapid Virtualization 技術は、仮想化レイヤを回避またはバイパスすることで、より直接的にデバイスに対処するた めの技術的側面に焦点を当てています。Intel の Intel VT FlexPriority 拡張機能は、仮想化レイヤと OS/物理 ハードウェアとの間のやり取りを改善することに焦点を当てています。たとえば、ネットワーク機能の向上 につながる、より効率的な割り込み処理やインテリジェントなキューイングを重視しています。どちらのア プローチにも長所と短所があるものの、 最終的にはこれらのアイデアがそれぞれのプロセッサに組み込まれ、 長所を維持しながら短所を排除していくことになるでしょう。 年に 1 度、SAP LinuxLab でいわゆる仮想化ワークショップが開かれ、OS、CPU、仮想化技術の観点から 仮想化に関する最新の開発が評価されています。Intel はこの機会を利用して、Nehalem CPU のアーキテク チャ上の特長が、絶対メモリスループットやパフォーマンス関連のその他の仮想化特性を大幅に向上させる © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 26 - ことを証明しました。これは、Xen 仮想化（図 8）および VMware ESX 技術（図 9）の両方に当てはまり ます。コア当たりの絶対性能の向上もあり、Intel は AMD が簡単に超えることのできない高いレベルに到達 しました。理由は不明ですが、AMD がこのワークショップに参加することはなく、Barcelona CPU または より高性能な Shanghai CPU を装備したサーバを持ち込んだハードウェアベンダもいませんでした。Intel と AMD 両社の仮想化技術があれば有効な比較が可能であったと考えられるため、これは非常に残念なこと です。この比較を実行できていれば、前述した両社のアプローチのうち、どちらがより有望であるかを判断 できたでしょう。したがって、ここでは x64 のハードウェアベンダおよび Intel の両方が Nehalem アーキテ クチャの改善に確信を持っているという結論にとどめます。 図 9: Xeon 7350 CPU（Tigerton）搭載の ESX 3.5 および Xeon 5570（Nehalem）搭載の ESX 4.0 のメモリスループット。 後者の大幅な向上に注目してください。 重要: ベンチマーク設定および測定方法の違いにより、SUSE Linux Enterprise Server と VMware の絶対スループットは 比較できません。したがって、図 9 および図 8 では、VMware と Xen の仮想化手法のパフォーマンスを比較することは できません。また、これらの図を統合して絶対値を比較することもできません。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 27 - 仮想化技術のベンダやメーカーなど、仮想化には当然のことながら複数の当事者が存在するため、議論は多 種多様なものとなります。前の段落で述べた一連の見解に対する反論として、LinuxLab ワークショップで 測定されたパフォーマンスの向上は、プロセッサの進歩よりも仮想化技術の進歩によるものだとの声が上が るかもしれません。当然、ESX 4.0（3.5 と比較した場合）および SUSE Linux Enterprise Server 11 上の Xen （SUSE Linux Enterprise Server 10 SP2 上の Xen と比較した場合）はどちらも、 機能だけでなくパフォーマン スも向上しています。ただし、両技術の向上は同程度であり、また異なるベンチマーク手法が使用されてい るため、パフォーマンス向上の大部分は Nehalem 技術によるものだと考えるのが妥当です。 SAP LinuxLab でこのようなワークショップを開催しているのには理由があります。かなり前から、Linux、 仮想化技術を使用した Linux 開発者、およびこの分野の企業は密接に関わり合ってきました。この関わり合 いは、組み込みデバイスからメインフレームまで、さまざまなアーキテクチャをカバーするために Linux が 採用している汎用性の高いアプローチから生まれたのかもしれません。安定した仮想化ソリューションを開 発するためには汎用的なエントリも必要となるからです。したがって、ノベルが仮想化のために、また仮想 化によって最適な OS を構築すると宣言したことは、REALTECH から見れば信頼のおける選択肢です。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 28 - これから始まる歴史の未来 このホワイトペーパーの最後の、そしておそらく最も論議を呼ぶであろう章では、未来に目を向け、アーキ テクチャ開発の歴史について見ていきます。ただし、この歴史はまだ始まってすらいません。 このホワイトペーパーの筆者が 2002 年に初めてアーキテクチャ分析およびプラットフォーム推薦調査を実 施したとき、あるお客様向けに出した結果では、（定義したすべての基準において）Tru64 と AIX がまった くの引き分けでした。しかし数年前、Compaq が DEC を買収し、HP との合併も発表されました。プラッ トフォームの未来に関する質問は、控えめな言い方をしても「不要」とされていました。米国国防総省など の重要なお客様との間で、2012 年以降にまで及ぶ引渡契約については、見積もりが作成されていました。 とにかく、競合する UNIX 製品を持つ企業（HP）が抱えることとなったプラットフォーム（当時最高の UNIX ではあったかもしれないが、必ずしも最高の CPU アーキテクチャではなかった）は疎外され、継続されな いだろうとの判断に基づいて、REALTECH は AIX を推薦しました。 REALTECH は正しかったのです。 現在に目を向けてみると、現在の技術的な変化は 10 年前よりも、そしておそらくは ERP IT の世界ではか つてないほど力強く、劇的なものだと言えます。昨年、British Telecom がデータセンターからすべての UNIX アーキテクチャを排除して、Intel のみを採用する戦略を発表したことは、大きな事例です。他社もそれに追 随したか、追随する予定でいます。大多数のお客様が Itanium から離れていっている事実、SPARC アーキ テクチャの不確かな状況（Oracle は本当に長期的に CPU を製造したいと考えているのか?）、そしてこれ らのアーキテクチャはパフォーマンス（Itanium）、グリーン IT の側面（Itanium）、あるいは市場向けに製 造される、または市場から必要とされるプロセッサの絶対数（SPARC）に関して苦戦を強いられていると いう事実を考慮すると、2020 年までに SPARC と Itanium は、少なくとも SAP の新開発製品や新リリー スに関して、SAP の世界から消えると予測できます。Power は IBM を拠り所とし、AIX は論理パーティショ ニングや CPU 容量管理に関しては確かな優位性を持っていることから、Power は AIX とともに生き残る公 算が大きいでしょう。現状を見る限りでは、Intel が独占する x64 は ERP CPU アーキテクチャのリーダー になるでしょう。この発展を通じて、Linux はデータセンターにおける主要なバックエンド OS になる可能 性が高いと言えます。これが、過去 5 年間のトレンドを観察した結果辿り着いた論理的結論です。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 29 - 付録 グリーン IT の側面—計算表 電力入力当たりの容量 Server Vendor Server Type Processor Name Capacity/power input (max. CPUEquipment) [SAPS/W] HP SUN SUN SUN IBM IBM IBM HP HP SUN IBM DELL HP HP HP HP SUN HP IBM DELL IBM SUN ProLiant BL680c G5 Fire X4450 Fire X4600 M2 Enterprise T5240 x3850 M2 x3950 M2 x3650 M2 Proliant DL 380 G6 ProLiant DL580 G5 Blade Model X8450 p570 P6 Modell 9117 PowerEdge R900 Proliant DL 380 G5 Proliant ML 370 G5 Proliant DL385 G5p rx6600 Integrity Enterprise M9000 N2 Integrity Superdome p595 P6 PowerEdge 2900 x3500 Enterprise M9000 N1 © 2009 REALTECH Consulting XEON E7450 XEON X7460 Opteron 8384 UltraSPARC64 T2 Plus (Victoria Falls) XEON X7460 XEON X7460 XEON 5570 XEON X5570 XEON X7460 XEON E7340 Power6 XEON 7460 XEON X5470 XEON X5460 Opteron 2384 Itanium 9050 (Montecito) UltraSPARC64 T2 (Niagara 2) Itanium 9140M (Montvale) Power6 XEON 5460 XEON 5355 UltraSPARC64 T1 (Niagara 1) Helmut Spöcker –- 2009 年 7 月 32,86 29,34 21,87 19,85 18,96 18,96 18,91 18,55 18,29 16,59 15,89 13,62 12,60 10,47 10,33 8,94 7,82 7,67 6,47 5,83 5,38 3,95 - 30 - 排熱当たりの容量 Server Vendor Server Type Processor Name Capacity/waste heat (max. CPUEquipment) [SAPS/kJ/h] DELL DELL SUN IBM SUN HP HP SUN SUN IBM IBM IBM HP HP IBM HP HP HP SUN HP IBM SUN PowerEdge R900 PowerEdge 2900 Fire X4450 x3650 M2 Fire X4600 M2 Proliant DL 380 G6 ProLiant DL580 G5 Enterprise T5240 Blade Model X8450 x3850 M2 x3950 M2 p570 P6 Modell 9117 Proliant DL 380 G5 Proliant ML 370 G5 x3500 Proliant DL385 G5p ProLiant BL680c G5 rx6600 Integrity Enterprise M9000 N2 Integrity Superdome p595 P6 Enterprise M9000 N1 © 2009 REALTECH Consulting XEON 7460 XEON 5460 XEON X7460 XEON 5570 Opteron 8384 XEON X5570 XEON X7460 UltraSPARC64 T2 Plus (Victoria Falls) XEON E7340 XEON X7460 XEON X7460 Power6 XEON X5470 XEON X5460 XEON 5355 Opteron 2384 XEON E7450 Itanium 9050 (Montecito) UltraSPARC64 T2 (Niagara 2) Itanium 9140M (Montvale) Power6 UltraSPARC64 T1 (Niagara 1) Helmut Spöcker –- 2009 年 7 月 8,37 8,30 8,15 7,31 6,08 5,15 4,98 4,80 4,61 4,55 4,55 4,41 3,64 2,91 2,88 2,87 2,57 2,48 2,17 2,13 2,02 1,09 - 31 - 電力密度 Server Vendor Server Type Processor Name Power density (max. CPUEquipment) [1000*SAPS/m³] SUN HP IBM HP SUN SUN SUN HP IBM IBM HP DELL IBM SUN IBM HP HP HP DELL IBM HP SUN Enterprise M9000 N2 ProLiant DL580 G5 x3650 M2 Proliant DL 380 G6 Fire X4450 Enterprise T5240 Enterprise M9000 N1 Proliant DL385 G5p x3850 M2 x3950 M2 Proliant DL 380 G5 PowerEdge R900 p570 P6 Modell 9117 Fire X4600 M2 p595 P6 ProLiant BL680c G5 Proliant ML 370 G5 rx6600 Integrity PowerEdge 2900 x3500 Integrity Superdome Blade Model X8450 © 2009 REALTECH Consulting UltraSPARC64 T2 (Niagara 2) XEON X7460 XEON 5570 XEON X5570 XEON X7460 UltraSPARC64 T2 Plus (Victoria Falls) UltraSPARC64 T1 (Niagara 1) Opteron 2384 XEON X7460 XEON X7460 XEON X5470 XEON 7460 Power6 Opteron 8384 Power6 XEON E7450 XEON X5460 Itanium 9050 (Montecito) XEON 5460 XEON 5355 Itanium 9140M (Montvale) XEON E7340 Helmut Spöcker –- 2009 年 7 月 491,27 450,45 439,45 435,97 382,80 346,03 248,10 240,31 228,50 228,50 219,73 173,37 163,92 91,06 88,98 85,95 85,45 72,71 70,36 61,83 51,37 34,84 - 32 - ソースおよび参考資料 インターネット http://www.sap.com/benchmark http://www.xware.net/sapbench.html http://www.sap.com/solutions/benchmark/sd2tier.epx http://www.heise.de/newsticker/Intels-neue-Xeon-MP-Linie-mit-sechs-Kernen--/meldung/115997 http://www.heise.de/ix/Intel-will-an-der-GCC-Entwicklung-mitwirken--/news/meldung/136152 http://www.tpc.org/ http://www-03.ibm.com/servers/ http://welcome.hp.com/country/us/en/prodserv/servers.html http://www.sun.com/servers/ http://www.novell.com/linux http://www.amd.com/ http://www.intel.com/ http://www.gartner.com http://www.idc.com http://www.realtech.com/linux その他 RAAD Consult のプレゼンテーション: 『Virtualisierung in SAP-Umgebungen – Status, Chancen und Herausforderungen』、2009 年 3 月 RAAD Consult のプレゼンテーション: 『Open Source in SAP-Umgebungen am Beispiel Linux』、 2009 年 3 月 SAP LinuxLab 仮想化ワークショップ、2009 年 2 月: 結果と評価（2009 年 4 月） 『Lower the TCO of Your SAP Infrastructure（SAP インフラの TCO の低減）』、ノベル、 SAP、REALTECH の合同 Web セミナープレゼンテーション、2009 年 1 月 『The Role of x86 Processors in the Virtualized, Energy-Constrained Datacenter』、 Georgio Nebuloni & Thomas Meyer、IDC ホワイトペーパー、2008 年 11 月 公開情報および内部情報は INTEL Corp により筆者に独占的に提供されました。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 33 - REALTECH について REALTECH は基盤技術の専門企業として 1994 年に設立され、当初から SAP と密接かつ良好な関係を築い てきました。REALTECH は Intel サーバ（当時はほとんどが Microsoft Windows）上への SAP R/3®環境の実 装を専門としていましたが、90 年代後半に Linux が登場し始めた頃から、その新しい戦略サーバプラット フォームとしての潜在的な重要性を即座に認識していました。その結果、Linux 対応 SAP R/3 のリリースの 公式発表をもって、REALTECH は SAP LinuxLab の創設メンバーとなり、以来現在に至るまで、SAP のフ ラグシップ Linux 組織の中で数少ない独立系コンサルティング企業の 1 つとなっています。 REALTECH は、SAP ERP および SAP NetWeaver®の実装、最適化、SAP GoingLive™、またはマイグレー ションプロジェクトのあらゆる技術的側面を完全にサポートするサービス企業です。提案依頼書の作成、ハー ドウェアベンダの入札およびプロジェクト提案の評価、ハードウェアの構成およびサイズならびにプロジェ クト計画の精査、意思決定のためのラボ構成の設定、調査および文書化、ハードウェアベンダを対象とした 専門分野に特化した設定およびベンチマークの実施を担当しています。また、お客様のプロジェクト計画、 プロジェクト管理、プロジェクト制御も実施しています。これらの概念的な作業だけでなく、REALTECH の技術およびビジネスに関する専門性を必要とするお客様に対しては、通常のインストール作業、マイグレー ション作業、アップグレード作業ももちろんご提供しています。 REALTECH は、Linux マイグレーションプロジェクトに関するお客様向け参考資料を豊富に所有しており、 世界各国で SAP マイグレーションに関するノベル推奨パートナーとなっています。Linux を活用するための お客様固有のアプローチの調査、計画、実装をお引き受けします。 弊社のサービスに興味をお持ちの場合は、www.realtech.comからご連絡いただくか、 [email protected]までお問い合わせください。 © 2009 REALTECH Consulting Helmut Spöcker –- 2009 年 7 月 - 34 -