Comments
Description
Transcript
次世代高信頼・省エネ型IT基盤技術開 発事業（省エネ型クラウド
日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 1 次世代高信頼・ 次世代高信頼・省エネ型 エネ型ＩＴ基盤技術開 ＩＴ基盤技術開 発事業（ 発事業（省エネ型 エネ型クラウドコンピューティ クラウドコンピューティ ングのための ングのためのクラウド センサー管 のためのクラウド上 クラウド上のセンサー管 理基盤の 理基盤の研究開発） 研究開発） 平成 22 年度 委託事業 委託事業報告書 事業報告書 2011 年 3 月 18 日 1.00 版 日本アイ・ビー・エム株式会社 文書管理番号：ah2201 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 2 本書について 本書について このドキュメントは、次世代高信頼・省エネ型ＩＴ基盤技術開発事業における平 成２２年度委託事業（テーマ名：省エネ型クラウドコンピューティングのためのク ラウド上のセンサー管理基盤の研究開発）に関する報告書です。 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 3 目次 １. ２. はじめに........................................................................................................................................4 はじめに １-１ 事業目的 ...............................................................................................................................4 １-２ 事業の内容及び実施方法......................................................................................................6 １-３ 事業の実施体制 ....................................................................................................................8 １-４ 事業の実施期間及びスケジュール .........................................................................................8 本年度の 本年度の事業成果 ......................................................................................................................10 ２-１ 省エネ型クラウドコンピューティングの最新技術動向.............................................................10 ２-１-１ 省エネルギー技術の最新動向........................................................................................................ 10 ２-１-２ センサー技術の最新技術動向........................................................................................................ 14 ２-１-３ クラウドコンピューティングにおけるセキュリティ脅威分析 ................................................................. 17 ２-２ 省エネ型クラウドコンピューティングの要件定義 ....................................................................18 ２-２-１ 目的 .............................................................................................................................................. 18 ２-２-２ シナリオ......................................................................................................................................... 20 ２-３ センサー管理技術（要素技術）の要件定義および開発 ..........................................................24 ２-３-１ 要件定義、概要設計、詳細設計...................................................................................................... 24 ２-３-１-１ 要件定義 ............................................................................................................................... 24 ２-３-１-２ 概要設計 ............................................................................................................................... 24 ２-３-１-３ 詳細設計 ............................................................................................................................... 24 ２-３-２ 評価プログラム設計 ....................................................................................................................... 24 ２-３-３ センサー管理技術のデプロイ ......................................................................................................... 25 ２-４ データ分析技術（要素技術）の要件定義および開発..............................................................27 ２-４-１ エネルギー管理方針 ...................................................................................................................... 27 ２-４-２ 要件定義、概要設計、詳細設計...................................................................................................... 28 ２-４-２-１ 要件定義 ............................................................................................................................... 28 ２-４-２-２ 概要設計 ............................................................................................................................... 28 ２-４-２-３ 詳細設計 ............................................................................................................................... 28 ２-４-３ 機能開発 ....................................................................................................................................... 28 ３. まとめと来年度 まとめと来年度の 来年度の事業計画..........................................................................................................30 事業計画 ３-１ まとめ ..................................................................................................................................30 ３-２ 来年度の計画......................................................................................................................30 ３-３ 将来像.................................................................................................................................31 日本アイ・ビー・エム㈱ １. はじめに １-１ １ 事業目的 事業目的 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 4 一企業においては、自社サーバーを利用する代わりに外部のクラウドコンピュー ティングで必要な分だけリソースを利用するほうが一企業でのエネルギー消費量 は削減できると考えられるが、クラウドコンピューティングを構成するインフラが 運用されるデータセンターでは、多量のエネルギーを消費している。クラウドコン ピューティングそのものの省エネルギー化を進めなければ、日本全体としてのエネ ルギー削減にはつながらない。 省エネ型クラウドコンピューティングに必要なエネルギー使用量の最適化をす るには、データセンターの場所やそこでの気候（気温、湿度、風向き、雨量など） や、サーバールームやデータセンター全体の電力使用量、サーバーごとの負荷状況 や稼動実績、サーバールームへの人の出入りなど、関連する様々な情報をモニタリ ング、収集し、状況を多面的に把握した上で必要な対策を取る必要がある。そのた めに収集するデータに応じて様々なセンサーが必要となる。 既に設置されているさまざまなセンサーを特定のアプリケーションだけから使 うのではなく、複数のアプリケーションでセンサーを共有して利用できるようにす るセンサー管理基盤が提供されれば、既存のセンサーを複数のアプリケーションで 活用することが可能となる。センサー管理基盤上で、モニタリング対象となるクラ ウドコンピューティングに関連するセンサーを、迅速かつ自動的に仮想化・グルー プ化しプロビジョニングし、既存の物理センサーを活用しながらクラウドコンピュ ーティングのエネルギー管理アプリケーションを構築する仕組みを開発する（図 1）。 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 5 クラウドコンピューティング上 クラウドコンピューティング上の センサー管理基盤 センサー管理基盤 センサー管理 データ分析 センサー管理レイヤー 管理レイヤー データ分析レイヤー 分析レイヤー • 仮想化されたセンサーをクラウド上のITリソー • モニタ対象クラウドに関連する仮想センサーをグ スとして利用することを可能にする ループ化する • 仮想センサーとセンサーを利用するアプリ • 様々なセンサーからのデータを統一した手法でモ ケーションを迅速かつ自動的にプロビジョニン ニタリング，収集する グする • モニタ対象クラウドのエネルギー使用量，CO2排出 • センサー管理機構を提供する (センサーのモ 量のレポートをする ニタリング，操作など) 仮想化レイヤー 仮想化レイヤー クラウドAの 仮想センサー グループ クラウドBの 仮想センサー グループ 仮想 センサー 物理 センサー （例） 人感センサー モニタ対象 クラウドコンピューティングA, B スマートグリッド 天気センサー 図 1. クラウドコンピューティング上 クラウドコンピューティング上のセンサー管理基盤 センサー管理基盤 クラウドコンピューティングの省エネ化を目的とした、省エネ型クラウドコンピ ューティングのためのセンサー管理基盤およびクラウドコンピューティングのエ ネルギー管理アプリケーションを開発する。エンドユーザーにサービスを提供して いるクラウドコンピューティングを対象に、開発する管理基盤およびアプリケーシ ョンの実証実験を行う。 本研究は、「(1)省エネ型クラウドコンピューティングのためのセンサー管理技 術」と「(2)センサーデータを統一的に収集・分析・レポートする技術」の 2 つの 技術からなり、本年度は上記(1), (2)それぞれにおいてクラウドコンピューティング の省エネ化のための要件定義と開発（主にアーキテクチャの作成）を行う。平成 22 年度の技術的目標を以下に示す。 (2)センサーデータを統一的に収集・分析・レポートする技術開発のために、 センサーデータおよび、センサーデータと同時に収集するシステムデータ など 5 種類以上の対象データを調査する。 省エネ型クラウドコンピューティングのためのセンサー管理技術開発のた めに、センサーを 30 個以上設置しデータ収集を行う。 省エネ型クラウドコンピューティングのためのセンサー管理技術 および (2)センサーデータを統一的に収集・分析・レポートする技術の要件定義を 行い、一部開発を開始する。 論文執筆および国際会議参加を通じて、最新の関連技術動向の調査および 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 6 専門家からのフィードバックを、上記技術の要件定義・開発にいかす。 １-２ ２ 事業の 事業の内容及び 内容及び実施方法 省エネ対象のクラウドコンピューティングに対し、様々なセンサーを新たに設置 するのではなく、既に設置されているセンサーを活用する省エネ型クラウドコンピ ューティングのためのセンサー管理基盤の要素技術を構築する。さらに、センサー 管理基盤を利用してクラウドコンピューティングのエネルギー管理を行うアプリ ケーションを開発するための、要素技術の要件定義、一部開発を行う。 本研究は、「(1)省エネ型クラウドコンピューティングのためのセンサー管理技 術」と「(2)センサーデータを統一的に収集・分析・レポートする技術」の 2 つの 研究開発からなる。 (1) 省エネ型 エネ型クラウドコンピューティングのための クラウドコンピューティングのためのセンサー のためのセンサー管理技術 センサー管理技術 省エネ型クラウドコンピューティングのためのセンサー管理技術は、多種多様な センサーを仮想化し、複数のアプリケーションでセンサーを共有できる新しい基盤 をクラウドコンピューティング上に構築する。 省エネ型クラウドコンピューティングのためのセンサーの仮想化に関する要 件定義およびマッピング 省エネ型クラウドコンピューティングのためのセンサー管理基盤は、物理センサ ーをクラウドコンピューティング上で仮想化し、物理センサーと仮想化センサーの マッピングを管理する。平成 22 年度は、省エネ型クラウドコンピューティングの ためのセンサーの仮想化の要件定義を行う。また仮想センサーのテンプレート定義 に必要なマッピング（仮想センサーの標準的なデータアクセスのためのインターフ ェースから、スペックの違う省エネ型クラウドコンピューティングのためのセンサ ーにアクセスするためのマッピング）を実装する。 省エネ型クラウドコンピューティングのための仮想センサーのプロビジョニ ング 省エネ型クラウドコンピューティングのためのセンサー管理基盤に、仮想センサ ーのテンプレートを事前に定義しておくと、ユーザーやアプリケーションは必要な 時に必要な仮想センサーのテンプレートを選択することにより、IT リソースを用 いて仮想センサーおよびアプリケーションをプロビジョニングすることができる。 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 7 平成 22 年度は、省エネ型クラウドコンピューティングのための仮想センサーのテ ンプレート定義を作成し、登録し、仮想センサーのプロビジョニングを実現する。 また翌年度に予定している仮想センサーのプロビジョニングにかかる時間を測定 するための要件定義を行う。さらに、仮想センサーのプロビジョニングやセンサー 管理におけるセキュリティ確保のために、脅威分析を行う。 最新動向調査・報告書作成 論文執筆および国際会議参加を通じて、最新の関連技術動向の調査および広く専 門家からのフィードバックを得る。それらについては平成 22 年度および平成 23 年度以降の上記技術の要件定義・開発に役立てる。 (2)センサーデータ センサーデータを センサーデータを統一的に 統一的に収集・ 収集・分析・ 分析・レポートする レポートする技術 する技術 センサー管理基盤を利用した、クラウドコンピューティングのエネルギー管理の ためのデータ収集、分析、レポートする技術の要件定義および一部開発を行う。 適切な仮想センサーのグループ化手法の要件定義 モニタリング対象のクラウドコンピューティングにあわせて必要なセンサーを 自動的にグループ化する手法の要件定義を行う。物理センサーのスペック表すメタ データと、モニタリング対象となるクラウドコンピューティングを表すメタデータ のマッピングにより、必要な仮想センサーテンプレートを選択、グループを作成す る手法の詳細を定義する。 統一的なデータ収集・分析手法の要件定義 様々な種類のセンサーや各種システムデータから、異なる形式のデータを統一的 に収集する手法を構築するために、センサーデータおよび、センサーデータと同時 に収集するシステムデータなどの対象データを調査する。調査結果をもとに、デー タ収集・分析手法の要件定義を行う。また、データ収集におけるセキュリティ確保 のために、脅威分析を行う。 XBRL によるレポート出力機能の要件定義と一部開発 エネルギー管理アプリケーションにおいて、エネルギー使用実績を eXtensible 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 8 Business Reporting Language (XBRL)形式でレポート出力する機能の要件定義を 行う。エネルギー管理のための XBRL タクソノミーを設計し、コンポーネントの 開発を開始する。 最新動向調査・報告書作成 論文執筆および国際会議参加を通じて、最新の関連技術動向の調査および広く専 門家からのフィードバックを得る。それらについては平成 22 年度および平成 23 年度以降の上記技術の要件定義・開発に役立てる。 １-３ ３ 事業の 事業の実施体制おい 実施体制おい 本事業は、以下の委託事業責任者のもとに実施した。再委託等は行っていない。 氏名： 板倉 真由美（イタクラ マユミ） 企業名：日本アイ・ビー・エム株式会社 所属： 東京基礎研究所 役職： サービス・リサーチ担当部長 １-４ ４ 事業の 事業の実施期間及び 実施期間及び実施計画 事業実施期間：平成２２年１１月９日から平成２３年３月１８日まで 日本アイ・ビー・エム㈱ ■ 平成２２年度 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 9 実施計画 平成22年 平成 年 平成22年 平成 年 平成23年 平成 年 平成23年 平成 年 平成23年 平成 年 11月 月 12月 月 1月 月 2月 月 3月 月 １. センサー管理 センサー管理 技術の 技術 の要件定義 ２. センサー管理 センサー管理 技術の 技術 の開発 ３. データ分析手 データ分析手 法の 要件定義 ４. データ分析手 データ分析手 法の 開発 ５. 最新動向調査 報告書作成 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 ２. 本年度の 本年度の事業成果 事業成果 ２-１ １ 省エネ型 エネ型クラウドコンピューティングの クラウドコンピューティングの最新技術動向 Page 10 ２-１ １-１ １ 省エネルギー技術 エネルギー技術の 技術の最新動向 クラウドコンピューティングの省エネルギー化として現在行われているのは、ク ラウドコンピューティングを構成する複数のデータセンターにおいて、それぞれの データセンターでのエネルギー削減を行う取り組みである。そこで、本節では（１） データセンターでの省エネルギー技術と、（２）データセンターのエネルギー効率 の評価指標に分類し、それぞれの最新動向を述べる。 (１) データセンターでの省エネルギー技術 クラウドコンピューティングを行うデータセンターにおける電力使用量の多く を占めるのが、空調機器・IT 機器・UPS の三つであることが知られている[1]。文 献[1]によると、空調機器や UPS に関しては多くの工夫が行われている。まず、 空調機器に関しては、データセンター内の空気流の調整を行うことによりデータセ ンター内の特定の箇所の温度が高くならないように工夫したり、冷気の通路の温度 を（IT 機器の故障率に影響のない範囲で）高めに設定したりすることにより消費 電力を削減する努力が行われている。そして UPS に関しても、データセンター共 有の大型 UPS を配置する代わりに、サーバーごとに小型の UPS を設置すること で電力効率を大幅に引き上げられることが分かっている。これらの工夫を適切に行 うことにより、PUE（データセンター全体の消費電力に対する IT 機器の消費電力 の比）を 2 未満にまで削減することができ、さらには、米国環境保護庁は 2011 年 までに PUE 1.4 を達成できるとしている。 PUE が 2 未満のデータセンターにおいては、IT 機器の消費電力が最大となるた め、IT 機器の消費電力の削減が重要な課題となる。このうち、サーバーの消費電 力に関しては、サーバーの統合による消費電力の削減が盛んに研究されている。通 常、データセンター内にあるサーバー全てがフル稼働しているという状況はあまり なく、10～50%程度の CPU 使用率で推移することが多い（たとえば、グーグルの 報告によると、グーグルで使用している 5000 台のサーバーについて、半年間の CPU 使用率の平均は大半が 50%以下であった[1]）。そのため、他のサーバーでも 実行可能なワークロードを、CPU 使用率に余裕のあるサーバーにできるだけマイ グレーションし、使用しないサーバーの電源をオフにすることで消費電力を削減す ることを目指した研究が数多く行われている（たとえば[2]が挙げられる）。ただ、 これらの手法は基本的には特定の実験環境で行われたものであり、現実のデータセ 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 11 ンター内のワークロードをマイグレーションするには制約も多く、今後の研究の進 展が望まれる。 サーバー以外には、ストレージやネットワーク機器の消費電力も大きい。ストレ ージに関しては、たとえば、多くのストレージで使われている HDD に代えて、よ り消費電力の小さい SSD (Solid State Drive) を導入することによる消費電力の削 減が考えられている[3]。また、ネットワーク機器に関しても、必要最小限のネッ トワークスイッチを設置することにより、スイッチの総数を減らす研究がなされて いる[4]。 また、消費電力自体の削減ではなく、電力にかかるコスト（金額）自体を削減す る研究も行われている。データセンターは分散配置されることが多く場所ごとに電 気料金が大きく異なる上、各地の需要の状況により日々電力料金が異なるため、デ ータセンターをまたいでワークロードをうまく配分することでコストが削減でき るというものである[5]。 本事業では、複数のデータセンターから構成されるクラウドコンピューティング において、単純に消費電力を下げることを目的とするのではなく、IT 機器の消費 電力のうちサーバーによる消費電力量をエネルギー管理方針に基づいて最適化す ることを目的としている。本事業で開発する技術は、空調による消費電力削減のた めの既存の取り組みに加えて、さらにクラウドコンピューティングにおける消費電 力を削減または最適化することに貢献するものである。 (２) データセンターのエネルギー効率の評価指標 データセンターのエネルギー効率を表す指標として、最も広く使われているのは、 施設の電力効率を表す PUE 指標であるが、これに加えて、データセンター内の IT 機器の電力利用効率を含めた新しい指標が検討されている。グリーン IT 推進協議 会（Green IT Promotion Council , GIPC) [6]で検討されている、Datacenter Performance per Energy (DPPE) [7]は、４つのサブ指標から構成される。下記に、 それぞれのサブ指標のうち ITEU, ITEE, PUE に対応したデータセンターのエネ ルギー効率化の既存技術・事例を示し、今後の課題について述べる。 １）ITEU（IT Equipment Utilization）関係 ITEU は IT 機器の能力を無駄なく利用する仮想化技術、オペレーション技術に よる省エネの度合いを示す。必要とされる IT 能力に見合った数の機器を無駄なく 利用することにより、設置する機器の削減を促すものである。 文献[8]によると、彼らはマイクロプロセッサの設計をするため、膨大なコンピ 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 12 ューティング能力を必要としており、平均 85%という高い使用率の約 65000 台の サーバーを持っている。彼らは 4 年間の周期でこれらのサーバーを更新しており、 更新時に平均 10：1 の比率のサーバー統合を達成している。これによりデータセ ンターのさらなる設備投資の回避、運用コストの削減を実現している。また、今後 インテル社内の他のコンピューティング分野への取り組みを拡大していくとして いる。 ITEU は本来データセンターに含まれる全ての IT 機器の平均利用率であるが、 具体的な算出にあたっては測定しやすさを考慮し、「IT 機器の総実測電力と総定 格電力の比を使用する方法」を採用することが検討されている。 ２）ITEE（IT Equipment Energy Efficiency）関係 ITEE は、IT 機器の総能力を IT 機器の総定格電力で割った値と定義されている。 この指標では、単位電力あたりの処理能力の高い機器の導入を促すことにより、省 エネを推進することを目指している。考え方は The Green Grid の DCeP(Data Center energy Productivity)[9] と同様である。 文献[10]では、サーバーの電源管理機能の使用に関して市場の現状を調査し、結 論として次の推奨事項を提案している。 業界やエンドユーザーが電源管理機能を議論するとき、参照することが できる明確な電源管理文書を作成すること。 現在使用可能な電源管理機能について、その働き、そのパフォーマンス 向上の可能性に関する教育資料を作成すること。 電源管理機能を制御するための、また電力及びエネルギーの統計データ を収集するための標準的な方法を開発すること。 運用コストと設備投資コストの両方の観点から、電源管理機能による経 済面及び環境面に対するの利点を示すことができる ROI モデルを開発す ること。 文献[11]はワシントン D.C.にある典型的な EPA の中規模データセンター（ワン ポトマックヤード：OPY）に対する調査結果と推奨事項を提示する最初のレポート である。グリーングリッドのアセスメントチームは、エネルギー効率と運用の両方 に影響を与える問題点を OPY の配電システムで発見している。OPY データセンタ ーの UPS（無停電電源装置）の定格は 400kVA／360kW であるが、UPS の出力 負荷は 67kW と小さく、これは定格容量の約 19％でしかない。この電力レベルで は固定損失が大きく、UPS の効率は約 75％となる。UPS は低負荷で稼働すること になり、配電経路の効率が低下する。業界のベストプラクティスに従えば、OPY 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 13 の現在の電力システムの冗長構成では、UPS の負荷率は最大 80％が推奨されてい る。 ITEE を実測することは、データセンターの中には、様々な機器、様々なサービ スが混在し、困難と考えられることから、データシートのスペック値を用いて、単 純に計算する方法を検討し、データセンター内の IT 機器のカタログ上の省エネ性 能の加重平均値となるであろうと考えられている。 ３）PUE（Power Usage Effectiveness）関係 Power Usage Effectiveness (PUE) は、グリーングリッドが提唱する指標であり、 施設の使用電力の合計を、IT 機器の使用電力で除算して求めるものである。現在 最も広く使われている指標である。 文献[11]のアセスメントによって、OPY では現在負荷が低く、PUE の値が約 2.9 であることが明らかになった。総電力は 132 kW で、うち約 45kW が IT 機器、87kW が冷却、配電、照明によって使用されている。冷却システムの設計においては、対 処すれば OPY の冷却システム効率改善につながる具体的な問題が多数検出されて おり、以下のような観察結果を報告している。 CRAC（空調機）ユニットで計測された空気流量は定格値 14,870CMH より低い。 床下と天井上で空気の流れが遮断される箇所（梁や配管）があり、CRAC の静圧が上がっている（空気流量は低下）。 一部のラックの前面にはガラス扉がある。このラックは除去し、再利用 を避ける。今後調達する際は、通気孔のない扉のラックは購入しない。 天井に戻り空気ダクトの開口部があり、部分的にブロックされている。 床下のケーブルトレイと配電によって、空気分配と気流が妨げられてい る。 このデータセンターに特効薬があるとすれば、それはデータセンターの統合であ る。OPY はスペース、電力、冷却の面で、大きなキャパシティを保有しており、 IT 機器を OPY 内に移動すれば、大幅な節減を実現できるとしている。 さらに、グリーングリッドは 2009 年 2 月にデータセンターのエネルギー使用量 の計測の実態についてのオンライン調査を実施している[12]。PUE は必ず 1.0 以上 の値になり、無限に大きな値を取り得る。回答者の平均 PUE 値（2.03）は、グリ ーングリッドが数年前に同様の調査を実施した時点から大きく変化していない。た だし、これは前回の調査時からデータセンターを取り巻く環境が変化していないこ 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 14 とを意味するのでなく、エネルギー使用の理解が進み、仮想化やサーバー統合など を始めとする取り組みを行っているためである。この調査では、エネルギー効率へ の理解を深めた後、データセンター運用者が取るもっとも一般的な対策は機器の仮 想化であることが明らかになり、他の効果的な処置には以下のようなものが挙げら れている。 サーバーの統合と最適化 低電力／低ワット数の最新型のプロセッサを搭載したコンピューターの 購入 電力管理ツールの最大活用 従業員に機器の電源オフを推進させる PUE は、測定のための標準化やガイドラインを望む声が多いため、グリーング リッドは一貫性のある測定ガイドラインの整備を進めている。 本事業では、単一データセンターではなくクラウドコンピューティング全体での エネルギー最適化を目的としており、上記の指標が必ずしもそのまま利用できると は限らない。クラウドコンピューティングのエネルギー効率を表す指標に関しては、 今後議論が必要であるため、本事業ではエネルギー最適化を行う指標として上記の 指標は参考にとどめる。 ２-１ １-２ ２ センサー技術 センサー技術の 技術の最新技術動向 現在、さまざまな用途と目的で設置されたセンサーが、それに対応する IT シス テムに接続されて利用されている。センサーとは、自然現象や人工物の機械的・電 磁気的・熱的・音響的・化学的性質あるいはそれらで示される空間情報・時間情報 を、何らかの科学的原理を応用して、人間や機械が扱い易い別媒体の信号に置き換 える装置である[13]。たとえば、センサーが温度・湿度・電圧の情報を電気信号に 変換し、測定結果を人間がコンピューターやディスプレイを通して見ることができ る。センサー・ネットワークは、1 個以上のセンサー付き無線端末が、協調して環 境情報や物理的状況を採取することを可能とする無線ネットワークである[14]。各 センサーからのデータは中枢へ、別のセンサーを経由しながら、送られる。 センサーおよびセンサー・ネットワーク関連の技術は、最近登場したわけではな く、以前より研究分野が確立されていて、既に多くの研究が積み重ねられている。 本節では、(１) ルーティング､(２) センサーの低消費電力化、(３) センサーの クロック同期、(４) センサーの位置検出、(５) OS・プログラミング、（６）セ ンサー・ネットワークのアプリケーション、（７）センサーの管理技術として分類 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 15 し、調査結果について述べる。 (３) ルーティング アプリケーションがセンサーデータを利用するには、センサーからのデータをマ ルチホップで転送して処理をし、アプリケーションまで伝播させる必要がある。各 センサーが自分のデータをブロードキャストによって転送すると、データはネット ワーク全体に伝播するが、ネットワークに負荷がかかる上に、中継するデータ量が 多くセンサーの消費電力も増加するので、望ましくない。必要な方向に絞ってセン サーのデータを伝播させるルーティングにより伝播させることが多い。 ルーティングの基本的な方法は、ルーティングツリーを構築する手法である。ル ーティングツリーは、データの受信側となるセンサーをルートとし、データの送信 側となるセンサーをリーフとするツリーである。リーフのセンサーが自身の親のセ ンサーにデータを送信し、親のセンサーがその親へとデータを転送して、最終的に ルートのセンサーがデータを受信する[15]。ルーティング・プロトコルの研究にお いて、3 次元の位置情報を用いたアルゴリズムの研究[16]が行われている。 (４) センサーの低消費電力化 センサーを長期間独立して配置するには、その間、稼動する電力が必要となる。 センサー・ネットワークにおいて、センサーの電力が少ないために、通信資源や計 算資源が乏しく、制約を受ける。燃料電池の次世代バッテリ技術の研究も進められ ているが、できるだけセンサーの消費電力を抑えて、電池の寿命を延ばすことも重 要である。 たとえば、センサーを広範囲に設置すると、データを収集する基地局に近いセン サーは、より遠方のセンサーのデータを中継する通信回数が多いため、他のセンサ ーよりも電力消費が大きく、電池切れまでの時間が短い。結果として、電池切れを おこしたセンサーが中継していた他のセンサーのデータも基地局に届かなくなっ てしまう。 牛にセンサーをつけて位置を特定する場合、ある牛につけたセンサーが他の牛の 位置を特定できる場合、カバーされる牛のセンサーの電源を切り、再度カバー範囲 からはずれた時にセンサーの電源を入れるという手法でセンサーの電力消費を抑 える研究[17]がある。さらにセンサー自身の消費電力ではないが、センサーが組み 込まれている携帯電話の消費電力を、CPU の使用率を抑えることで低くするが、 センサーの性能自体を落とさない技術の研究[18]もある。 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 16 (５) センサーのクロック同期 センサーが測定したデータへの正確なタイムスタンプがあれば、センサー間での データ統合と解析が容易になるため、センサーのクロック同期は重要であり、セン サーを使うアプリケーションによっては、マイクロ秒からピコ秒の領域での同期が 求められる場合がある[15]。 たとえば、上記の「(４)センサーの低消費電力化」でも述べた通り、センサーの 消費電力を抑えるのは重要なので、電力消費量を抑えて、センサーのクロック同期 をさせる研究[19]が行われている。 (６) センサーの位置検出 多数のセンサーからのデータを処理する場合、センシング対象物やセンサー自身 の正確な位置の検出は必須である。要求される位置情報の精度は、利用アプリケー ションの用途に依存する[15]。 たとえば、野生動物の生態観測のために、動物にセンサーをつけて、位置を測 定する研究[20]がある。この研究では、対象の野生動物が地下に潜る習性があるた め、RFID タグだけでは位置が測定できないため、磁力を用いたセンサーを使い、 位置を検出している。 (７) OS・プログラミング センサーはハードウェアの機能・性能が極めて限られているため、汎用 OS をそ のまま利用できず、センサーに特化した OS が研究・開発されている。中でも、オ ープンソースで開発されている TinyOS[21][22][23]が有名で、センサー・ネットワ ークの研究に広く利用されている。TinyOS は、限られたリソース（メモリ、CPU 能力、電力）で、TinyOS 上のプログラムの研究・開発ができるように設計されて おり、イベント駆動型で処理をするので、きめ細やかな電力の管理も可能である。 無線センサー・ネットワークのためのプログラムを効率的にデバッグするための研 究[24]や、仮想メモリーやマルチ・スレッドをサポートする OS「Enix」[25]の研 究が発表されている。 (８) センサー・ネットワークのアプリケーション センサーとネットワークを結合することによって、様々なサービスやアプリケー ションが研究・開発・利用されるようになってきている。 たとえば、センサーをつけた自動車の位置を特定するアプリケーション[26]、利 用者のスマート・フォンを活用して、時刻表通りに運行しないシカゴの電車やバス 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 17 の到着を予測するアプリケーション[27]、病院の患者のモニタリング[28]やプライ バシーを守りつつヘルスケアのデータを共有するアプリケーション[29]、家の暖房 のエネルギー管理アプリケーション[30]というように、交通や医療、環境といった 幅広い分野でセンサー・ネットワークのアプリケーションの研究・開発・利用例が 発表されている。 これらのように、センサーや無線タグ技術によって現実社会の物がインターネッ トを通じてつながることにより生まれるビジネスや価値、そのためのアーキテクチ ャや要素技術は総称して Internet Of Things （IoT, モノのインターネット）[31] と呼ばれており、センサーから収集したデータを分析することで新たな知見を得る 研究が活発に行われつつある。 (９) センサーの管理技術 多数のセンサーを利用者へ提供することを考える上で、センサーがきちんと動い ているか、故障していないか、監視することも必要である。いざセンサーからのデ ータを利用しようとした時に、該当のセンサーが電池切れや故障が原因で作動して いないと、意味がない。森の中にばらまいたセンサーの位置特定やネットワークを 監視する研究[32]や街中のセンサー・ネットワークを監視する研究[33]がある。 またセンサーの制御という点では、上記の「(４)センサーの低消費電力化」でも 述べた通り、センサーの消費電力を抑えるのは重要なので、センサー間で電力をや り取りして、センサーの電力を長持ちさせる研究[34]も行われている。 ２-１ １-３ ３ クラウドコンピューティングにおける クラウドコンピューティングにおけるセキュリティ におけるセキュリティ脅威分析 セキュリティ脅威分析 本事業におけるセンサー管理基盤では、様々な種類のセンサーからデータを収集 する。信頼性の高い分析のためには、分析の入力となるデータが信頼の置けるもの であることが重要であるため、データ収集におけるセキュリティは非常に重要であ る。一般的な情報セキュリティにおいては、データの機密性、完全性、可用性（CIA: Confidentiality, Integrity, Availability）が必要とされる。ここではそれぞれのセ キュリティ脅威とその回避方法について述べる。 機密性（Confidentiality）とは正当な権利を持っているもの以外にデータが盗み 見られていないことを示す。これを実現するにはシステムにおける認証、認可、ア カウンティング（AAA: Authentication, Authorization, Accounting）が必要とな る。認証（Authentication）とはアクセスの主体、つまり誰がアクセスしているの かを確認することである。具体的にはログイン処理を行うことなどが挙げられる。 認可（Authorization）とはアクセスの主体がそのアクセスの正当な権利を持って 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 18 いるかを確認することである。具体的にはアクセスコントロールのポリシーを正し く定義し、適切にアクセスが制御されるようにすることが必要となる。アカウンテ ィング（Accounting）とはアクセスの主体が行った操作をログとして記録してお くことである。これによって問題発生時の原因解明が容易となる。また、通信経路 におけるデータの盗聴に対してはデータを暗号化することによって防ぐことがで きる。 完全性（Integrity）とはデータが正確であり改竄されていないことを示す。これ を実現するためにも上述の認証、認可、アカウンティングを行い、不正アクセスを 防ぐことが必要となる。また、通信経路における改竄に対してはデータに電子署名 を付与することで防ぐことができる。 可用性（Availability）とは必要な時にデータが利用可能な状態にあることを示 す。これは適切な処理能力を持つシステムを構築することや二重化、バックアップ などによって実現できる。しかし、サービス拒否攻撃（Denial of Service attack） のような正当な大量のアクセスを防ぐことは難しく、一時的にタイムアウトさせる などの対策が必要となる。 クラウドコンピューティングのような多数のユーザーからのアクセスのあるシ ステムにおいては、上記のようなセキュリティ脅威に対しての対策を行っておくこ とが重要である。本事業におけるセンサー管理基盤においてはセンサーデータへの 不正アクセスやサービス拒否攻撃、センサーデータの改竄などの脅威が考えられる。 しかし、本事業におけるセンサーのようなアクセスの主体が限定されたシステム においてはセキュリティ脅威の大きさは比較的小さい。また、センサーのような比 較的小さな物理デバイスにおいてはセキュリティ機能を搭載することが難しいこ とも考えられる。このような場合にはセンサーからのデータの受け手側で不正なデ ータに対しても頑健なシステムを構築しておくことが重要である。さらに、センサ ーのような物理デバイスでは、物理的にセンサーに細工を行うといった攻撃も考え られる。このような攻撃に対してはセンサーの設置場所への入室管理等を適切に行 うといった対策が必要である。 ２-２ ２ 省エネ型 エネ型クラウドコンピューティング クラウドコンピューティングの ドコンピューティングの定義 ２-２ ２-１ １ 目的 省エネ型クラウドコンピューティングに必要なエネルギー使用量の最適化をす るには、データセンターの気温、湿度などや、サーバールームやデータセンターの 電力使用量、サーバーごとの負荷状況や稼動実績、さらに排出量の上限や再生可能 エネルギーの利用によるオフセットなど、関連する様々な情報をモニタリング、収 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 19 集し、状況を多面的に把握した上で必要な対策を取る必要がある。そのために収集 するデータに応じて様々なセンサーが必要となる。 既に設置されているさまざまなセンサーを特定のアプリケーションだけから使 うのではなく、複数のアプリケーションでセンサーを共有して利用できるようにす るセンサー管理基盤が提供されれば、既存のセンサーを複数のアプリケーションで 活用することが可能となる。センサー管理基盤上で、モニタリング対象となるクラ ウドコンピューティングに関連するセンサーを、迅速かつ自動的に仮想化・グルー プ化しプロビジョニングし、既存の物理センサーを活用しながらクラウドコンピュ ーティングのエネルギー管理アプリケーションを構築する仕組みを開発する。 図 2に省エネ型クラウドコンピューティングの構成と関係するロールの概念図 を示す。省エネ型クラウドコンピューティング提供企業は、省エネ型クラウドコン ピューティングを管理するためのセンサー管理基盤を持ち、クラウド提供部門によ り管理されている。クラウド提供部門により、省エネ型クラウドコンピューティン グの IT リソースが省エネ型クラウド利用者に提供される。 省エネ型クラウドコンピューティング提供企業 ビジネスオーナー クラウド提供部門 ファイナンス責任者 クラウド管理者 DC1 センサー管理 サーバー センサー管理基盤 IT管理者(DC1) センサー DC2 DC3 センサー センサー IT管理者(DC2) IT管理者(DC3) 省エネ型クラウドコンピューティング 省エネ型クラウド利用者 図 2. 省エネ型 エネ型クラウドコンピューティング 概念図 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 20 省エネ型クラウドコンピューティング提供企業におけるロールを表 1に示す。 ロール 説明 ビジネスオーナー 省エネ型クラウドコンピューティングを提供するビジネス の責任者。 クラウド管理者が行った分析結果をもとに、ファイナンス 責任者と協力して、実行するアクションを了承する。 ファイナンス責任 者 省エネ型クラウドコンピューティングを提供する企業のフ ァイナンスの責任者。 クラウド管理者が行った分析結果をもとに、ビジネスオー ナーと協力して、実行するアクションを了承する。 クラウド管理者 省エネ型クラウドコンピューティングの管理および運用責 任者。 管理対象クラウドおよび全データセンターについて、エネ ルギー最適化のためのポリシーを定義し、運用方針を決定 する。 日常のデータセンター管理においてモニタリングしたデー タをもとに、ポリシーに基づいてエネルギー消費量や排出 量を最適化するアクションを決定する。 IT 管理者 日常的な IT 管理として、各データセンターのサーバーのエ ネルギー消費量などをモニタリングし、管理レポートを作 成する。 IT 管理者はデータセンターごとに存在する。 省エネ型クラウド 利用者 省エネ型クラウドコンピューティングで提供されるコンピ ューティングリソースを利用するユーザー。 表 1. 省エネ型 エネ型クラウドコンピューティングにおける クラウドコンピューティングにおけるロール におけるロール ２-２ ２-２ ２ シナリオ 本事業の省エネ型クラウドコンピューティングの運用について想定されるシナ リオを示す。ここで、省エネ型クラウドコンピューティングは 3 つの異なるロケー ションのデータセンター（DC1, DC2, DC3）からなり、それぞれに IT 管理者が存 在するとする。 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 21 シナリオ 1： ：省エネ型 エネ型クラウドに クラウドに要するサーバー するサーバーの サーバーの消費電力を 消費電力を削減する 削減する 1. IT 管理者もしくはクラウド管理者は、以下のような用途に応じたエネルギー 管理アプリケーションを、センサー管理基盤に要求する。 IT 管理者は、エネルギー管理アプリケーションで担当する DC のモニタ リングを行う クラウド管理者は、エネルギー管理アプリケーションで複数 DC からなる クラウドのモニタリングを行う 2. 各 DC の IT 管理者は、DC のサーバーによる消費電力を定期的にモニタリン グし、一定期間のサーバーの稼働率やセンサーデータ（例：消費電力、温度） のレポートを作成する。 3. 各 DC の IT 管理者は、作成したレポートをクラウド管理者に提出する。 4. クラウド管理者は、各 DC のレポートを確認し、今後のエネルギー管理方針 を決定する。ここでのエネルギー管理方針は、半年間で消費電力量を 10%削 減するなど、サーバーの消費電力の削減目標を決定するものとする。 すでに決定されたエネルギー管理方針がある場合には、その方針通りに運 用されているかどうかを確認する。問題があれば、エネルギー管理方針を 見直す。 5. クラウド管理者は、エネルギー管理方針を達成するための方法を検討するた めに、各 DC でモニタリングされているデータを利用し分析機能を実行する。 6. クラウド管理者は、分析結果として各 DC やそこでのサーバーの稼働率の最 適な構成を得る。 7. クラウド管理者は、得られた分析結果をもとにアクションプランを作成する。 8. クラウド管理者は、エネルギー管理方針とアクションプランをビジネスオー ナーに提示する。 9. ビジネスオーナーは、エネルギー管理方針とアクションプランを検討し、ア クションプランの実行を了承する。 10. クラウド管理者は、実行するアクションプランを各 DC の IT 管理者へ伝え る。 11. 各 DC の IT 管理者は、提示されたアクションプランを実行する。 12. （1. へ戻る） 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 22 シナリオ２ ）排出上限（ ）を達 シナリオ２：クラウドサービスの クラウドサービスの温室効果ガス 温室効果ガス（ ガス（GHG） 排出上限（CAP） 成する 1. IT 管理者もしくはクラウド管理者は、以下のような用途に応じたエネルギー 管理アプリケーションを、センサー管理基盤に要求する。 IT 管理者は、エネルギー管理アプリケーションで担当する DC のモニタ リングを行う クラウド管理者は、エネルギー管理アプリケーションで複数 DC からなる クラウドのモニタリングを行う 2. 各 DC の IT 管理者は、DC のサーバーによる消費電力を定期的にモニタリン グし、一定期間のサーバーの稼働率やセンサーデータ（例：消費電力、温度） のレポートを作成する。 3. 各 DC の IT 管理者は、作成したレポートをクラウド管理者に提出する。 4. クラウド管理者は、各 DC のレポートを確認し、今後のエネルギー管理方針 を決定する。ここでのエネルギー管理方針は、1 年間で GHG 排出量を 10% 削減するなど、GHG 排出量の削減目標を決定するものとする。 すでに決定されたエネルギー管理方針がある場合には、その方針通りに運 用されているかどうかを確認する。問題があれば、エネルギー管理方針を 見直す。 5. クラウド管理者は、エネルギー管理方針を達成するための方法を検討するた めに、各 DC でモニタリングされているデータを利用し分析機能を実行する。 ここでは、DC で利用する電力の発電源の構成（例えば、再生可能エネルギ ーであるかどうか）や、発電源に基づく電力料の違い、再生可能エネルギー を利用した場合に可能になる排出量のオフセット、CAP を越えたときのペナ ルティ、コスト上限などの GHG 排出量の削減における条件を入力する。 6. クラウド管理者は、分析結果として各 DC やそこでのサーバーの稼働率の最 適な構成を得る。 7. クラウド管理者は、得られた分析結果をもとにアクションプランを作成する。 8. クラウド管理者は、エネルギー管理方針とアクションプランを、ビジネスオ ーナーとファイナンス責任者に提示する。 クラウド管理者は、クラウドの運用における GHG 排出量のレポートを XBRL 形式で出力し、ファイナンス責任者に提示する。 9. ビジネスオーナーとファイナンス責任者は、エネルギー管理方針とアクショ 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 23 ンプランを検討し、アクションプランの実行を了承する。 ファイナンス責任者は、ファイナンスレポートと GHG 排出量レポートを XBRL 形式で処理し、GHG 排出量のファイナンスへの影響を分析する。 10. クラウド管理者は、実行するアクションプランを各 DC の IT 管理者へ伝え る。 11. 各 DC の IT 管理者は、提示されたアクションプランを実行する。 12. （1. へ戻る） 日本アイ・ビー・エム㈱ ３ ２-３ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 24 センサー管理技術 センサー管理技術（ 管理技術（要素技術） 要素技術）の要件定義および 要件定義および開発 および開発 ２-３ ３-１ １ 要件定義、 要件定義、概要設計、 概要設計、詳細設計 要件定義、概要設計、詳細設計は以下の通り、分冊に記載している。 ２-３-１-１ 要件定義 分冊１ 省エネ型クラウドコンピューティングのためのセンサー管理技術の要 件定義書（文書管理番号：sh2201） ２-３-１-２ 概要設計 分冊２ 省エネ型クラウドコンピューティングのためのセンサー管理技術の概 要設計書（文書管理番号：sh2202） ２-３-１-３ 詳細設計 分冊３ 省エネ型クラウドコンピューティングのためのセンサー管理技術の詳 細設計書（文書管理番号：sh2203） ２-３ ３-２ ２ 評価プログラム 評価プログラム設計 プログラム設計 省エネ型クラウドコンピューティングのためのセンサー管理技術は、ハードウェ ア・サーバー、センサー、ネットワーク、オペレーティング・システム、ミドルウ ェア、アプリケーション・レベルのソフトウェアから構成される仮想サーバーのた めの、クラウド管理、監視および課金を実現する。 クラウド管理には、自動化されたプロビジョニング、および、プロビジョニング 解除の仕組みが含まれる。プロビジョニングは、供給や準備という意味の単語だが、 クラウドコンピューティングにおいてのプロビジョニングは、システムの準備機能 を意味する[35]。プロビジョニング機能は、仮想サーバーの基礎となるテンプレー トを用意しておき、リクエストに応じて、テンプレートをコピーして、設定をカス タマイズした上で、システムを提供する。本プロジェクトにおけるクラウド管理で は、自動化されたプロビジョニングとして、仮想サーバーを自動提供、および、プ 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 25 ロビジョニング解除として、仮想サーバーの自動削除を実現する。 クラウド管理の仕組みを評価する指標の１つとして、プロビジョニングにかかる 時間がある。利用者が仮想サーバーを要求して、利用を開始するまでの、大まかな 流れは以下の通りである。 1. 利用者がブラウザからログインして、インターフェースへアクセスする。 2. デプロイするイメージを選択し、仮想サーバーの作成を要求する。 3. クラウド管理サーバーは、利用者からの要求を受け取り、仮想サーバーをプ ロビジョニングする。 4. 利用者は、仮想サーバーの作成が完了したことを通知するメールを受け取り、 仮想サーバーの利用を開始する。 クラウド管理の仕組みを評価するため、プロビジョニングにかかる時間を測定す る場合、上記の 3 において、利用者からの要求を受け取り、仮想サーバーのプロビ ジョニングの処理を開始した時間とプロビジョニングの処理が完了した時間の差 を測定する。クラウド管理サーバーにおいて、プロビジョニングの処理をするワー クフローが実行されるので、ワークフローのログを出力する。評価プログラムは、 出力されたワークフローのログを入力とし、ログからワークフローの開始時間と終 了時間を抜き出し、その差を計算して、プロビジョニングにかかる時間を出力する。 ２-３ ３-３ ３ センサー管理技術 センサー管理技術の 管理技術のデプロイ 省エネ型クラウドコンピューティングのためのセンサー管理技術のクラウド管 理は、ハードウェア・サーバー、センサー、ネットワーク、オペレーティング・シ ステム、ミドルウェア、アプリケーション・レベルのソフトウェアから構成される 仮想サーバーの自動化されたプロビジョニングとして、仮想サーバーを自動提供す る。 センサー管理技術のデプロイとして、温度・湿度センサーの設置、および、設置 したセンサーが利用可能な仮想サーバーをプロビジョニングできる環境の構築を した。 温度・湿度センサーとして、MEMSIC 社製クロスボーMOTE センサー 「SN21140J」を使用した。MOTE センサー「SN21140J」は以下のように構成さ れている。 ①通信端末 IRIS XM2110J IRIS 高出力無線ノード 2.4GHz 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 26 IEEE 802.15.4 (Zigbee®無線) 国内技適 ②センサー基盤 MTS400 光/温度/湿度/気圧/2 軸加速度センサー付 上記の MOTE センサーを、IBM 東京基礎研究所のサーバー室内に 56 個設置し た。また設置したセンサーが利用可能な仮想サーバーをプロビジョニングできる環 境の構築をした。 日本アイ・ビー・エム㈱ ４ ２-４ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 27 データ分析 データ分析技術 分析技術（ 技術（要素技術） 要素技術）の要件定義および 要件定義および開発 および開発 ２-４ ４-１ １ エネルギー管理 エネルギー管理方針 管理方針 クラウドコンピューティングのエネルギー管理方針としては、2 つの観点で考え ることができる。一つはクラウドコンピューティングのエネルギー消費量の管理で あり、他方はクラウドコンピューティングによる温室効果ガス（GHG）排出量の 管理である。本事業においては、これら 2 つの観点でクラウドコンピューティング のエネルギー管理を行う。 クラウドコンピューティングのエネルギー消費量の管理・最適化の指標としては、 データセンターのエネルギー効率の評価指標を使うことが考えられる。現状でよく 用いられている評価指標としては、PUE(Power Usage Effectiveness)、DCiE (Data Center Infrastructure Efficiency) [36]などがある。これらの指標の多くは、 データセンターの空調など IT 機器以外による電力消費を効率化することでよくな る指標であり、空調による電力消費を削減する取り組みはすでに様々な方法で行わ れている。一方で、データセンターにおいては IT 機器による電力消費の削減は、 省エネ設計の IT 機器を導入するなどハードウェア的な対策は行われているが、IT 機器の運用を効率化することで電力消費を削減する取り組みはあまりみられない。 一般的なデータセンターでは、サーバーはお客様資産であることが多く、複数のサ ーバー間での稼働率を調整するなどの対策を採るのは難しい。しかし、クラウドコ ンピューティングを構成するデータセンターの場合には、サーバーはクラウドコン ピューティング環境を提供する事業者の資産であり、サーバーの稼働率などを操作 することが可能である。そこで本事業では、空調によるエネルギー消費を最適化す るのではなく、クラウドコンピューティングの IT リソースを動的に操作すること でエネルギー管理を行うことを目的とする。 本事業では、クラウドコンピューティングのエネルギー利用を以下の 3 つの指標 により評価することとする。 データセンター内のサーバーの総消費電力量 データセンター内のサーバー稼働による総排出量 データセンター全体で利用している電力のうち、再生可能エネルギー電力の利 用割合 データセンター内のサーバーの総消費電力量削減及び排出量の削減は、クラウド コンピューティングのエネルギー利用量の効率化という点では非常に重要である。 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 28 現状では、電力利用による排出量のみを考慮した場合には、エネルギー削減に応じ て排出量も削減される。一方で、将来的に Smart Grid の普及などにより、利用す る電力の発電源が分かるようになり、発電源によりコストや排出量の算定方法が異 なってくることが予想できる。また、データセンターには排出量の削減目標（CAP） が課されることが考えられるが、再生可能エネルギー利用により CAP が軽減され たり、排出量取引による排出枠購入により、排出量削減と同じ効果が得られたりす ることが議論されている。 上記のような将来動向も考慮して、本事業ではデータセンター内のサーバーによ る総消費電力の削減に加えて、センサーからのデータを分析することで排出量削減 のための再生可能エネルギーの利用割合や IT リソースの最適な配置を導くことを 目標とする。 ２-４ ４-２ ２ 要件定義、 要件定義、概要設計、 概要設計、詳細設計 センサーデータを統一的に収集・分析・レポートする技術について、要件定義、 概要設計、詳細設計は以下の通り、分冊に記載している。 ２-４-２-１ 要件定義 分冊４ センサーデータを統一的に収集・分析・レポートする技術の要件定義書 （文書管理番号：dh2201） ２-４-２-２ 概要設計 分冊５ センサーデータを統一的に収集・分析・レポートする技術の概要設計書 （文書管理番号：dh2202） ２-４-２-３ 詳細設計 分冊６ センサーデータを統一的に収集・分析・レポートする技術の詳細設 計書（文書管理番号：dh2203） ４-３ ３ 機能開発 ２-４ 分冊４－６に記載したエネルギー管理システムのうち以下の機能について開発 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 を開始した。 クラウド管理者向けレポーティング機能 Page 29 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 ３. まとめと来 まとめと来年度の 年度の事業計画 事業計画 ３-１ １ まとめ Page 30 本年度はクラウドコンピューティングの省エネ化を目的とした、省エネ型クラウ ドコンピューティングのためのセンサー管理基盤およびクラウドコンピューティ ングのエネルギー管理システムについて、要件定義および設計を行った。 まず、クラウドコンピューティングの省エネルギー技術やセンサー技術について の最新動向や既存技術について調査し、本事業の位置づけを明確にした。センサー 管理基盤およびクラウドコンピューティングのエネルギー管理システムについて、 それぞれ要件定義書、概要設計書、詳細設計書を作成した。また、センサーの動作 確認やエネルギー管理システムで利用する既存ソフトウェアの機能確認など、シス テム開発準備を行った。エネルギー管理システムの一部機能については、開発を開 始した。 ２ ３-２ 来年度の 来年度の計画 省エネ型クラウドコンピューティングのためのクラウド上のセンサー管理基盤 は、「(1)省エネ型クラウドコンピューティングのためのセンサー管理技術」と「(2) センサーデータを統一的に収集・分析・レポートする技術」の 2 つの技術からな り、平成 23 年度は (1)、(2)の各要素技術の実現・開発、および平成 24 年度の実 証実験に向けた準備を行う。 ①省エネ型クラウドコンピューティングのためのセンサー管理技術の要素技術の 実現 省エネ型クラウドコンピューティングのためのセンサー管理技術の要素技術と して、クラウド管理技術の評価、監視の仕組みの実現、課金の仕組みの実現を行う。 ②センサーデータを統一的に収集・分析・レポートする技術の要素技術の開発 センサーデータを統一的に収集・分析・レポートする技術の開発として、モニ タリング機能、レポーティング機能、分析機能の各機能の実装およびテストを行う。 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 31 [事業目標] ①クラウド管理技術を使うことで、センサーの利用開始までにかかる時間を最大 90％削減することを目標とする。また監視の仕組みにより、センサーの問題に気付 くまでにかかる時間を最大 90％削減することを目標とする。 ②センサーデータを統一的に収集・分析・レポートする技術を使うことで、データ のモニタリングの頻度および XBRL によるレポート作成に要する時間を最大 90% 削減することを目標とする。また、クラウドコンピューティングの消費電力の削減 効果を予測し、理論値として消費電力を 15%削減できることを示すことを目標と する。 ３-３ ３ 将来像 本事業により開発されたシステムはいくつかの観点から将来的に拡張可能であ ることが望まれる。 まず、将来的にセンサーの種類が増えることが考えられる。現時点でのデータ取 得可能なセンサーだけでなく、将来利用可能になるセンサーを追加可能なアーキテ クチャとなっていることが望ましい。データ管理アプリケーションのデータ収集コ ンポーネントは既存のセンサーデータに依存する形で実装するのではなく、個々の センサーから独立した一般的なインターフェースを定義しておくことで、将来新た なセンサーを追加することが容易となる。さらに、システムの再起動を行うことな くセンサーを追加（ホットデプロイ）できるように実装することも技術的には可能 である。しかし、この機能は実装が複雑になるため必要性を吟味する必要があると 考えられる。 また、本事業ではデータ管理アプリケーションからのセンサーデータを利用する のはエネルギー管理アプリケーション内の 3 コンポーネントのみである。しかし、 将来的にはその他のアプリケーションからも利用可能にすることも考えられる。例 えば、HTTP でのアクセスを受け XML でデータを返すように実装しておくことで 一般のブラウザなどからも利用可能とすることができる。ただし、他の多くのアプ リケーションからもアクセス可能になるということは、負荷が大きくなった場合の パフォーマンスの問題やどのアプリケーションからのアクセスを許すかといった アクセスコントロールの問題も考慮する必要が出てくることも意味する。 また、本事業でのシステム・アーキテクチャではセンサーからのデータは一旦す べてデータストアに格納する設計となっている。しかしセンサーデータがデータス トアに格納しきれないほど大量に生成されるような場合には、データストアの代わ 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 32 りにデータのストリーム処理を行うコンポーネントを使うことでデータ管理アプ リケーションを構築することを検討する必要がある。 平常時にはデータストアにはデータ収集コンポーネントがデータを書き込み、デ ータアクセスコンポーネントがデータを読み込む。データストアのデータに異常値 が発生している場合や、システムの障害時にはシステムの管理者が管理者権限でデ ータストアのデータを直接修正、削除することになる。しかし、将来的にはこのシ ステム管理者の作業を軽減するため、データのマネジメントのためのインターフェ ースを定義することが必要となる可能性がある。この場合には、データストアのど のデータにどのコンポーネントが読み込み、書き込みなどのアクセスが可能である かを（CRUD 図などを用いて）設計することが必要と考えられる。 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 33 （参考文献） 参考文献） [1] ルイス・アンドレ・バロッソ, ウルス・ヘルツル. Google クラウドの核心 巨大データセンターの変貌と運用の経済学 The Datacenter as a Computer, 日経 BP 社, 2010. [2] J. Hanson, I. Whalley, M. Steinder and J. Kephart, Multi-aspect Hardware Management in Enterprise Server Consolidation, The 12th IEEE/IFIP Network Operations and Management Symposium (NOMS 2010), 2010. [3] Reducing the Power Consumption of HP ProLiant Servers in the Data Center, Technical White Paper, Hewlett-Packard. [4] Y. Shang, D. Li, M. Xu. Energy-aware routing in data center network, The first ACM SIGCOMM workshop on Green networking, 2010. [5] A. Qureshi, R. Weber, H. Balakrishnan, J. Guttag and B. Maggs. Cutting the Electric Bill for Internet-Scale Systems, SIGCOMM, 2009. [6] グリーン IT 推進協議会, http://www.greenit-pc.jp/. [7] グリーン IT 推進協議会, データセンターの省エネ度評価指標【DPPE】に ついて, http://www.greenit-pc.jp/topics/release/100316_j.html. [8] Intel, Increasing Data Center Efficiency with Server Power Measurements, IT@Intel White Paper, http://download.intel.com/it/pdf/Server_Power_Measurement_final.pdf. [9] The Green Grid, データセンターのエネルギー生産性のためのフレームワ ーク, http://www.thegreengrid.org/ja-jp/Global/Content/white-papers/Framew ork-for-Data-Center-Energy-Productivity. [10] The Green Grid, A ROADMAP FOR THE ADOPTION OF POWER-RELATED FEATURES IN SERVERS, http://thegreengrid.org/en/Global/Content/white-papers/ARoadmapForT heAdoptionOfPowerRelatedFeaturesInServers. [11] The Green Grid, EPA 所有の中規模データセンター（ポトマックヤード） のアセスメント, http://thegreengrid.org/ja-JP/Global/Content/Reports/AssessmentofEPA MidTierDataCenteratPotomacYard. [12] The Green Grid, エネルギー計測に関する調査結果の分析, 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 34 http://thegreengrid.org/ja-JP/Global/Content/white-papers/EnergyMeas urementSurveyResultsAnalysis. [13] センサ（2010 年 12 月 25 日（土）10:52 UTC の版）. ウィキペディア日 本語版. http://ja.wikipedia.org/wiki/%E3%82%BB%E3%83%B3%E3%82%B5. [14] センサネットワーク（2010 年 10 月 29 日（金）10:31 UTC の版）. ウィ キペディア日本語版. http://ja.wikipedia.org/wiki/%E3%82%BB%E3%83%B3%E3%82%B5%E 3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%8 2%AF. [15] 安藤繁, 田村陽介, 戸辺義人, 南正輝. センサネットワーク技術 ス情報環境の構築に向けて. 電機大出版局, 2005. ユビキタ [16] J. Zhou, Y. Chen, B. Leong and P. S. Sundaramoorthy, Practical 3D Geographic Routing for Wireless Sensor Networks, The 8th ACM Conference on Embedded Networked Sensor Systems (SenSys 2010), 2010. [17] R. Jurdak, P. Corke, D. Dharman and G. Salagnac, Adaptive GPS Duty Cycling and Radio Ranging for Energy-efficient Localization, The 8th ACM Conference on Embedded Networked Sensor Systems (SenSys 2010), 2010. [18] H. Lu, J. Yang, Z. Liu, N. D. Lane, T. Choudhury and A. T. Campbell, The Jigsaw Continuous Sensing Engine for Mobile Phone Applications, The 8th ACM Conference on Embedded Networked Sensor Systems (SenSys 2010), 2010. [19] T. Schmid, Z. M. Charbiwala, Z. Anagnostopoulou, M. B. Srivastava and P. K. Dutta, A Case Against Routing-Integrated Time Synchronization, The 8th ACM Conference on Embedded Networked Sensor Systems (SenSys 2010), 2010. [20] A. Markham, N. Trigoni, S. Ellwood and D. W. Macdonald , Revealing the hidden lives of underground animals with magneto-inductive tracking, The 8th ACM Conference on Embedded Networked Sensor Systems (SenSys 2010), 2010. [21] J. Hill, R. Szewczyk, A. Woo, S. Hollar, D. Culler and K. Pister. System architecture directions for networked sensors. International Conference 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 35 on Architectural Support for Programming Languages and Operating Systems, 2000. [22] TinyOS. http://webs.cs.berkeley.edu/tos/. [23] TinyOS Community Forum || An open-source OS for the networked sensor regime. http://www.tinyos.net/. [24] V. Sundaram, P. Eugster and X. Zhang, Efficient Diagnostic Tracing Support for Wireless Sensor Networks, The 8th ACM Conference on Embedded Networked Sensor Systems (SenSys 2010), 2010. [25] Y. Chen, T. Chien and P. H. Chou, Enix: A Lightweight Dynamic Operating System for Tightly Constrained Wireless Sensor Platforms, The 8th ACM Conference on Embedded Networked Sensor Systems (SenSys 2010), 2010. [26] S. Guha, K. Plarre, D. Lissner, S. Mitra, B. Krishna, P. Dutta and S. Kumar, AutoWitness: Locating and Tracking Stolen Property While Tolerating GPS and Radio Outages, The 8th ACM Conference on Embedded Networked Sensor Systems (SenSys 2010), 2010. [27] A. Thiagarajan, J. Eriksson, J. Biagioni and T. Gerlich, Cooperative Transit Tracking using Smart-phones, The 8th ACM Conference on Embedded Networked Sensor Systems (SenSys 2010), 2010. [28] O. Chipara, C. Lu, T. C. Bailey and G. Roman, Reliable Clinical Monitoring using Wireless Sensor Networks: Experience in a Step-down Hospital Unit, The 8th ACM Conference on Embedded Networked Sensor Systems (SenSys 2010), 2010. [29] H. Ahmadi, N. Pham, R. Ganti, T. Abdelzaher, S. Nath and J. Han, Privacy-preserving Regression Modeling of Participatory Sensing Data, The 8th ACM Conference on Embedded Networked Sensor Systems (SenSys 2010), 2010. [30] J. Lu, T. Sookoor, G. Ge, V. Srinivasan, B. Holben, J. Stankovic, E. Field and K. Whitehouse, The Smart Thermostat: Using Wireless Sensors to Save Energy in Homes, The 8th ACM Conference on Embedded Networked Sensor Systems (SenSys 2010), 2010. [31] Internet of Things, Wikipedia, http://en.wikipedia.org/wiki/Internet_of_Things. 日本アイ・ビー・エム㈱ 次世代高信頼・省エネ型ＩＴ基盤技術開発事業 平成 22 年度 報告書 第 1.00 版 Page 36 [32] W. Xi, Y. He, Y. Liu, J. Zhao, L. Mo, Z. Yang, J. Wang and X. Li, Locating Sensors in the Wild: Pursuit of Ranging Quality, The 8th ACM Conference on Embedded Networked Sensor Systems (SenSys 2010), 2010. [33] I. Rose and M. Welsh, Mapping the Urban Wireless Landscape with Argos, The 8th ACM Conference on Embedded Networked Sensor Systems (SenSys 2010), 2010. [34] T. Zhu, Y. Gu, T. He and Z. Zhang, eShare: A Capacitor-Driven Energy Storage and Sharing Network for Long-Term Operation, The 8th ACM Conference on Embedded Networked Sensor Systems (SenSys 2010), 2010. [35] 米持幸寿, クラウドを実現する技術, 2009. [36] The Green Grid, グリーン・グリッドのデータセンタ電力効率指標: PUE と DCiE, http://www.thegreengrid.org/ja-jp/Global/Content/white-papers/The-Gre en-Grid-Data-Center-Power-Efficiency-Metrics-PUE-and-DCiE.