Comments
Description
Transcript
PDFを見る
SAP HANA を選択する5つの理由 データ処理システムをシンプルにする主要な機能トップ5 SAPジャパン株式会社 2014年9月 SAP HANA – データ処理システムをシンプルにする主要な機能 トップ5 1 2 3 4 5 データ局所性を意識した処理 ボトルネックのシフト 「ディスク-メモリ」から「メモリ-CPUキャッシュ」へ リアルタイム(OLTP+OLAP)を単一のデータで実現 ストレージの削減と真のリアルタイム 超並列処理(MPP) スケールアウト、Shared Nothingコンセプト、SIMD対応 データベースを超えるプラットフォーム SAP HANAプラットフォームはデータベース、データ処理とアプリケーション基盤、予測解析・計画機能テキス ト処理、地理空間情報ビジネス分析を提供 あらゆるデータを処理する新しいアプリケーション構築 既存アプリの移行を簡素化/単一のSQLScriptであらゆるデータを処理 © 2014 SAP SE. All rights reserved. 2 1 Top 5 2 3 4 5 データ局所性を意識した処理 ボトルネックのシフト 「ディスク-メモリ」から「メモリ-CPUキャッシュ」へ SAP HANAに実装されたオプティマイザによってCPUとCPUキャッ シュのデータのローカル利用によりデータ演算のレイテンシを削減: • • Memory Disk to Memory CPU • • Log Hard Disk: 10,000,000ns* / SSD: 200,000ns* • Disk Storage CPU Core 1 Core N 1.5ns* L1 Cache 4ns* L2 Cache 15ns* L3 Cache 60ns* Log Memory © 2014 SAP SE. All rights reserved. キャッシュヒットミスを防ぐDRAM内およびCPUキャッシュ内のデータの確保 キャッシュ間、CPU間、ノード間の帯域とレイテンシを実行プランが認識 ダイナミックオブジェクト認識結果キャッシュ Bottleneck Memory to CPU Cache オプティマイザがL3キャッシュまでのデータ保持状況を認識 CPUキャッシュは、SAP HANAが持つ、定期的に更新されるメインストアと新エ ントリ(Insert, Update)だけを格納するデルタストアの構造の特性を十分に活用 可能です。この機能により、繰り返し実行されるクエリをミリ秒レベルでの実行 を可能にします。 クエリステートメント、結果セット、変更差分をキャッシュが把握しているため、 何度も数百万に及ぶデータセットを読み込む必要はありません。 例: 会計期間の締め処理において,SAP HANAはP/L(損益計算)レポー トを実行します。繰り返し行われるクエリ処理において、ダイナミッ クオブジェクト認識結果キャッシュがその成果を発揮します scan aggregate ingest integers/sec/core integers/sec/core records/sec/node 3.2 billion 12.5 million 1.5 million Storage 3 Top 5 1 2 3 4 5 リアルタイム(OLTP+OLAP)を単一のデータで実現 ストレージの削減と真のリアルタイム トランザクション更新した瞬間にリアルタイムレポーティング – 最新のトランザクションデータをレポーティングで即座に活用できないと ビジネス上の意思決定に多大なる悪影響が発生 集約不要 – 最新のトランザクションデータに基づく事前集約なしのオンザフライ集計を 可能にするカラム型データストアと並列集約処理 データサイズを劇的に削減可能 – テーブル構造のシンプル化により重複テーブルやインデックスが不要 – トランザクション(OLTP)とレポーティング(OLAP)を単一のデータで実現 カラム型ストアの高圧縮効率よってデータサイズ自体も大幅に削減 – システムコスト、バックアップ時間、アーカイビング等にかかる時間も削減 例: ERP会計システムでは、明細アイテム、集約、BWで保持するデータが削減可能 です。削減可能なデータは1/2になり、伝統的なシステムよりも1/5もしくは1/10程 度のデータサイズで実現可能 データサイズ削減モデル: Business Suite and BW on Alternative In-memory DB Solution Starting Data Size Data Model Simplification through OLTP + OLAP Compression Factor Data Size in Memory Data Size in Disk (including 10% log) ERP 10T 10T 2x 2 5T 5.5T BW 10T 10T 7x 1.42T 1.55T ERP 10T 3.33T 7x 0.48T 0.048T (log only 3) BW 10T 1T 1 7x 0.14T 0.014T (log only 3) Business Suite and BW on HANA Total Data Size 13.42T 0.682T 1. We assume BW on HANA only keeps 10% data. ERP compression factor on the alternative in-memory solution is lower (2x), because traditional ERP solution uses row store which has lower compression rate. 3. We don’t keep another data copy in disk. We only use disk to store log with data snapshot. 2. © 2014 SAP SE. All rights reserved. 4 Top 5 1 2 3 4 5 超並列処理(MPP) スケールアウト、Shared Nothingコンセプト、SIMD対応 MPP – シングルノード MPP – マルチノード SAP HANAは最新のハードウェアの特性を最大限に活用 並列データベースアーキテクチャであり”Shared Nothing”アーキ テクチャを採用 マルチコアCPU,巨大なメモリ空間、キャッシュ、データ ベース圧縮、データベースカーネルレベルでの並列化 (MPP)、エンタープライズアプリケーションに必要とされ る機能を備えたプラットフォーム SIMDによる同一命令セットによる並列処理 SAP HANAはIntelのSSEベクトル処理技術(SIMDインス トラクションセット)を活用 同一の処理を複数のデータポイントに分割して並列処理を 実施 並列処理に最適化されたデータ構造 カラム型ストレージによりカラム毎・パーティション毎に データが分割されているため、データポイントの分割にスト レージ構造が最適化 • SAP HANAはワークプロセスおよびクエリをサブコンポーネント に分割して利用可能な複数のプロセスに分散して処理 • クラスター内の複数のサーバは、各々データを保持し、クエ リーを処理することが可能。また、クラスター内のサーバがそ れぞれデータ全体の一部分のみを保持している場合、クエリ実 行時には各々ローカルのデータを処理 • クラスター内のメンバーサーバは、クエリ実行中にアサインされ たデータセットをローカルに保持したデータで処理 マルチノード構成における線形での スケール向上 クエリ処理時間(秒) シングルノードSIMD オペレーション SD(SALES AND DISTRIBUTION)レポート クエリ 1 1顧客および1品目の1ヶ 月間の抽出データ © 2014 SAP SE. All rights reserved. クエリ 2 複数の顧客および品目の 1ヶ月間の抽出クエリ クエリ 3 上位100顧客の5年間に わたる対前年度傾向分析 5 Top 5 1 2 3 4 5 データベースを超えるプラットフォーム SAP HANAプラットフォームはデータベース、データ処理とアプリケーション基盤、予測解析・計画機能 テキスト処理、地理空間情報ビジネス分析を提供 代表的な機能の紹介: SAP HANA XSアプリケーションサーバー SAP HANA Predictive Analysis SAP HANAと一体化されたWEBアプリケーション Library サーバーによりビッグデータの検索やレポーティ SAP HANAが提供する回帰分析や相 ングトランザクション処理を可能に 関分析といった統計解析ライブラリ 多様な 任意のアプリ デバイス 任意のAPサーバ SQL MDX R SAP HANA テキスト分析 言語認識、言語ルールの自動適用、言語 データの解釈と検索機能 JSON Open Connectivity SAP Business Suite BW ABAP App Server HANA Platform SQL, SQLScript, JavaScript 地理空間 サーチ テキスト分析 ストアドプロシージャ データモデル アプリケーション サーバー ビジネス関数 ライブラリ 統計解析 ライブラリ データベース機能 計画エンジン ルールエンジン インテグレーション・プロビジョニングサービス Transaction © 2014 SAP SE. All rights reserved. Unstructured Machine HADOOP Real-time Locations Other Apps 6 Top 5 1 2 3 4 5 あらゆるデータを処理する新しいアプリケーション構築 既存アプリの移行を簡素化/単一のSQLScriptであらゆるデータを処理 既存アプリケーションの移行 (e.g.: Java, PHP, .NET) 主要な開発言語への対応, PHP, Ruby, Java, C, ... : • 業界標準のサポート:ANSI SQL, ODBC, JDBC, Odata/JSON, 3rd パーティ製品の認定 • JSON, XMLA over HTTP オープンソースのHTML5/JSライブラリ,サーバー サイドJavaScriptを利用するWEBアプリケーショ ンの構築 高度なテキスト分析のサポート: カラムテーブル およびバイナリファイル内のテキストの分析 31言語の自動認識、曖昧検索、同義語検 索などをSQLで実行 ストリームデータの分析をSAP HANAとESPの統 合により提供 地理空間情報の処理 インデータベースアルゴリズムにより統計解析と スコアリング処理を高速化 R統計解析言語処理をベクター指向のデータ構造 で高速にテーブル転送 あらゆるデータタイプやソースをまたいだ分析(非 構造化テキスト、地理空間情報、Hadoop等) © 2014 SAP SE. All rights reserved. 7 Run Simple. SAPジャパン株式会社