...

Oracle Data Integrator 10.1.3.5 技術概要

by user

on
Category: Documents
15

views

Report

Comments

Transcript

Oracle Data Integrator 10.1.3.5 技術概要
<Insert Picture Here>
Oracle Data Integrator 10.1.3.5 技術概要
日本オラクル株式会社
皆様、こんにちは。日本オラクル株式会社 Fusion Middleware事業統括本部より、
Oracle Data Integratorの技術概要についてご説明します。
1
本資料の
本資料の使用上の
使用上の注意事項1
注意事項
以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。
また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことは
できません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント
(確約)するものではないため、購買決定を行う際の判断材料になさらないで下さい。
オラクル製品に関して記載されている機能の開発、リリースおよび時期については、
弊社の裁量により決定されます。
Copyright© 2009, Oracle. All rights reserved.
2
2
アジェンダ
• Oracle Data Integratorの概要
• Oracle Data Integratorの詳細
• 利用シーン
Copyright© 2009, Oracle. All rights reserved.
3
こちらが本セッションでお伝えする内容になります。まずはじめに、Oracle Data
Integratorの概要をご説明いたします。続いて、より詳細な内容についてご説明
いたします。そして最後に、Oracle Data Integratorの特長を生かす利用シーン
についてご紹介いたします。 なおセッションの中でOracle Data Integrator を
ODIと略させていただく場合があります。あらかじめご了承ください。
3
アジェンダ:
の概要
アジェンダ:Oracle Data Integratorの
• Oracle Data Integratorの概要
• Oracle Data Integratorの詳細
• 利用シーン
Copyright© 2009, Oracle. All rights reserved.
4
それではまず最初に、Oracle Data Integratorの概要についてご説明します。
4
Oracle Data Integratorとは
とは?
とは?
Oracle Data Integratorはビジネス・インテリジェンスとデータ・ウェアハウス、マスターデータ
管理、サービス指向アーキテクチャ (SOA)、アプリケーションの移行と統合など、
業務を遂行するために必要不可欠な機能を実現するデータ統合 (ETL)ツールです
データ活用
データ活用
Business
Intelligence
Corporate
Performance
Management
Business
Process
Management
Business
Activity
Monitoring
データ統合
データ統合/
統合/連携
移行
データウェアハ
ウス
マスターデータ
管理
データ同期化
データ同期化
-----
フェデレーション
リアルタイム
メッセージング
-----
様々な異なるシステム
なるシステムに
システムに分断された
分断されたソースデータ
されたソースデータ
-------------
---
レガシーシステム
ERP
-------------
-------------
CRM
Copyright© 2009, Oracle. All rights reserved.
カスタムアプリケーション
5
Oracle Data Integratorは、このスライドの中央、データ統合/連携のレイヤーに位置す
るデータ統合基盤製品で、一般的にETLツールと呼ばれる製品カテゴリに分類される
製品です。
分断されたソースデータを統合・連携し、ビジネスインテリジェンスなどのデータ活用へ
の道を開けます。
5
[ご
ご参考]
(Extract / Transform / Load)
)とは?
参考 ETL(
とは?
企業に
企業に蓄積された
蓄積されたデータ
されたデータを
データを抽出し
抽出し、ターゲ
ットの
ットの利用しやすい
利用しやすい形
しやすい形に加工し
加工し、対象とな
対象とな
るデータベースに
データベースに書き出す一連の
一連の処理
ETL (Extract /
Transform / Load)
)
各処理ステップ
各処理ステップの
ステップの詳細
• E(抽出): 情報源となるシステムからデータを抽出
• T(変換): 抽出したデータに規則や関数を適用し、ターゲットにロード可能なデータに加工
• L(ロード): データを最終ターゲットにロード
RDBMS
基幹
システム
フラット
ファイル
ソース
E:抽出
T:変換
L:ロード
Copyright© 2009, Oracle. All rights reserved.
ターゲット
6
ご存知の方も多いかと思われますが、ETLツールのETLとは、データ統合の際に必要となる各
処理ステップであるExtract、Transform、Loadという英単語の頭文字を取った言葉です。 デー
タを抽出し、ターゲットが利用しやすい形に加工し、その加工したデータを最終ターゲットにロー
ドするこの一連のETL処理を支援するツールをETLツールと呼びます。
6
Oracle Data Integratorの
の3つの
つの特長
つの特長
RDBMSエンジン
エンジンを
エンジンをデータ連携
データ連携エンジン
連携エンジンとして
エンジンとして最大限
として最大限に
最大限に活用
ターゲット
ステージング テーブル
テーブル
A
B
Extract
Load
C
Transform
E-LT
• 高い処理パフォーマンス
処理パフォーマンスを
パフォーマンスを実現
11
DBを
をデータ変換
データ変換エンジン
変換エンジンと
エンジンと
する「
」アーキテクチャ
する「E-LT」
– 各DBの
のネイティブコード、
ネイティブコード、バルクロード・
バルクロード・ユーティリティに
ユーティリティに対応
– ボトルネックになりがちな
ボトルネックになりがちな中間
になりがちな中間サーバー
中間サーバーが
サーバーが不要
• マルチデータソースに
マルチデータソースに対応
22
高い開発生産性
ルールベースの
ルールベースの設計開発を
設計開発を行うだけで、
うだけで、テンプレート(
テンプレート(ナ
レッジモジュール)
レッジモジュール)が異機種間の
異機種間のテクノロジの
テクノロジの差異を
差異を埋め、
中間処理ステップ
中間処理ステップを
ステップを自動生成。
自動生成。これにより高
これにより高い開発生産
性、可読性を
可読性を実現
33
多様な
多様な連携タイミング
連携タイミングへの
タイミングへの対応
への対応
SOA連携
連携、
(CDC)
)による準
連携、Change Data Capture(
による準リア
ルタイム連携
連携に
ルタイム
連携に標準機能で
標準機能で対応
Copyright© 2009, Oracle. All rights reserved.
7
Oracle Data Integratorの特長ですが、以下の3つが挙げられます。
1.データベースを変換エンジンとする「E-LT」アーキテクチャ データベースの
エンジンを利用してデータ変換を行うため、高いパフォーマンスを実現します
2.高い開発生産性 テンプレートを利用した設計開発によって、中間処理ステ
ップをコーディングする必要がありません
3.多様な連携タイミングへの対応 ETLツールの主な利用用途であるバッチ処
理だけでなく、様々な連携タイミングに対して標準機能で対応します
次のスライド以降で、これらの特長についてご説明いたします。
7
11
DBを
をデータ変換
」アーキテクチャ
データ変換エンジン
変換エンジンとする
エンジンとする「
とする「E-LT」
ExtractLoadTransform の処理ロジックにより、中間サーバーを必要としないアーキテクチャ
従来の
従来の「ETL」
ETL」
中間サーバ
中間サーバー
サーバー
A
B
Extract
C
• 中間サーバーを経由
• 毎回すべてのデータをロード
Load
中間サーバーがボトルネックに
Transform
ODIでは
ODIでは「
では「E-LT」
LT」
ステージング
テーブル
A
B
C
Extract
ターゲット
テーブル
Load
•中間サーバーが不要
•ネットワーク負荷が軽い
•DBの処理性能を最大限に活用
Transform
- 中間サーバーのH/Wを必要とせず、既存のRDBMSのリソースを統合エンジンとして活用
- 各RDBMSのネイティブのコードを発行し、バルクロード・ユーティリティをサポート
- ネットワーク転送処理がETLに比べ少ないため、データ連携鮮度が高い
Copyright© 2009, Oracle. All rights reserved.
コスト削減
リアルタイム
速い
8
「E-LT」アーキテクチャとは、中間サーバーを必要とせず、既存のデータベースをデー
タ変換エンジンとして利用可能なアーキテクチャを意味します。 従来のETLのアプロ
ーチではデータの抽出、変換、ロードを専用のETLサーバーで行ってきました。この場
合すべてのデータが中間サーバーを経由するため中間サーバーがボトルネックになる
懸念があります。 OracleのELTアプローチは、中間のETL変換サーバーを介してす
べてのデータをロードするのではなく、ソースからターゲットへデータを直接ロードし、タ
ーゲット・データベースのエンジンの能力を活用して変換を実行します。 中間サーバ
ーを経由せずにダイレクトでデータをロードするので、ネットワークの転送処理がETLア
プローチに比べ少なくなります。これにより、データ連携のパフォーマンスおよびリアル
タイム性が向上します。また、中間サーバーを保有するコストが必要ないため、企業の
TCOを削減することも可能となります。加えて、ODIでは各RDBMSベンダーが提供し
ているバルクロード・ユーティリティを使用し大量のデータを高いパフォーマンスでロー
ドすることが出来ます。バルクロード・ユーティリティにはOracleのSQL*Loaderなどが
例として挙げられます。
8
22
高い開発生産性を
開発生産性を実現する
実現する宣言型設計
する宣言型設計
各種DBに最適な中間処理ステップが事前定義されており(ナレッジモジュール)、
連携対象と方式を指定するだけで、各DBのネイティブな処理コードを自動生成
従来の
従来の「ETL」
ETL」設計
1
連携先の
連携先のデータソースを
データソースを指定
CSVファイル
ファイルの
ファイルのデータを
データを、
Oracle Database に、
2
連携対象
を指定
2
ビルトインテンプレートを選択
・SQL Loaderで
で取り込みたい
・差分抽出して
差分抽出して、
して、格納したい
格納したい etc.
Oracleでは
では「宣言型設計」
宣言型設計」
Oracleでは「
1
連携方法を
連携方法を選択:
選択:
3
3
自動的に
自動的に
データフロー
を生成
データフローを
データフローを自動生成
・Oracle SQL*Loader Script を生成
・PL/SQL Script を生成
・Oracle 用SQLを
を生成 etc.
連携方法を
連携方法を選択:
選択 ビルトインテンプレート
Copyright© 2009, Oracle. All rights reserved.
9
2つ目の特長は開発生産性の高い宣言型設計です。 従来のETLアプローチでは、ソ
ース・テーブルからターゲット・テーブルにデータを挿入する場合、データ・フローの各ス
テップをすべて設計する必要がありました。 ODIの宣言型設計アプローチでは3つの
ステップで設計を行います。 まずはじめにソース、ターゲットの連携対象を指定します。
続いて、連携方法をテンプレートから選択します。連携方法のテンプレートとは、バルク
ロード・ユーティリティを利用してデータを取り込みたい、や、各RDBMS固有のSQLを
利用してデータを統合したい、など要件に応じたものが提供されています。この連携方
法を選択すると、データフローはODIによって自動生成されます。これにより、従来のア
プローチで必要であった中間手順やベンダー固有の言語といったものを意識すること
なく、データ統合フローを作成することが出来ます。 この連携方法のテンプレートをナ
レッジモジュールと呼びます。 設計開発手順とナレッジモジュールの詳細については、
続いての章でご説明いたします。
9
33
多様な
多様な連携タイミング
連携タイミングへの
タイミングへの対応
への対応
バッチ、イベント駆動化、サービス指向といった幅広い統合要件に対応
バッチ連携
バッチ連携
• バッチ処理の定時スケジューリング実行
• Job管理ツールからバッチ処理の起動
バッチ
リアルタイム連携
リアルタイム連携
• データ変更をトリガーに、リアルタイムに
データ統合を行うイベント駆動化
• データ変更差分のみを抽出
変更
リアル
SOA連携
SOA連携
Oracle Data Integrator
• SOAプロセスからのバッチ処理起動
• データ統合フローへの外部SOAサービスの
組み込み
SOA
Copyright© 2009, Oracle. All rights reserved.
10
3つ目の特長は多様な連携タイミングに対して標準機能で対応している点です。 データ
連携は、バッチで一括処理を行うというのがよくある要件ですが、これ以外にも、データ
の変更を検知した際に即座に同期を取りたい、というリアルタイム連携の要件や、
SOAプロセスからバッチ処理を起動させたい、というSOA連携の要件のように多様な
連携タイミングが求められるようになってきています。Oracle Data Integratorでは、こ
れらの要件に対して標準機能で対応しております。
10
アジェンダ:
の詳細
アジェンダ:Oracle Data Integratorの
• Oracle Data Integratorの概要
• Oracle Data Integratorの詳細
• 利用シーン
Copyright© 2009, Oracle. All rights reserved.
11
Oracle Data Integratorの概要については以上になります。続いて前の章でご
紹介したODIの特長の詳細についてご説明いたします。
11
Oracle Data Integratorのアーキテクチ
ャ
<Insert Picture Here>
「E-LT」
」アーキテクチャ
Copyright© 2009, Oracle. All rights reserved.
12
まず、1つ目の特長でご紹介したE-LTアーキテクチャについて詳しく見ていきま
す。
12
12
「E-LT」
」アーキテクチャ:
の全体構成
アーキテクチャ:ODIの
ODIの
のコンポーネント
① ODI Agent (Java process))
スキーマ
③ODI ステージング用
ステージング用DBスキーマ
スキーマ ④ODI クライアントツール(開発ツール
開発ツール、
ツール、運用管理ツール
運用管理ツール)
ツール)
② ODI リポジトリ用
リポジトリ用DBスキーマ
※リポジトリや
のロケーションは
リポジトリやAgentの
ロケーションは任意
Webアプリケーション
クライアントPC
ソース・データベース
④運用管理ツール
運用管理ツール
④ODI開発
開発ツール
開発ツール
ソース1
ソース1
ターゲット・データベース
ソース2
ソース2
ターゲット表
ターゲット表
①ODI Agent
o
SQL*L
ader
③ステージング
領域
②ODIリポジトリ
リポジトリ
スキーマ
①ODI Agent
: Data Flow
File Excel
ファイル・
ファイル・サーバー
: リポジトリの
リポジトリの参照/書込
参照 書込み
書込み
Copyright© 2009, Oracle. All rights reserved.
13
ODIはデータベースを変換エンジンとするELTアーキテクチャ構成です。このス
ライドでは、ELTアーキテクチャの全体構成についてご説明いたします。 スライ
ド下部の絵をご覧ください。ここでは、左側にある3つのソースから右側のター
ゲット・データベースに対してデータをロードする構成を描いています。ご覧いた
だけるとおり、中間サーバーを構成せずにデータ統合を実現できます。 実際
のデータ統合フローの流れは以下のようになります。 まず、①のODI Agentと
いうコンポーネントが②のODIリポジトリスキーマにアクセスして、発行するSQL
コマンドやOSコマンドなどを取得します。そして、各ソースおよびターゲットに対
して取得したコマンドの実行命令を行います。実行命令を受けて、ソースからタ
ーゲット・データベース内にある、③のステージング領域にデータが集約されま
す。このステージング領域の中で変換処理が行われ、ターゲット表にデータが
ロードされます。 以上がデータ統合フローの流れになります。 ④のクライアン
トツールを利用して、開発及び運用管理を行います。これらクライアントツール
も②のODIリポジトリ・スキーマを参照します。開発ツールで作成したデータフロ
ーもそのデータフローの実行ログも、このリポジトリにて一元的に管理されます。
リポジトリには一般的なOracle Databaseを含むRDBMSを利用することが出
来ます。利用可能なデータベースの詳細につきましては、巻末のリファレンス・
スライドのシステム要件のリンクをご参照ください
13
宣言型設計:ナレッジモジュールの
詳細
<Insert Picture Here>
宣言型設計
ナレッジモジュールの詳細
設計開発
Copyright© 2009, Oracle. All rights reserved.
14
ODIの全体構成の説明は以上になります。続いて、宣言型設計の中でキーと
なる、ナレッジモジュールの詳細についてご説明いたします。
14
14
ナレッジモジュールの
ナレッジモジュールの利用メリット
利用メリットと
メリットとアーキテクチャ
・DBの種類によらない統一した設計開発手順
- 習得が容易
- 複数PG言語スキルの習得が不要
- 高い開発生産性
ナレッジモジュール
Oracle
Merge
SQL*Loader Oracle
SQL Server
Oracle Web
Triggers
TPump/ Services
Check MS Multiload
Siebel EIM
Excel
Schema DB2 Web
JMS Queues
Oracle
DBLink
Services
DB2 Exp/Imp
Check
Sybase Type II SCD
SAP/R3
Siebel
DB2 Journals
Log Miner
・各DBに最適なSQLを自動生成
- コード品質が一定以上担保できる
- パフォーマンスがよい
- ノンプログラミングのためバグ減少
メタデータの
メタデータのリバース
エンジニアリング
ソースから
ソースから
差分データ
データ読取
差分
データ読取
ソースから
ソースから
一時領域へ
へロード
一時領域
リバース
ロード前整合性
ロード前整合性チェック
前整合性チェック
変換の
変換の統合、
統合、最適化さ
最適化さ
れた手法
手法による
れた
手法によるターゲッ
によるターゲッ
トへ移動
Oracle Database
データ処理
データ処理/変換
処理 変換を
変換を
サービス化
化して公開
サービス
して公開
WS
WS
WS
ステージング領域
ロード
CDC
サービス
ターゲット表
チェック
ジャーナライズ
ソース
統合
エラー表
IBM DB2
IBM DB2
メタデータ抽出
抽出
メタデータ
IBM Journal
Oracle
SQL*Loader
Oracle
PL/SQL
Oracle
MERGE文
文
Web Service
データ統合
データ統合に
統合に必要な
必要な中間処理ステップ
中間処理ステップを
ステップを各種DBの
各種 のネイティブコードで
ネイティブコードで自動生成
Copyright© 2009, Oracle. All rights reserved.
15
ナレッジモジュールはODIが提供する事前定義済みのテンプレートで、データ
統合に必要な中間処理ステップを自動生成するモジュールです。
ナレッジモジュールを利用して開発するステップは、連携対象となるデータベー
スや環境に依存せず、統一した設計開発手順を踏襲することが出来ます。開
発手順の習得も容易で、複数のプログラミング言語スキルを習得する必要があ
りません。また、ナレッジモジュールが各DBに最適なSQLを自動生成するため、
後でチューニングが必要になることがほとんどなく、高いパフォーマンスを提供
します。
ナレッジモジュールは、データ統合の各ステップごとに提供されています。
スライドの例ではIBMのDB2からOracle Databaseに対して差分だけを抽出し
てロードし、データ統合処理をサービス化して公開するまでの一連の処理が描
かれています。点線の四角で囲まれているものが各ステップを表します。リバ
ースならIBM DB2のメタデータ抽出をするステップを、ジャーナライズならIBM
DB2から差分データを取得するためのステップを、といったように、各ステップに
おいて必要なナレッジモジュールが提供されています。
ソースやターゲットのDBの種類が変わっても設計開発手順は同じです。すなわ
ち連携対象の表とKMを選ぶだけなので、個別のDBに対しての深いスキルを
必要としません。これにより、開発生産性を高められます。
15
データ統合処理時
データ統合処理時に
統合処理時に利用する
利用するナレッジモジュール
するナレッジモジュール
統合
抽出/ロード
抽出 ロード
データ品質
データ品質チェック
品質チェック
ターゲット・
ターゲット・データベース
ソース・
ソース・データベース
ORDERS
LKM
ターゲット表
ターゲット表
IKM
ORDER LINES
C0
Target Image
LKM
エラー表
エラー表
C1
ソース・
ソース・ファイル
IKM
ステージング領域
ステージング領域
LKM
ローディング・
ローディング・ナレッジモジュール
ソースから
からターゲット
ソース
からターゲット・
ターゲット・データベースの
データベースのステージ
ング領域
ング領域に
抽出 ロードを
領域に抽出/ロード
ロードを行います
IKM
統合ナレッジモジュール
統合ナレッジモジュール
ステージング領域
ステージング領域で
領域でデータの
データの統合を
統合を行い、ター
ゲット表
ゲット表へデータを
データをロードします
ロードします
CKM
CKM
コントロール・
コントロール・ナレッジモジュール
データ・
・ストアの
データ
ストアのデータ統合
データ統合を
統合をコントロールし
コントロールし、
不品質の
不品質のデータを
データをエラー表
エラー表に移行します
移行します
Copyright© 2009, Oracle. All rights reserved.
16
データ統合処理(ETL処理)の際に利用する3つのナレッジモジュールの詳細についてご紹介します。
LKMはソースからターゲット・データベース内のステージング領域へデータを抽出およびロードする
役割を担います。スライドの中央にある、C0, C1というテーブルの中にソースからロードされたデー
タが格納されます。このC0, C1というテーブルはODIがデータ統合用に一時的に作成するテーブル
です。データがターゲットに正常にロードされた後、LKMによって自動的に削除されます。
ステージング領域にロードされたデータの変換処理を行い、ターゲット表へデータをロードするが
IKMの役割です。
CKMは、データフローの中で定義された制約条件や、ターゲット表のNot Null制約など制約条件に
合致しないデータをエラー表に移行する役割を持っています。制約条件を指定する場合のみ、CKM
の設定を行います。
ユーザーはこれら3つのナレッジモジュールを選択するだけでよく、後はODIがソースからターゲット
にデータをロードする一連の処理を選択したナレッジモジュールに応じた形で自動生成します。
16
ナレッジモジュールによって
ナレッジモジュールによって生成
によって生成される
生成されるステップ
されるステップ例
ステップ例
(例) Load Knowledge Module File to Oracle (SQLLDR)
コマンド
各ステップで実行される
各ステップで実行される
SQL等を確認、編集可能
SQL等を確認、編集可能
目的
Drop work table
作業テーブル
作業テーブルの
テーブルのドロップ
Create work table
作業テーブル
作業テーブルの
テーブルの作成
Generate CTL file
制御ファイル
制御ファイルの
ファイルの生成
Call sqlldr via Jython
SQLLDRコマンド
コマンドの
コマンドの実行
Analyze work table
統計情報の
統計情報の作成
Drop work Table
作業テーブル
作業テーブルの
テーブルのドロップ
• 製品固有のユーティリティを利用するために必要なステップも自動生成
• 必要に応じてカスタマイズや拡張も可能
•
•
•
•
ODIのAPI
OSのシェルスクリプト
データベースの言語(SQL, PL/SQL, Transact SQLなど)
互換性のあるBeansスクリプト・フレームワーク言語(Java, JavaScript, Jython (Java Python), Perl など)
• 作成したナレッジモジュールを他のプロジェクトで使用可能
Copyright© 2009, Oracle. All rights reserved.
17
このスライドでは、ナレッジモジュールによって生成されるステップを「LKM File
to Oracle (SQLLDR)」を例にご紹介します。
このナレッジモジュールを利用するとSQL*LOADER コマンドライン・ユーティリ
ティと呼ばれるバルクロード・ユーティリティを使用して、ファイルからOracle ス
テージング領域へデータをロードすることができます。
スライド左側の絵は、 ODI開発ツールで表示されるナレッジモジュールの詳細
画面のスクリーンショットです。この中の各コマンドをドリルダウンすると各ステ
ップで実行されるSQL等を確認し、編集することが出来ます。スライド右側の表
には、左側の詳細画面の各コマンドを切り出したものとその目的が書かれてい
ます。
SQLLDRを利用してデータをロードする場合、制御ファイルを作成し、コマンドを
実行するというステップが必要となります。このように、製品固有のユーティリテ
ィを利用する場合、一般的に製品ごとにそのスキルを習得する必要があります。
しかし、ODIを使用することで、このようなDB固有のスキルがなくてもツール上
でナレッジモジュールを選択するだけで、最適化されたステップが各DBのネイ
ティブコードとして自動生成されます。
また、ナレッジモジュールが自動生成するコマンドをカスタマイズすることも可能
です。
カスタマイズする際はスライドに書かれているようなプログラムを利用して開発
します。カスタマイズしたナレッジモジュールは再利用可能で、他のプロジェクト
で利用することももちろん可能です。
17
多種多様な
多種多様なデータソースに
データソースに対応
多様なデータソースへの接続により、拡張性の高いシステム連携を実現
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
Generic SQL DB
Oracle Database
Oracle Exadata
Oracle Database Machine
IBM DB2/400
IBM DB2/Mainframe
IBM DB2/UDB
IBM Informix SE
IBM Informix DS
Microsoft SQL Server
Microsoft Access
Microsoft Excel
Microsoft Active Directory
Sybase AS Anywhere
Sybase AS Enterprise
Sybase IQ
Teradata
Netezza
PostgresSQL
MySQL
Adabas
VSAM CICS
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
Oracle BIEE Suite
Oracle Hyperion Essbase
Oracle Hyperion FM
Oracle Hyperion Planning
Oracle E-Business Suite
Oracle PeopleSoft
Oracle Siebel CRM
Oracle JD Edwards EO
Oracle OLAP
Oracle Internet Directory
Oracle ESB
Oracle BAM
Oracle Tuxedo
SAP ERP
SAP BW
Salesforce App Exchange
SAS
OpenLDAP
WebSphere MQ
IBM MQ Series
などなど
事前定義済み
事前定義済み
ナレッジ
モジュール
※詳細の
詳細のバージョンにつきましては
バージョンにつきましては別途
につきましては別途ご
別途ご確認ください
確認ください
Copyright© 2009, Oracle. All rights reserved.
18
こちらのスライドでは、どのようなデータソースを利用できるかを一覧にしていま
す。ご覧いただけますとおり、 Oracle Applications (EBS, People, Hyperion
など)を含む多種多様なデータ間連携に対応可能です。
データベースとの接続はデータベース・ベンダーが提供しているJDBCドライバ
を利用します。そして、パッケージ・アプリケーションやメインフレームとの連携
にはOracleや外部ベンダーが提供するアダプタを利用します。これらのデータ
ソースに対して、事前定義済みのナレッジモジュールを提供しています。ナレッ
ジモジュールは、製品リリースごとにベストプラクティスに合わせて常に進化を
続けています。
各製品の詳細対応バージョンについては巻末のリファレンス・スライドのシステ
ム要件のリンクをご参照ください
18
宣言型設計:設計開発
<Insert Picture Here>
宣言型設計
ナレッジモジュールの詳細
設計開発
Copyright© 2009, Oracle. All rights reserved.
19
続いて、Oracle Data Integratorの設計開発についてご説明いたします。
19
19
Oracle Data Integratorの
のコンポーネント全体像
コンポーネント全体像
ODI
DESIGNER
ODI
TOPOLOGY
インフォメーション・システムの設定
開発
ODI
OPERATOR
メタデータ参照
ODI
METADATA
NAVIGATOR
リモートで実行
ジョブ実行のモニタリング
リポジトリ
ユーザー権限管理
Agent コードの実行命令を
ODI
SECURITY
ソースおよびターゲットに送信
連携データソース
連携データソース
JMS
JCA
JDBC
JDBC
MOM
ERP/
CRM
DWH
DBMS
JDBC/OS
OLAP
Copyright© 2009, Oracle. All rights reserved.
JNDI
LDAP
Directory
JDBC/OS
フラット・
フラット・ファイル
XML
20
まず、Oracle Data Integratorに含まれるコンポーネントをご紹介します。 スライド中央のリポジトリ
にアクセスしているのがOracle Data Integratorの各コンポーネントです。リポジトリの右側にある
Agentがアクセスしている水色の点線以下は、データベースやフラット・ファイルなどの連携対象を
示しています。 ODI全体構成のスライド中でご紹介したODIの開発ツールは、Designer、Topology、
Operator、Securityの4つのコンポーネントです。各コンポーネントはタブを切替えるようなイメージ
で、ワンクリックで切り替えて利用できます。
Metadata NavigatorはWebアプリケーションベースの運用管理ツールです。続いてのスライド以降、
ODIの設計開発手順をご説明します。
20
Oracle Data Integrator 開発手順
対応する
の開発ツール
対応するODIの
する
開発ツール
1. アーキテクチャの
アーキテクチャの定義
• アーキテクチャの定義
Topology
2. メタデータの
)
メタデータの抽出(
抽出(Reverse-engineering)
Designer
• テーブル定義
• 制約
モデル
3. インタフェースの
インタフェースの設計
• ソースとターゲットの選択
• 変換ルール
• データ・コントロール(データ品質)
• ナレッジ・モジュールの選択
インタフェース
4. 単体テスト
単体テスト
• デバッグ
Operator
5. 実行フロー
実行フローの
フローの設計
• パッケージの設計
• 統合テスト
• シナリオの生成
• バージョニング
• スケジューリング
Designer
パッケージ
シナリオ
Operator
Copyright© 2009, Oracle. All rights reserved.
21
ODIを利用したデータ統合フローの開発手順は、スライド左側に書かれている
通り、大きく5つのステップに分かれます。本セッションでは、インタフェースの設
計部分、赤枠で囲まれている部分を中心にご説明します。
スライド右側の各コンポーネントは、各開発ステップで利用するODIの開発ツー
ルを表しています。
開発手順の概要は以下の通りです。
まずはじめに利用するデータソースの接続情報の設定をTopologyで行います。
次に、 Designerを利用して、実際のDBに格納されている表からODI開発ツー
ル上で扱えるように表定義や制約などの情報をリバース(インポート)し、リポジ
トリでメタデータとして管理します。このメタデータを利用してデータフローの開
発を行います。そして、テスト実行を行う際のモニタリングにOperatorを利用し
ます。
Designerモジュールの四角の中に書かれている、「モデル」、「インタフェース」、
「パッケージ」、「シナリオ」とはODI固有の用語です。これらの用語説明につい
ては、次のスライドでお話いたします。
21
ODIの
の開発ツール
(用語説明)
開発ツール:
ツール:Designer(
用語説明)
②プロジェクト
プロジェクト
ODIの処理プログラムの一覧 。下記が代表的なコンポーネント。
インタフェース ・・・ データフローの最小単位。ソース表とターゲット表のマッピング
・インタフェース
や処理方法を指定する(単純挿入、差分同期、ローダーによる
バルクロード等処理に応じてKnowledge Moduleを選択)
・パッケージ
パッケージ ・・・ ODIで最大の実行単位。上記で定義したインタフェースや
ODIのAPI、OSコマンド、実行コマンドを直書きしたプロシージャ等
の要素を並べてジョブフローを作成することが可能
シナリオ ・・・ パッケージやインタフェース、プロシージャ等をコンパイルしシナリオ
・シナリオ
を作成。シナリオは、スケジュール可能な本番環境用の実行単位。
外部からの呼出も可能。
①モデル
モデル
データソースのメタデータ(表定義や制約等)をODIのツール(Designer)で扱えるよ
うに抽出した一覧
Copyright© 2009, Oracle. All rights reserved.
22
Designerモジュールの中で、モデルとプロジェクトを主に使用します。 モデル
ではTopologyモジュールの中で定義した表定義や制約などのメタデータを
Designerモジュールで扱えるように抽出して、管理します。 プロジェクトでは、
ODIの処理プログラムを各プロジェクト単位でまとめて管理しています。この中
には、複数のコンポーネントが含まれており、インタフェース、パッケージ、シナ
リオはそれらの代表的なコンポーネントです。 インタフェースは、データフロー
の最小単位です。ソース表からターゲット表へのデータ統合処理をインタフェー
スで定義します。 パッケージでは、定義した複数のインタフェースやODIのAPI、
OSコマンドなどのデータ統合フローを作成する際に必要となる各要素を並べて
配置し、データ統合フローを作成できます。 例えば、インタフェース1が正常終
了した場合は、インタフェース2を実行、万一、インタフェース1実行時にエラー
が発生した場合は、インタフェース3を実行する、といったジョブフローをパッケ
ージで定義します。 このようにして定義したインタフェースやパッケージをコン
パイルしたものをシナリオと呼びます。本番環境ではこのシナリオを実行し、デ
ータ統合を行います。外部スケジューラや外部システムがODIで作成したデー
タ統合フローを呼び出す際は、このシナリオを呼び出します。 それでは、実際
のデータ統合フローの設計手順について次のスライドでご説明します。
22
データフロー設計
データフロー設計の
設計の流れ:Designer
STEP3: STEP2の
のインタフェース等
インタフェース等を並べて
ジョブフロー(パッケージ
ジョブフロー パッケージ)を
パッケージ を設計
STEP2:表
表の連携(インタフェース
連携 インタフェース)を
インタフェース を設計
緑線(ok)は
は成功時の
緑線
成功時のフロー
赤線(ko)は
は失敗時の
赤線
失敗時のフロー
ソース
ターゲット
インタフェース等
インタフェース等の要素を
要素を並べて
ジョブフローを
ジョブフローを作成
表定義の
表定義の一覧から
一覧からDrag&Drop
から
STEP1:
:モデルの
モデルの抽出(リバース
抽出 リバース)
リバース
Copyright© 2009, Oracle. All rights reserved.
23
はじめに、左下の黄色いふきだしのSTEP1の「モデルの抽出」を行い、モデル
の定義を行います。そして、定義したモデルをソースおよびターゲットの各エリ
アにドラッグ&ドロップして、表の連携(インタフェース)を設計します。このよう
にして作成したインタフェース等を並べてジョブフロー(パッケージ)を設計しま
す。
これが、データ統合フローを設計する際の大まかな流れです。続いてのスライ
ドで、インタフェースを設計する手順の詳細をご説明します。
23
インタフェースの
インタフェースの設計(
設計(データ変換
データ変換、
変換、マッピング)
マッピング)
「ダイアグラム」
やフィルタ、
ダイアグラム」タブでは
タブでは、
では、ソース表同士
ソース表同士の
表同士のJoinや
フィルタ、
ターゲット表
ターゲット表とのマッピング
とのマッピング、
マッピング、データ変換等
データ変換等を
変換等を設計
ソース表のJOIN
フィルタ:SQLのWhere句に該当
ソース
ターゲット
ターゲット表のカラムを選択すると
下段にマッピングの詳細が表示さ
れる。DBの関数等を用いてデータ
変換の定義を行う。
Copyright© 2009, Oracle. All rights reserved.
24
インタフェースを設計する際、まずモデルで抽出したメタデータの一覧からソースとターゲットのエリ
アにドラッグ&ドロップして配置するということを前のスライドでお話しました。このスライドでは配置
したソースとターゲットのデータ変換およびマッピングの定義方法をご説明します。
スライドにあるイメージはインタフェース設計時に利用する「ダイアグラム」タブの画面イメージです。
この「ダイアグラム」タブでは、ソース同士の結合条件やフィルタの設定やソースとターゲットのマッ
ピング定義を行います。
まず、ソース・エリアの中で、ソース同士の結合(Join)やフィルタを定義します。フィルタとは、SQL
のWhere句に該当するものです。ターゲット・エリアで、ターゲット表のカラムのマッピングやデータ
変換を実行する場所の設定を行います。デフォルトでは、ターゲット・データベースで変換を行うよう
指定されていますが、ソースで変換を行ったりあるいは、まったく異なるサーバーにデータ変換の処
理を行わせることも可能です。
24
インタフェースの
インタフェースの設計(
設計(ナレッジモジュールの
ナレッジモジュールの選択)
選択)
「フロー」
フロー」タブでは
タブでは、
では、処理方法を
処理方法を指定する
指定する(
する(単純挿入、
単純挿入、差分同期、
差分同期、ローダ
ーによるバルクロード
によるバルクロード等処理
バルクロード等処理に
等処理に応じてナレッジモジュールを
ナレッジモジュールを選択)
選択)
ターゲット+ステージング
ソース
①ステージング表までのロード処理を行う
ローディング・ナレッジモジュール(LKM)を指定
②ターゲット側を選択し、ステージング表からターゲット表にデータを
統合する統合ナレッジモジュール(IKM)を指定
Copyright© 2009, Oracle. All rights reserved.
25
マッピングやデータ変換の定義に続いて、使用するナレッジモジュールを選択します。
ナレッジモジュールの選択は「フロー」タブと「フロー」タブの隣にある「制御」タブで行います。「フロ
ー」タブでは、データ統合の処理方法(LKMとIKM)を選択します。「制御」タブではデータ整合性の
確認(CKMの設定)を行います。
「フロー」タブの中でも「ダイアグラム」タブの中で表示されていた際と同じように画面左側にソース、
右側にターゲットが表示されます。スライドの例では、ターゲットの中で変換処理を行っているため、
ステージング領域がターゲット・エリアの中に包含されています。
まず、ステージング表までのロード処理を行うLKMを選択します。続いて、統合処理を行う、IKMを
選択します。
ユーザーは使用するナレッジモジュールを選択するだけで、後はODIが自動でデータフローを生成
をします。ODIのナレッジモジュールを利用した宣言型設計は、開発生産性を高め、開発工数の削
減を実現します。
25
ODIの
のモニタリング・
モニタリング・ツール:
ツール:Operator
セッションの
ステータス
再実行
• アイコン:
•
•
•
•
•
SQLを編集して再実行することで
Operatorからデバッグが可能
実行中:
警告:
成功:
失敗:
待機中:
正常に処理が完了
Copyright© 2009, Oracle. All rights reserved.
26
作成したインタフェースやパッケージの実行状況のモニタリングをOperatorで行います。Operatorで
は各セッションの実行ログを一覧で確認できます。また、各ステップでかかった処理時間や実行し
ているSQLなどの詳細も確認できるので、エラーが発生した際のデバッグ用途で利用することも可
能です。必要に応じてOperator上でSQLを編集してセッションを再実行することも可能です。
セッション・ステータス部分の各アイコンでステップのステータスが確認できます。アイコンの種類と
その意味はスライド左下のとおりです。例えば、赤色のアイコンは失敗、エラーが発生したことを示
します。
26
構成情報管理:
構成情報管理:メタデータ・
メタデータ・ナビゲータ
•
•
•
•
リポジトリに格納されているメタデータの情報をグラフィカルに表示するコンソール
構成変更時の影響度の確認に使用
エージェントの実行状況を確認可能
シナリオの実行/再実行を行うことが可能
シナリオの
シナリオの実行と
実行と
実行結果の
実行結果の表示
エラーの
エラーの詳細表示
テーブルと
テーブルとインタフェースの
インタフェースの
依存関係を
依存関係を表示
データフローの
データフローの理解
Copyright© 2009, Oracle. All rights reserved.
27
本番環境に移行したシナリオなどの構成情報を管理するために、メタデータ・ナビゲー
タと呼ばれるWebアプリケーションを提供しています。開発ツールをインストールするこ
となく利用可能で、ビジネスユーザーの利用にも適しています。 メタデータ・ナビゲータ
では、ODIのリポジトリに格納されているメタデータの情報をグラフィカルに確認するこ
とが出来ます。例えば、検索対象のテーブルがどのインタフェースに利用されているの
か、あるいは、検索対象のインタフェースはどのソースおよびターゲットを参照している
のか、といった情報をグラフィカルに確認できます。 この機能を利用して、構成に変更
が生じる際の影響度を分析することも可能です。 この他にも、エージェントの実行状況
の確認や、作成したシナリオを実行し、その実行結果を確認するという機能も兼ね備え
たODIの運用管理ツールです。
27
多様な連携タイミングへの対応:「チェンジ・データ・キャプチャ
(CDC)」
<Insert Picture Here>
多様な
多様な連携タイミング
連携タイミングへの
タイミングへの対応
への対応
チェンジ・データ・キャプチャ(CDC)
SOA連携
Copyright© 2009, Oracle. All rights reserved.
28
ここまでODIの設計開発方法についてお話しました。続いては、チェンジ・デー
タ・キャプチャの詳細についてご説明します。
28
28
チェンジ・
)とは?
チェンジ・データ・
データ・キャプチャ(
キャプチャ(CDC)
とは?
• チェンジ・データ・キャプチャ(CDC)とは
•
ソース・テーブルの更新/追加/削除データのうち必要なデータだけを収集し、蓄積する機能
•
変更データのみを抽出することができ、データ転送のボリュームを削減
• ETL処理でのCDCの利用
•
CDC実装による差分情報をETL処理に組み込む必要がある
CDCによる
による
差分情報の
の取得
差分情報
差分のみを
差分のみを
ETL処理
処理
ソース・
ソース・データベース
データウェアハウス
Copyright© 2009, Oracle. All rights reserved.
29
チェンジ・データ・キャプチャとは、ソーステーブルの中で更新、追加、削除され
たレコードだけを抽出する機能です。この機能を使用することにより、全件検索
から必要なレコードを抽出するよりも検索時間の削減や転送のボリュームを低
減することができ、パフォーマンスの向上が見込めます。 ETL処理の中でこの
チェンジ・データ・キャプチャを利用する場合、差分情報を抽出するためのロジッ
クをETL処理の中に組み込む必要があります。
29
ODIでの
でのCDCの
の実装
での
• ソースデータベース毎にCDCを実装するためのKM(ナレッジ・モジュール)を提供
• CDCに必要なDBオブジェクトを自動生成
• 重複データのチェックやInsert/Update/Deleteの制御等
⇒ ツール上でソース・データベースに対してのCDCの設定とETL処理への組み込み
が可能
CDCの
の実装
ナレッジモジュール
ツール上で実装が可能
なので、DB側での
開発工数削減が可能
開発ツール
の実装
開発ツールによる
ツールによるCDCの
による
ETL処理
処理の
処理の設計・
設計・実行
差分のみを
差分のみを
ETL処理
処理
ソース・
ソース・データベース
データウェアハウス
Copyright© 2009, Oracle. All rights reserved.
30
Oracle Data Integratorでは、この差分抽出のロジックを予め実装したナレッ
ジ・モジュールをソース・データベースごとに提供しています。この中には、CDC
を実行するうえで必要なDBオブジェクトの作成や、重複データのチェックおよび
Insert/Update/Deleteの制御などが含まれます。
ユーザーは、追加のコーディングをする必要がなく、開発ツール上でチェンジ・
データ・キャプチャの設定を行い、ETL処理へ組み込むことが出来るため、実装
にかかる開発工数を削減することができます。
30
ODIの
のCDC処理
処理の
処理の流れ(トリガー・
トリガー・ベースの
ベースの場合)
場合)
ODIで定義したバッチ処理(インタフェース)に、GUI上でノンプログラ
ミングで追加設定をするだけで、差分更新(CDC)が実現可能
アプリケーション
データの
データの更新
ジャーナル表
ジャーナル表
③ターゲット表
を更新
ソース・
ソース・データベース
ターゲット・スキーマ
ターゲット・スキーマ
①Triggerが変更履歴を
ジャーナル表に追加
監視
ODI Agent
ステージング
ステージング
領域
領域
リポジトリ
リポジトリ
スキーマ
スキーマ
②ステージング領域へ
データをロード
ターゲット・
ターゲット・データベース
Copyright© 2009, Oracle. All rights reserved.
31
実際のCDC処理の流れを絵に表したものがこちらのスライドです。ODIでは、ト
リガーおよびデータベース・ログから変更データを取得する方法を用いてCDC
を行うことが出来ます。
スライドの処理の流れは、トリガー・ベースの場合を表しています。
まず、ソース・データベースのデータが更新されると、ソース・データベース内部
のトリガーが変更を検知し、その変更履歴をジャーナル表に追加します。ODI
Agentはそのジャーナル表を一定間隔で監視します。ジャーナル表の更新を検
知すると、更新されたデータのみをステージング領域にロードします。続いて、
ステージング領域とターゲット表のデータを比較し、増分データのみをターゲット
表に統合します。
このような仕組みで変更データのみを取得することで、リアルタイムにより近い
形でターゲット・データベースにデータを反映させることができます。
31
多様な連携タイミングへの対応:「SOA連
携」
<Insert Picture Here>
多様な
多様な連携タイミング
連携タイミングへの
タイミングへの対応
への対応
チェンジ・データ・キャプチャ(CDC)
SOA連携
Copyright© 2009, Oracle. All rights reserved.
32
チェンジ・データ・キャプチャについては以上となります。続いてSOA連携につ
いてご説明します。
32
32
SOA連携
連携
ODIのWebサービスを利用することで、外部システムと連携可能
Webサービス
サービス起動
サービス起動
外部のWebサービスを呼び出すツール(ODIInvokeWebService)を提供
•
公開Webサービス
サービス
公開
ODIのシナリオをWebサービスとして実行可能
•
外部アプリケーション
(Webサービス・
クライアント)
SOAP
Javaアプリケーション
アプリケーション・
アプリケーション・
サーバー
サーバー
Apache Axis2
公開Webサービス
サービス
公開
シナリオの
シナリオの開始
ODI Agent
OdiInvokeWebService
ツールの
ツールの設定
バルク
データ処理
Copyright© 2009, Oracle. All rights reserved.
33
ODIでは、SOA環境のシステムと連携するために2つの機能を提供しています。
1つ目のWebサービス起動は、ODIから外部のWebサービスを呼び出す機能です。
ODIInvokeWebServiceと呼ばれるODIのツールを利用して外部のWebサービスを呼び出します。ス
ライド左下のイメージのように、このWebサービス起動の機能をパッケージの中に組み込むことも可
能です。
2つ目の公開Webサービスは、ODIのシナリオをWebサービスとして公開する機能です。この機能に
より、外部アプリケーションから、Oracle Data Integratorで開発されたデータ統合フロー(シナリオ)
をWebサービス経由で起動できます。
これらの機能により、ODIと外部Webサービスとの双方向の連携を実現します。
33
アジェンダ:
アジェンダ:利用シーン
利用シーン
• Oracle Data Integratorの概要
• Oracle Data Integratorの詳細
• 利用シーン
Copyright© 2009, Oracle. All rights reserved.
34
これまで、Oracle Data Integratorの概要および詳細について3つの特長を軸
にお話してきました。最後に今までお話したODIの特長を生かす、4つ利用シー
ンをご紹介します。
34
① バッチ連携
バッチ連携
• 特長
• 多種多様な
多種多様なデータソースに対応
• バルクロード・ユーティリティを使用した高
高パフォーマンスのロード
パフォーマンス
• ネットワーク負荷の軽減
軽減
• 主な適用用途
• データウェアハウスの構築
• データ移行(初期移行)
• スケジューリング(定時バッチ)
(例)多種多様なデータソースを利用したデータウェアハウスの構築
データソース
データウェアハウス
Oracle
Data Integrator
Copyright© 2009, Oracle. All rights reserved.
35
1つ目の利用シーンは、バッチ連携です。バッチ連携の適用用途には、データ
ウェアハウスの構築、データ移行時の初期移行、夜間バッチ等の定時スケジュ
ーリングなどが例として挙げられます。 詳細の部分でご紹介したとおり、
Oracle Data Integratorは、多種多様なデータソースを利用可能です。多岐に
わたるソースを利用するデータ統合の場合でも、ナレッジモジュールによって中
間処理が生成されるので、ソース言語を意識する必要がありません。 また中間
サーバーを置かないELT構成は、バルクロードユーティリティを使用した高パフ
ォーマンスのロードを実現し、かつネットワーク負荷を軽減します。
35
② リアルタイム連携
リアルタイム連携
• 特長
• 多種多様な
多種多様なデータソースに対応
• CDC設定時の開発工数
開発工数の
開発工数の削減
• 主な適用用途
•
•
•
•
マスター・データ管理(MDM)
データ・レプリケーション
データ移行時の新旧環境の並行運用
リアルタイム・データウェアハウス
(例)複数システム間の顧客管理マスターのリアルタイム連携
システムC
システムC
システムA
システムA
統合マスター
統合マスター・
マスター・データベース
顧客管理
顧客管理
(Master)
(Master)
顧客管理
顧客管理
(Master)
(Master)
システムB
システムB
顧客管理
顧客管理
(Master)
(Master)
顧客管理
顧客管理
(Master)
(Master)
Oracle Data Integrator
Copyright© 2009, Oracle. All rights reserved.
システムD
システムD
顧客管理
顧客管理
(Master)
(Master)
36
続いての利用シーンはリアルタイム連携です。
適用用途には、マスターデータ管理、データ・レプリケーション、新旧環境の並
行運用、リアルタイム・データウェアハウスなどが例として挙げられます。
リアルタイム・データウェアハウスとは、ソース・データに更新があった場合にリ
アルタイムに近い形でデータを反映させるデータウェアハウスです。ビジネス・
ユーザーは、意思決定に際してより現実に近い、鮮度の高いデータを分析に利
用することができます。
スライドの例にあるような、複数のシステム間において、データ同期をリアルタ
イムで取る場合、ODIでは、GUI上でノンプログラミングで設計することができる
ので、開発工数を削減できます。
36
③ SOA連携
連携
• 特長
• SOAプロセス内のボトルネック
ボトルネックの
ボトルネックの解消
シームレスな
• Oracle SOA関連製品とのシームレス
シームレスな連携
• 外部SOAサービスをODIのデータ統合フロー内に組
組み込み可能
(例)Oracle SOA関連製品からのODIシナリオの呼び出し
① 公開Webサービス
サービス
公開
経由で
経由で呼び出される
Oracle Data Integrator
③ 実行結果を
実行結果を送信
② ODIシナリオ
シナリオの
シナリオの実行
Oracle Service Bus
Oracle BPEL PM
バルク
データ処理
Copyright© 2009, Oracle. All rights reserved.
37
3つ目の利用シーンはSOA製品との組み合わせです。SOAを導入されている、
もしくは検討されているお客様が年々増加傾向にあります。 このSOAのシステ
ムの中でよく課題として挙げられるのは大容量のデータの受け渡しの部分です。
Oracle Data IntegratorはSOA製品と組み合わせることでSOAの中でボトルネ
ックになりがちな、大容量のデータを扱う処理を肩代わりし、SOAプロセスの中
でのボトルネックを解消することができます。 例えば、弊社のSOA製品である、
Oracle BPEL Process ManagerやOracle Service Busから、詳細の部分でご
説明した「公開Webサービス」を利用して、Oracle Data Integratorで作成した
シナリオ(バッチ処理)を実行することができます。シナリオ完了後、ODIから
SOAプロセスに対して実行結果を送信します。この結果を受けて、その後のプ
ロセスを進めることができます。
37
④ パッケージ・
パッケージ・アプリケーション連携
アプリケーション連携
• 特長
• データ統合フロー作成時の開発生産性
開発生産性の
開発生産性の向上を実現
向上
• 個々のアプリケーション用のナレッジモジュールを利用して
容易な
パッケージ・アプリケーションとの容易
容易な連携を実現
連携
(例)Oracle E-Business Suiteとの連携
②コンカレント・
コンカレント・プログラムを
プログラムを
ODIの
のKMから
から自動実行
から自動実行
①データ統合
データ統合フロー
統合フローを
フローを実行し
実行し、
オープンインタフェース表
オープンインタフェース表に
データを
データをロード
Oracle Data Integrator
オープン
インタフェース表
コンカレント・プログラム
(バッチ処理)
Oracle E-Business Suite
Copyright© 2009, Oracle. All rights reserved.
38
最後にご紹介する利用シーンは、パッケージ・アプリケーションとの連携です。
Oracle Data Integratorは、個々のパッケージ・アプリケーション用に特化した、
メタデータを抽出するナレッジモジュールやデータ統合をするためのナレッジモ
ジュールを提供しています。このナレッジモジュールを利用することでデータ統
合フロー開発時の開発生産性の向上とアプリケーションとの容易な連携を実現
します。 パッケージ・アプリケーションには膨大な表が存在します。アプリケー
ションの表定義(メタデータ)を抽出する際、それぞれに最適化されたナレッジモ
ジュールを利用してメタデータを抽出することで、インベントリやオーダー管理な
ど各モジュール単位で関連する表をひとまとめにして表示させることできます。
これにより、データ統合フロー開発時の生産性を高めます。 データ統合時には、
各アプリケーション用のナレッジモジュールを利用することで容易な連携を実現
できます。 下の例はOracle E-Business Suiteをターゲットとした連携を絵に表
したものです。 E-Business Suite用の統合ナレッジモジュールでは、まずオー
プンインタフェース表にデータをロードします。続いて、コンカレント・プログラム
と呼ばれるE-Business Suite内のバッチプログラムをODIのナレッジモジュー
ルから起動させ、最終ターゲットである実表にデータをロードします。
38
まとめ
• Oracle Data Integratorとは?
企業が抱えるデータ統合における課題を解決するデータ統合基盤製品
• Oracle Data Integratorの特長
「E-LTアーキテクチャ」による高速処理
ナレッジモジュール利用による高い開発生産性
様々なデータ統合要件へ標準機能で対応
• Oracle Data Integratorの詳細
Oracle Data Integratorのアーキテクチャ
ナレッジモジュールの詳細
Oracle Data Integratorの設計開発手順
様々な連携タイミングへの対応(リアルタイム連携、SOA連携)
• 利用シーン
バッチ連携
リアルタイム連携
SOA連携
パッケージアプリケーション連携
Copyright© 2009, Oracle. All rights reserved.
39
最後に本セッションの内容をまとめます。 Oracle Data Integratorとは、企業が
抱えるデータ統合における課題を解決するデータ統合基盤製品です。 Oracle
Data Integratorの特長としてスライドに記載している3つの特長をご紹介しまし
た。 詳細の部分では、ODIのアーキテクチャ、ナレッジモジュールの詳細、設
計開発手順と運用管理ツール、Change Data CaptureとSOA連携についてご
説明しました。 最後に、ODIの特長を生かす4つの利用シーンについてご紹介
いたしました。
39
リファレンス
• 製品紹介
- http://www.oracle.com/lang/jp/products/middleware/oracle-data-integrator.html
• システム要件
- http://www.oracle.com/technology/products/oracle-dataintegrator/10.1.3/htdocs/documentation/odi_certification.xls
• OTN(Oracle Technology Network)
• 技術資料、マニュアルの公開、トライアル版のダウンロード など
- http://www.oracle.com/technology/global/jp/products/oracle-data-integrator/index.html
• Oracle Data Integrator オンライン・マニュアル
- http://otndnld.oracle.co.jp/document/products/odi/10135/doc_cd/index.htm
• Oracle Data Integrator – ETLプロジェクト・スタート・ガイド
- http://otndnld.oracle.co.jp/document/products/odi/10135/doc_cd/oracledi/doc/webhelp/ja/printa
ble/gs_etl.pdf
• Oracle University 研修コース
• Oracle Data Integrator 開発・管理
- http://education.oracle.com/pls/web_prod-plqdad/show_desc.redirect?dc=D48459JP30&p_org_id=70&lang=JA
Copyright© 2009, Oracle. All rights reserved.
40
製品情報の詳細などをご希望の方はスライドの各リンクをご参照ください。
40
本資料の
本資料の使用上の
使用上の注意事項2
注意事項
日本オラクル株式会社 無断転載を禁ず
この文書はあくまでも参考資料であり、掲載されている情報は予告なしに変更されることがあります。
日本オラクル社は本書の内容に関していかなる保証もいたしません。
また、本書の内容に関連したいかなる損害についても責任を負いかねます。
Oracle、PeopleSoft、JD Edwards、及びSiebelは、米国オラクル・コーポレーション及びその子会社、関連会社の登録商標です。
その他の名称はそれぞれの会社の商標の可能性があります。
本プレゼンテーションは、情報提供を唯一の目的とするものであり、いかなる契約書または合意書に組み込むことはできません。
Copyright© 2009, Oracle. All rights reserved.
本セッションではOracle Data Integratorの技術概要についてご説明しました。ご静聴
ありがとうございました。
41
Fly UP