GoldenGateテクニカルセミナー2「Oracle GoldenGate 新機能情報」(2016/5/11)

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
プロフェッショナルが語る！Oracle GoldenGate テクニカルセミナー
Oracle GoldenGate 新機能情報
2016年5月11日
日本オラクル株式会社
クラウド・テクノロジー事業統括
Cloud／Big Data／DISプロダクト本部
エンジニアリング部
後藤陽介

Safe Harbor Statement
The following is intended to outline our general product direction. It is intended for
information purposes only, and may not be incorporated into any contract. It is not a
commitment to deliver any material, code, or functionality, and should not be relied upon
in making purchasing decisions. The development, release, and timing of any features or
functionality described for Oracle’s products remains at the sole discretion of Oracle.
2

アジェンダ
• GoldenGate 12.2
• GoldenGate for Big Data
• GoldenGate Cloud Service
• GUI製品群 (Foundation Suite)
– GoldenGate Veridata 12.2
– GoldenGate Monitor / EM Plugin
– GoldenGate Studio
3

アジェンダ
• GoldenGate 12.2
4

GoldenGate 12.2 の主な新機能
• Automatic Heartbeat Table (OGG Core)
• Instantiation CSN Support (for Oracle DB)
• Metadata Encapsulation (OGG Core)
• Parameter Simplification (OGG Core)
• XAG Integration (for Oracle DB)
• Trail File Extension Increase (OGG Core)
• Invisible Columns Support (for Oracle DB)
• Fetch from ADG (for Oracle DB)
5
※ OGG Core：RDBMSの種類に依存しない機能
本セミナーで詳細を説明
本セミナーで概要を説明

Automatic Heartbeat Table (OGG Core)
6
End-to-End のレプリケーション・ラグ監視を製品機能でサポート
• OGG のLag コマンドは便利だが、万能で
はない
1. 各OGGプロセスの処理の遅れは確認
できるが、ソース/ターゲットDB間の時
間差は確認できない
2. ラグ情報の正確性は、レプリケーション
が正常稼働していることが前提
• 上記を補うため、遅延管理用のダミー表
（Heartbeat Table）を手動作成し、定期更
新とレプリケーションを設定（※）
• Lagコマンドは正常稼働時の性能監視用
途で使用
今まで
• Heartbeat Table の作成・更新・レプリケー
ション設定・参照ビュー製品機能として提
供
• ユースケース（例）
1. 遅延管理に使用。「データが届いてな
い」と言われたら、まずHeartbeat Table
を確認。
2. 移行・メンテナンスによる切り替えを行
う時に「伝搬済みトランザクション」を時
刻ベースで確認
運用設計・運用管理をより簡単に
GoldenGate 12.2
※ MOSでサンプルドキュメントも公開
Heartbeat Table for Monitoring Lag times (ドキュメントID 1299679.1)

GoldenGate
GoldenGateのlagコマンド
更新ログ
抽出
プロセス
(Capture)
転送
プロセス
(DataPump)
Trailファイル
GoldenGate
受信
プロセス
(Collector)
適用
プロセス
(Replicat)
Trailファイル
SQL を発行
例：Replicat lag
= (最新トランザクションを処理したタイムスタンプ)
– (ソースDBでのコミットタイムスタンプ)
•Replicat プロセス内で計算可能なので軽量
•End-to-Endのラグは確認できない
コマンド実行例
GGSCI > lag replicat rep01
Sending GETLAG request to REPLICAT REP01 ...
Last record lag: 2 seconds.  ラグは2秒
At EOF, no more records to process.  Trailファイルの終端まで処理済み

ターゲットDBサーバ
Oracle Database
• 各処理ステップでHeartbeat関連表にタイムスタンプを更新しながらレプリケーションす
ることでラグ情報等を転送する。（ソース/ターゲットのタイムスタンプを合わせる）
ソースDBサーバ
Oracle Database
Automatic Heartbeat Tableの仕組み
GG_HEARTBEAT_SEED表
Oracle GoldenGate
GG_HEARTBEAT表
片方向レプリケーション
の場合、ソース側は空。
GG_UPDATE_
HEARTBEATS
スケジューラ・
ジョブ
GG_UPDAT
E_HB_TAB
プロシージャ
60秒毎
にキック
現在時刻（SYSTIMESTAMP)
でタイムスタンプを更新。
更新された行が伝播される。
CAPTURE
Trail
Record
Trail Recordに
プロセス名と
現在時刻
を追記
DATAPUMP
Trail
Record
Trail Recordに
サーバ名と
プロセス名と
現在時刻
を追記
GoldenGate
REPLICAT
Trail
Record
プロセス名と
現在時刻と共に
Trail Recordを
HEARTBEAT表と
HISTORY表へ
更新
GG_HEARTBEAT表
GG_HEARTBEAT_HISTORY
一般的な片方向レプリケーション構成の場合の仕組み
GG_PURGE_
HEARTBEATS
スケジューラ・
ジョブ
GG_PURGE_
HB_TAB
プロシージャ
1日毎
にキック
30日より古い
データを削除
不要な
列を
削除

既存ソリューションとの比較
9
Lagコマンド WhitePaperによる
Heartbeat Table
Automatic Heartbeat
Table（NEW! R12.2～）
元となる
時間情報
Lag Start Time：DBのTimestamp
Lag End Time：システムクロック
特に指定なし（カスタマイズ可
能なので、自分で選択）
HEARTBEAT_TIMESTAMP：DB
各プロセス：システムクロック
障害検知
での利用
△ GGプロセス停止時はエラーが
返るため検知可能。それ以外は
正常終了するため検知できない。
○ GGプロセス障害だけでなく、
ネットワーク障害などによる伝
播遅延も検知できる。
○ GGプロセス障害だけでなく、
ネットワーク障害などによる伝
播遅延も検知できる。
セットアッ
プの手間
△ 各プロセスごとにLagコマンドを
定期実行するスクリプトを自作
する必要がある。
△ White Paperのサンプルを参考
にしながら伝播確認用の表を
作成する必要がある。
○ 製品機能にて提供しており
「ADD HEARTBEATTABLE」コマン
ドを実行することで使用可能。
取得情報
の加工
△ 取得データを元に更新時間の
差を算出する必要がある。
△ 取得データを元に更新時間の
差を算出する必要がある。
○ 必要な情報はビューから参照で
きる。
履歴情報
の保持
△ 履歴情報を保持・パージするス
クリプトを自作する必要がある。
△ 履歴情報を保持・パージするス
クリプトを自作する必要がある。
○ 履歴表を自動的に更新・パージ
する機能がある。
サポート ○ 製品機能としてサポート × 製品としてサポート不可 ○ 製品機能としてサポート

Heartbeat表/Heartbeat Seed表に含まれる列
基本列
LOCAL_DATABASE ローカルデータベースの名前。
HEARTBEAT_TIMESTAMP タイムスタンプ。（GG_UPDATE_HB_TABプロシージャが全ての行を定期的に更新）
REMOTE_DATABASE リモートデータベースの名前。
10
Outgoing情報
OUTGOING_EXTRACT ローカルのEXTRACT
OUTGOING_ROUTING_PATH リモートへのパス
OUTGOING_REPLICAT リモートのREPLICAT
OUTGOING_HEARTBEAT_TS 各プロセスで更新されたタイム
スタンプOUTGOING_EXTRACT_TS
OUTGOING_ROUTING_TS
OUTGOING_REPLICAT_TS
Incoming情報
INCOMING_EXTRACT リモートのEXTRACT
INCOMING_ROUTING_PATH リモートからのパス
INCOMING_REPLICAT ローカルのREPLICAT
INCOMING_HEARTBEAT_TS 各プロセスで更新されたタイム
スタンプINCOMING_EXTRACT_TS
INCOMING_ROUTING_TS
INCOMING_REPLICAT_TS
• Heartbeat表、Seed表には下記の列が含まれています。＊変更される可能性があります。

単方向レプリケーションの場合の動き
11
ソースDB
DB1
DataPump
P1
Capture
C1
Replicat
R1
ターゲットDB
DB2Collector
LOCAL_DATABASE DB1 DB1 DB1 DB1 DB1
REMOTE_DATABASE DB2 DB2 DB2 DB2 DB2
OUTGOING_EXTRACT C1 C1 C1 C1
OUTGOING_EXTRACT_TS xx:xx xx:xx xx:xx xx:xx
OUTGOING_ROUTING_PATH D1:P1 D1:P1 D1：P1
OUTGOING_ROUTING_TS xx:xx xx:xx xx:xx
OUTGOING_REPLICAT
INCOMING_EXTRACT
INCOMING_EXTRACT_TS
INCOMING_ROUTING_PATH
INCOMING_ROUTING_TS
INCOMING_REPLICAT
INCOMING_REPLICAT_TS
DB1 LOCAL_DATABASE
DB2 REMOTE_DATABASE
OUTGOING_EXTRACT
OUTGOING_EXTRACT_TS
OUTGOING_ROUTING_PATH
OUTGOING_ROUTING_TS
OUTGOING_REPLICAT
C1 INCOMING_EXTRACT
xx:xx INCOMING_EXTRACT_TS
D1:P1 INCOMING_ROUTING_PATH
xx:xx INCOMING_ROUTING_TS
R1 INCOMING_REPLICAT
xx:xx INCOMING_REPLICAT_TS
GG_HEARTBEAT表
GG_HEARTBEAT_HISTORY表

双方向レプリケーションの場合の動き
12
DB1
DataPump
P13
Capture
C1
LOCAL_
DATABASE
REMOTE_
DATABASE
INCOMING_
ROUTING_PATH
OUTGOING_
ROUTING_PATH
DB1 DB2 C2→D2:p2→R1 C1→D1:p12→R2
DB1 DB3 C3→D3→R1 C1→D1→R3
GG_HEARTBEAT表
GG_HEARTBEAT表
DB3
DataPump
P12
Replicat
R1
DB2
LOCAL_
DATABASE
REMOTE_
DATABASE
INCOMING_
ROUTING_PATH
OUTGOING_
ROUTING_PATH
DB3 DB1 C1→D1:p13→R3 C3→D3:p3→R1
Capture C3
GG_HEARTBEAT表
LOCAL_
DATABASE
REMOTE_
DATABASE
INCOMING_
ROUTING_PATAH
OUTGOING_
ROUTING_PATH
DB2 DB1 C1→D1:p12→R2 C2→D2:p2→R1
Capture R2
Replicat R2
Replicat R3
DataPump p2
DataPump p3
DB1からDB2/DB3に対して、双方向レプリ
ケーションを構成している場合

Automatic Heartbeat表利用環境の作成
• ADD HEARTBEATTABLEコマンドでAutomatic Heartbeat関連オブジェクトを作成します。
– データベースのGGユーザスキーマ内にAutomatic HeartbeatTable機能に必要なオブジェクトが作成さ
れます。また、HEARTBEAT_SEED表とHEARTBEAT表にサプリメンタルロギングが設定されます。実行に
は事前にDBのログインが必要です。
13
ADD HEARTBEATTABLE [, FREQUENCY number in seconds]
[, RETENTION_TIME number in days] | [, PURGE_FREQUENCY number in days]
パラメータ名説明デフォルト
FREQUENCY frequency GG_HEARTBEAT_SEED表とGG_HEARTBEAT表のタイムスタンプを更新
する頻度(秒)
60秒
RETENTION_TIME retention_time_interval GG_HEARTBEAT_HISTORY表のデータを保持する日数(日) 30日
PURGE_FREQUENCY purge_frequency GG_PURGE_HEARTBEATSスケジューラ・ジョブによりパージ用のプロ
シージャGG_PURGE_HB_TABがキックされ、RETENTION_TIMEで指定
した日数よりも古いデータが削除される頻度(日)
1日

• INFO HEARTBEATTABLEコマンドでHEARTBEAT表の情報を確認できます。
• 実行結果イメージ（既にHeartbeat Tableが作成されている場合）
Automatic Heartbeat表の情報確認
14
GGSCI > INFO HEARTBEATTABLE
GGSCI > INFO HEARTBEATTABLE
HEARTBEAT table GGS.GG_HEARTBEAT exists.
HEARTBEAT table GGS.GG_HEARTBEAT_SEED exists.
HEARTBEAT table GGS.GG_HEARTBEAT_HISTORY exists.
Frequency interval: 60 seconds.
Purge frequency interval: 1 days.
Retention time: 30 days.

ENABLE_HEARTBEAT_TABLE パラメータ
• 下記のパラメータを設定して、Automatic Heartbeat Table機能を有効化/無効化します。
15
ENABLE_HEARTBEAT_TABLE
ENABLE_HEARTBEAT_TABLE| DISABLE_HEARTBEAT_TABLE
説明 GG_HEARTBEAT表からのレコードを処理するか否かを設定するパラメータ
対応コンポーネント EXTRACT、REPLICAT、GLOBALS
デフォルト ENABLE_HEARTBEAT_TABLE
対応モード Extract（Classic Capture、Integrated Capture、DataPump）
Replicat（Non-integrated Replicat、Integrated Replicat、Coordinated Replicat）

DBMS_SCHEDULERによる更新状況の確認
• Oracle Databaseの場合、DBMS_SCHEDULERによりHeartbeat表が更新されます。下記
のSQL文で次にいつジョブが実行されるかが確認できます。
– NEXT_RUN_DATEの値を確認して、このタイムスタンプが過去の時刻になっている場合は、うまく動作
していない可能性があります。主な原因の一つとしては、job_queue_processesの設定値が低すぎる
可能性があります。その場合は下記のSQLでjob_queue_processesの設定値を増やして下さい。
16
SQL> SELECT start_date, last_start_date, next_run_date
FROM dba_schduler_jobs
WHERE job_name = ‘GG_UPDATE_HEARTBEATS’;
SQL> ALTER SYSTEM SET job_queue_processes=<# of job queue process>

• LAG EXTRACT/REPLICATのGLOBALオプションを使用すると、従来のLAG情報に加えて、
GG_LAGビューの情報をGGSCIから確認できます。
LAG情報の確認（GGSCIから確認）
17
LAG EXTRACT [, group_name[threadID]name] [, GLOBAL]
LAG REPLICAT [, group_name[threadID]name] [, GLOBAL]
GGSCI > lag extract cext, global
Lag Information From Heartbeat Table
LAG AGE FROM TO PATH
5.78s 7.51s DB12102 DB12102_2 CEXT ==> CDMP ==> CRPL
4.80s 1m 7.55s DB12102 DB12102_2 CEXT ==> CDMP ==> CRPL
Sending GETLAG request to EXTRACT CEXT ...
Last record lag 2 seconds.
At EOF, no more records to process.

LAG情報の確認（SQLPLUSから確認）GG_LAGビュー
• HEARTBEAT表の内容を見やすくしたものが、GG_LAGビューです。
• OracleデータベースのSQL*Plusで参照できます。
18
列説明
LOCAL_DATABASE ローカルデータベースの名前。（＝LOCAL_DATABASE）
CURRENT_LOCAL_TS ローカルデータベースのタイムスタンプ（＝SYSTIMESTAMP）協定標準時で表示されます。
REMOTE_DATABASE リモートデータベースの名前。（＝REMOTE_DATABASE）
INCOMING_HEARTBEAT_AGE INCOMINGのHeartbeat情報の古さ（＝SYSTIMESTAMP－INCOMING_HEARTBEAT_TS）
INCOMING_PATH INCOMINGのパス（＝INCOMING_EXTRACT → INCOMING_ROUTING_PATH → INCOMING_REPLICAT）
INCOMING_LAG INCOMINGのラグ（＝INCOMING_REPLICAT_TS －INCOMING_HEARTBEAT_TS）
OUTGOING_HEARTBEAT_AGE OUTCOMINGのHeartbeat情報の古さ（＝SYSTIMESTAMP－OUTGOING_HEARTBEAT_TS）
OUTGOING_PATH OUTGOINGのパス（＝OUTGOING_EXTRACT → OUTGOING_ROUTING_PATH → OUTGOING_REPLICAT）
OUTGOING_LAG OUTGOINGのラグ（＝OUTGOING_REPLICAT_TS －OUTGOING_HEARTBEAT_TS）

LAG情報の確認（SQLPLUSから確認）GG_LAGビュー表示例
19
SQL> select * from gg_lag;
LOCAL_DATABASE CURRENT_LOCAL_TS REMOTE_DATABASE
--------------- ------------------------------ ---------------
INCOMING_HEARTBEAT_AGE INCOMING_PATH INCOMING_LAG
---------------------- ------------------------------ ------------
OUTGOING_HEARTBEAT_AGE OUTGOING_PATH OUTGOING_LAG
---------------------- ------------------------------ ------------
DB12102 16-02-19 02:48:13.284000 DB12102_2
25.729 CEXT ==> CDMP ==> CRPL 5.701
83.653 CEXT ==> CDMP ==> CRPL 4.582

Heartbeat表使用時における推奨事項
• 分析を容易にするために、全てのデータベースにおいて同じHeartbeatの
頻度を設定することを推奨します。
• 格納領域に問題がある場合は、保持期間を調整して下さい。
• 基本的にデフォルトのHeartbeat頻度を変更しないことを推奨します。（頻
度が30～60秒程度がほとんどのワークロードにおいて最良の結果を出し
ます）
20

21

Instantiation CSN(※) Support (for Oracle DB)
22
初期ロード・再同期・伝搬表追加が容易に
• システム無停止の初期ロード
1. Flashback_scn付きのexpdp : UNDOアク
セスの考慮が必要
2. Handlecollisions : 主キーが無い表への
考慮が必要
3. クローンDBの構築：追加資産が必要
• システム要件に依存して、上記方式の選
択と組み合わせが必要
今まで
• Oracle Data Pumpユーティリティと
GoldenGateが連携し、エクスポート断面
（SCN）とレプリケーション開始断面（SCN）
を表ごとに自動的に合わせる
GoldenGateレプリケーション構築の方式作
成と自動化が容易に
GoldenGate 12.2
※ CSN：Commit Sequence Number (GoldenGate用語)
SCN：System Change Number (Oracle用語)

Oracle Data Pumpを使ったシステム無停止の初期ロード
23
Capture
Expdp + flashback_scn
dmp
Pump Replicat
②dmp取得（表A,B共にSCN2222）
③Import
④Replicat起動
(SCN2222から適用)
表A
表B
従来内部的にフラッシュバッククエリ
を使用してエクスポート
表A
表B
Capture
Expdp
dmp
Pump Replicat
②dmp取得（表AはSCN2230、表BはSCN2240）
③Import
④Replicat起動
(表AはSCN2230から適用
表BはSCN2240から適用)
表A
表B
GoldenGate 12.2
表A
表B
①Capture開始
（SCN1111）
①Capture開始
（SCN1111）
表ごとのSCN断面を記録しながら
エクスポート

Instantiation CSNサポート概要
• 概要
– Oracle Data Pumpとの連携を強化
– 各表のCSNを保持し、各表を適用する時点を管理してデータを移行することが可能
– Replicat側での設定が不要。（HANDLECOLLISION、@FILTER(@GETENV(‘TRANSATION’,’CSN’)、AfterCSN)
• 対象
– Oracle database（DML/DDL）
• 関連コマンド/オプション
– ADD TRANDATA/SCHEMATRANDATA PREPARECSN オプション
– INFO TRANDATA/SCHEMATRANDATAによるインスタンス化の状況確認
– DBOPTIONS ENABLE_INSTANTIATION_FILTERINGオプション (Replicatパラメータ)
– SET_INSTANTIATION_CSNコマンド (expdp以外で初期ロードする場合のInstantiation CSNを手動設定)
24

• Source側
1. ADD TRANDATA/SCHEMATRANDATAで
PREPARECSNオプションを使用して、表の自
動インスタンス化の準備を行う
2. INFO TRANDATA/SCHEMATRANDATAでインス
タンス化の状況を確認する
3. （Target側の）Replicatを止める
4. Extractを起動する
5. Oracle Data Pumpユーティリティを使用して、
表データをExportする。Flashback_scnオプ
ションは指定しなくても構わない。
• Target側
6. Oracle Data Pumpユーティリティを使用して、
Source側でExportしたダンプファイルをイン
ポートする。この際、システム表やビューに
Instantiation SCNが展開される。
• Expdp時にFlashback_scnを指定した場合は
flashback_scnで指定されたCSNが利用される。
• 指定しなかった場合は、preparecsnで準備したCSNが
利用される。
7. Replicatパラメータファイルに、DBOPTIONS
ENABLE_INSTANTIATION_FILTERING オプショ
ンを指定して、Replicatを起動する。
（Aftercsnオプションは不要）
8. Replicatによってステップ6で展開されたCSN
値より大きいトランザクションだけが適用さ
れる。
25
作業の流れ（例）

Instantiation CSN Support (for Oracle DB)
26
その他のユースケース
Capture
Expdp
dmp
Pump Replicat
③表Cのdmp取得
④Import
① Replicatを停止
表A
表B
表A,表Bをレプリケーションしている状態から、表Cをレプリケーション対象に追加する
表A
表B
②表Cのキャプチャ
対象に設定しておく
（必要に応じてCaptureの
パラメータ編集と再起動）
表C 表C
⑤ DBOPTIONS ENABLE_INSTANTIATION_FILTERING
オプションの設定を確認の上、Replicatを起動
この手法が活用できるケース
1. 業務要件に従い、レプリケーション対象を後で追加する
2. 初期ロードを段階的に行いながらレプリケーションを構築する
3. 一部の表で不整合が発見された場合の再同期
SCN値をコマンドやパラメータに埋め込む必要が無いため、
手順化・自動化が容易

OGG 12.2でも注意が必要
初期ロード時のロングトランザクション
• 初期ロード後にcommitしたはずのトランザクションが伝播できていない？
– Captureは構成後に開始したトランザクションのみをキャプチャ
• 対処方法
– Trailファイル / アーカイブ・ログから分析
• 対策
– Capture構成前にv$transaction(gv$transaction)等でオープントランザクションを確認
27
時間
Capture
構成
Tx1
begin
Tx1
commit
Tx2
begin
Tx2
commit
初期
ロード
Tx3
begin
Tx3
commit
Tx 1 : GoldenGateで伝搬
Tx 2 : 初期ロードで伝搬
Tx 3 : GoldenGateでも初期ロードでも伝搬されない

28

Metadata Encapsulation (OGG Core)
29
異機種間レプリケーションの構成が容易に
• 異なる環境間でのレプリケーションや、
データ変換を伴うレプリケーションの構成
には、以下の流れで「定義ファイル」の設
定作業が必要
1. 定義ファイル生成のためのパラメータ・
ファイルを作成
2. Defgenユーティリティで定義ファイルを
生成
3. 定義ファイルをターゲット（またはソー
ス）に転送し、Replicat（またはExtract）
のパラメータ内で指定
今まで
• 定義ファイルと同等の情報をTrailファイル
に格納する
追加作業が不要になり、レプリケーションの
設計に注力できる
GoldenGate 12.2

Metadata Encapsulation（Self-describing Trail File）とは？
• 機能概要
– Trailファイル内に自動的にソース・データベース定義のメタデータを格納して転送する仕組み。
• R12.1までとの違い
– DEFGENを使用せずに異なるオブジェクト間でのレプリケーションが可能
– 異なる構造を持つデータベースの間でレプリケーションを行う構成での管理が容易に
30
ソース定義ファイルを別途ターゲットに転送する必要あり
メタデータ
ターゲットDBソースDB Trail
Network
（TCP/IP)
DataPumpCapture Collector Replicat
Trail
メタデータメタデータ
Defgen
GG
12.2
ターゲットDB
ソースDB Trail
Network
（TCP/IP)DataPumpCapture Collector Replicat
Trail
従来の
方式
メタデータ
*この機能はTrailフォーマットがR12.2.0.1以上で使用可能ですので、現状はソース・ターゲット共にGG12.2である必要があります。

前提知識：
SOURCEDEFS/ASSUMETARGETDEFSパラメータ
• SOURCEDEFSパラメータ（Data PumpプロセスおよびReplicatプロセスで使用）
– 異なる定義を持つソースとターゲット間でレプリケーションする場合に使用。
– DEFGENユーティリティでソース定義ファイルを作成し、DataPumpやReplicat起動前に定義ファイルを
配置しておき、このパラメータでソース定義ファイルの位置を指定する。
• ASSUMETARGETDEFSパラメータ（Replicatプロセスで使用）
– ReplicatのMAP文で指定したソースおよびターゲットオブジェクトが同一の構造を持つ場合に使用。
– GoldenGateがソースおよびターゲット・オブジェクトのデータ定義が同一であるとみなし、ソースの定
義情報が必要な場合にターゲットの定義情報を参照するようにする。
31
構成の違い従来（R12.1まで） R12.2
ソースとターゲットの同一環境の場合変換処理を行わない。（ASSUMETARGETDEFSパラメータを利用）基本的にこれらのパラ
メータの使用は不要
（SOURCEDEFSや
ASSUMETARGETDEFSも
使用することは可能）
ソースとターゲットと異なる構造の場合変換処理を行う。（SOURCEDEFSパラメータを使用）
ソースとターゲットの構造が同一のものと
異なるものが混在する場合
変換処理を行うものと行わないものを区別して定義する。
（ASSUMETARGETDEFS、SOURCEDEFSパラメータ両方を使用）
*異なる構造の定義については、マニュアルをご参照ください。

A.定義レコードの書き込み（Capture/DataPumpプロセス）
• メタデータを格納するための定義レコードを作成してTrailに挿入
• 新しい2種類の定義レコード
– データベース定義レコード（Database Definition Record: DDR）
• DB固有の定義情報を格納（キャラクタセット・タイムゾーン・プラガブルDB固有情報など）
– 表定義レコード（Table Definition Record: TDR）
• 表と列の定義情報を格納（表名、列数、データ型、データ長など）
• 行変更レコードと同じ形式で書きこまれる
32
2種類の定義レコード
DataPump
Capture
Trail
ソース
定義ソースDB
定義レコード生成ターゲット・
システム
32

33
定義レコードが書き込まれるタイミング
33
• TDRの前に、その表が含まれるDBのDDRが書き
込まれる。（赤矢印）
– 但し、同じTrailファイル内に該当DDRが既に書かれてい
る場合は、DDRは書きこまれない。
• DMLの前には、その行が含まれる表のTDRが書
き込まれる。（黒矢印）
– 但し、同じTrailファイル内に該当TDRが既に書かれている
場合は、TDRは書きこまれない。
• DDRとTDRは、リカバリ簡素化・メタデータ損失リス
ク低減のため、各Trailファイルに毎回書かれる。
• 表定義が変更されると、該当表に対する他の
DMLが来たタイミングで、新しいTDRが追加される。

• OBJECTDEFS（デフォルト）| NO_OBJECTDEFS でオブジェクト定義の挿入の有無を設定
– EXTFILE、EXTTRAIL、RMTFILE、RMTTRAILパラメータの新オプション
– 出力先のTrailファイルはOracle GoldenGate固有フォーマット、かつformat releaseは
12.2以上
34
オブジェクト定義書込みの設定
EXTTRAIL $data/ggs12.2/a1, OBJECTDEFS
TABLE hr.*;
EXTTRAIL $data/ggs12.2/a2, NO_OBJECTDEFS
TABLE orders.*;
オブジェクト定義を含めた定義レコードを保持
オブジェクト定義なしで定義レコードを保持

B.定義レコードの読み込み（DataPump/Replicatプロセス）
• <GLOBALS> USE_TRAILDEFS | NO_USE_TRAILDEFS
– 全てのDataPumpとReplicatプロセスで定義レコードを使用するか否かを制御
• <DataPump/Replicat> SOURCEDEFS/ASSUMETARGETDEFSのOVERRIDEオプション
– 個々のDataPumpやReplicatプロセスが強制的にSOURCEDEFSやASSUMETARGETDEFSパラメータを使
用するように制御（非推奨）
35
利用方法
USE_TRAILDEFS （デフォルト） NO_USE_TRAILDEFS
SOURCEDEFS Trailの定義レコードを使用 SOURCEDEFSの定義ファイルを使用
SOURCEDEFS OVERRIDE SOURCDEFSの定義ファイルを使用 SOURCEDEFSの定義ファイルを使用
ASSUMETARGETDEFS Trailの定義レコードを使用ターゲットDBの定義を使用
ASSUMETARGETDEFS OVERRIDE ターゲットDBの定義を使用ターゲットDBの定義を使用
指定なし Trailの定義レコードを使用表定義が得られないためAbend

• DEFGEN出力に似た形式で定義レコードを表示可能
• メタデータをスキャンするためのコマンド
• DDRまたはTDRを指定して、スキャンする定義レコードのタイプを指定可能
C. メタデータ内容の確認（Logdumpユーティリティ）
36
利用方法
SCANFORMETADATA [DDR|TDR] [Index|NEXT]
SFMD [DDR|TDR] [Index|NEXT]

参考：Logdumpユーティリティ SCANFORMETADATA出力例
Logdump >scanformetadata tdr
___________________________________________________________________
Hdr-Ind : E (x45) Partition : . (x00)
UndoFlag : . (x00) BeforeAfter: A (x41)
RecLength : 192 (x00c0) IO Time : 2015/10/30 15:48:37.662.152
IOType : 170 (xaa) OrigNode : 2 (x02)
TransInd : . (x03) FormatType : R (x52)
SyskeyLen : 0 (x00) Incomplete : . (x00)
DDR/TDR Idx: (001, 001) AuditPos : 20689988
Continued : N (x00) RecCount : 1 (x01)
2015/10/30 15:48:37.662.152 Metadata Len 192 RBA 2866
Name: DEMO.T
*
1)Name 2)Data Type 3)External Length 4)Fetch Offset 5)Scale 6)Level
7)Null 8)Bump if Odd 9)Internal Length 10)Binary Length 11)Table Length 12)Most Sig DT
13)Least Sig DT 14)High Precision 15)Low Precision 16)Elementary Item 17)Occurs 18)Key Column
19)Sub DataType 20)Native DataType 21)Character Set 22)Character Length 23)LOB Type 24)Partial Type
*
TDR version: 1
Definition for table DEMO.T
Record Length: 72
Columns: 2
ID 64 50 0 0 0 1 0 50 50 50 0 0 0 0 1 0 1 2 2 -1 0 0 0
NAME 64 10 56 0 0 1 0 10 10 0 0 0 0 0 1 0 0 0 1 -1 0 0 0
End of definition
37

利用条件
• 対象構成
– HP NonStop（Guardian）以外のデータベースをサポート
• Open SystemからNonstopにレプリケートする場合は、Trailフォーマットを12.1以下に設定
• Trailファイルフォーマットの制約
– Oracle GoldenGate R12c（12.2.0.1）以上を利用する
– 複数のTrailファイル構成において、古いTrailフォーマットと同時に12c（12.2.0.1）
フォーマットを生成することはできない。全て12.2フォーマットにするか、全て以前の
Trailフォーマットにするかを選択する必要がある
– FORMATASCII、FORMATSQL、FORMATXMLのTrailはメタデータを含むことができない
– Reverseユーティリティは、R12.2のTrailフォーマットをサポートしない
38

39

Parameter Simplification
• 概要
– GoldenGateで使用するパラメータをより使用しやすくするためのコマンドやユーティリティを追加。
– コマンドライン上で確認できる事項が多くなるため、マニュアルを見る手間が削減される。
– パラメータチェック機能により、実環境を想定した文法チェックが事前に実行可能になる。
• R12.1までとの違い
– 新しいパラメータ関連コマンドを2つ追加
– 新しいchkprmユーティリティを使用して、パラメータファイルを検証することが可能
40
コマンド名実行内容
EDIT PARAMS パラメータファイルを編集用にオープンするコマンド
VIEW PARAMS パラメータの内容をスクリーンに表示（パラメータファイルの内容）
INFO PARAM （NEW）パラメータの情報を検索して表示
GETPARAMINFO （NEW）現在稼働中のパラメータの値を表示

• パラメータ定義情報を表示するコマンド
• nameにはパラメータの名前やオプション名を指定
することができます。
• オプションを指定するには、パラメータの後にドット
で区切ってオプション名を記載します。
INFO PARAMコマンド
41
INFO PARAM name
INFO PARAM rmthost.streaming
GGSCI > INFO PARAM passthru
param name : passthru
opposite param name : nopassthru
description : Indicating that this Data Pump
does not do column mapping.
argument : boolean
default : false
options :
component(s): EXTRACT
mode(s) : Data Pump Extract Passive Extract
platform(s) : all platforms
versions : min ver : 7
database(s) : all supported databases
(on the supported platforms).
status : current
mandatory : false
dynamic : false
relations : none
表示例

SEND … GETPARAMINFOコマンド
• 実行中のプロセス（Manager、Extract、Replicat）のパラメータを表示させるためのコマ
ンド。デフォルト値も表示される。
– MGR| group : Extract、Replicatのインスタンス名、またはmgr。
– parameter_name ：表示させたいパラメータ名を指定。指定しなければ全て表示。
– FILE output_file ：表示結果をファイルに格納した場合に指定。
42
SEND MGR| group GETPARAMINFO [parameter_name] [FILE output_file]
GGSCI > SEND mgr GETPARAMINFO port
Sending getparaminfo request to MANAGER ...
/u01/app/ogg/dirprm/MGR.prm
port : 7809
Default Values
表示例

checkprmユーティリティ
• パラメータファイルに記載されたパラメータが正しいか検証するためのツール
• 実環境を用意できなくても検証が可能（引数を指定しなければ環境を自動検出）
– 文法チェックが行われますが、実行時に確認できる情報（DBスキーマ名等）は確認できません。
43
checkprm
[None]
[-v]
[? | help]
[parameter_file]
[--COMPONENT | -C) component_name]
[--MODE | -M) mode_name]
[--PLATFORM | -P) platform_name]
[--DATABASE | -D) database _name]
[--VERBOSE | -V)]
• None ：使用方法を表示
• -v ：バナーを表示。
• ? | help : 詳細の使用方法を表示。
• parameter_file : 検証するパラメータファイルを指定
• -COMPONENT | -C ：コンポーネントを指定。例：GGSCIなど
• -MODE | -M ：モード（構成）を指定。例：Classic Extractなど
• -PLATFORM | -P ：プラットフォームを指定。例：Linux、AIXなど
• -DATABASE | -D ：データベースを指定。例：Oracle 11gなど
• -VERBOSE | -V ：詳細なパラメータ情報を表示。一番詳細な
情報を表示するオプション。

checkprmユーティリティ表示例
• 成功した場合
• 失敗した場合
44
$ checkprm ./dirprm/e1.prm --component extract --mode Integrated Extract --platform linux
2015-09-14 10:51:08 INFO OGG-02095 Successfully set environment variable
ORACLE_HOME=/u01/app/oracle/product/12.1.0/dbhome_1.
2015-09-14 10:51:08 INFO OGG-10139 Parameter file ./dirprm/e1.prm: Validity check:
PASS.
Runtime parameter validation is not reflected in the above check.
$ checkprm ./dirprm/e1.prm --component extract --mode Integrated Extract --platform linux
2015-09-14 11:04:47 INFO OGG-02095 Successfully set environment variable
ORACLE_HOME =/u01/app/oracle/product/12.1.0/dbhome_1.
(e1.prm) line 5: Parsing error, option [password] for parameter [userid] is missing a
required value.
(e1.prm) line 5: Parsing error, parameter [userid] is missing a required value.
2015-09-14 11:04:47 INFO OGG-10139 Parameter file ./dirprm/e1.prm: Validity check:
FAIL.

45

XAG統合概要
• 概要
– Oracle Grid Infrastructure Bundled Agent（XAG）とより透過的な統合を提供
• R12.1との違い
– GLOBALSパラメータXAGENABLEを提供（デフォルトは未設定）
• GoldenGateインスタンスがXAGの管理下に置かれている場合でも、GGSCIからMangerを起動停止可能
• 利用手順
1. XAG AGCTLインタフェースでOracle clusterwareにGGインスタンスを登録
2. GLOBALパラメータにXAGENABLEパラメータを設定
3. GGSCIでStart /Stop managerコマンドを使用すると内部的にXAGと連携
46
XAGENABLE

47

Trail File Extention
• 概要
– Trailファイルの桁数を6桁から9桁に増加。（ファイル名の例：ex000000000）
– デフォルトのTrailサイズ（EXTTRAIL/RMTTRAIL） 100MB→500MB
• 新機能
– GLOBALパラメータTRAIL_SEQLEN_9D | TRAIL_SEQLEN_6DによるデフォルトTrailの桁数の指定
• GoldenGate 12.2のデフォルトは9桁です。
– ConvchkユーティリティによるTrailファイルの桁数の変換
48
convchk extract trail [seqlen_9d | seqlen_6d]

Convchkユーティリティ表示例
GGSCI > sh convchk e1 ./dirdat/e1 seqlen_6d
***********************************************************************
Oracle GoldenGate Checkpoint Conversion Utility for Oracle
Version 12.2.0.1.0 OGGCORE_MAIN_PLATFORMS_150910.1401
Linux, x64, 64bit (optimized) on Sep 10 2015 19:32:43
Copyright (C) 1995, 2015, Oracle and/or its affiliates. All rights reserved.
Starting at 2015-09-14 15:15:40
***********************************************************************
Operating System Version:
Linux
Version #1 SMP Wed Mar 13 12:31:05 PDT 2013, Release 2.6.39-400.17.2.el6uek.x86_64
Node: testmachine.oracle.com
Machine: x86_64
soft limit hard limit
Address Space Size : unlimited unlimited
Heap Size : unlimited unlimited
File Size : unlimited unlimited
CPU Time : unlimited unlimited
Process id: 14593
Opening existing checkpoint file /home/oracle/ogg12c_Ora12c/dirchk/E1.cpe for group E1.
Checkpoint /home/oracle/ogg12c_Ora12c/dirchk/E1.cpe backed up to
/home/oracle/ogg12c_Ora12c/dirchk/E1.cpe.1442214940.bak
Successfully upgraded/downgraded the sequnce length for trail ./dirdat/e1.
Checkpoint conversion successful for group E1.
49

50

前提知識：
不可視列（Invisible Column）とは？
• Oracle Database 12cからのOracle Databaseの新機能。
• 表の列を不可視（INVISIBLE）に設定すると、一般的なアクセスで表示されないようにな
る。明示的に列指定した場合にのみアクセス可能。
– ALTER TABLE文で可視/不可視を変更可能
– 不可視列を含んで索引を作成することが可能（主キーや一意キーなど）
51
CREATE TABLE tab1 (id NUMBER, data CLOB INVISIBLE);
INSERT INTO tab1 VALUES (1, ‘a’); → エラー発生（ORA-913）
INSERT INTO tab1 (id, data) VALUES (1,’a’); → 成功！

不可視列（Invisible Columns）サポート概要
• 概要
– Oracle Databaseの不可視列（Invisible Column）を新規サポート
• 前提条件
– TrailファイルフォーマットR12.2以降
– Integrated Captureのみサポート（Classic Captureは非対応）
• 利用方法
– Traget：ReplicatパラメータファイルにMAPINVISIBLECOLUMNSパラメータを追加するか、MAPパラメー
タのCOLMAP句で明示的に不可視列を指定する。
52
REPLICAT r01bb
NOMAPINVISIBLECOLUMNS
MAP hr.dep, TARGET hr.dep2;
MAP hr.emp, TARGET hr.emp2, MAPINVISIBLECOLUMNS; ←Map句で上書きすることも可能

53

GoldenGateの対応状況
• GoldenGate R12.1まで
– Oracle Active Data GuardからのFetchはClassic Extractのみをサポート
• GoldenGate R12.2の新機能
– Integrated ExtractでもOracle Active Data GuardからのFetchをサポート
– ExtractパラメータFETCHUSERID/FETCHUSERIDALIASでフェッチユーザを指定
– （オプション）DBOPTIONSパラメータのFETCHTIMEOUT, FETCHCHECKFREQ,
FETCHRETRYCOUNTオプションを指定可能
54

FETCHUSERID/FETCHUSERIDALIASパラメータ
• FETCHUSERIDパラメータ
• FETCHUSERIDALIASパラメータ
• 使用方法や注意事項は、USERID/USERIDALIASパラメータと同様です。
55
FETCHUSERID {/ | user}[, PASSWORD password]
[algorithm ENCRYPTKEY {key_name | DEFAULT}] [SYSDBA]
FETCHUSERIDALIAS alias [DOMAIN domain] [SYSDBA]

DBOPTIONSパラメータのFETCH関連新オプション
• FETCHCHECKFREQ（デフォルト3秒、最大120秒）
– ExtractがADGのフェッチ確認のために待機する秒数。低い値を指定すると、
current_scnをv$databaseに確認する回数が増えてレイテンシが改善する。
• FETCHRETRYCOUNT（デフォルト5回、0～1000回）
– ExtractがADGの状況をレポートする前に何度リトライするかの回数。
• FETCHTIMEOUT、NOFETCHTIMEOUT（デフォルト30秒、0～4294967295秒）
– ADGの進捗がない時にEXTRACTがAbendするまでの秒数。
56
DBOPTIONS
[FETCHCHECKFREQ seconds]
[FETCHRETRYCOUNT number]
[FECHTIMEOUT seconds | NOFECHTIMEOUT]

アジェンダ
• GoldenGate 12.2
57

GoldenGate for Big Data概要
• レプリケーションのターゲットとしてBig Data テクノロジを指定可能
– RDBMS to Big Data DML/DDLに対応
– Apache, Cloudera, Howtonworks に対応（対応バージョンはCertification Matrixを確認
http://www.oracle.com/technetwork/middleware/ias/downloads/fusion-certification-100350.html ）
• 様々なテクノロジに対応
– 対応ターゲット: Hive / HDFS / Hbase / Flume / Kafka
– 対応フォーマット：JSON / AVRO / XML / Delimited Text
• パラメータベースで設定可能
• アダプタのカスタム開発が可能（カスタムアダプタはサポート対象外）
– Adapter for Mongo DB : https://blogs.oracle.com/dataintegration/entry/oracle_goldengate_adapter_for_mongodb
– Adapter for Elastic Search : https://blogs.oracle.com/dataintegration/entry/oracle_goldengate_adapter_for_elasticsearch
• ソースDBサーバー環境へのオプションライセンスとして課金（Hadoopクラスタなど、ターゲットには課金
されない）
58

Heterogeneous
Data sources
GoldenGate for Big Data
Parameter
File
Adapter
Properties JAR
Oracle GoldenGate for Big Data 12.2
アーキテクチャ
Kafka
Hive
HDFS
HBASE
Flume
Capture Trail Files Network
Firewall
Cloud
Trail Files Native
Java
Replicat
JMS

設定例: RDBMS to HDFS
• Replicat のパラメータファイル
• プロセスの追加と起動
60
Replicat のパラメータとプロセス追加
REPLICAT hdfs
TARGETDB LIBFILE libggjava.so SET property= dirprm/hdfs.properties
DDL INCLUDE ALL
GROUPTRANSOPS 1000
MAPEXCLUDE demo.excludetable
MAP demo.*, TARGET demo.*;
GGSCI > ADD REPLICAT hdfs, EXTTRAIL ./dirdat/gg
GGSCI > START hdfs
GGSCI> INFO ALL
ターゲットのテクノロジに
応じたハンドラを設定

61
HDFS Handlerの編集
• HDFS Handlerプロパティファイルを構成、$OGG_HOME/dirprm/hdfs.propertiesを編
集する。
gg.handlerlist=hdfs
gg.handler.hdfs.type=hdfs
gg.handler.hdfs.mode=tx
gg.handler.hdfs.includeTokens=false
gg.handler.hdfs.maxFileSize=1g
gg.handler.hdfs.rootFilePath=/ogg
gg.handler.hdfs.fileRollInterval=0
gg.handler.hdfs.inactivityRollInterval=0
gg.handler.hdfs.fileSuffix=.txt
gg.handler.hdfs.partitionByTable=true
gg.handler.hdfs.rollOnMetadataChange=true
gg.handler.hdfs.authType=none
gg.handler.hdfs.format=delimitedtext
goldengate.userexit.timestamp=utc
goldengate.userexit.writers=javawriter
javawriter.stats.display=TRUE
javawriter.stats.full=TRUE
gg.log=log4j
gg.log.level=INFO
gg.report.time=30sec
gg.checkpoint=java
gg.classpath=/etc/hadoop:/etc/hadoop/conf:/usr/lib/hado
op/client/*:/usr/lib/hadoop/*:/usr/lib/hadoop/lib/*:/usr/li
b/hadoop-hdfs/*:/usr/lib/hadoop-
hdfs/lib/*:/etc/hadoop/conf/coresite.xml:/etc/hadoop/con
f/hdfssite.xml:./ggjava/resources/lib/*:./ggjava/resources/
ggplugins/hdfs/*:./ggjava/resources/ggplugins/formatters/
*
javawriter.bootoptions=-Xmx512m -Xms32m -
Djava.class.path=ggjava/ggjava.jar
続き

レプリケーションの実行例
ソース側でテーブルを作成とレコード挿入ターゲット側でデータを確認
SQL> connect sys/Welcome1@src as sysdba
SQL> CREATE TABLE demo.test_hdfs
( id NUMBER NOT NULL PRIMARY KEY,
name CHAR(10) NOT NULL ,
updatedate date DEFAULT SYSDATE);
SQL> insert into demo.test_hdfs values(1,‘yamamoto', sysdate);
1行が作成されました。
SQL> commit;
コミットが完了しました。
SHELL> hadoop fs -ls /ogg
Found 1 items
drwxrwxrwx - oracle supergroup 0 2016-01-27 19:49
/ogg/demo.test_hdfs
SHELL> hadoop fs -ls /ogg/demo.test_hdfs
Found 1 items
-rw-r--r-- 3 oracle supergroup 145 2016-01-27 19:49
/ogg/demo.test_hdfs/demo.test_hdfs_2016-01-27_19-49-49.411.txt
SHELL> hadoop ls -cat /ogg/demo.test_hdfs/demo.test_hdfs_2016-
01-27_19-49-49.411.txt
I|DEMO.TEST_HDFS|2016-01-27 11:49:41.999529|2016-01-
27T19:49:49.409000|00000000000000003377||ID|1|NAME|yamamo
to |UPDATEDATE|2016-01-27:19:49:40

アジェンダ
• GoldenGate 12.2
63

Oracle GoldenGate Cloud Service（GGCS）概要
• GGCS（2016/05/11時点）の主な機能
– オンプレミスのデータベースからGoldenGateを使用して、
Oracle Cloudのデータベースへデータをレプリケーション
• オンプレミス環境にはGoldenGateのライセンスが必要
– セキュアなTCP/IPネットワークを介して、暗号化・圧縮され
たデータを並列化して高速に転送
• GGCSを使用するメリット
– クラウド・データベースへの高速なリアルタイムデータ連携
– 事前に用意されたテンプレートを使用した容易な構築
– GGCSに関係するデータベース設定は、Oracle Database
Cloud Serviceインスタンスで自動実行可能
64
データベース
Database as a Service
GoldenGate
GoldenGate
Cloud Service
軽量・ソースDBへの最小限の負荷
オン・プレミス・サイト
Oracle Cloud
• セキュアなネットワーク
• 高速転送（圧縮）
• 一方向（初期リリース）
• 同じアーキテクチャ

オンプレミス→GGCSの片方向同期のユースケース
65
Cloud On-boarding
お持ちのデータベースを、同じアーキテクチャ、
同じソフトウェアが使えるクラウドへ移行。
既存
データベース
Oracle Database
Cloud Service
GoldenGate
移行時のシステム停止時間は最小限
Real Time BI/DW/Data Mart
既存のOLTPデータベースに負荷をかけず、
リアルタイムのデータを使えるDBを構築。
OLTP
データベース
データマート
レポーティングDB
GoldenGate
スモールスタートで容易にデータマートの構築が可能
クラウド
クラウド
Operational Efficiency
リアルなデータを使用した開発・テストの実施。
PoCや新ビジネスの迅速な立ち上げも可能。
本番
データベース
開発・テスト用
データベース
GoldenGateお客様
環境
お客様
環境
お客様
環境クラウド
本番DBに負荷をかけず開発やテストで最新データを利用可能
Query&Report Offloading
本番DBから負荷の多い問合せをクラウドへ。
データの一部だけをクラウド側に配置可能。
本番
データベース
参照専用
データベース
GoldenGate
クラウド
お客様
環境
本番データベースを更改・移行せずに負荷を軽減可能

Oracle
Database
GoldenGate Cloud Serviceのアーキテクチャ
• GoldenGate Cloud Serviceの基本的なアーキテクチャは、通常のGoldenGateと同じです。
• GoldenGate Cloud ServiceはCompute Cloud Service上で稼働しています。
• 接続時はSSHによる認証が必要で、レプリケーションにはSOCKSプロキシを使用します。
• Database Cloud Service側にも事前にGG管理ユーザの作成などの事前設定が必要です。
66
オン・プレミス（お客様環境） Oracle Cloud
Oracle GoldenGate GoldenGate Cloud Service
抽出プロセス
Extract
（Capture）
転送プロセス
Extract
（Data Pump）
管理プロセス
Manager
受信プロセス
Collector
管理プロセス
Manager
Trail
ファイル
SOCKS
PROXY
Tunnel
SSH
鍵認証
Database Cloud Service
適用プロセス
Replicat
Compute Cloud Service Compute Cloud Service多様なPlatformをサポート
Trail
ファイル
GoldenGate
管理ユーザ
スキーマ
ターゲット表

GoldenGate の SOCKS 5 サポート
• OGG 12.1.2.1 より、SOCKS プロキシに対応
– Data Pump の RMTHOSTパラメータにSOCKSPROXYオプションを追加
• 使用例：SSHをSOCKSプロキシサーバーとして使用
– ssh –i ssh-key –N –f –D 1080 cloud-user@cloud-server.oracle.com
– 1080 は Cloud側のOGGと通信するためのクライアント側のポート
• Pumpのパラメータ
– RMTHOST cloud-server.oracle.com, MGRPORT 7744, SOCKSPROXY localhost:1080
67
GoldenGate Cloud Service VM
オンプレミス・サイト（お客様環境）
GoldenGate
Oracle GoldenGate
Oracle Cloud
Extract
RMTHOSTパラメータの
SOCKSPROXYオプションで
プロキシサーバを指定
Manager Replicat
SSHコマンド
（SOCKS5の
プロキシサーバ
として動作）
1080 7744
SSH
トンネリング
SSH
Server
22
DBCS VM
Oracle
Database
1521

GoldenGate Cloud Serviceの管理インタフェース
• Webブラウザ
– GGCS全体の情報を見たり、インスタンス作成
を行うためのGUI画面を提供
– 現状、EM-PluginやMonitorに相当する管理機能は用意さ
れていません。
• Secure Shell（SSH）
– GGCSインスタンス作成後、GoldenGateを利用・
管理するためCUI画面で操作
68

GoldenGate Cloud Serviceのソース・ターゲット対応
• 現在サポートしているソース
– オンプレミスのOracle Database
• Oracle GoldenGate 12.1.2.1以降に対応して
いるバージョン
– オンプレミスのMySQL, SQL Server
– Amazon RDS/EC2のOracle Database
• 今後サポート予定のソース
– オンプレミスのNon-Oracle Database(MySQL,
SQL Server以外)
– Database as a Service
– Exadata as a Service
69
• 現在サポートしているターゲット
– Database as a Service
• SE/EE/EE High Performance/EE Extreme
Performace全エディション
• Oracle Database 11gR2/12cR1両方
• Non-Meteredのみ（Metered GGCSが出荷さ
れると対応）
• Schema as a Serviceは対応していません。
• 今後サポート予定のターゲット
– Exadata as a Service
– Big Data Cloud Service

GoldenGate Cloud Serviceの初期構成
• ハードウェア
– Compute CloudのVirtual Machine上で稼働
– OC3及びOC5を選択可能（料金は同じ）
• OC3はテスト利用用途、OC5は本番利用用途
• ソフトウェア
– OS: Linux6.6
– GoldenGate R12.1.2.1.10+がインストール済
• 設定
– 適用（Replicat）のみ利用可
• Replicat用のパラメータファイル・テンプレートを提供
70
GGCS - Replication VM (OC3)
OCPU(*) 1
Total Memory 7.5GB
Usable Local Storage 1TB
GGCS - Replication VM (OC5)
OCPU(*) 4
Total Memory 30GB
Usable Local Storage 1TB
(*)OCPU=Oracle Compute Unit
1OCPU=2vCPU(Amazon)
Intel Xeonプロセッサ(3.0GHｚ)の1物理コア相当

GGCSでの活用検討機能（ネットワークチューニング）
機能・設定説明
圧縮転送 •PumpプロセスがTrailファイルの情報を圧縮しながら転送。受信
後に伸長。
•RMTHOST パラメータの COMPRESSオプションで有効化
TCPバッファチューニング •Pumpプロセスの転送時のTCPバッファサイズを大きくすることで
転送スループットを向上させる
•RMTHOSTパラメータのTCPBUFSIZEオプションでサイズを指定
Capture/Data PumpでのRANGE関数 •伝播対象表をレコードを均等にハッシュ分割する
•Captureで設定し、Trailファイルを分割生成することで転送の並列
化を可能にする
GoldenGateの初期ロード機能 •上記のチューニング効果を初期ロードでも使用
71

アジェンダ
• GoldenGate 12.2
• GUI製品群 (GoldenGate Foundation Suite)
72

GoldenGate Foundation Suite
Oracle GoldenGate のオプション・ツール
• Management Pack for Oracle GoldenGate
̶ GoldenGate Plug-in for EMCC
̶ GoldenGate Monitor
̶ (GoldenGate Director)
• GoldenGate Veridata
• GoldenGate Studio
OGG環境の管理/監視データ比較/修正
OGG構成の設計/デプロイ
NEW
NEW

アジェンダ
• GoldenGate 12.2
74

Oracle GoldenGate Veridata
異機種対応のデータ比較ツール
Veridata Server
DB-2DB-1
主キー値ハッシュ値主キー値ハッシュ値
MOOS(Maybe Out-Of-Sync)キュー
比較
比較
比較
比較後、不一致の可能性
があるペアをMOOSキューへ。
 ハッシュ値による高速な突合
 オンラインでの突合が可能
 2フェーズの突合
1. 全体を突合
2. 間隔をあけて、不一致レコードのみもう1 度
突合（レプリケーションのラグによる一時的
な不一致を吸収）
 不一致データのレポート/修復が可能
 差分突合が可能（時間列もしくは行SCNを使
用）
 複数表の多重突合 / パラレルクエリ / ジョブ化が
可能

Oracle GoldenGate Veridata 12.2 主な新機能
76
機能名説明
Delta Processing Oracle DBなど、NonStop 以外のプラットフォームでも差分突合
に対応。
Compare Configurations 構成中のGoldenGateレプリケーションの設定を読み込んで、
Veridataジョブの作成が可能
Export Utility リポジトリに格納された設定情報をXMLファイルにエクスポート
可能（XMLのインポートは従来より提供）。
Automatically Managed Memory ソート等を行うVeridata Serverのメモリ自動管理機能の搭載
Automatic Repair After Compare データ比較後の自動で不一致レコードを修正（有効・無効の設
定が可能）。
Mixed Veridata Server 12c (12.2.1)
and Veridata Agent Versions
異なるバージョンのVeridata Server / Agent の組み合わせをサ
ポート。旧バージョンDBの対応に活用。

Delta Processing
77
大規模表のデータ比較をより効率的に
キー列 A列 B列 C列更新タイムス
タンプ列
2016-03-10 …
2016-03-10 …
2016-03-10 …
2016-03-10 …
2016-03-10 …
2016-03-11 …
2016-03-11 …
2016-03-11 …
2016-03-11 …
2016-03-11 …
前回のデータ比較からの差分だけ突合したい
Veridata 12.1 まで
表ごとに突合範囲指定を突合を行う都度
行う必要がある
Veridata 12.2
Delta Processing を設定することにより
Veridataが差分を自動管理
3/10の
突合
3/11の
突合

Delta Processing
78
設定イメージ
Compare Pair の設定画面に
Delta Processing のタブを追加
差分を判別するための列（Delta Columns）
を指定。数字、日付のデータ型で、更新
ごとに値が大きくなる列を指定（last_updated
列など）
データ比較実行時のDelta Columnsの
最大値を記録し、次回データ比較時の
ベース地として使用

Delta Processing
• ORA_ROWSCN列とは
– レコードごとの更新SCNを確認する疑似列
– CREATE TABLEのROWDEPENDENCIES句により、有効化（ALTER TABLEでは設定不可）
– VeridataのDelta Processing の Delta Columns として使用可能
• ORA_ROWSCN列を使用すれば、APからの更新処理は不要
– 参考
• https://docs.oracle.com/cd/E49329_01/server.121/b71278/pseudocolumns007.htm
79
Oracle DBのORA_ROWSCN疑似列の使用
例
SQL> select id,name,upd_date, ora_rowscn from test_tab
2 where rownum=1;
ID NAME UPD_DATE ORA_ROWSCN
---------- ---------- --------- ----------
1 Chai 05-FEB-16 10885519

Compare Configurations
• 既存のレプリケーション定義からVeridataのデータ比較を設定可能
– OGGパラメータファイルを読み込み、Veridataリポジトリにインポート可能なXMLファイルを生成
• 活用ケース
– データ比較対象が「スキーマ内の表全て」、「少数の表」等、Webからの設定に手間がかかるケース
で特に有効
80
Veridata GoldenGate Parameter Processing (VGPP)
実行例
$ cd $VERIDATA_DOMAIN_HOME/veridata/bin
$ ./veridata_param_process.sh -noscripting r1.prm
r1.prm : Replicatのパラメータファイル
noscripting : XMLファイル生成のみで、インポートはしない

アジェンダ
• GoldenGate 12.2
81

GoldenGate Monitor / EM Plugin
• 12c前
– 稼働監視、履歴表示（グラフ化）、アラート通知が可能
• 12c以降
– 稼働監視、履歴表示（グラフ化）、アラート通知が可能
– ログファイル（ggserr.log, report, discard）参照とダウンロードが可能
– OGGプロセスのパラメータ編集とプロセス起動停止が可能
82
監視のみのツールから、管理・監視が行えるツールに

OGG Monitor/EM Pluginによる管理・監視の効率化
83
管理・管理項目ツールなしツールあり
稼働監視 GoldenGateが導入されている各サーバーにロ
グインし、”info all” を実行
OGG Monifor / EM Plugin のトップ画面より全サーバー
の稼働状況を確認
障害検知 ggserr.log の出力を使用した作り込みメール/SNMPによる通知が可能
アラート通知 Info / lag / stats コマンドの出力や、lagcritical等
のパラメータを使用した作り込み
パフォーマンスメトリック値に基いたメール/SNMPによ
る通知が設定可能
例：Replicatのラグが1分を超えたら通知
パフォーマンス傾
向の確認
lag / stats コマンドの定期実行やreportcount
パラメータ設定による定期収集の作り込み、お
よび手動作業のグラフ化が必要
パフォーマンスメトリックが自動で定期収集され、グラ
フ表示も可能
設定変更各サーバーにログインし、パラメータ編集やプ
ロセス再起動を実施
OGG Monifor / EM Plugin の画面よりパラメータ編集と
プロセス再起動が可能
障害対応各サーバーにログインし、ggsciコマンドでの稼
働状態を確認する。また、ggserr.log/レポート
ファイルの参照を行い、必要に応じてファイル
を取得し、サポートに送付
OGG Monifor / EM Plugin の画面から稼働状態を確認
する。ggserr.log/レポートファイルの参照を行い、必要
に応じてサポートに送付

Oracle GoldenGate Monitorのアーキテクチャ
他社製
運用管理ツール、
電子メール等
管理リポジトリデータベース
Oracle
Monitor
Server
Webクライアント
http/https
監視対象サーバA
Oracle Database
インスタンス
監視対象サーバB
Oracle Database
インスタンス
Oracle GoldenGate
Oracle GoldenGateによる
Oracle Databaseレプリケーション環境
JMX/SSL
監視・管理
レプリケーション
Monitor
Agent
Oracle GoldenGateMonitor
AgentJDBC
Oracle Fusion Middleware
Infrastructure
リポジトリサーバ
Oracle WebLogic Server
管理サーバ
Oracle GoldenGate Monitorによる監視環境

GoldenGate System Monitoring Plug-inアーキテクチャ
85
他社製
運用管理ツール
管理リポジトリデータベース
Oracle Management Repository（OMR）
管理サービス
Oracle Management
Server （OMS）
other
plug-in
other
plug-in
DB
plug-in
OGG
plug-in
EMCC管理用サーバ
EMCC
管理コンソール
http/https
監視対象サーバA
Oracle Database
インスタンス
監視対象サーバB
Oracle Database
インスタンス
Oracle GoldenGate
Oracle GoldenGateによる
Oracle Databaseレプリケーション環境
DB
plug-in
OGG
plug-in
DB
plug-in
OGG
plug-in
http/https
管理エージェント
Oracle Management
Agent（OMA）
管理エージェント
Oracle Management
Agent（OMA）
Oracle Enterprise Manager Cloud Controlによる統合運用管理環境
＋Oracle GoldenGate Plug-in for EMCC
監視・管理
レプリケーション
Monitor
Agent
Oracle GoldenGate
Monitor
Agent

GoldenGate Monitor
86
参考： https://www.youtube.com/watch?v=LHECLLKX8zk

EM Plugin
87

アジェンダ
• GoldenGate 12.2
88

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 89
GoldenGate Studio概要
• GoldenGate Studioとは？
– GoldenGateによるレプリケーション環境をGUI
で容易に構築するための製品
– 各種ウィザードにより容易にベストプラクティス
に基づいたレプリケーション構成を自動作成
– レプリケーションフローやマッピング・競合検
知・フィルタ設定などがGUIで容易に把握可能
– 各環境へ1クリックでデプロイ＆再デプロイ
– 変化するビジネスニーズに応じて、容易に構
成を変更
– 全ての変更履歴をリポジトリに安全に保管
• 既存GoldenGateユーザ様がGoldenGate
Studioを導入するメリット
– デザインやデプロイに関わる作業時間を削減
– 従来手動で行っていた作業を、ウィザードや自動
マッピング機能などにより一部自動化
– 個々の環境で設定を確認する必要がなくなり、レ
プリケーション環境の全体構成を可視化し、
Studioから全ての環境の設定を行うことが可能
– 論理デザインと物理デザインが分離できるので、
GoldenGateの詳細を知らない方でも論理デザイ
ンを作成可能
＊GoldenGate Studio を使用する場合は、別途GoldenGate Foundation Suite ライセンスが必要です。

GoldenGate Studioのアーキテクチャ
90
デプロイ ./dirtmp バックアップディレ
クトリ
./dirprm 設定ファイル用ディ
レクトリ
./diroby コマンドファイル用
ディレクトリ
GLOBALS Globalファイルパラ
メータ
ggsci 表ロギングの追加
Capture/Pump/Repl
icat/初期ロードの
起動・停止
監視（簡易版）
Oracle
GoldenGate
Studio
12.2.1
(Java)
メトリック
(REST via OGG Manager Port)
OGG Studio
リポジトリ
(Oracle only)
Monitor Agent
12.2.1
GoldenGate
12.2.0
アクセスするGoldenGateコンポーネント

レプリケーション作成のイメージ
1. インストール
– OGG Studio 本体、リポジトリ、Monitor Agent など
2. コンポーネントの登録
– DB / GoldenGate
3. 物理構成の定義
– どこのDBからどこのDBに、どこのOGGを使ってレプリケーション？
4. データマッピングの定義
– どの表とどの表、データ変換、競合解決、その他使用機能
5. デプロイ
– スクリプトを生成し、実行（スクリプト生成のみ行い、手動実行も可）
91

GoldenGate Studioの用語
• プロジェクト
– GoldenGateレプリケーション・ソリューショ
ンのコンテナ。1つのプロジェクトは複数
のソリューションを含む。
• ソリューション
– GoldenGateでサポートされる論理デザイ
ン（例：一方向、双方向など）
– 1つ以上の物理デザイン（デプロイメント・プロ
ファイル）とマッピング・グループを含む。
• デプロイメント・プロファイル
– レプリケーションの物理的な属性を定義
するもの。（例：GGの配置場所、DBサー
バの属性など）
• マッピング・グループ
92
＊各ウィンドウの配置は自由に変更できます。

ソリューションの作成
• ビジネスニーズに合わせて論理デザインを作成
• GoldenGateでサポートされる構成のテンプレートを提供
93
GoldenGateの詳細を知らなくても論理デザインが可能
テンプレートによる迅速なデザイン一方向
双方向
ハブ＆スポーク
論理デザイン
ソリューション・ウィザード

論理デザインの変更
• ドラッグ＆ドロップでソースや
ターゲットのデータベースを
追加可能
• ドラッグ＆ドロップで新しいレ
プリケーション・パスを追加
可能
94
ビジネスニーズに合わせて、論理デザインを変更することが可能
論理デザイン

• Capture/Replicatプロセスの配置に関わる8つのテンプレートを提供
ソース、
ハブ
（リモートターゲット）
シングル
ホスト
ソース、
ハブ、
ターゲット
ハブ
ターゲット
（リモートソース）
ソースのみ
（リモートターゲット）
ハブのみ
（リモートソース、
リモートターゲット）
ソース、
ターゲット
（デフォルト）
ターゲットのみ
（リモートソース）
デプロイメント・プロファイルの作成（1/3）
95
デプロイメント・プロファイル・ウィザードにより物理デザインを選択
ニーズに応じて様々な構成を選択可能
• ソースやターゲットの上で稼働させるか？
• リモートCaptureやリモートReplicatを使用するか？
• Hubサーバにもプロセスを配置するか？
GG GG
GG
GG
GG
GG GG GG
GG GG
GGGG
GG
物理デザイン
デプロイメント・プロファイル・ウィザード

• データ・サーバを指定
– 事前に設定したデータベース・サーバへの接
続から選択することができます。
• GoldenGateインスタンスを指定
– 事前に設定したGoldenGateインスタンスへの
接続から選択することができます。
96
前ステップで決定した構成に応じて、実際のDBサーバやGGインスタンスを設定
1つのソリューションに対して、デプロイメント・プロファイルで複数の異なるアーキテクチャを使用することが可能です。
（例：開発環境、テスト環境、本番環境）
物理デザイン

• デプロイメント・プロファイル・ウィザードにより、下記の様な構成が作成されます。
• この画面から各プロセスやファイルの管理ができます。
97
完成したデプロイメント・プロファイルからプロパティなどを調整します。
プロセスを右クリック
→ 起動・停止・強制終了など
プロセスをクリック
→ プロパティ・ウィンドウに
パラメータ設定などが表示

マッピング・グループの作成（1/2）
• 自動マッピングの方法
①リソースナビゲータからマッピングしたいス
キーマや表を選択
②ソースからターゲットにドラッグ＆ドロップ
するか、「AutoMap」ボタンを押すと、自動的
にマッピング
• 対象表が多い場合にも分かりやすい表示
98
自動マッピングまたはカスタム・マッピングが可能
①
②
表示内容の
フィルタリング
オブジェクトを選ぶとマッピング先がハイライト
物理デザイン論理デザイン

マッピング・グループの作成（2/2）
• マッピング・グループの種類
– マッピング・グループ（ソリューションの中に作成）
– グローバル・マッピング・グループ（グローバル・リソース内に作成）
• 同じマッピング・グループを、異なるソリューションや異なるプロジェクト内と共
有することが可能（1か所を変更すると全てが変更される）
99
二種類のマッピング・グループから選択可能
物理デザイン論理デザイン
＊マッピング・グループ作成後に、グロー
バル・リソース・ライブラリにコピーできます。

• 稼働環境へ直接デプロイ
– Studioから直接稼働環境にファイルをデプロイ
します。
– プロファイル下部にある「Overview」タブを選択
すると、デプロイ時のオプション等が選べます。
• GoldenGateファイルの生成
– Studioのローカル環境にデプロイに必要な
GoldenGateファイルを出力します。
– 直接デプロイしたくない場合などに使用します。
100
GoldenGateインスタンスへのデプロイと管理

参考資料
• GoldenGate 12.2 セットアップガイド
– http://www.slideshare.net/oracle4engineer/oracle-goldengate-r122
• GoldenGate Veridata 12.2 セットアップガイド
– http://www.slideshare.net/oracle4engineer/oracle-goldengate-veridata-12cr2
• GoldenGate Monitor 12.2 セットアップガイド
– http://www.slideshare.net/oracle4engineer/oracle-goldengate-monitor-12cr2
• GoldenGate Studio セットアップガイド
– http://www.slideshare.net/oracle4engineer/oracle-goldengate-studio-58942558
101

Safe Harbor Statement
The preceding is intended to outline our general product direction. It is intended for
information purposes only, and may not be incorporated into any contract. It is not a
commitment to deliver any material, code, or functionality, and should not be relied upon
in making purchasing decisions. The development, release, and timing of any features or
functionality described for Oracle’s products remains at the sole discretion of Oracle.
102

GoldenGateテクニカルセミナー2「Oracle GoldenGate 新機能情報」(2016/5/11)

GoldenGateテクニカルセミナー2「Oracle GoldenGate 新機能情報」(2016/5/11)

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (15)

Similar to GoldenGateテクニカルセミナー2「Oracle GoldenGate 新機能情報」(2016/5/11)

Similar to GoldenGateテクニカルセミナー2「Oracle GoldenGate 新機能情報」(2016/5/11) (20)

More from オラクルエンジニア通信

More from オラクルエンジニア通信 (20)

GoldenGateテクニカルセミナー2「Oracle GoldenGate 新機能情報」(2016/5/11)