SlideShare ist ein Scribd-Unternehmen logo
1 von 49
Downloaden Sie, um offline zu lesen
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Data 12.2
セットアップガイド for R12.2.0.1.1
ver.1.0
2016年9月
日本オラクル株式会社
クラウド&テクノロジー事業統括
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Safe Harbor Statement
The following is intended to outline our general product direction. It is intended for
information purposes only, and may not be incorporated into any contract. It is not a
commitment to deliver any material, code, or functionality, and should not be relied upon
in making purchasing decisions. The development, release, and timing of any features or
functionality described for Oracle’s products remains at the sole discretion of Oracle.
2
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
はじめに
• 本資料では、Oracle GoldenGate for Big Data R12.2.0.1.1 のLinuxプラット
フォーム上環境構築から動作確認までの一連の手順について説明します。
• 本資料は製品マニュアルを補足する資料です。手順の一例としてご活用
ください。
– Fusion Middleware Installing Oracle GoldenGate for Big Data Release 12c (12.2.0.1.1)
https://docs.oracle.com/goldengate/bd1221/gg-bd/GBDIG/toc.htm
3
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
本資料の環境情報
• 本資料では、以下の環境を使用しています。
• OS: Oracle Linux 6.5 64bit, kernel:3.8.13-16.2.1.el6uek.x86_64 (ソース側のOGG インストール先)
Oracle Linux 6.5 64bit, kernel:3.8.13-16.2.1.el6uek.x86_64 (OGG for Big Data インストール先)
• ソフトウェア
 JDK1.8.0_91-b14
Oracle Database 12.1.0.2.0
Oracle GoldenGate 12.2.0.1.1
CDH5.4.7 、 HDFS 2.6.0、Hbase 1.0.0、Kafka 0.8.2.0、Flume NG 1.5.0
Oracle GoldenGate for Big Data 12.2.0.1.1 for Linux x86-64
• 本資料では下記のソフトウェアをインストールして構成します。
Oracle GoldenGate for Big Data 12.2.0.1.1 for Linux x86-64
4
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
本資料の流れ
• 本資料は下記の流れで、ターゲット
側のOracle GoldenGate for Big Data
のセットアップ方法を説明します。
– 1章:前提条件の確認
– 2章:OGG for Big Dataのインストール
– 3章:OGG for Big Dataの配置
– 4章:OGG for Big Dataの動作確認
– 5章:OGG for Big Dataのアンインストール
– 6章:参考情報
5
Oracle
Database
12gR1
( AL32UTF8)
SID: orcl
Oracle
GoldenGate
12gR2
Oracle
GoldenGate
for Big Data
12gR2
Host: host-a
OS:Oracle Linux Server 6.5
Host: host-b
OS:Oracle Linux Server 6.5
ソース ターゲット
この資料でセットアップする対象
Flume
Kafka
HBASE
HDFS
Hive
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
本資料で構築するGoldenGate for Big Dataの構成イメージ
6
DB
GoldenGate GoldenGate for Big Data
ソース ターゲット
Manager Manager
同期 Collector Replicat
Integrated
Extract
(Capture)
Extract
(DataPump)
本資料では、ターゲット側のOGG for Big Dataのインストールと配置の説明をします。
ソース側のOGGのセットアップ方法については、下記資料を参考にして下さい。
「GoldenGate R12.2セットアップガイド」 http://www.slideshare.net/oracle4engineer/oracle-goldengate-r122
Flume
Flume
Kafka
HBASE
HDFS
Hive
Java Adapter
Properties
file
Replicat
Parameter
File
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Agenda
7
前提条件の確認
Oracle GoldenGate for Big Dataのインストール
Oracle GoldenGate for Big Dataの配置
Oracle GoldenGate for Big Dataの動作確認
Oracle GoldenGate for Big Dataのアンインストール
参考情報
1
2
3
4
5
6
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
前提条件の確認
• ソース側: Oracle Database
– ソース側で、上記GoldenGateに対してCertifyされたバージョンのOracle Database構成されているもの
とします。
• ソース側:GoldenGate12c(12.2.0.1.1) for Oracle Database
– GoldenGate(Core)が、既に構成されているものとします。
• Java 1.7以降(JDKでもJREでも可)
• Big Data環境:OGG for Big Dataに対してCertifyされたバージョンの下記サービスがイン
ストール・構成されているものとします。
– HDFS、Hbase、Flume、Kafka
* Certifyされたバージョンの詳細は、下記マニュアルのCertification Matrixを参照ください。
https://docs.oracle.com/goldengate/bd1221/gg-bd/GADBD/GUID-85A82B2E-CD51-463A-8674-
3D686C3C0EC0.htm#GUID-C6D8D28C-63FD-42BC-9D50-857A59B91D06
8
事前に下記の環境が用意されていることを確認してください。
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Agenda
9
前提条件の確認
Oracle GoldenGate for Big Dataのインストール
Oracle GoldenGate for Big Dataの配置
Oracle GoldenGate for Big Dataの動作確認
Oracle GoldenGate for Big Dataのアンインストール
参考情報
1
2
3
4
5
6
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataのインストール
1. Javaバージョン1.7 以降をインストール(JDKでもJREでも可)してください。
本資料ではJDK1.8.0_91-b14をインストールします。
2. 環境変数を設定します。
10
環境準備
Shell> tar zxvf jdk-8u91-linux-x64.tar.gz /usr/java
export JAVA_HOME=/usr/java/jdk1.8.0_91
export PATH=$JAVA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:$LD_LIBRARY_PATH
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataのインストール
1. Oracle Software Delivery Cloudにサイン
インします。
– http://edelivery.oracle.com
11
Oracle GoldenGate for Big Dataのダウンロード(1/5)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataのインストール
3. 「製品」で、「Oracle GoldenGate for Big
Data」を選択し、プラットフォームも選択
して、「続行」を押します。
12
Oracle GoldenGate for Big Dataのダウンロード(2/5)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataのインストール
4. 使用可能なリリースで「Oracle
GoldenGate for Big Data 12.2.0.1.0 for
Linux x86-64」を選択し「続行」を押しま
す。
13
Oracle GoldenGate for Big Dataのダウンロード(3/5)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataのインストール
5. 「オラクル標準の条件及び規制」のライ
センス契約を十分読み、受諾する場合
はチェックして「続行」ボタンを押します。
14
Oracle GoldenGate for Big Dataのダウンロード(4/5)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataのインストール
6. ファイル名をクリックして、ファイルをダ
ウンロードします。
15
Oracle GoldenGate for Big Dataのダウンロード(5/5)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataのインストール
1. インストールディレクトリを作成してメディア・パックを解凍します。
2. 下記の環境変数を設定します。
※ OGG_HOMEは、 Oracle GoldenGate for Big Dataをインストールしたディレクトリ
16
Oracle GoldenGate for Big Dataのインストール(1/2)
Shell> unzip V138402-01.zip
Shell> mkdir installation_directory
Shell> cp ggs_Adapters_Linux_x64.tar installation_directory
Shell> cd installation_directory
Shell> tar –xf ggs_Adapters_Linux_x64.tar
export OGG_HOME=/u01/app/ogg
export LD_LIBRARY_PATH=$OGG_HOME:$LD_LIBRARY_PATH
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataのインストール
3. GGSCIを起動して、サブディレクトリを作成するコマンドを打ちます。
17
Oracle GoldenGate for Big Dataのインストール(2/2)
Shell> cd $OGG_HOME
Shell> ./ggsci
GGSCI> CREATE SUBDIRS
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Agenda
18
前提条件の確認
Oracle GoldenGate for Big Dataのインストール
Oracle GoldenGate for Big Dataの配置
Oracle GoldenGate for Big Dataの動作確認
Oracle GoldenGate for Big Dataのアンインストール
参考情報
1
2
3
4
5
6
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
1. ソース側のManagerプロセスのパラメータファイルを編集して起動します。
2. ターゲット側のManagerプロセスのパラメータファイルを編集して起動します。
Oracle GoldenGate for Big Dataの配置
19
1.Managerプロセスを構成
GGSCI> EDIT PARAM MGR
GGSCI> START MGR
GGSCI > EDIT PARAM MGR
GGSCI> START MGR
-- Managerプロセスパラメータでは、監視ポートを指定する、本例では7801を使う
PORT 7801
PORT 7801
-- Managerプロセスをリモートから開始できるよう設定する
ACCESSRULE, PROG *, IPADDR *, ALLOW
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
– ターゲット側のReplicatプロセスのプロパティファイルを編集します。
• このファイルの中で記載するハンドラ(HDFS handler、Hbase Handler、 Flume Handler、 Kafka
Handler)によって、対応するパラメータファイルの名前と位置を指定します。
• 同時に一つのハンドラを使用できます。各ハンドラのプロパティファイルの詳細の設定については、
次の章で説明します。
20
2.Replicatプロセスのプロパティファイルを構成
GGSCI > EDIT PARAMS HDFS
REPLICAT hdfs
TARGETDB LIBFILE ./libggjava.so SET property= ./dirprm/hdfs.props
DDL INCLUDE ALL
GROUPTRANSOPS 1000
MAPEXCLUDE demo.excludetable
MAP demo.*, TARGET demo.*;
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
1. ソース側で初期ロード用のExtractプロセスを追加して編集します。
21
3. 初期データロードのプロセスのプロパティファイルを構成(1/2)
GGSCI> ADD EXTRACT eini_1, SOURCEISTABLE
GGSCI>EDIT PARAMS eini_1
EXTRACT EINI_1
USERID ggs, PASSWORD Welcome1
RMTHOST infbjvm107.cn.oracle.com, MGRPORT 7801
RMTTASK replicat, GROUP rini_1
TABLE DEMO.*;
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
2. ターゲット側で初期ロード用のReplicatプロセスを追加して編集します。
22
3.初期データロードのプロセスのプロパティファイルを構成(2/2)
GGSCI>ADD REPLICAT rini_1, SPECIALRUN
GGSCI>EDIT PARAMS rini_1
REPLICAT RINI_1
--使用するハンドラ(HDFS handler、Hbase Handler、 Flume Handler、 Kafka Handler)に
よって、対応するプロパティファイルが違います。
TARGETDB LIBFILE ./libggjava.so SET property=./dirprm/hdfs.props
ASSUMETARGETDEFS
MAP DEMO.*, TARGET DEMO.*;
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
4-1.Oracle GoldenGate for Big Data HDFS Handler
4-2. Oracle GoldenGate for Big Data HDFS Handler(For Hive)
4-3. Oracle GoldenGate for Big Data Hbase Handler
4-4. Oracle GoldenGate for Big Data Kafka Handler
4-5. Oracle GoldenGate for Big Data Flume Handler
Confidential – Oracle Internal/Restricted/Highly Restricted 23
4. 各種ハンドラの設定
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
• HDFS ハンドラのプロパティファイルを編集します。
– $OGG_HOME/dirprm/hdfs.properties
24
4-1.Oracle GoldenGate for Big Data HDFS Handlerの環境を構築
gg.handlerlist=hdfs
gg.handler.hdfs.type=hdfs
gg.handler.hdfs.mode=tx
gg.handler.hdfs.includeTokens=false
gg.handler.hdfs.maxFileSize=1g
gg.handler.hdfs.rootFilePath=/ogg21/txt
gg.handler.hdfs.fileRollInterval=0
gg.handler.hdfs.inactivityRollInterval=0
gg.handler.hdfs.fileSuffix=.txt
gg.handler.hdfs.partitionByTable=false
gg.handler.hdfs.rollOnMetadataChange=true
gg.handler.hdfs.authType=none
gg.handler.hdfs.format=delimitedtext
g.handler.hdfs.format.encoding=UTF-8
gg.handler.hdfs.format.fieldDelimiter=|
goldengate.userexit.timestamp=utc
goldengate.userexit.writers=javawriter
javawriter.stats.display=TRUE
javawriter.stats.full=TRUE
gg.log=log4j
gg.log.level=INFO
gg.report.time=30sec
gg.checkpoint=java
gg.classpath=/etc/hadoop:/etc/hadoop/conf:/usr/lib/hadoop/cl
ient/*:/usr/lib/hadoop/*:/usr/lib/hadoop/lib/*:/usr/lib/hadoo
p-hdfs/*:/usr/lib/hadoop-hdfs/lib/*:/etc/hadoop/conf/core-
site.xml:/etc/hadoop/conf/hdfs-
site.xml:./ggjava/resources/lib/*
javawriter.bootoptions=-Xmx512m -Xms32m -
Djava.class.path=ggjava/ggjava.jar
(続く)
(続き)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
• Oracle GoldenGate for Big Data 12.2.0.1では、Hive HandlerというHandlerは提供して
いません。Hiveと統合する場合、HDFS Handlerを使用します。
– $OGG_HOME/dirprm/hive.properties
25
4-2. Oracle GoldenGate for Big Data HDFS Handler(For Hive)の環境構築
gg.handlerlist=hive
gg.handler. hive.type=hdfs
gg.handler.hive.mode=tx
gg.handler.hive.includeTokens=false
gg.handler.hive.maxFileSize=1g
gg.handler.hive.rootFilePath=/ogg 21/txt
gg.handler.hive.fileRollInterval=0
gg.handler.hive.inactivityRollInterval=0
gg.handler.hive.fileSuffix=.txt
gg.handler.hive.partitionByTable=true
gg.handler.hive.rollOnMetadataChange=true
gg.handler.hive.authType=none
gg.handler.hive.format=delimitedtext
gg.handler.hdfs.format.encoding=UTF-8
gg.handler.hdfs.format.fieldDelimiter=|
goldengate.userexit.timestamp=utc
goldengate.userexit.writers=javawriter
javawriter.stats.display=TRUE
javawriter.stats.full=TRUE
gg.log=log4j
gg.log.level=INFO
gg.report.time=30sec
gg.checkpoint=java
gg.classpath=/etc/hadoop:/etc/hadoop/conf:/usr/lib/hadoop/
client/*:/usr/lib/hadoop/*:/usr/lib/hadoop/lib/*:/usr/lib/hado
op-hdfs/*:/usr/lib/hadoop-hdfs/lib/*:/etc/hadoop/conf/core-
site.xml:/etc/hadoop/conf/hdfs-
site.xml:./ggjava/*:./ggjava/resources/lib/*
javawriter.bootoptions=-Xmx512m -Xms32m -
Djava.class.path=ggjava/ggjava.jar
(続く)
(続き)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
• Hbase handlerプロパティファイルを編集します。
– $OGG_HOME/dirprm/hbase.properties
26
4-3. Oracle GoldenGate for Big Data Hbase Handlerの環境構築
gg.handlerlist=hbase
gg.handler.hbase.type=hbase
gg.handler.hbase.includeTokens=false
gg.handler.name.keyValueDelimiter=CDATA[=]
gg.handler.hbase.keyValuePairDelimiter=CDATA[,]
gg.handler.hbase.encoding=UTF-8
gg.handler.hbase.pkUpdateHandling=delete-insert
gg.handler.hbase.nullValueRepresentation=CDATA[NULL]
gg.handler.hbase.authType=none
gg.handler.hbase.mode=tx
goldengate.userexit.timestamp=utc
goldengate.userexit.writers=javawriter
javawriter.stats.display=TRUE
javawriter.stats.full=TRUE
gg.log=log4j
gg.log.level=info
gg.report.time=30sec
gg.checkpoint=java
gg.classpath==/var/lib/hbase1/hbase1.0.0/lib/*:/usr/lib/
hbase/conf/:/usr/lib/hadoop/client/*:./ggjava/resources/
lib/*
javawriter.bootoptions=-Xmx512m -Xms32m -
Djava.class.path=ggjava/ggjava.jar(続く)
(続き)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
1. Kafka Handlerプロパティファイルを編集します。
– $OGG_HOME/dirprm/kafka.properties
27
4-4. Oracle GoldenGate for Big Data Kafka Handlerの環境構築(1/2)
gg.handlerlist = kafka
gg.handler.kafka.type = kafka
gg.handler.kafka.KafkaProducerConfigFile
=custom_kafka_producer.properties
gg.handler.kafka.TopicName=xml_topic
gg.handler.kafka.SchemaTopicName = oggSchemaTopic
gg.handler.kafka.mode =op
##Xml formatter properties
gg.handler.kafka.format=xml
gg.handler.kafka.format.encoding=UTF-8
goldengate.userexit.timestamp=utc
goldengate.userexit.writers=javawriter
goldengate.userexit.nochkpt=TRUE
javawriter.stats.display=TRUE
javawriter.stats.full=TRUE
gg.log=log4j
gg.log.level=info
gg.report.time=30sec
gg.checkpoint=java
gg.classpath=dirprm:/usr/lib/kafka/libs/*:./ggjava/resour
ces/lib/*
javawriter.bootoptions=-Xmx512m -Xms32m -
Djava.class.path=ggjava/ggjava.jar(続く)
(続き)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
2. Kafka Producer配置ファイルを構成します。
– Kafka Handler のプロパティファイルのgg.handler.kafka.KafkaProducerConfigFile パラメータでファイ
ル名を任意指定することが可能です。Kafka HandlerがこのKafka Producer配置ファイルを読み込ん
で、メッセージの配信を行います。
– $OGG_HOME/dirprm/custom_kafka_producer.properties
28
Oracle GoldenGate for Big Data Kafka Handlerの環境構築(2/2)
bootstrap.servers=localhost:9092
acks=1
reconnect.backoff.ms=1000
value.serializer=org.apache.kafka.common.serialization.ByteArraySerializer
key.serializer=org.apache.kafka.common.serialization.ByteArraySerializer
batch.size=1024
linger.ms=2000
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
1. Flume Handlerプロパティファイルを構成、$OGG_HOME/dirprm/flume.propertiesを
編集する。
29
Oracle GoldenGate for Big Data Flume Handlerの環境構築(1/3)
gg.handlerlist = flumehandler
gg.handler.flumehandler.type=flume
gg.handler.flumehandler.RpcClientPropertiesFile=custom
-flume-rpc.properties
gg.handler.flumehandler.mode=op
gg.handler.flumehandler.PropagateSchema=true
gg.handler.flumehandler.includeTokens=false
##Json formatter properties
gg.handler.flumehandler.format=json
gg.handler.flumehandler.format.prettyPrintformat.pretty
Print=true
gg.handler.flumehandler.format.jsonDelimiter=CDATA[De
limiter]
gg.handler.flumehandler.format.generateSchema=true
goldengate.userexit.timestamp=utc
goldengate.userexit.writers=javawriter
javawriter.stats.display=TRUE
javawriter.stats.full=TRUE
gg.log=log4j
gg.log.level=INFO
gg.report.time=30sec
gg.classpath=dirprm/:/usr/lib/flume-
ng/lib/*:./ggjava/resources/lib/*
javawriter.bootoptions=-Xmx512m -Xms32m -
Djava.class.path=ggjava/ggjava.jar
続き
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
2. Flume Source配置ファイルを構成、 $OGG_HOME/dirprm/ custom-flume-
rpc.propertiesを編集する。 Flume Handler のプロパティファイルで
gg.handler.flumehandler.RpcClientPropertiesFile で該当配置ファイル名を任意指定
可能です。
30
Oracle GoldenGate for Big Data Flume Handlerの環境構築(2/3)
client.type=thrift
hosts=h1
hosts.h1=127.0.0.1:41415
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
3. Flume Agent配置ファイルを構成、 Cloudera managerで、 クラスタ-> Flume->インスタ
ンス-> Agent->設定をクリックして、設定ファイルを編集する。
31
Oracle GoldenGate for Big Data Flume Handlerの環境構築(3/3)
# Sources, channels, and sinks are defined per
# agent name, in this case 'tier1'.
tier1.sources = source1
tier1.channels = channel1
tier1.sinks = sink1
# For each source, channel, and sink, set
# standard properties.
tier1.sources.source1.type = thrift
tier1.sources.source1.bind = 127.0.0.1
tier1.sources.source1.port = 41415
tier1.sources.source1.channels = channel1
tier1.channels.channel1.type = memory
tier1.sinks.sink1.type = hdfs
tier1.sinks.sink1.hdfs.path =
/tmp/ogg/test1/%{TABLE_NAME}
tier1.sinks.sink1.hdfs.filePrefix = %{TABLE_NAME}_
tier1.sinks.sink1.hdfs.writeFormat=Writable
tier1.sinks.sink1.hdfs.rollInterval=0
tier1.sinks.sink1.hdfs.rollSize=0
tier1.sinks.sink1.hdfs.rollCount=0
tier1.sinks.sink1.hdfs.batchSize=10000
tier1.sinks.sink1.hdfs.fileType=DataStream
tier1.sinks.sink1.channel = channel1
# Other properties are specific to each type of
# source, channel, or sink. In this case, we
# specify the capacity of the memory channel.
tier1.channels.channel1.capacity = 100
続き
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
1. ソース側で、下記の順でにEXTRACTとData-Pump ExtractとInitial-Load Extractプロセ
スを起動する。 EINI_1を起動すると、ターゲット側のRINI_1プロセスを自動的に起動
します。データ一致性を保持するために、初期データロードが完了する前に、ソース
データベース中にデータ変更をしないでください。
32
プロセスを追加と起動(1/4)
GGSCI > START EXTRACT e1
GGSCI > START EXTRACT p1
GGSCI > START EXTRACT eini_1
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
2. 下記のコマンドを発行して初期データのロード結果を確認します。
33
プロセスを追加と起動(2/4)
GGSCI > VIEW REPORT eini_1
…
Processing table DEMO.TCUSTMER
…
REDO Log Statistics
Bytes parsed 0
Bytes output 33151
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
3. 初期データをロードした後、EINI_1とRINI_1は自動的に停止します。下記のコマンドを
発行してEINI_1とRINI_1の状態を確認します。
34
プロセスを追加と起動(3/4)
ソース側:
GGSCI > info extract eini_1
EXTRACT EINI_1 Last Started 2016-08-31 16:07 Status STOPPED
Checkpoint Lag Not Available
Log Read Checkpoint Table Demo.customer
2016-08-31 16:07:10 Record 182
Task SOURCEISTABLE
ターゲット側:
GGSCI > info replicat rini_1
REPLICAT RINI_1 Initialized 2016-08-31 13:39 Status STOPPED
Checkpoint Lag 00:00:00 (updated 26:02:00 ago)
Log Read Checkpoint Not Available
Task SPECIALRUN
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataの配置
4. ターゲット側で、初期データロードが完了した後で、Replicatプロセスを起動します。
35
プロセスを追加と起動(4/4)
GGSCI > add replicat hdfs, exttrail ./dirdat/p1
GGSCI > start replicat hdfs
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Agenda
36
前提条件の確認
Oracle GoldenGate for Big Dataのインストール
Oracle GoldenGate for Big Dataの配置
Oracle GoldenGate for Big Dataの動作確認
Oracle GoldenGate for Big Dataのアンインストール
参考情報
1
2
3
4
5
6
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
• ソース側で、テーブルを作成して、レコー
ドを挿入します。
• ターゲット側で、挿入したデータを確認
します。
37
Oracle GoldenGate for Big Dataの動作確認
HDFS Handlerの動作確認
SQL> connect sys/Welcome1@src as sysdba
SQL> CREATE TABLE demo.t_hdfs
( id NUMBER NOT NULL PRIMARY KEY,
name CHAR(10) NOT NULL ,
updatedate date DEFAULT SYSDATE);
SQL> insert into demo.t_hdfs values(1,‘yamamoto', sysdate);
1行が作成されました。
SQL> commit;
コミットが完了しました。
SHELL> hadoop fs -ls /ogg21/txt
Found 2 items
-rw-r--r-- 3 oracle supergroup 86585 2016-09-01 19:58
/ogg21/txt/2016-09-01_19-58-04.280.txt
-rw-r--r-- 3 oracle supergroup 122 2016-09-02 12:52
/ogg21/txt/2016-09-02_12-52-30.344.txt
SHELL> hadoop fs -cat /ogg21/txt/2016-09-02_12-52-30.344.txt
IDEMO.T_HDFS2016-09-02 04:52:22.9999972016-09-
02T12:52:30.342000000000000000000033361yamamoto 2016-09-
02:12:52:19
I|DEMO.T_HDFS|2016-09-02 04:52:22.999997|2016-09-
02T12:52:30.342000|00000000000000003336|1|yamamoto |2016-
09-02:12:52:19
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
• ソース側で、テーブルを作成して、レコー
ドを挿入します。
• ターゲット側で、挿入したデータを確認し
ます。
38
Oracle GoldenGate for Big Dataの動作確認
HDFS Handler(For Hive)の動作確認
SQL> connect sys/Welcome1@src as sysdba
SQL> CREATE TABLE demo.t_hive
( id NUMBER NOT NULL PRIMARY KEY,
name CHAR(10) NOT NULL ,
updatedate date DEFAULT SYSDATE);
SQL> insert into demo.t_hive values(1,‘yamamoto', sysdate);
1行が作成されました。
SQL> commit;
コミットが完了しました。
SHELL> hadoop fs -ls /ogg21/txt
drwxrwxrwx - oracle supergroup 0 2016-09-02 13:35
/ogg21/txt/demo.t_hive
SHELL> hadoop fs -ls /ogg21/txt/demo.t_hive
Found 1 items
-rw-r--r-- 3 oracle supergroup 122 2016-09-02 13:35
/ogg21/txt/demo.t_hive/demo.t_hive_2016-09-02_13-35-46.273.txt
SHELL> hadoop fs -cat /ogg21/txt/demo.t_hive/demo.t_hive_2016-09-
02_13-35-46.273.txt
I|DEMO.T_HIVE|2016-09-02 05:35:38.000082|2016-09-
02T13:35:46.267000|00000000000000005256|1|yamamoto |2016-
09-02:13:35:36
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
• ソース側で、テーブルを作成して、レコー
ドを挿入します。
• ターゲット側で、挿入したデータを確認し
ます。
39
Oracle GoldenGate for Big Dataの動作確認
Hbase Handlerの動作確認
SQL> connect sys/Welcome1@src as sysdba
SQL> CREATE TABLE demo.t_hbase
( id NUMBER NOT NULL PRIMARY KEY,
name CHAR(10) NOT NULL ,
updatedate date DEFAULT SYSDATE);
SQL> insert into demo.t_hbase values(1,‘yamamoto', sysdate);
1行が作成されました。
SQL> commit;
コミットが完了しました。
SHELL> $HBASE_HOME/bin/hbase shell
Hbase(main):001:0> list
TABLE
DEMO:T_HBASE
Hbase(main):002:0> scan ‘DEMO:T_HBASE’
ROW COLUMN+CELL
1 column=cf:ID, timestamp=1472795682414, value=1
1 column=cf:NAME, timestamp=1472795682414,
value=yamamoto
1 column=cf:UPDATEDATE, timestamp=1472795682414,
value=2016-09-02:13:47:57
1 row(s) in 0.0400 seconds
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
• ソース側で、テーブルを作成して、レ
コードを挿入します。
• ターゲット側で、挿入したデータを確認し
ます。
40
Oracle GoldenGate for Big Dataの動作確認
Kafka Handlerの動作確認
SQL> connect sys/Welcome1@src as sysdba
SQL> CREATE TABLE demo.t_kafka
( id NUMBER NOT NULL PRIMARY KEY,
name CHAR(10) NOT NULL ,
updatedate date DEFAULT SYSDATE);
SQL> insert into demo.t_kafka values(1,‘yamamoto', sysdate);
1行が作成されました。
SQL> commit;
コミットが完了しました。
Shell> /usr/bin/kafka-console-consumer --zookeeper
infbjvm118.cn.oracle.com:2181 --from beginning --topic xml_topic
<?xml version='1.0' encoding='UTF-8'?>
<operation table='DEMO.T_KAFKA' type='I' ts='2016-09-01
02:10:49.000686' current_ts='2016-09-01T12:10:55.372000'
pos='00000000000000003381' numCols='3'>
<col name='ID' index='0'>
<before missing='true'/>
<after><![CDATA[1]]></after>
</col>
<col name='NAME' index='1'>
<before missing='true'/>
<after><![CDATA[yamamoto ]]></after>
</col>
<col name='UPDATEDATE' index='2'>
<before missing='true'/>
<after><![CDATA[2016-09-01:12:10:47]]></after>
</col>
</operation>
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
• ソース側で、テーブルを作成して、レコー
ドを挿入します。
• ターゲット側で、挿入したデータを確認し
ます。
41
Oracle GoldenGate for Big Dataの動作確認
Flume Handlerの動作確認
SQL> connect sys/Welcome1@src as sysdba
SQL> CREATE TABLE demo.test_flume
( id NUMBER NOT NULL PRIMARY KEY,
name CHAR(10) NOT NULL ,
updatedate date DEFAULT SYSDATE);
SQL> insert into demo.test_flume values(1,‘yamamoto', sysdate);
1行が作成されました。
SQL> commit;
コミットが完了しました。
Shell> hadoop fs -ls /tmp/ogg/test1/TEST_FLUME
Found 1 items
-rw-r--r-- 3 flume supergroup 297 2016-09-01 15:13
/tmp/ogg/test1/TEST_FLUME/TEST_FLUME_. 1472714000782.tmp
Shell> hadoop fs -cat /tmp/ogg/test1/TEST_FLUME/TEST_FLUME_.
1472714000782.tmp
{
"table":"DEMO.TEST_FLUME",
"op_type":"I",
"op_ts":"2016-09-01 03:06:15.000465",
"current_ts":"2016-09-01T11:06:21.675000",
"pos":"00000000020000003695",
"after":{
"ID":"1",
"NAME":"yamamoto ",
"UPDATEDATE":"2016-09-01:11:06:13"
}
}Delimiter
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Agenda
42
前提条件の確認
Oracle GoldenGate for Big Dataのインストール
Oracle GoldenGate for Big Dataの配置
Oracle GoldenGate for Big Dataの動作確認
Oracle GoldenGate for Big Dataのアンインストール
参考情報
1
2
3
4
5
6
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Oracle GoldenGate for Big Dataのアンインストール
1.プロセスを停止して設定を解除します。
2. Oracle GoldenGate for Big Dataのインストールディレクトリを削除します。
43
GGSCI> STOP REPLICAT hdfs
GGSCI> STOP mgr
GGSCI> DELETE REPLICAT hdfs
Shell> rm –rf installation_directory
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Agenda
44
前提条件の確認
Oracle GoldenGate for Big Dataのインストール
Oracle GoldenGate for Big Dataの配置
Oracle GoldenGate for Big Dataの動作確認
Oracle GoldenGate for Big Dataのアンインストール
参考情報
1
2
3
4
5
6
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
参考情報
• Oracle GoldenGate for Big Data 12c 全般情報(英語)
– http://docs.oracle.com/goldengate/bd1221/gg-bd/index.html
– Oracle GoldenGate 12c リリースノート(英語)
– https://docs.oracle.com/goldengate/bd1221/gg-bd/GBDRN/toc.htm
– Oracle GoldenGate 12c インストールガイド(英語)
– https://docs.oracle.com/goldengate/bd1221/gg-bd/GBDIG/toc.htm
45
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Document Control
Author
Oracle Asia Research & Development Center
• 黄 明
• 梁 国賢
• 楊 帆
Reviewer
日本オラクル株式会社
• 谷川 信朗
• 後藤 陽介
• 舟橋 直美
46
変更履歴
Date Version
2016/9 1.0 Created.
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 48
Oracle GoldenGate for Big Data 12.2 セットアップガイド

Weitere ähnliche Inhalte

Was ist angesagt?

[B31] LOGMinerってレプリケーションソフトで使われているけどどうなってる? by Toshiya Morita
[B31] LOGMinerってレプリケーションソフトで使われているけどどうなってる? by Toshiya Morita[B31] LOGMinerってレプリケーションソフトで使われているけどどうなってる? by Toshiya Morita
[B31] LOGMinerってレプリケーションソフトで使われているけどどうなってる? by Toshiya Morita
Insight Technology, Inc.
 
Rac rac one_node説明資料
Rac rac one_node説明資料Rac rac one_node説明資料
Rac rac one_node説明資料
Hiroki Morita
 

Was ist angesagt? (20)

Oracle GoldenGate Cloud Serviceユーザーズガイド
Oracle GoldenGate Cloud ServiceユーザーズガイドOracle GoldenGate Cloud Serviceユーザーズガイド
Oracle GoldenGate Cloud Serviceユーザーズガイド
 
Oracle GoldenGate R12.2 セットアップガイド
Oracle GoldenGate R12.2 セットアップガイドOracle GoldenGate R12.2 セットアップガイド
Oracle GoldenGate R12.2 セットアップガイド
 
GoldenGateテクニカルセミナー4「テクニカルコンサルタントが語るOracle GoldenGate現場で使える極意」(2016/5/11)
GoldenGateテクニカルセミナー4「テクニカルコンサルタントが語るOracle GoldenGate現場で使える極意」(2016/5/11)GoldenGateテクニカルセミナー4「テクニカルコンサルタントが語るOracle GoldenGate現場で使える極意」(2016/5/11)
GoldenGateテクニカルセミナー4「テクニカルコンサルタントが語るOracle GoldenGate現場で使える極意」(2016/5/11)
 
OCI GoldenGate Overview 2021年4月版
OCI GoldenGate Overview 2021年4月版OCI GoldenGate Overview 2021年4月版
OCI GoldenGate Overview 2021年4月版
 
Oracle GoldenGate FAQ
Oracle GoldenGate FAQOracle GoldenGate FAQ
Oracle GoldenGate FAQ
 
Oracle Database: リリースモデルとアップグレード・パッチ計画 (2021年2月版)
Oracle Database: リリースモデルとアップグレード・パッチ計画 (2021年2月版)Oracle Database: リリースモデルとアップグレード・パッチ計画 (2021年2月版)
Oracle Database: リリースモデルとアップグレード・パッチ計画 (2021年2月版)
 
オンプレミスからクラウドへ:Oracle Databaseの移行ベストプラクティスを解説 (Oracle Cloudウェビナーシリーズ: 2021年2月18日)
オンプレミスからクラウドへ:Oracle Databaseの移行ベストプラクティスを解説 (Oracle Cloudウェビナーシリーズ: 2021年2月18日)オンプレミスからクラウドへ:Oracle Databaseの移行ベストプラクティスを解説 (Oracle Cloudウェビナーシリーズ: 2021年2月18日)
オンプレミスからクラウドへ:Oracle Databaseの移行ベストプラクティスを解説 (Oracle Cloudウェビナーシリーズ: 2021年2月18日)
 
しばちょう先生による特別講義! RMANバックアップの運用と高速化チューニング
しばちょう先生による特別講義! RMANバックアップの運用と高速化チューニングしばちょう先生による特別講義! RMANバックアップの運用と高速化チューニング
しばちょう先生による特別講義! RMANバックアップの運用と高速化チューニング
 
Oracle GoldenGate Veridata概要
Oracle GoldenGate Veridata概要Oracle GoldenGate Veridata概要
Oracle GoldenGate Veridata概要
 
Zero Data Loss Recovery Applianceのご紹介
Zero Data Loss Recovery Applianceのご紹介Zero Data Loss Recovery Applianceのご紹介
Zero Data Loss Recovery Applianceのご紹介
 
Oracle Data Guard による高可用性
Oracle Data Guard による高可用性Oracle Data Guard による高可用性
Oracle Data Guard による高可用性
 
Oracle Database Vaultのご紹介
Oracle Database Vaultのご紹介Oracle Database Vaultのご紹介
Oracle Database Vaultのご紹介
 
Oracle GoldenGate Cloud Service(GGCS)概要
Oracle GoldenGate Cloud Service(GGCS)概要Oracle GoldenGate Cloud Service(GGCS)概要
Oracle GoldenGate Cloud Service(GGCS)概要
 
とっておきの方法! Oracle Databaseの自動アップグレードのお勧め手法 省力・最新化 概要編 (Oracle Cloudウェビナーシリーズ: ...
とっておきの方法! Oracle Databaseの自動アップグレードのお勧め手法 省力・最新化 概要編 (Oracle Cloudウェビナーシリーズ: ...とっておきの方法! Oracle Databaseの自動アップグレードのお勧め手法 省力・最新化 概要編 (Oracle Cloudウェビナーシリーズ: ...
とっておきの方法! Oracle Databaseの自動アップグレードのお勧め手法 省力・最新化 概要編 (Oracle Cloudウェビナーシリーズ: ...
 
[B31] LOGMinerってレプリケーションソフトで使われているけどどうなってる? by Toshiya Morita
[B31] LOGMinerってレプリケーションソフトで使われているけどどうなってる? by Toshiya Morita[B31] LOGMinerってレプリケーションソフトで使われているけどどうなってる? by Toshiya Morita
[B31] LOGMinerってレプリケーションソフトで使われているけどどうなってる? by Toshiya Morita
 
Oracle GoldenGate Veridata 12cR2 セットアップガイド
Oracle GoldenGate Veridata 12cR2 セットアップガイドOracle GoldenGate Veridata 12cR2 セットアップガイド
Oracle GoldenGate Veridata 12cR2 セットアップガイド
 
Oracle Database / Exadata Cloud 技術情報(Oracle Cloudウェビナーシリーズ: 2020年7月9日)
Oracle Database / Exadata Cloud 技術情報(Oracle Cloudウェビナーシリーズ: 2020年7月9日)Oracle Database / Exadata Cloud 技術情報(Oracle Cloudウェビナーシリーズ: 2020年7月9日)
Oracle Database / Exadata Cloud 技術情報(Oracle Cloudウェビナーシリーズ: 2020年7月9日)
 
Oracle Database 11g,12cからのアップグレード対策とクラウド移行 (Oracle Cloudウェビナーシリーズ: 2021年7...
Oracle Database 11g,12cからのアップグレード対策とクラウド移行 (Oracle Cloudウェビナーシリーズ: 2021年7...Oracle Database 11g,12cからのアップグレード対策とクラウド移行 (Oracle Cloudウェビナーシリーズ: 2021年7...
Oracle Database 11g,12cからのアップグレード対策とクラウド移行 (Oracle Cloudウェビナーシリーズ: 2021年7...
 
Rac rac one_node説明資料
Rac rac one_node説明資料Rac rac one_node説明資料
Rac rac one_node説明資料
 
Oracle GoldenGate Studio概要
Oracle GoldenGate Studio概要Oracle GoldenGate Studio概要
Oracle GoldenGate Studio概要
 

Ähnlich wie Oracle GoldenGate for Big Data 12.2 セットアップガイド

Oracle Solaris 10 から Oracle Solaris 11.1 への移行準備とポイント
Oracle Solaris 10 から Oracle Solaris 11.1 への移行準備とポイントOracle Solaris 10 から Oracle Solaris 11.1 への移行準備とポイント
Oracle Solaris 10 から Oracle Solaris 11.1 への移行準備とポイント
SolarisJP
 

Ähnlich wie Oracle GoldenGate for Big Data 12.2 セットアップガイド (20)

Oracle R Advanced Analytics for Hadoop利用方法
Oracle R Advanced Analytics for Hadoop利用方法Oracle R Advanced Analytics for Hadoop利用方法
Oracle R Advanced Analytics for Hadoop利用方法
 
Oracle GoldenGate Studio R12.2.1.1 セットアップガイド
Oracle GoldenGate Studio R12.2.1.1 セットアップガイドOracle GoldenGate Studio R12.2.1.1 セットアップガイド
Oracle GoldenGate Studio R12.2.1.1 セットアップガイド
 
Oracle GoldenGate Studioセットアップガイド
Oracle GoldenGate StudioセットアップガイドOracle GoldenGate Studioセットアップガイド
Oracle GoldenGate Studioセットアップガイド
 
Oracle Solaris 10 から Oracle Solaris 11.1 への移行準備とポイント
Oracle Solaris 10 から Oracle Solaris 11.1 への移行準備とポイントOracle Solaris 10 から Oracle Solaris 11.1 への移行準備とポイント
Oracle Solaris 10 から Oracle Solaris 11.1 への移行準備とポイント
 
Oracle Exadata MAA - Platinum層特化版プレゼンテーション
Oracle Exadata MAA - Platinum層特化版プレゼンテーション Oracle Exadata MAA - Platinum層特化版プレゼンテーション
Oracle Exadata MAA - Platinum層特化版プレゼンテーション
 
GoldenGateテクニカルセミナー1「市場のトレンドと最新事例のご紹介」(2016/5/11)
GoldenGateテクニカルセミナー1「市場のトレンドと最新事例のご紹介」(2016/5/11)GoldenGateテクニカルセミナー1「市場のトレンドと最新事例のご紹介」(2016/5/11)
GoldenGateテクニカルセミナー1「市場のトレンドと最新事例のご紹介」(2016/5/11)
 
Oracle GoldenGate EM Plugin 13c セットアップガイド
Oracle GoldenGate EM Plugin 13c セットアップガイドOracle GoldenGate EM Plugin 13c セットアップガイド
Oracle GoldenGate EM Plugin 13c セットアップガイド
 
Oracle Big Data SQL3.1のご紹介
Oracle Big Data SQL3.1のご紹介Oracle Big Data SQL3.1のご紹介
Oracle Big Data SQL3.1のご紹介
 
成功事例に学べ! これからの時代のビッグデータ活用最新ベストプラクティス [Oracle Cloud Days Tokyo 2016]
成功事例に学べ! これからの時代のビッグデータ活用最新ベストプラクティス [Oracle Cloud Days Tokyo 2016]成功事例に学べ! これからの時代のビッグデータ活用最新ベストプラクティス [Oracle Cloud Days Tokyo 2016]
成功事例に学べ! これからの時代のビッグデータ活用最新ベストプラクティス [Oracle Cloud Days Tokyo 2016]
 
[Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス
[Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス[Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス
[Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス
 
Oracle GoldenGate Monitor 12cR2 セットアップガイド
Oracle GoldenGate Monitor 12cR2 セットアップガイドOracle GoldenGate Monitor 12cR2 セットアップガイド
Oracle GoldenGate Monitor 12cR2 セットアップガイド
 
Oracle で SPARQL!
Oracle で SPARQL!Oracle で SPARQL!
Oracle で SPARQL!
 
20161125 Asakusa Framework Day オラクル講演資料
20161125 Asakusa Framework Day オラクル講演資料20161125 Asakusa Framework Day オラクル講演資料
20161125 Asakusa Framework Day オラクル講演資料
 
20170510_ORACLE MASTER Silver Oracle Database 12c 徹底特訓
20170510_ORACLE MASTER Silver Oracle Database 12c 徹底特訓20170510_ORACLE MASTER Silver Oracle Database 12c 徹底特訓
20170510_ORACLE MASTER Silver Oracle Database 12c 徹底特訓
 
Autonomous を支える技術、Oracle Database 18c デモンストレーション
Autonomous を支える技術、Oracle Database 18c デモンストレーションAutonomous を支える技術、Oracle Database 18c デモンストレーション
Autonomous を支える技術、Oracle Database 18c デモンストレーション
 
0151209 Oracle DDD OracleとHadoop連携の勘所
0151209 Oracle DDD OracleとHadoop連携の勘所0151209 Oracle DDD OracleとHadoop連携の勘所
0151209 Oracle DDD OracleとHadoop連携の勘所
 
20150131 ChugokuDB-Shimane-MySQL
20150131 ChugokuDB-Shimane-MySQL20150131 ChugokuDB-Shimane-MySQL
20150131 ChugokuDB-Shimane-MySQL
 
Oracle Cloud PaaS & IaaS:2018年4月度サービス情報アップデート
Oracle Cloud PaaS & IaaS:2018年4月度サービス情報アップデートOracle Cloud PaaS & IaaS:2018年4月度サービス情報アップデート
Oracle Cloud PaaS & IaaS:2018年4月度サービス情報アップデート
 
Apache Bigtop3.2 (仮)(Open Source Conference 2022 Online/Hiroshima 発表資料)
Apache Bigtop3.2 (仮)(Open Source Conference 2022 Online/Hiroshima 発表資料)Apache Bigtop3.2 (仮)(Open Source Conference 2022 Online/Hiroshima 発表資料)
Apache Bigtop3.2 (仮)(Open Source Conference 2022 Online/Hiroshima 発表資料)
 
ITアーキテクトのためのOracle Cloud Platform設計・構築入門 [Oracle Cloud Days Tokyo 2016]
ITアーキテクトのためのOracle Cloud Platform設計・構築入門 [Oracle Cloud Days Tokyo 2016]ITアーキテクトのためのOracle Cloud Platform設計・構築入門 [Oracle Cloud Days Tokyo 2016]
ITアーキテクトのためのOracle Cloud Platform設計・構築入門 [Oracle Cloud Days Tokyo 2016]
 

Mehr von オラクルエンジニア通信

Mehr von オラクルエンジニア通信 (20)

Oracle Cloud Infrastructure:2023年5月度サービス・アップデート
Oracle Cloud Infrastructure:2023年5月度サービス・アップデートOracle Cloud Infrastructure:2023年5月度サービス・アップデート
Oracle Cloud Infrastructure:2023年5月度サービス・アップデート
 
Oracle Cloud Infrastructure:2023年4月度サービス・アップデート
Oracle Cloud Infrastructure:2023年4月度サービス・アップデートOracle Cloud Infrastructure:2023年4月度サービス・アップデート
Oracle Cloud Infrastructure:2023年4月度サービス・アップデート
 
Oracle Cloud Infrastructure:2023年3月度サービス・アップデート
Oracle Cloud Infrastructure:2023年3月度サービス・アップデートOracle Cloud Infrastructure:2023年3月度サービス・アップデート
Oracle Cloud Infrastructure:2023年3月度サービス・アップデート
 
Oracle Cloud Infrastructure:2023年2月度サービス・アップデート
Oracle Cloud Infrastructure:2023年2月度サービス・アップデートOracle Cloud Infrastructure:2023年2月度サービス・アップデート
Oracle Cloud Infrastructure:2023年2月度サービス・アップデート
 
Oracle Cloud Infrastructure:2023年1月度サービス・アップデート
Oracle Cloud Infrastructure:2023年1月度サービス・アップデートOracle Cloud Infrastructure:2023年1月度サービス・アップデート
Oracle Cloud Infrastructure:2023年1月度サービス・アップデート
 
Oracle Cloud Infrastructure:2022年12月度サービス・アップデート
Oracle Cloud Infrastructure:2022年12月度サービス・アップデートOracle Cloud Infrastructure:2022年12月度サービス・アップデート
Oracle Cloud Infrastructure:2022年12月度サービス・アップデート
 
Oracle Cloud Infrastructure:2022年11月度サービス・アップデート
Oracle Cloud Infrastructure:2022年11月度サービス・アップデートOracle Cloud Infrastructure:2022年11月度サービス・アップデート
Oracle Cloud Infrastructure:2022年11月度サービス・アップデート
 
Oracle Cloud Infrastructure:2022年10月度サービス・アップデート
Oracle Cloud Infrastructure:2022年10月度サービス・アップデートOracle Cloud Infrastructure:2022年10月度サービス・アップデート
Oracle Cloud Infrastructure:2022年10月度サービス・アップデート
 
Oracle Cloud Infrastructure:2022年9月度サービス・アップデート
Oracle Cloud Infrastructure:2022年9月度サービス・アップデートOracle Cloud Infrastructure:2022年9月度サービス・アップデート
Oracle Cloud Infrastructure:2022年9月度サービス・アップデート
 
Oracle Cloud Infrastructure:2022年8月度サービス・アップデート
Oracle Cloud Infrastructure:2022年8月度サービス・アップデートOracle Cloud Infrastructure:2022年8月度サービス・アップデート
Oracle Cloud Infrastructure:2022年8月度サービス・アップデート
 
Oracle Cloud Infrastructure:2022年7月度サービス・アップデート
Oracle Cloud Infrastructure:2022年7月度サービス・アップデートOracle Cloud Infrastructure:2022年7月度サービス・アップデート
Oracle Cloud Infrastructure:2022年7月度サービス・アップデート
 
Oracle Cloud Infrastructure:2022年6月度サービス・アップデート
Oracle Cloud Infrastructure:2022年6月度サービス・アップデートOracle Cloud Infrastructure:2022年6月度サービス・アップデート
Oracle Cloud Infrastructure:2022年6月度サービス・アップデート
 
Oracle Cloud Infrastructure:2022年5月度サービス・アップデート
Oracle Cloud Infrastructure:2022年5月度サービス・アップデートOracle Cloud Infrastructure:2022年5月度サービス・アップデート
Oracle Cloud Infrastructure:2022年5月度サービス・アップデート
 
Oracle Cloud Infrastructure:2022年4月度サービス・アップデート
Oracle Cloud Infrastructure:2022年4月度サービス・アップデートOracle Cloud Infrastructure:2022年4月度サービス・アップデート
Oracle Cloud Infrastructure:2022年4月度サービス・アップデート
 
Oracle Cloud Infrastructure データベース・クラウド:各バージョンのサポート期間 (2022年4月版)
Oracle Cloud Infrastructureデータベース・クラウド:各バージョンのサポート期間 (2022年4月版)Oracle Cloud Infrastructureデータベース・クラウド:各バージョンのサポート期間 (2022年4月版)
Oracle Cloud Infrastructure データベース・クラウド:各バージョンのサポート期間 (2022年4月版)
 
MySQL Technology Cafe #14 MySQL Shellを使ってもっと楽をしようの会
MySQL Technology Cafe #14 MySQL Shellを使ってもっと楽をしようの会MySQL Technology Cafe #14 MySQL Shellを使ってもっと楽をしようの会
MySQL Technology Cafe #14 MySQL Shellを使ってもっと楽をしようの会
 
Oracle Cloud Infrastructure:2022年3月度サービス・アップデート
Oracle Cloud Infrastructure:2022年3月度サービス・アップデートOracle Cloud Infrastructure:2022年3月度サービス・アップデート
Oracle Cloud Infrastructure:2022年3月度サービス・アップデート
 
Oracle Cloud Infrastructure:2022年2月度サービス・アップデート
Oracle Cloud Infrastructure:2022年2月度サービス・アップデートOracle Cloud Infrastructure:2022年2月度サービス・アップデート
Oracle Cloud Infrastructure:2022年2月度サービス・アップデート
 
Oracle Cloud Infrastructure:2022年1月度サービス・アップデート
Oracle Cloud Infrastructure:2022年1月度サービス・アップデートOracle Cloud Infrastructure:2022年1月度サービス・アップデート
Oracle Cloud Infrastructure:2022年1月度サービス・アップデート
 
Oracle Databaseはクラウドに移行するべきか否か 全10ケースをご紹介 (Oracle Cloudウェビナーシリーズ: 2021年11月30日)
Oracle Databaseはクラウドに移行するべきか否か 全10ケースをご紹介 (Oracle Cloudウェビナーシリーズ: 2021年11月30日)Oracle Databaseはクラウドに移行するべきか否か 全10ケースをご紹介 (Oracle Cloudウェビナーシリーズ: 2021年11月30日)
Oracle Databaseはクラウドに移行するべきか否か 全10ケースをご紹介 (Oracle Cloudウェビナーシリーズ: 2021年11月30日)
 

Kürzlich hochgeladen

Kürzlich hochgeladen (7)

Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
 
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半        2024/04/26の勉強会で発表されたものです。新人研修 後半        2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
 
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイスLoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
 
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
 
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
 
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
 
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルLoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
 

Oracle GoldenGate for Big Data 12.2 セットアップガイド

  • 1. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Data 12.2 セットアップガイド for R12.2.0.1.1 ver.1.0 2016年9月 日本オラクル株式会社 クラウド&テクノロジー事業統括
  • 2. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle. 2
  • 3. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | はじめに • 本資料では、Oracle GoldenGate for Big Data R12.2.0.1.1 のLinuxプラット フォーム上環境構築から動作確認までの一連の手順について説明します。 • 本資料は製品マニュアルを補足する資料です。手順の一例としてご活用 ください。 – Fusion Middleware Installing Oracle GoldenGate for Big Data Release 12c (12.2.0.1.1) https://docs.oracle.com/goldengate/bd1221/gg-bd/GBDIG/toc.htm 3
  • 4. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 本資料の環境情報 • 本資料では、以下の環境を使用しています。 • OS: Oracle Linux 6.5 64bit, kernel:3.8.13-16.2.1.el6uek.x86_64 (ソース側のOGG インストール先) Oracle Linux 6.5 64bit, kernel:3.8.13-16.2.1.el6uek.x86_64 (OGG for Big Data インストール先) • ソフトウェア  JDK1.8.0_91-b14 Oracle Database 12.1.0.2.0 Oracle GoldenGate 12.2.0.1.1 CDH5.4.7 、 HDFS 2.6.0、Hbase 1.0.0、Kafka 0.8.2.0、Flume NG 1.5.0 Oracle GoldenGate for Big Data 12.2.0.1.1 for Linux x86-64 • 本資料では下記のソフトウェアをインストールして構成します。 Oracle GoldenGate for Big Data 12.2.0.1.1 for Linux x86-64 4
  • 5. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 本資料の流れ • 本資料は下記の流れで、ターゲット 側のOracle GoldenGate for Big Data のセットアップ方法を説明します。 – 1章:前提条件の確認 – 2章:OGG for Big Dataのインストール – 3章:OGG for Big Dataの配置 – 4章:OGG for Big Dataの動作確認 – 5章:OGG for Big Dataのアンインストール – 6章:参考情報 5 Oracle Database 12gR1 ( AL32UTF8) SID: orcl Oracle GoldenGate 12gR2 Oracle GoldenGate for Big Data 12gR2 Host: host-a OS:Oracle Linux Server 6.5 Host: host-b OS:Oracle Linux Server 6.5 ソース ターゲット この資料でセットアップする対象 Flume Kafka HBASE HDFS Hive
  • 6. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 本資料で構築するGoldenGate for Big Dataの構成イメージ 6 DB GoldenGate GoldenGate for Big Data ソース ターゲット Manager Manager 同期 Collector Replicat Integrated Extract (Capture) Extract (DataPump) 本資料では、ターゲット側のOGG for Big Dataのインストールと配置の説明をします。 ソース側のOGGのセットアップ方法については、下記資料を参考にして下さい。 「GoldenGate R12.2セットアップガイド」 http://www.slideshare.net/oracle4engineer/oracle-goldengate-r122 Flume Flume Kafka HBASE HDFS Hive Java Adapter Properties file Replicat Parameter File
  • 7. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Agenda 7 前提条件の確認 Oracle GoldenGate for Big Dataのインストール Oracle GoldenGate for Big Dataの配置 Oracle GoldenGate for Big Dataの動作確認 Oracle GoldenGate for Big Dataのアンインストール 参考情報 1 2 3 4 5 6
  • 8. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 前提条件の確認 • ソース側: Oracle Database – ソース側で、上記GoldenGateに対してCertifyされたバージョンのOracle Database構成されているもの とします。 • ソース側:GoldenGate12c(12.2.0.1.1) for Oracle Database – GoldenGate(Core)が、既に構成されているものとします。 • Java 1.7以降(JDKでもJREでも可) • Big Data環境:OGG for Big Dataに対してCertifyされたバージョンの下記サービスがイン ストール・構成されているものとします。 – HDFS、Hbase、Flume、Kafka * Certifyされたバージョンの詳細は、下記マニュアルのCertification Matrixを参照ください。 https://docs.oracle.com/goldengate/bd1221/gg-bd/GADBD/GUID-85A82B2E-CD51-463A-8674- 3D686C3C0EC0.htm#GUID-C6D8D28C-63FD-42BC-9D50-857A59B91D06 8 事前に下記の環境が用意されていることを確認してください。
  • 9. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Agenda 9 前提条件の確認 Oracle GoldenGate for Big Dataのインストール Oracle GoldenGate for Big Dataの配置 Oracle GoldenGate for Big Dataの動作確認 Oracle GoldenGate for Big Dataのアンインストール 参考情報 1 2 3 4 5 6
  • 10. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataのインストール 1. Javaバージョン1.7 以降をインストール(JDKでもJREでも可)してください。 本資料ではJDK1.8.0_91-b14をインストールします。 2. 環境変数を設定します。 10 環境準備 Shell> tar zxvf jdk-8u91-linux-x64.tar.gz /usr/java export JAVA_HOME=/usr/java/jdk1.8.0_91 export PATH=$JAVA_HOME/bin:$PATH export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:$LD_LIBRARY_PATH
  • 11. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataのインストール 1. Oracle Software Delivery Cloudにサイン インします。 – http://edelivery.oracle.com 11 Oracle GoldenGate for Big Dataのダウンロード(1/5)
  • 12. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataのインストール 3. 「製品」で、「Oracle GoldenGate for Big Data」を選択し、プラットフォームも選択 して、「続行」を押します。 12 Oracle GoldenGate for Big Dataのダウンロード(2/5)
  • 13. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataのインストール 4. 使用可能なリリースで「Oracle GoldenGate for Big Data 12.2.0.1.0 for Linux x86-64」を選択し「続行」を押しま す。 13 Oracle GoldenGate for Big Dataのダウンロード(3/5)
  • 14. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataのインストール 5. 「オラクル標準の条件及び規制」のライ センス契約を十分読み、受諾する場合 はチェックして「続行」ボタンを押します。 14 Oracle GoldenGate for Big Dataのダウンロード(4/5)
  • 15. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataのインストール 6. ファイル名をクリックして、ファイルをダ ウンロードします。 15 Oracle GoldenGate for Big Dataのダウンロード(5/5)
  • 16. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataのインストール 1. インストールディレクトリを作成してメディア・パックを解凍します。 2. 下記の環境変数を設定します。 ※ OGG_HOMEは、 Oracle GoldenGate for Big Dataをインストールしたディレクトリ 16 Oracle GoldenGate for Big Dataのインストール(1/2) Shell> unzip V138402-01.zip Shell> mkdir installation_directory Shell> cp ggs_Adapters_Linux_x64.tar installation_directory Shell> cd installation_directory Shell> tar –xf ggs_Adapters_Linux_x64.tar export OGG_HOME=/u01/app/ogg export LD_LIBRARY_PATH=$OGG_HOME:$LD_LIBRARY_PATH
  • 17. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataのインストール 3. GGSCIを起動して、サブディレクトリを作成するコマンドを打ちます。 17 Oracle GoldenGate for Big Dataのインストール(2/2) Shell> cd $OGG_HOME Shell> ./ggsci GGSCI> CREATE SUBDIRS
  • 18. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Agenda 18 前提条件の確認 Oracle GoldenGate for Big Dataのインストール Oracle GoldenGate for Big Dataの配置 Oracle GoldenGate for Big Dataの動作確認 Oracle GoldenGate for Big Dataのアンインストール 参考情報 1 2 3 4 5 6
  • 19. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 1. ソース側のManagerプロセスのパラメータファイルを編集して起動します。 2. ターゲット側のManagerプロセスのパラメータファイルを編集して起動します。 Oracle GoldenGate for Big Dataの配置 19 1.Managerプロセスを構成 GGSCI> EDIT PARAM MGR GGSCI> START MGR GGSCI > EDIT PARAM MGR GGSCI> START MGR -- Managerプロセスパラメータでは、監視ポートを指定する、本例では7801を使う PORT 7801 PORT 7801 -- Managerプロセスをリモートから開始できるよう設定する ACCESSRULE, PROG *, IPADDR *, ALLOW
  • 20. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 – ターゲット側のReplicatプロセスのプロパティファイルを編集します。 • このファイルの中で記載するハンドラ(HDFS handler、Hbase Handler、 Flume Handler、 Kafka Handler)によって、対応するパラメータファイルの名前と位置を指定します。 • 同時に一つのハンドラを使用できます。各ハンドラのプロパティファイルの詳細の設定については、 次の章で説明します。 20 2.Replicatプロセスのプロパティファイルを構成 GGSCI > EDIT PARAMS HDFS REPLICAT hdfs TARGETDB LIBFILE ./libggjava.so SET property= ./dirprm/hdfs.props DDL INCLUDE ALL GROUPTRANSOPS 1000 MAPEXCLUDE demo.excludetable MAP demo.*, TARGET demo.*;
  • 21. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 1. ソース側で初期ロード用のExtractプロセスを追加して編集します。 21 3. 初期データロードのプロセスのプロパティファイルを構成(1/2) GGSCI> ADD EXTRACT eini_1, SOURCEISTABLE GGSCI>EDIT PARAMS eini_1 EXTRACT EINI_1 USERID ggs, PASSWORD Welcome1 RMTHOST infbjvm107.cn.oracle.com, MGRPORT 7801 RMTTASK replicat, GROUP rini_1 TABLE DEMO.*;
  • 22. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 2. ターゲット側で初期ロード用のReplicatプロセスを追加して編集します。 22 3.初期データロードのプロセスのプロパティファイルを構成(2/2) GGSCI>ADD REPLICAT rini_1, SPECIALRUN GGSCI>EDIT PARAMS rini_1 REPLICAT RINI_1 --使用するハンドラ(HDFS handler、Hbase Handler、 Flume Handler、 Kafka Handler)に よって、対応するプロパティファイルが違います。 TARGETDB LIBFILE ./libggjava.so SET property=./dirprm/hdfs.props ASSUMETARGETDEFS MAP DEMO.*, TARGET DEMO.*;
  • 23. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 4-1.Oracle GoldenGate for Big Data HDFS Handler 4-2. Oracle GoldenGate for Big Data HDFS Handler(For Hive) 4-3. Oracle GoldenGate for Big Data Hbase Handler 4-4. Oracle GoldenGate for Big Data Kafka Handler 4-5. Oracle GoldenGate for Big Data Flume Handler Confidential – Oracle Internal/Restricted/Highly Restricted 23 4. 各種ハンドラの設定
  • 24. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 • HDFS ハンドラのプロパティファイルを編集します。 – $OGG_HOME/dirprm/hdfs.properties 24 4-1.Oracle GoldenGate for Big Data HDFS Handlerの環境を構築 gg.handlerlist=hdfs gg.handler.hdfs.type=hdfs gg.handler.hdfs.mode=tx gg.handler.hdfs.includeTokens=false gg.handler.hdfs.maxFileSize=1g gg.handler.hdfs.rootFilePath=/ogg21/txt gg.handler.hdfs.fileRollInterval=0 gg.handler.hdfs.inactivityRollInterval=0 gg.handler.hdfs.fileSuffix=.txt gg.handler.hdfs.partitionByTable=false gg.handler.hdfs.rollOnMetadataChange=true gg.handler.hdfs.authType=none gg.handler.hdfs.format=delimitedtext g.handler.hdfs.format.encoding=UTF-8 gg.handler.hdfs.format.fieldDelimiter=| goldengate.userexit.timestamp=utc goldengate.userexit.writers=javawriter javawriter.stats.display=TRUE javawriter.stats.full=TRUE gg.log=log4j gg.log.level=INFO gg.report.time=30sec gg.checkpoint=java gg.classpath=/etc/hadoop:/etc/hadoop/conf:/usr/lib/hadoop/cl ient/*:/usr/lib/hadoop/*:/usr/lib/hadoop/lib/*:/usr/lib/hadoo p-hdfs/*:/usr/lib/hadoop-hdfs/lib/*:/etc/hadoop/conf/core- site.xml:/etc/hadoop/conf/hdfs- site.xml:./ggjava/resources/lib/* javawriter.bootoptions=-Xmx512m -Xms32m - Djava.class.path=ggjava/ggjava.jar (続く) (続き)
  • 25. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 • Oracle GoldenGate for Big Data 12.2.0.1では、Hive HandlerというHandlerは提供して いません。Hiveと統合する場合、HDFS Handlerを使用します。 – $OGG_HOME/dirprm/hive.properties 25 4-2. Oracle GoldenGate for Big Data HDFS Handler(For Hive)の環境構築 gg.handlerlist=hive gg.handler. hive.type=hdfs gg.handler.hive.mode=tx gg.handler.hive.includeTokens=false gg.handler.hive.maxFileSize=1g gg.handler.hive.rootFilePath=/ogg 21/txt gg.handler.hive.fileRollInterval=0 gg.handler.hive.inactivityRollInterval=0 gg.handler.hive.fileSuffix=.txt gg.handler.hive.partitionByTable=true gg.handler.hive.rollOnMetadataChange=true gg.handler.hive.authType=none gg.handler.hive.format=delimitedtext gg.handler.hdfs.format.encoding=UTF-8 gg.handler.hdfs.format.fieldDelimiter=| goldengate.userexit.timestamp=utc goldengate.userexit.writers=javawriter javawriter.stats.display=TRUE javawriter.stats.full=TRUE gg.log=log4j gg.log.level=INFO gg.report.time=30sec gg.checkpoint=java gg.classpath=/etc/hadoop:/etc/hadoop/conf:/usr/lib/hadoop/ client/*:/usr/lib/hadoop/*:/usr/lib/hadoop/lib/*:/usr/lib/hado op-hdfs/*:/usr/lib/hadoop-hdfs/lib/*:/etc/hadoop/conf/core- site.xml:/etc/hadoop/conf/hdfs- site.xml:./ggjava/*:./ggjava/resources/lib/* javawriter.bootoptions=-Xmx512m -Xms32m - Djava.class.path=ggjava/ggjava.jar (続く) (続き)
  • 26. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 • Hbase handlerプロパティファイルを編集します。 – $OGG_HOME/dirprm/hbase.properties 26 4-3. Oracle GoldenGate for Big Data Hbase Handlerの環境構築 gg.handlerlist=hbase gg.handler.hbase.type=hbase gg.handler.hbase.includeTokens=false gg.handler.name.keyValueDelimiter=CDATA[=] gg.handler.hbase.keyValuePairDelimiter=CDATA[,] gg.handler.hbase.encoding=UTF-8 gg.handler.hbase.pkUpdateHandling=delete-insert gg.handler.hbase.nullValueRepresentation=CDATA[NULL] gg.handler.hbase.authType=none gg.handler.hbase.mode=tx goldengate.userexit.timestamp=utc goldengate.userexit.writers=javawriter javawriter.stats.display=TRUE javawriter.stats.full=TRUE gg.log=log4j gg.log.level=info gg.report.time=30sec gg.checkpoint=java gg.classpath==/var/lib/hbase1/hbase1.0.0/lib/*:/usr/lib/ hbase/conf/:/usr/lib/hadoop/client/*:./ggjava/resources/ lib/* javawriter.bootoptions=-Xmx512m -Xms32m - Djava.class.path=ggjava/ggjava.jar(続く) (続き)
  • 27. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 1. Kafka Handlerプロパティファイルを編集します。 – $OGG_HOME/dirprm/kafka.properties 27 4-4. Oracle GoldenGate for Big Data Kafka Handlerの環境構築(1/2) gg.handlerlist = kafka gg.handler.kafka.type = kafka gg.handler.kafka.KafkaProducerConfigFile =custom_kafka_producer.properties gg.handler.kafka.TopicName=xml_topic gg.handler.kafka.SchemaTopicName = oggSchemaTopic gg.handler.kafka.mode =op ##Xml formatter properties gg.handler.kafka.format=xml gg.handler.kafka.format.encoding=UTF-8 goldengate.userexit.timestamp=utc goldengate.userexit.writers=javawriter goldengate.userexit.nochkpt=TRUE javawriter.stats.display=TRUE javawriter.stats.full=TRUE gg.log=log4j gg.log.level=info gg.report.time=30sec gg.checkpoint=java gg.classpath=dirprm:/usr/lib/kafka/libs/*:./ggjava/resour ces/lib/* javawriter.bootoptions=-Xmx512m -Xms32m - Djava.class.path=ggjava/ggjava.jar(続く) (続き)
  • 28. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 2. Kafka Producer配置ファイルを構成します。 – Kafka Handler のプロパティファイルのgg.handler.kafka.KafkaProducerConfigFile パラメータでファイ ル名を任意指定することが可能です。Kafka HandlerがこのKafka Producer配置ファイルを読み込ん で、メッセージの配信を行います。 – $OGG_HOME/dirprm/custom_kafka_producer.properties 28 Oracle GoldenGate for Big Data Kafka Handlerの環境構築(2/2) bootstrap.servers=localhost:9092 acks=1 reconnect.backoff.ms=1000 value.serializer=org.apache.kafka.common.serialization.ByteArraySerializer key.serializer=org.apache.kafka.common.serialization.ByteArraySerializer batch.size=1024 linger.ms=2000
  • 29. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 1. Flume Handlerプロパティファイルを構成、$OGG_HOME/dirprm/flume.propertiesを 編集する。 29 Oracle GoldenGate for Big Data Flume Handlerの環境構築(1/3) gg.handlerlist = flumehandler gg.handler.flumehandler.type=flume gg.handler.flumehandler.RpcClientPropertiesFile=custom -flume-rpc.properties gg.handler.flumehandler.mode=op gg.handler.flumehandler.PropagateSchema=true gg.handler.flumehandler.includeTokens=false ##Json formatter properties gg.handler.flumehandler.format=json gg.handler.flumehandler.format.prettyPrintformat.pretty Print=true gg.handler.flumehandler.format.jsonDelimiter=CDATA[De limiter] gg.handler.flumehandler.format.generateSchema=true goldengate.userexit.timestamp=utc goldengate.userexit.writers=javawriter javawriter.stats.display=TRUE javawriter.stats.full=TRUE gg.log=log4j gg.log.level=INFO gg.report.time=30sec gg.classpath=dirprm/:/usr/lib/flume- ng/lib/*:./ggjava/resources/lib/* javawriter.bootoptions=-Xmx512m -Xms32m - Djava.class.path=ggjava/ggjava.jar 続き
  • 30. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 2. Flume Source配置ファイルを構成、 $OGG_HOME/dirprm/ custom-flume- rpc.propertiesを編集する。 Flume Handler のプロパティファイルで gg.handler.flumehandler.RpcClientPropertiesFile で該当配置ファイル名を任意指定 可能です。 30 Oracle GoldenGate for Big Data Flume Handlerの環境構築(2/3) client.type=thrift hosts=h1 hosts.h1=127.0.0.1:41415
  • 31. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 3. Flume Agent配置ファイルを構成、 Cloudera managerで、 クラスタ-> Flume->インスタ ンス-> Agent->設定をクリックして、設定ファイルを編集する。 31 Oracle GoldenGate for Big Data Flume Handlerの環境構築(3/3) # Sources, channels, and sinks are defined per # agent name, in this case 'tier1'. tier1.sources = source1 tier1.channels = channel1 tier1.sinks = sink1 # For each source, channel, and sink, set # standard properties. tier1.sources.source1.type = thrift tier1.sources.source1.bind = 127.0.0.1 tier1.sources.source1.port = 41415 tier1.sources.source1.channels = channel1 tier1.channels.channel1.type = memory tier1.sinks.sink1.type = hdfs tier1.sinks.sink1.hdfs.path = /tmp/ogg/test1/%{TABLE_NAME} tier1.sinks.sink1.hdfs.filePrefix = %{TABLE_NAME}_ tier1.sinks.sink1.hdfs.writeFormat=Writable tier1.sinks.sink1.hdfs.rollInterval=0 tier1.sinks.sink1.hdfs.rollSize=0 tier1.sinks.sink1.hdfs.rollCount=0 tier1.sinks.sink1.hdfs.batchSize=10000 tier1.sinks.sink1.hdfs.fileType=DataStream tier1.sinks.sink1.channel = channel1 # Other properties are specific to each type of # source, channel, or sink. In this case, we # specify the capacity of the memory channel. tier1.channels.channel1.capacity = 100 続き
  • 32. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 1. ソース側で、下記の順でにEXTRACTとData-Pump ExtractとInitial-Load Extractプロセ スを起動する。 EINI_1を起動すると、ターゲット側のRINI_1プロセスを自動的に起動 します。データ一致性を保持するために、初期データロードが完了する前に、ソース データベース中にデータ変更をしないでください。 32 プロセスを追加と起動(1/4) GGSCI > START EXTRACT e1 GGSCI > START EXTRACT p1 GGSCI > START EXTRACT eini_1
  • 33. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 2. 下記のコマンドを発行して初期データのロード結果を確認します。 33 プロセスを追加と起動(2/4) GGSCI > VIEW REPORT eini_1 … Processing table DEMO.TCUSTMER … REDO Log Statistics Bytes parsed 0 Bytes output 33151
  • 34. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 3. 初期データをロードした後、EINI_1とRINI_1は自動的に停止します。下記のコマンドを 発行してEINI_1とRINI_1の状態を確認します。 34 プロセスを追加と起動(3/4) ソース側: GGSCI > info extract eini_1 EXTRACT EINI_1 Last Started 2016-08-31 16:07 Status STOPPED Checkpoint Lag Not Available Log Read Checkpoint Table Demo.customer 2016-08-31 16:07:10 Record 182 Task SOURCEISTABLE ターゲット側: GGSCI > info replicat rini_1 REPLICAT RINI_1 Initialized 2016-08-31 13:39 Status STOPPED Checkpoint Lag 00:00:00 (updated 26:02:00 ago) Log Read Checkpoint Not Available Task SPECIALRUN
  • 35. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataの配置 4. ターゲット側で、初期データロードが完了した後で、Replicatプロセスを起動します。 35 プロセスを追加と起動(4/4) GGSCI > add replicat hdfs, exttrail ./dirdat/p1 GGSCI > start replicat hdfs
  • 36. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Agenda 36 前提条件の確認 Oracle GoldenGate for Big Dataのインストール Oracle GoldenGate for Big Dataの配置 Oracle GoldenGate for Big Dataの動作確認 Oracle GoldenGate for Big Dataのアンインストール 参考情報 1 2 3 4 5 6
  • 37. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | • ソース側で、テーブルを作成して、レコー ドを挿入します。 • ターゲット側で、挿入したデータを確認 します。 37 Oracle GoldenGate for Big Dataの動作確認 HDFS Handlerの動作確認 SQL> connect sys/Welcome1@src as sysdba SQL> CREATE TABLE demo.t_hdfs ( id NUMBER NOT NULL PRIMARY KEY, name CHAR(10) NOT NULL , updatedate date DEFAULT SYSDATE); SQL> insert into demo.t_hdfs values(1,‘yamamoto', sysdate); 1行が作成されました。 SQL> commit; コミットが完了しました。 SHELL> hadoop fs -ls /ogg21/txt Found 2 items -rw-r--r-- 3 oracle supergroup 86585 2016-09-01 19:58 /ogg21/txt/2016-09-01_19-58-04.280.txt -rw-r--r-- 3 oracle supergroup 122 2016-09-02 12:52 /ogg21/txt/2016-09-02_12-52-30.344.txt SHELL> hadoop fs -cat /ogg21/txt/2016-09-02_12-52-30.344.txt IDEMO.T_HDFS2016-09-02 04:52:22.9999972016-09- 02T12:52:30.342000000000000000000033361yamamoto 2016-09- 02:12:52:19 I|DEMO.T_HDFS|2016-09-02 04:52:22.999997|2016-09- 02T12:52:30.342000|00000000000000003336|1|yamamoto |2016- 09-02:12:52:19
  • 38. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | • ソース側で、テーブルを作成して、レコー ドを挿入します。 • ターゲット側で、挿入したデータを確認し ます。 38 Oracle GoldenGate for Big Dataの動作確認 HDFS Handler(For Hive)の動作確認 SQL> connect sys/Welcome1@src as sysdba SQL> CREATE TABLE demo.t_hive ( id NUMBER NOT NULL PRIMARY KEY, name CHAR(10) NOT NULL , updatedate date DEFAULT SYSDATE); SQL> insert into demo.t_hive values(1,‘yamamoto', sysdate); 1行が作成されました。 SQL> commit; コミットが完了しました。 SHELL> hadoop fs -ls /ogg21/txt drwxrwxrwx - oracle supergroup 0 2016-09-02 13:35 /ogg21/txt/demo.t_hive SHELL> hadoop fs -ls /ogg21/txt/demo.t_hive Found 1 items -rw-r--r-- 3 oracle supergroup 122 2016-09-02 13:35 /ogg21/txt/demo.t_hive/demo.t_hive_2016-09-02_13-35-46.273.txt SHELL> hadoop fs -cat /ogg21/txt/demo.t_hive/demo.t_hive_2016-09- 02_13-35-46.273.txt I|DEMO.T_HIVE|2016-09-02 05:35:38.000082|2016-09- 02T13:35:46.267000|00000000000000005256|1|yamamoto |2016- 09-02:13:35:36
  • 39. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | • ソース側で、テーブルを作成して、レコー ドを挿入します。 • ターゲット側で、挿入したデータを確認し ます。 39 Oracle GoldenGate for Big Dataの動作確認 Hbase Handlerの動作確認 SQL> connect sys/Welcome1@src as sysdba SQL> CREATE TABLE demo.t_hbase ( id NUMBER NOT NULL PRIMARY KEY, name CHAR(10) NOT NULL , updatedate date DEFAULT SYSDATE); SQL> insert into demo.t_hbase values(1,‘yamamoto', sysdate); 1行が作成されました。 SQL> commit; コミットが完了しました。 SHELL> $HBASE_HOME/bin/hbase shell Hbase(main):001:0> list TABLE DEMO:T_HBASE Hbase(main):002:0> scan ‘DEMO:T_HBASE’ ROW COLUMN+CELL 1 column=cf:ID, timestamp=1472795682414, value=1 1 column=cf:NAME, timestamp=1472795682414, value=yamamoto 1 column=cf:UPDATEDATE, timestamp=1472795682414, value=2016-09-02:13:47:57 1 row(s) in 0.0400 seconds
  • 40. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | • ソース側で、テーブルを作成して、レ コードを挿入します。 • ターゲット側で、挿入したデータを確認し ます。 40 Oracle GoldenGate for Big Dataの動作確認 Kafka Handlerの動作確認 SQL> connect sys/Welcome1@src as sysdba SQL> CREATE TABLE demo.t_kafka ( id NUMBER NOT NULL PRIMARY KEY, name CHAR(10) NOT NULL , updatedate date DEFAULT SYSDATE); SQL> insert into demo.t_kafka values(1,‘yamamoto', sysdate); 1行が作成されました。 SQL> commit; コミットが完了しました。 Shell> /usr/bin/kafka-console-consumer --zookeeper infbjvm118.cn.oracle.com:2181 --from beginning --topic xml_topic <?xml version='1.0' encoding='UTF-8'?> <operation table='DEMO.T_KAFKA' type='I' ts='2016-09-01 02:10:49.000686' current_ts='2016-09-01T12:10:55.372000' pos='00000000000000003381' numCols='3'> <col name='ID' index='0'> <before missing='true'/> <after><![CDATA[1]]></after> </col> <col name='NAME' index='1'> <before missing='true'/> <after><![CDATA[yamamoto ]]></after> </col> <col name='UPDATEDATE' index='2'> <before missing='true'/> <after><![CDATA[2016-09-01:12:10:47]]></after> </col> </operation>
  • 41. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | • ソース側で、テーブルを作成して、レコー ドを挿入します。 • ターゲット側で、挿入したデータを確認し ます。 41 Oracle GoldenGate for Big Dataの動作確認 Flume Handlerの動作確認 SQL> connect sys/Welcome1@src as sysdba SQL> CREATE TABLE demo.test_flume ( id NUMBER NOT NULL PRIMARY KEY, name CHAR(10) NOT NULL , updatedate date DEFAULT SYSDATE); SQL> insert into demo.test_flume values(1,‘yamamoto', sysdate); 1行が作成されました。 SQL> commit; コミットが完了しました。 Shell> hadoop fs -ls /tmp/ogg/test1/TEST_FLUME Found 1 items -rw-r--r-- 3 flume supergroup 297 2016-09-01 15:13 /tmp/ogg/test1/TEST_FLUME/TEST_FLUME_. 1472714000782.tmp Shell> hadoop fs -cat /tmp/ogg/test1/TEST_FLUME/TEST_FLUME_. 1472714000782.tmp { "table":"DEMO.TEST_FLUME", "op_type":"I", "op_ts":"2016-09-01 03:06:15.000465", "current_ts":"2016-09-01T11:06:21.675000", "pos":"00000000020000003695", "after":{ "ID":"1", "NAME":"yamamoto ", "UPDATEDATE":"2016-09-01:11:06:13" } }Delimiter
  • 42. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Agenda 42 前提条件の確認 Oracle GoldenGate for Big Dataのインストール Oracle GoldenGate for Big Dataの配置 Oracle GoldenGate for Big Dataの動作確認 Oracle GoldenGate for Big Dataのアンインストール 参考情報 1 2 3 4 5 6
  • 43. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Oracle GoldenGate for Big Dataのアンインストール 1.プロセスを停止して設定を解除します。 2. Oracle GoldenGate for Big Dataのインストールディレクトリを削除します。 43 GGSCI> STOP REPLICAT hdfs GGSCI> STOP mgr GGSCI> DELETE REPLICAT hdfs Shell> rm –rf installation_directory
  • 44. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Agenda 44 前提条件の確認 Oracle GoldenGate for Big Dataのインストール Oracle GoldenGate for Big Dataの配置 Oracle GoldenGate for Big Dataの動作確認 Oracle GoldenGate for Big Dataのアンインストール 参考情報 1 2 3 4 5 6
  • 45. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 参考情報 • Oracle GoldenGate for Big Data 12c 全般情報(英語) – http://docs.oracle.com/goldengate/bd1221/gg-bd/index.html – Oracle GoldenGate 12c リリースノート(英語) – https://docs.oracle.com/goldengate/bd1221/gg-bd/GBDRN/toc.htm – Oracle GoldenGate 12c インストールガイド(英語) – https://docs.oracle.com/goldengate/bd1221/gg-bd/GBDIG/toc.htm 45
  • 46. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Document Control Author Oracle Asia Research & Development Center • 黄 明 • 梁 国賢 • 楊 帆 Reviewer 日本オラクル株式会社 • 谷川 信朗 • 後藤 陽介 • 舟橋 直美 46 変更履歴 Date Version 2016/9 1.0 Created.
  • 47. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |
  • 48. Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 48