論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
AS/400のデータをクラウドで活用! 事例を交えながら『DBMoto』をご紹介。
1. Copyright(C)2019 Climb Inc. All Rights Reserved.Copyright(C)2018 Climb Inc. All Rights Reserved.
株式会社クライム 小林 俊博 2019 07/28
-DBMoto-
AS/400⇔クラウドDB連携
2. Copyright(C)2019 Climb Inc. All Rights Reserved.
2
Copyright(C)2018 Climb Inc. All Rights Reserved.
DBMotoとは
DB DB システム要件
CPU:2GHz以上、2Core以上推奨
メモリ:4GB以上
HDD:5GB以上
OS: Windows Server 2019 2016
2012R2/2012/2008R2/2008
異種DB間のリアルタイムデータ複製ツール
・Windowsにインストールし中間サーバとして稼働
→エージェントレス
・PF/物理ファイル(テーブル)のレプリケーションが可能
2
Windows
3. Copyright(C)2019 Climb Inc. All Rights Reserved.
3
Copyright(C)2018 Climb Inc. All Rights Reserved.
レプリケーションの活用例
・AS/400間でバックアップ・災害対策
・他DBへのデータ連携
→ Maxava HA
→ DBMoto
4. Copyright(C)2019 Climb Inc. All Rights Reserved.
4
Copyright(C)2018 Climb Inc. All Rights Reserved.
データ連携の活用例
レプリケーション
クラウド上のDBを使いたい
基幹DBに負荷をかけずに社内で
データを活用したい
AS/400に対応してない
アプリケーションを使用したい
AS/400
5. Copyright(C)2019 Climb Inc. All Rights Reserved.
5
Copyright(C)2018 Climb Inc. All Rights Reserved.
ローソンHMVエンタテイメント様
AS/400複数台を基幹システムで DWH構築をSQL Serverで
AS/400のデータをWindowsへ連携しDWHで活用
DBMoto導入前:
⚫ ODBCによる手動での取り込み
⚫ パフォーマンスが悪い
⚫ リアルタイムの連携が困難
DBMoto導入後:
✓ データ統合による運用性の向上
✓ リアルタイムなデータ連携
✓ パフォーマンス向上
データ連携
6. Copyright(C)2019 Climb Inc. All Rights Reserved.
6
Copyright(C)2018 Climb Inc. All Rights Reserved.
クニミネ工業様
DBMoto導入前:
⚫ AS/400とBIツールは直接連携不可
⚫ データ抽出は手動
DBMoto導入後:
✓ AS/400⇒SQL Server⇒BIツール
✓ データ抽出はSQL Serverとの自動
連携
AS/400と連携できないWindowsツールの問題を解決
SQL Server
Windows BIツール
「Dr.Sum」
AS/400
データ連携
7. Copyright(C)2019 Climb Inc. All Rights Reserved.
7
Copyright(C)2018 Climb Inc. All Rights Reserved.
某製造業様
Db2 Warehouse on Cloud
(DBaaS)
AS/400とクラウド(IBM Db2 Warehouse on Cloud)連携
AS/400
8. Copyright(C)2019 Climb Inc. All Rights Reserved.
8
Copyright(C)2018 Climb Inc. All Rights Reserved.
西尾レントオール様
AS/400 Amazon Aurora
AS/400とクラウド(Amazon Aurora)の双方連携
Amazon EC2
9. Copyright(C)2019 Climb Inc. All Rights Reserved.
9
Copyright(C)2018 Climb Inc. All Rights Reserved.
西尾レントオール様
10. Copyright(C)2019 Climb Inc. All Rights Reserved.
10
Copyright(C)2018 Climb Inc. All Rights Reserved.
サポートするデータベース
IBM DB2 for i(AS/400)
IBM DB2 for z/OS
IBM DB2 for AIX, Linux, Windows
Oracle
MS SQL Server
MySQL
MS Azure SQL Database
Amazon RDS/Amazon Aurora/MariaDB
Google Cloud SQL
IBM Db2 Warehouse
Gupta SQLBase
IBM Informix
SAP Sybase ASE
SAP Sybase SQL Anywhere
IBM PureData(Netezza)
PostgreSQL(※ミラーリング(片方向差分)のみ)
Amazon Redshift
SAP HANA
SAP Sybase IQ
Actian Vectorwise
HP Vertica
MS Access
Firebird
Ingres
IBM SolidDB
IBM dashDB
Teradata
Hadoop(※リフレッシュのターゲットのみ)
リフレッシュ(全件)
ミラーリング、シンクロナイゼーション(差分)
リフレッシュ(全件)
ミラーリング(差分)のターゲット[複製先]
リフレッシュ
ミラーリング
10
11. Copyright(C)2019 Climb Inc. All Rights Reserved.
11
Copyright(C)2018 Climb Inc. All Rights Reserved.
SQLクエリ生成
Unicode処理
異種DB間対応・異種文字コード間対応
DB2
AS/400
異種DB間対応:レプリケーションはすべてSQLクエリで処理
異種文字コード間対応:文字コードはUnicodeで処理
文字コード:
EBCDIC
文字コード:
JA16SJIS
AWS
OracleSQLでデータ抽出
Unicodeへ変換
SQLでデータ抽出
Unicodeへ変換
11
12. Copyright(C)2019 Climb Inc. All Rights Reserved.
12
Copyright(C)2018 Climb Inc. All Rights Reserved.
DBMotoの由来
12
DBMoto(デービーモト)
DB2 Motion
DB2 Connectivity
13. Copyright(C)2019 Climb Inc. All Rights Reserved.
13
Copyright(C)2018 Climb Inc. All Rights Reserved.
3つのレプリケーションモード
リフレッシュ
(全件)
ミラーリング
(片方向差分)
シンクロナイゼーション
(双方向差分)
変更
複製
変更
変更
複製
複製
ソース
(複製元)
ターゲット
(複製先)
13
14. Copyright(C)2019 Climb Inc. All Rights Reserved.
14
Copyright(C)2018 Climb Inc. All Rights Reserved.
リフレッシュ
選択したテーブルの全レコードを転送
スケジュールによる定期実行も可能
バルクインサートによる高速転送
26
1282
0
200
400
600
800
1000
1200
1400
100万件レコード処理時間(秒)
シングルインサートバルクインサート
14
全件
15. Copyright(C)2019 Climb Inc. All Rights Reserved.
15
Copyright(C)2018 Climb Inc. All Rights Reserved.
ミラーリング
片方向の差分レプリケーション
DBのトランザクションログを直接参照
差分のためデータ量小、負荷小
参照サイクルは既定で60秒間隔(変更可能)
DB2 AS/400 ジャーナル・レシーバー
DB2 LUW ログ(プロシージャ経由)
Oracle REDOログ・アーカイブログ
SQL Server ログ(ディストリビュータ経由)
MySQL バイナリログ
参照するトランザクションログ
15
差分
16. Copyright(C)2019 Climb Inc. All Rights Reserved.
16
Copyright(C)2018 Climb Inc. All Rights Reserved.
AS/400からの差分方式の選択
16方式 特長 用途 負荷
トランザクショログ シンプルな構成 小・中規模向け 小
ログサーバ 接続数最適化 大規模向け 極小~小
17. Copyright(C)2019 Climb Inc. All Rights Reserved.
17
Copyright(C)2018 Climb Inc. All Rights Reserved.
AS/400からの差分方式の選択
17方式 特長 用途 負荷
トランザクショログ シンプルな構成 小・中規模向け 小
ログサーバ 接続数最適化 大規模向け 極小~小
ログサーバ
18. Copyright(C)2019 Climb Inc. All Rights Reserved.
18
Copyright(C)2018 Climb Inc. All Rights Reserved.
整合性維持の仕組み
18
処理抽出
TID=1: Insert ~
TID=2: Update~
TID=3: Delete~
TID=4: Update~
TID=5: Update~
ソースDB: トランザクションログ
Insert ~ (TID=1); Commit;
DBMotoにTID=1を保存
Update~ (TID=2); Commit;
DBMotoにTID=2を保存
ターゲットDB: 処理の流れ
19. Copyright(C)2019 Climb Inc. All Rights Reserved.
19
Copyright(C)2018 Climb Inc. All Rights Reserved.
整合性維持の仕組み
19
処理抽出
TID=1: Insert ~
TID=2: Update~
TID=3: Delete~
TID=4: Update~
TID=5: Update~
ソースDB: トランザクションログ
Insert ~ (TID=1); Commit;
DBMotoにTID=1を保存
Update~ (TID=2); Commit;
DBMotoにTID=2を保存
Delete~ (TID=3); Commit;
DBMotoにTID=3を保存
Update~ (TID=4); Commit;
DBMotoにTID=4を保存
Update~ (TID=5); Commit;
DBMotoにTID=5を保存
ターゲットDB: 処理の流れ
20. Copyright(C)2019 Climb Inc. All Rights Reserved.
20
Copyright(C)2018 Climb Inc. All Rights Reserved.
シンクロナイゼーション
双方向の差分レプリケーション
ミラーリングと同じ手法
コンフリクトの回避もご用意
3台以上にも対応マルチシンクロナイゼーション
ソースを優先
ターゲットを優先
更新の早い方を優先
更新の遅い方を優先
ユーザスクリプト
コンフリクト回避オプション
マルチシンクロナイゼーション
20
双方向差分
21. Copyright(C)2019 Climb Inc. All Rights Reserved.
21
Copyright(C)2018 Climb Inc. All Rights Reserved.
ターゲットへテーブル作成
CREATEクエリ自動生成
テーブル構成抽出
自動で適切なデータ型を選定
サイズ、PK、NOT NULLをそのまま引継ぐ
ソースのテーブル構成を元にDBMotoが自動でクエリを作成
自動で設定が可能! ※編集することも可能
CREATE発行
21
22. Copyright(C)2019 Climb Inc. All Rights Reserved.
22
Copyright(C)2018 Climb Inc. All Rights Reserved.
必要なテーブルやカラムのみ連携
カラム1
カラム2
カラム3
カラム5
カラム4
テーブル単位でジョブ作成
ジョブ一括作成も可能
カラム単位でマッピング
カラム1
カラム2
カラム3
カラム5
カラム4
カラム1
カラム2
カラム3
カラム5
カラム4
カラム1
カラム2
カラム3
22
23. Copyright(C)2019 Climb Inc. All Rights Reserved.
23
Copyright(C)2018 Climb Inc. All Rights Reserved.
データのカスタマイズ・複雑な連携
1234
関数を使用しマッピング可能
クライム
Climb
12
1234
クライム
Climb
00012
2017/6/26
Trim()
ユーザ関数
Now()
スクリプト: VB, C#
・条件付きレプリケーション
例:値が~を満たすとき
例:更新のみ反映、登録は無視
・テーブルの結合
・ユーザ関数の定義
API: VB, C#, C++
・バッチ処理、パラメータ取得
23
24. Copyright(C)2019 Climb Inc. All Rights Reserved.
24
Copyright(C)2018 Climb Inc. All Rights Reserved.
導入/運用も簡単
✓日本語ローカライズ済み
✓レプリケーション進捗モニター
✓メール通知(アラート)
✓設定情報バックアップ・リストア
24
26. Copyright(C)2019 Climb Inc. All Rights Reserved.
26
Copyright(C)2018 Climb Inc. All Rights Reserved.
デモ構成
Amazon RDS
(SQL Server)
AS/400
27. Copyright(C)2019 Climb Inc. All Rights Reserved.
27
Copyright(C)2018 Climb Inc. All Rights Reserved.
ライセンス
27
プロセッサ番号
Windows
DBの種類やスペック
ソースDBとターゲットDBの組み合わせ
28. Copyright(C)2019 Climb Inc. All Rights Reserved.
28
Copyright(C)2018 Climb Inc. All Rights Reserved.
まとめ
28
• 異種DB間でリアルタイムなデータ連携
• エージェントレスな双方向差分レプリケーション
• Windows GUIからの一元管理
• 無料評価版もご利用可能
29. Copyright(C)2019 Climb Inc. All Rights Reserved.
29
Copyright(C)2018 Climb Inc. All Rights Reserved.
ご清聴ありがとうございました