SlideShare a Scribd company logo
1 of 80
Download to read offline
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon Web Services Japan K.K.
Partner Solutions Architect
Takanori Ohba
事例から学ぶ︕
AWS 移⾏でデータベースの
管理・コストを削減する⽅法
CTC Forum 2019
2019/10/25
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Who am I ?
p ⼤場 崇令(オオバ タカノリ)
Ø Partner Solutions Architect
@Amazon Web Services Japan K.K.
(Joined 2015/12)
p Background
ØAWS テクニカルトレーナー@AWSJ K.K.
ØWeb サービスのインフラエンジニア
Ø国内クラウドベンダーにてテクニカルサポート
p 好きな AWS サービス
ØAWS Systems Manager
ØAWS Server Migration Service
ØAWS Service Catalog
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
本セッションについて
⽬的
対象者
AWSのデータベースサービスの特徴と
マイグレーションプロセスを理解する
AWSをこれから利⽤する⽅
データベースの選定を⾏う⽅
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Agenda
• What is AWS?
• AWS データベース ソリューション
• Database Migration Tools
• お客様事例
• まとめ
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
What is AWS?
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
What is AWS?
• IT リソースをウェブベースで
利⽤可能なクラウドプラットフォーム
• 従量課⾦
• 165 を超えるサービス群を提供
ComputeMessaging
Mobile
App Services
Database
Networking
Development and
Management Tools
Payments
VPC
On-Demand Workforce
Analytics Content Delivery
Storage
Our Vision:
地球上で、もっともお客様を
⼤切にする企業であること
24 48 61 82
159
280
516
722
1,017
1,430
1,957
0
200
400
600
800
1,000
1,200
1,400
1,600
1,800
2,000
2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018
AWS の機能改善、イノベーションのスピード
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
165 を超える主要なAWSサービス
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
国内における AWS 利⽤の広がり
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS データベース サービス
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
1970 1980 1990 2000
Oracle DB2
SQL Server
MySQL
PostgreSQL
DynamoDB
Redis
MongoDB
Elasticsearch
Neptune
CassandraAccess
Aurora
2010
Timestream
QLDB
DocumentDB
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
従来のアプリケーション要件
HR Payroll …
CRM ERP
従来要件 新要件
ユーザー: 10-10万 100万+
データ量: GB-TB TB-PB-EB
場所: 社内 グローバル
パフォーマンス: 秒 ミリ秒/マイクロ秒
リクエスト: 万 百万
アクセス: 社内サーバー モバイル/IoT
拡張: スケールアップ スケールアウト
⽀払い: 前払い 従量課⾦
開発者アクセス: ⽇次/週次/⽉次 APIアクセス
従来要件
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
新しいアプリケーション要件
Social media
Ride hailing Media streaming
Dating
ユーザー: 10-10万 100万+
データ量: GB-TB TB-PB-EB
場所: 社内 グローバル
パフォーマンス: 秒 ミリ秒/マイクロ秒
リクエスト: 万 百万
アクセス: 社内サーバー モバイル/IoT
拡張: スケールアップ スケールアウト
⽀払い: 前払い 従量課⾦
開発者アクセス: ⽇次/週次/⽉次 APIアクセス
従来要件 新要件
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
「万能のデータベース
は存在しない」
“A one size fits all database doesn't fit
anyone”
Werner Vogels
CTO - Amazon.com
https://www.allthingsdistributed.com/2018/06/
purpose-built-databases-in-aws.html
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
従来のエンタープライズ DB システム
アプリ
オンライン
トランザクション
ETLツール
分析
BIツール
・OLTP : Online Transaction Processing
・ETL : Extract, Transform and Load
・OLAP : Online Analytical Processing
・BI : Business Intelligence
⽤途
OLTP DB OLAP DB
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データベースの選択
• AWS では多様な
データベースの選択肢
• ワークロードに応じて
最適な選択が可能
Purpose built
The right tool for
the right job
https://www.allthingsdistributed.com/2018/06/purpose-built-databases-in-aws.html
適材適所の選択
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Relational
参照整合性、
ACIDトラン
ザクション、
スキーマ
Lift and shift,トラン
ザクションアプリ
ケーション、ERP
、CRM、e コマー
ス
Key-value
⾼スループット、
低レイテンシ、
スケーラ
ビリティ
⼤規模アプリケー
ション、リアルタイ
ム⼊札、ショッピン
グカート、顧客ごと
のブックマーク
Document
ドキュメントを
保存し、任意の
属性にクエリで
すばやく
アクセス
コンテンツ管理、
パーソナライズ、
モバイルアプリケー
ション
In-memory
マイクロ秒
レベルの
keyアクセス
キャッシュ、
ゲームのリーダー
ボード、リアルタ
イム分析
Graph
すばやく簡単に
データ間の
関係を元に
グラフ構造を
作成、
ナビゲート
不正検出、SNS、
レコメンド
エンジン
Time-series
時系列に特化
した形で
データの収集、
格納、処理
IoT アプリケー
ション、イベント
トラッキング、産
業テレメトリ
Ledger
アプリケーション
データの全変更を
完全、不変、
検証可能な
履歴として保存
記録システム、
サプライチェーン、
銀⾏トランザクショ
ン
DWH
分析可能な
情報のセン
トラルリポ
ジトリ
分析, BI
「データカテゴリ」と「ユースケース」
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Relational Key-value Document In-memory Graph Time-series Ledger DWH
Aurora CommercialCommunity
Amazon
Aurora
Amazon
RDS
Amazon
DocumentDB
Amazon
DynamoDB
Amazon
ElastiCache
Amazon
Neptune
Amazon Quantum
Ledger Database
Amazon
Timestream
Amazon
Redshift
preview
AWS が提供する データベースサービス
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Relational Key-value Document In-memory Graph Time-series Ledger DWH
Aurora CommercialCommunity
Amazon
Aurora
Amazon
RDS
Amazon
DocumentDB
Amazon
DynamoDB
Amazon
ElastiCache
Amazon
Neptune
Amazon Quantum
Ledger Database
Amazon
Timestream
Amazon
Redshift
preview
マネージドサービス
AWS が提供する データベースサービス
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データベースサービス仮想サーバー
OS インストール
サーバーメンテナンス
ハードウェア資産管理
電源/ネットワーク/空調
拡張性
⾼可⽤性
DB バックアップ
DB パッチ適⽤
DB インストール/構築
OS パッチ適⽤
OS インストール
サーバーメンテナンス
ハードウェア資産管理
電源/ネットワーク/空調
AWSマネージ
オンプレミス
Amazon RDS などAmazon EC2
データベース管理の フルマネージド化
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データベースサービス仮想サーバー
OS インストール
サーバーメンテナンス
ハードウェア資産管理
電源/ネットワーク/空調
拡張性
⾼可⽤性
DB バックアップ
DB パッチ適⽤
DB インストール/構築
OS パッチ適⽤
OS インストール
サーバーメンテナンス
ハードウェア資産管理
電源/ネットワーク/空調
AWSマネージ
オンプレミス
Amazon RDS などAmazon EC2
データベース管理の フルマネージド化
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
適材適所の選択
The right tool for the right job
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Relational Key-value Document In-memory Graph Time-series Ledger DWH
Aurora CommercialCommunity
Amazon
Aurora
Amazon
RDS
Amazon
DocumentDB
Amazon
DynamoDB
Amazon
ElastiCache
Amazon
Neptune
Amazon Quantum
Ledger Database
Amazon
Timestream
Amazon
Redshift
preview
本⽇ 紹介する データベースサービス
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Relational Key-value Document In-memory Graph Time-series Ledger DWH
Aurora CommercialCommunity
Amazon
Aurora
Amazon
RDS
Amazon
DocumentDB
Amazon
DynamoDB
Amazon
ElastiCache
Amazon
Neptune
Amazon Quantum
Ledger Database
Amazon
Timestream
Amazon
Redshift
preview
AWS が提供する データベースサービス
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
リレーショナルデータベース
RDB
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
オンプレミス On
Amazon EC2
Amazon RDS
リレーショナルデータベースの
デプロイメントモデル
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
リレーショナルデータ
• テーブル間でデータを分割
• ⾼度に構造化されたデータ
• キーを介して確⽴された
リレーションシップ(関係性)
• データの正確性と⼀貫性
Patient
* Patient ID
First Name
Last Name
Gender
DOB
* Doctor ID
Visit
* Visit ID
* Patient ID
* Hospital ID
Date
* Treatment ID
Medical Treatment
* Treatment ID
Procedure
How Performed
Adverse Outcome
Contraindication
Doctor
* Doctor ID
First Name
Last Name
Medical Specialty
* Hospital Affiliation
Hospital
* Hospital ID
Name
Address
Rating
リレーション
多 対 1
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
ユースケース
• エンタープライズ アプリケーション
ü 基幹系システム
ü ERP
ü CRM 等
• SaaS アプリケーション
• E コマースアプリケーション
• ウェブアプリケーション 等
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
選択指針
• 汎⽤的
• 既存アプリケーション移⾏
• 正規化/リレーショナル
• SQLを使⽤可能
ü 複数の表を結合 (JOIN) して
利⽤できる
• 柔軟なクエリ
• トランザクション処理
• データの堅牢性/⼀貫性
Patient
* Patient ID
First Name
Last Name
Gender
DOB
* Doctor ID
Visit
* Visit ID
* Patient ID
* Hospital ID
Date
* Treatment ID
Medical Treatment
* Treatment ID
Procedure
How Performed
Adverse Outcome
Contraindication
Doctor
* Doctor ID
First Name
Last Name
Medical Specialty
* Hospital Affiliation
Hospital
* Hospital ID
Name
Address
Rating
JOIN
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon Relational Database Service (Amazon RDS)
6つのデータベースエンジンから選択できるマネージリレーショナルデータベース
容易な管理 ⾼可⽤性と永続性 ⾼スケール ⾼速でセキュア
インフラストラクチャの
プロビジョニング、データ
ベースのインストール、
メンテナンス不要
マルチAZデータレプリケー
ション、⾃動バックアップ、
スナップショット、
⾃動フェイルオーバー
数クリックでコンピュートと
ストレージをスケール可能
アプリケーションの
ダウンタイムは最⼩限
SSDストレージのI/O保証、
保存時と通信時の暗号化
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
RDB は、運⽤フェーズ の負荷が⼤きい
運⽤前(設計・導⼊)
• サイジング
• 導⼊作業
• 可⽤性設計
• バックアップ設計
運⽤開始後
• バックアップの⾃動実⾏
• リストア
• モニタリング
• サイズ調整(ディスク追加等)
• SQLチューニング
• 統計情報の更新
• フラグメンテーションの解消
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
クラウドへ移⾏することで解決できる部分とそうでない部分
運⽤前(設計・導⼊)
• サイジング
• 導⼊作業
• 可⽤性設計
• バックアップ設計
運⽤開始後
• バックアップの⾃動実⾏
• リストア
• モニタリング
• サイズ調整(ディスク追加等)
• SQLチューニング
• 統計情報の更新
• フラグメンテーションの解消
クラウド化で楽になる部分
変わらず残る部分
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
⾃動
バックアップ
スナップ
ショット
パッチ更新
Amazon Relational Database Service
フルマネージドのRDBMSサービス
ü バックアップやフェイルオーバーに対応したDBを数クリックで利⽤可能
ü メンテナンスコストを⼤幅削減(パッチ当てやバックアップの⾃動化)
Availability Zone a Availability Zone b
負荷分散のための「読み取り
⽤レプリカ」を作成可能
別AZにデータを同期
⾃動的にフェイルオーバー
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
シンプルな⼿順で⾼度なアーキテクチャを実現
数クリックでDBが起動
• DBエンジン
• インスタンスクラス
• ディスクの種類とサイズ etc..
選択するだけで⾼度な機能を実装
• マルチAZデプロイメント
• リードレプリカ
• バックアップ(スナップショット)
• 監視(CloudWatch)
• 拡張モニタリング etc..
マネジメントコンソールやAPIで操作可能
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon Aurora
特徴 (http://aws.amazon.com/jp/rds/aurora/)
• MySQL5.6, 5.7 / PostgreSQL 9.6, 10と互換性
• ⾼い堅牢性 / 可⽤性
• レプリカの障害からの⾃動復旧
• 3つのAvailability Zone(AZ)にまたがる6つの
データコピーによる⾼可⽤性
• スケーラビリティ
• 64TBまでディスクがシームレスにスケール
• 15台までの読み取り専⽤レプリカでスケールアウト
• フルマネージド
Amazonがクラウド時代に再設計したデータベース
Availability
Zone
Availability
Zone
Availability
Zone
Primary
Instance
Aurora
Replica
Writes
W
rites
Writes
Reads
Reads
Reads
Reads
Amazon Aurora DB Cluster
Data Copies Data Copies Data Copies
Cluster Volume
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Auroraのストレージ
SSDを利⽤したシームレスにスケールするストレージ
• 10GBから64TBまでシームレスに⾃動でスケールアップ
• 実際に使った分だけ課⾦
• Peer-to-peer gossipレプリケーション
標準で⾼可⽤性を実現
• 3AZに6つのデータのコピーを作成
• 2つのディスクが利⽤不能でも読み書き可能
• 万が⼀1つのAZが利⽤不能になっても3本で
読み書き可能な状態で稼働
• 3つのディスクが利⽤不能でも読み込みは可能
Log structured Storage
• redo logを複数の⼩さなセグメントに分割
• Log pageによってData pageを作成
SQL
Transactions
AZ 1 AZ 2 AZ 3
Caching
Amazon S3
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
ディスク障害検知と修復
2つのコピーに障害が起こっても、読み書きに影響は無い
3つのコピーに障害が発⽣しても読み込みは可能
⾃動検知、修復
SQL
Transaction
AZ 1 AZ 2 AZ 3
Caching
SQL
Transaction
AZ 1 AZ 2 AZ 3
Caching
読み書き可能読み込み可能
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Backtrack
• データベースの状態を容量によらず瞬時に特定の時点へ巻き戻す
• オペミスなどをしてしまった場合に、作業実⾏前の状態にすぐに巻き戻すことでサービスへの影
響を最⼩限に抑えることが可能
T0 T1 T2
T0 T1
T2
T3 T4
T3
T4
REWIND TO T1
REWIND TO T3
INVISIBLE INVISIBLE
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon Aurora マイグレーションオプション
Source database From where Recommended option
RDS
EC2, オンプレミス
EC2, オンプレミス,
RDS
コンソールベースの
⾃動スナップショット
インテグレーションとbinlog
を⽤いたレプリケーション
S3を⽤いたバイナリ
スナップショットインテ
グレーションとbinlogを
⽤いたレプリケーション
SCTを⽤いたスキーマ
変換とDMSを⽤いた
データ変換
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS のリレーショナルデータベースサービス
Amazon RDS Amazon Aurora
概要
• データベース管理がフルマネージド化された
リレーショナルデータベースサービス
データベースエンジン
• Oracle、SQL Server、
MySQL、PostgreSQL、MariaDB
特徴
• ⾼速、安定したパフォーマンス
• 低コスト、従量課⾦
• Oracleの場合、Standard Edition が
ライセンス込みの従量課⾦で使⽤可能
概要
• Amazonがクラウド時代にRDBMSを作ると
どうなるかを1から考え構築
データベースエンジン
• MySQLまたはPostgreSQLとの互換性
特徴
• 低コスト、従量課⾦、フルマネージドサービス
• 1/10のコストで商⽤データベースと同等の
パフォーマンスと可⽤性
• 耐障害性、⾃⼰修復機能を持ち、64TBまで
シームレスにスケールするストレージ
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Relational Key-value Document In-memory Graph Time-series Ledger DWH
Aurora CommercialCommunity
Amazon
Aurora
Amazon
RDS
Amazon
DocumentDB
Amazon
DynamoDB
Amazon
ElastiCache
Amazon
Neptune
Amazon Quantum
Ledger Database
Amazon
Timestream
Amazon
Redshift
preview
AWS が提供する データベースサービス
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データウェアハウス
DWH
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データストアの分類と違い
OLTP (Online Transaction Processing)
ビジネスアプリケーションの永続層として機能する
多数のショートトランザクション (INSERT, UPDATE, DELETE) 中⼼
例: Amazon Aurora / ⼀般的に⾏指向アーキテクチャ
OLAP (Online Analytical Processing) /
データウェアハウス
データドリブンな意思決定のための分析⽤途
⽐較的少量のトランザクションが中⼼
クエリは多くの場合複雑で⼤規模な履歴データセットに対する集計を伴う
例: Amazon Redshift / ⼀般的に列指向アーキテクチャ
データレイク
すべてのデータを単⼀の統⼀された場所に、任意の規模で低コストで
収集および保存できるアーキテクチャパラダイム
データウェアハウスなどの他のデータストアを補完(≠置換)
例: Amazon S3
OLTP
PostgreSQL
Amazon
Aurora
Amazon EC2
(Business Application)User
Applications
DataLakeOLAP
ETL Tools
Amazon
QuickSight
Amazon Redshift
AWS
Glue
BI Tools
OLTP ERP CRM LOBUser
Dashboards
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データウェアハウスの時代による遷移
DWH
アプライアンス
DWHアプライアンス
OLTP向け
RDBMS
OLTP向けRDBMS
分析専⽤
RDBMS
分析専⽤RDBMS
遅い
⾼い
クラウド
データウェアハウス
■フルマネージド
運⽤管理のオフロード
■初期投資不要
すぐに始められる
■時間課⾦
■列指向、MPP
管理が
つらい
Amazon
Redshift
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データウェアハウス特化のデータベース
ペタバイト級までスケールアウト
フルマネージドサービス
多数の周辺ソフト; PostgreSQL互換性
約$1,000/TB/年; 最⼩$0.314/時*から
Amazon S3上のデータへの直接アクセス
Amazon
Redshift
*費⽤は2018年9⽉時点での東京リージョンのものです
より速く
よりシンプルに
より安価に
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
15,000を超えるお客様が
Amazon Redshift
を使⽤し、
1 ⽇に 2 エクサバイトを
超えるデータが処理
されています
その他のクラウド
データウェアハウス
と⽐較して
最⼤ 75% 削減
エクサバイトデータ
に対して
オープンフォーマット
でローディング不要で
クエリを実⾏
その他のクラウド
データウェアハウス
と⽐較して
最⼤ 2 倍⾼速
クラウドデータウェアハウス
Amazon Redshift の特徴
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
1⽇に 2 エクサバイトを超えるデータを処理
Amazon Redshift は最も利⽤の多いクラウドデータウェアハウス
15,000を超えるお客様がAmazon Redshiftを利⽤
利⽤者数トップ ・⾼いコスト効果 ・データレイクと連携・⾼速
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon Redshift
p クラウド上のデータウェアハウス
Ø 数クリックで起動
Ø 使った分だけの⽀払い
p ⾼いパフォーマンス
Ø ハイ・スケーラビリティMPP
Ø カラムナ(列指向)
p ⾼い汎⽤性
Ø PostgreSQL互換のSQL
Ø 多くのBIツールがサポート
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
p カラムナー型ストレージ
p データ圧縮
p ゾーンマップ
p 直結ストレージ
p データブロックサイズ
Amazon Redshift : I/Oを減らすための仕組み
orderid name price
1 Book 100
2 Pen 50
…
n Eraser 70
orderid name price
1 Book 100
2 Pen 50
…
n Eraser 70
• ⾏指向型(他RDBMS)
・列指向型(Redshift)
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データベース移⾏のツール
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
移⾏先エンジン/データベースの選定⽅法
(全ての機能⽐較表を作る前に)
Aurora/データベース
エンジンの異なる
Amazon RDSに
移⾏できそう︖
既存のデータベース
エンジン(RDS)に
移⾏できそう︖
既存データベース
エンジンを
Amazon EC2上
に構築
Amazon Aurora/
Amazon RDS
既存データベース
エンジンの
Amazon RDS
No No
Yes Yes
- バージョンの互換性
- アプリケーションの(⽐較的⼤きな)
改修コスト
- データベース固有機能が外せるのか
- データベースエンジンを変更するこ
とで技術的、ビジネス的課題を解決
するのか
- 3rd パーティーのパッケージのサポート
- 既存のパフォーマンスとの⽐較したサイジングで制限がある
- 運⽤、アプリケーションの改修の可能性(OSへのアクセスや
エージェント)
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
移⾏パターンとポイントの整理
⼗分な停⽌時間を
取れる
ダンプツール
CSVアンロード
ソースとターゲットが
同⼀DBエンジン
はい はい
いいえいいえ
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
移⾏パターンとポイントの整理
⼗分な停⽌時間を
取れる
ダンプツール
CSVアンロード
レプリケーション
AWS Database
Migration Service
ソースとターゲットが
同⼀DBエンジン
ソースとターゲットが
同⼀DBエンジン
DB純正の
レプリケーションが
組める
はい はい
いいえいいえ
はい はい
いいえいいえ
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS Database Migration Service (DMS)
• 既存のデータベースを
最⼩限のダウンタイムで
マイグレーションするサービス
• 同種はもちろん
異種プラットフォームの
移⾏にも対応
オンプレミスDB
DB on
Amazon EC2
Amazon RDS
オンプレミスDB
DB on
Amazon EC2
Amzaon RDS
※オンプレミス to オンプレミスは⾮対応
DMS
Amazon S3
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
インターネット or
VPN or Direct Connect
アプリケーション
ユーザー
移⾏中もアプリケーションは稼働したまま
オンプレミス
Oracle
AWS Cloud
Aurora /
Redshift
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
インターネット or
VPN or Direct Connect
アプリケーション
ユーザー
移⾏中もアプリケーションは稼働したまま
1. DMSを準備
DMS
オンプレミス
Oracle
AWS Cloud
Aurora /
Redshift
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
インターネット or
VPN or Direct Connect
アプリケーション
ユーザー
移⾏中もアプリケーションは稼働したまま
1. DMSを準備
2. DMSがソースDBと
ターゲットDBに接続
DMS
オンプレミス
Oracle
AWS Cloud
Aurora /
Redshift
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
インターネット or
VPN or Direct Connect
アプリケーション
ユーザー
移⾏中もアプリケーションは稼働したまま
1. DMSを準備
2. DMSがソースDBと
ターゲットDBに接続
3. 対象のスキーマ、
テーブルなどを選択
DMS
オンプレミス
Oracle
AWS Cloud
Aurora /
Redshift
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
インターネット or
VPN or Direct Connect
アプリケーション
ユーザー
移⾏中もアプリケーションは稼働したまま
1. DMSを準備
2. DMSがソースDBと
ターゲットDBに接続
3. 対象のスキーマ、
テーブルなどを選択
4. DMSがテーブルを作成し、データを
ロードし、レプリケーション開始
DMS
オンプレミス
Oracle
AWS Cloud
Aurora /
Redshift
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
インターネット or
VPN or Direct Connect
アプリケーション
ユーザー
移⾏中もアプリケーションは稼働したまま
1. DMSを準備
2. DMSがソースDBと
ターゲットDBに接続
3. 対象のスキーマ、
テーブルなどを選択
4. DMSがテーブルを作成し、データを
ロードし、レプリケーション開始
DMS
オンプレミス
Oracle
AWS Cloud
Aurora /
Redshift
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
インターネット or
VPN or Direct Connect
アプリケーション
ユーザー
移⾏中もアプリケーションは稼働したまま
1. DMSを準備
2. DMSがソースDBと
ターゲットDBに接続
3. 対象のスキーマ、
テーブルなどを選択
4. DMSがテーブルを作成し、データを
ロードし、レプリケーション開始
5. 任意のタイミングで、
アプリをターゲットDB側に切り替え
オンプレミス
Oracle
AWS Cloud
Aurora /
Redshift
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS Schema Conversion Tool (SCT)
• ソースDBのスキーマ、ビュー、
ストアドプロシージャ、ファンクションの
⼤部分を⾃動的にターゲットDB互換
フォーマットに変換できる
無償のデスクトップアプリケーション
• 何割のオブジェクトが⾃動変換可能か
などのPDFレポートを数クリックで作成可
変換⼯数の⾃動⾒積もりを補助
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
商⽤DBからの移⾏を検討しているお客様の声
「システム全体をクラウドに移⾏する際に、データベースの
ダウンタイムを可能な限り短くしたい」
「RDBMSも従量課⾦で利⽤したいがCPUライセンスだとそ
れができない」
「IT予算の多くを商⽤DBライセンスが占めている」 など
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
考えられる移⾏パス: リフト
• 既存のデータベース環境は
できるだけ変更せず、
そのままクラウド化する
• 既存データベースエンジンを
使⽤するシステムをクラウド化
することを最優先するオンプレミス
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
考えられる移⾏パス: リフト
データベースエンジンを維持したリフト
Amazon EC2 に
既存データベースを
お客様がインストール
(Oracle on EC2)
Amazon RDS
for Oracleを使⽤
オンプレミス
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
考えられる移⾏パス: シフト
• 既存データベース環境の
クラウド化と合わせて
プラットフォーム変更も⾏う
• クラウド化とRDBMSの
プラットフォーム変更を
同時に⾏うため、
1回の移⾏⼯数は多いが
1回で済む
Amazon RDS
for PostgreSQL
オンプレミス
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
考えられる移⾏パス: リフト&シフト
• 既存データベース環境を
ひとまずリフトするが、
次のステップで
より最適なプラットフォームに
変更する
• 将来的には、より最適な
プラットフォーム採⽤するが、
まずはシステムの
クラウド化を優先する
Amazon RDS
for PostgreSQL
オンプレミス
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
考えられる移⾏パス
①リフト
• 移⾏⼯数は少ない
• クラウド最適化メリットは⼩さい
②シフト
• 移⾏⼯数は⼤きい
• クラウド最適化メリットは⼤きい
③リフト&シフト
• 移⾏が2回必要
• 迅速なクラウド化(リフト)が可能
• クラウド最適化メリットを享受
(シフト)できる
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Database Migration Playbook
• トピックごとにどのようにデータベース、
DWHをAWSのデータベースサービスに
移⾏するか記載
• データベース固有の機能と様々な
データベースオブジェクトを網羅
• 移⾏のベストプラクティス
• Oracle to Amazon Aurora PostgreSQL
• Oracle to Amazon Aurora MySQL
• Oracle to Amazon Redshift
• SQL Server to Aurora MySQL
• SQL Server to Aurora PostgreSQL
https://aws.amazon.com/dms/resources/
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
お客様事例
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
事例: 住信SBIネット銀⾏
オンプレミスの Oracle Database を Amazon Aurora へ移⾏
• 2019年3⽉4⽇ Webニュース
• Oracle Database 11g 3ノードRAC から、
Amazon Aurora PostgreSQL 10 への移⾏を決定
• 機能/⾮機能/移⾏の観点で予備検討を実施
• アプリケーションの書き換えにはコストが
かかるが、リリース後3年で回収可能
出典)https://www.netbk.co.jp/wpl/NBGate/i900500CT/PD/corp_news_20190304
https://japan.zdnet.com/article/35133723/
性 能︓ピーク時のスループットが最⼤50%向上
可⽤性︓障害時は30秒でフェイルオーバーが完了
コスト︓83%のランニングコスト削減
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Oracle を AWS上に移⾏したお客様事例
マガシーク株式会社
総合ファッションECサイトで
使⽤していた Oracle RAC を
Amazon Aurora に移⾏
• AWS Database Migration Service
を利⽤して2⼈体制で移⾏完了
• Auroraに単純移⾏しただけで、
あるバッチ処理の性能が3倍向上
• 拡張が柔軟にできるようになり、
セール対応が楽になった
株式会社
VOYAGE GROUP
ECナビで使⽤している
OracleをAWSに移⾏
• Oracleライセンス込みプ
ランを使⽤、初期費⽤で
数千万円、年間でも千数
百万円ほどのライセンス
費⽤の削減を実現
• ECナビのコアとなる情報
を扱うだけの⼗分な性能
と信頼性を確認
ソニー銀⾏株式会社
管理会計システム⽤
OracleをAWSに移⾏
• オンプレ環境に⽐べ、イ
ンフラコストを30〜50%
程度削減
• インフラ導⼊ / 構築期間
が半減
• 新たなシステム構成 / ⽅
式の実機検証も、低コス
トかつスピーディーに対
応可能
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
全⽇本空輸株式会社 様
⼤規模なデータの移⾏には、データベース移⾏ツール
AWS Database Migration Service(DMS)を採⽤。
20 年以上にわたってオンプレミス環境で運⽤してき
たデータ分析基盤を、⼤きなトラブルなくクラウドに
移⾏できたことの意義は⼤きい
”
”
DMSを利⽤したお客様の声
Why AWS︖
AWS を選んだ決め⼿は、⽇本国内の⾦融機関や⼩売業など⼤規模
に機密情報を扱うシステムでの豊富な導⼊実績に裏付けられたセ
キュリティの⾼さ、ノウハウを持つ AWS パートナーの数が圧倒
的に多かった。検討当初からコンサルティング/アドバイザリー
サービスの AWS プロフェッショナルサービスを活⽤し、専⾨家
の知⾒を取り込んだこともプロジェクトの円滑な進⾏につながり
ました。
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
課題
データから洞察を得て、ビジネスの機
会を認識し、パフォーマンスを評価す
るために分析する必要があった
Oracle で構築された旧来の DWH では、
規模がスケールせず、維持が難しく、
⾼コストであった
ソリューション
Amazon S3 データレイクを構築し、
Amazon Redshift および Redshift
Spectrum、そして Amazon EMRを使っ
てデータを分析する
結果: 分析できるデータ容量は2倍に増
加 (100PB), コストは削減され、洞察を
得るまでのスピードが向上
データ容量︓>100 PB
分析ジョブ/⽇︓600,000
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
事例︓ ビデオリサーチ 様 (CTC 様ご⽀援)
⼤規模データの分析基盤をAmazon Redshiftに移⾏、
性能は既存のオンプレミス並みで運⽤コストは2分の1に
• アプライアンスの
保守切れを機に新たな選択肢を模索
• PoC検証でAmazon Redshiftの実⼒を確認
リソース拡縮の⾃由度の⾼さで導⼊を決定
• 運⽤管理業務の効率化に⼤きな効果
⇛ 運⽤コストは2分の1に
「分析基盤を使わない時間帯に Amazon Redshift のサービスを⾃動的に停⽌したり、
無駄なリソースを使わないように運⽤したりすることで、5 年間のトータル運⽤コスト
はオンプレミス環境と⽐べて 50%以上は削減ができると⾒ています。」
株式会社ビデオリサーチ IT・技術推進局 IT1 部⻑兼管理グループ課⻑ 太⽥雅⽒
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
• APN プレミアコンサルティングパートナー
Ø
• AWS 移⾏コンピテンシーを取得
Ø
• AWS Oracle コンピテンシーを取得
Ø
マイグレーションの⽀援は CTC 様へ
Premier
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
まとめ
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
• データベースの選択
Ø 適材適所のサービス選択
Ø RDB / NoSQL / DWH …
• データベースの移⾏パス
Ø リフトのみ
Ø シフトのみ
Ø リフト & シフト
• 移⾏⽀援サービス
Ø AWS Database Migration Service
Ø AWS Scheme Conversion Tool
• マネージドサービスの活⽤
Ø 導⼊・運⽤コスト削減
Ø Innovation に集中
事例から学ぶ︕AWS 移⾏でデータベースの
管理・コストを削減する⽅法まとめ
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Thank You!

More Related Content

What's hot

Utilizing elasticcloudforallusecases
Utilizing elasticcloudforallusecasesUtilizing elasticcloudforallusecases
Utilizing elasticcloudforallusecasesShotaro Suzuki
 
Elastic 7.13-new-features-20210624
Elastic 7.13-new-features-20210624Elastic 7.13-new-features-20210624
Elastic 7.13-new-features-20210624Shotaro Suzuki
 
Gpu accelerates aimodeldevelopmentandanalyticsutilizingelasticsearchandazure ai
Gpu accelerates aimodeldevelopmentandanalyticsutilizingelasticsearchandazure aiGpu accelerates aimodeldevelopmentandanalyticsutilizingelasticsearchandazure ai
Gpu accelerates aimodeldevelopmentandanalyticsutilizingelasticsearchandazure aiShotaro Suzuki
 
Elastic7.12 release-new-features-on-0428
Elastic7.12 release-new-features-on-0428Elastic7.12 release-new-features-on-0428
Elastic7.12 release-new-features-on-0428Shotaro Suzuki
 
ネットアップとマイクロソフトで アプリケーションをちょっと良くしよう!!
ネットアップとマイクロソフトで アプリケーションをちょっと良くしよう!!ネットアップとマイクロソフトで アプリケーションをちょっと良くしよう!!
ネットアップとマイクロソフトで アプリケーションをちょっと良くしよう!!Miho Yamamoto
 
Migrating tocloudnativeapplicationwithusingelasticapm
Migrating tocloudnativeapplicationwithusingelasticapmMigrating tocloudnativeapplicationwithusingelasticapm
Migrating tocloudnativeapplicationwithusingelasticapmShotaro Suzuki
 
20180309 azure+container
20180309 azure+container20180309 azure+container
20180309 azure+containerMiho Yamamoto
 
Building andobservingcloudnativeappliactionusingazure elastic-terraform
Building andobservingcloudnativeappliactionusingazure elastic-terraformBuilding andobservingcloudnativeappliactionusingazure elastic-terraform
Building andobservingcloudnativeappliactionusingazure elastic-terraformShotaro Suzuki
 
Monitoring the health and performance of your aws environment using the Elast...
Monitoring the health and performance of your aws environment using the Elast...Monitoring the health and performance of your aws environment using the Elast...
Monitoring the health and performance of your aws environment using the Elast...Shotaro Suzuki
 
基本から学ぶ ビッグデータ / データ分析 / 機械学習 サービス群
基本から学ぶ ビッグデータ / データ分析 / 機械学習 サービス群基本から学ぶ ビッグデータ / データ分析 / 機械学習 サービス群
基本から学ぶ ビッグデータ / データ分析 / 機械学習 サービス群Google Cloud Platform - Japan
 
データからビジネス変革をもたらすマイクロソフトの AI とは
データからビジネス変革をもたらすマイクロソフトの AI とはデータからビジネス変革をもたらすマイクロソフトの AI とは
データからビジネス変革をもたらすマイクロソフトの AI とはMiho Yamamoto
 
AWS 技術者向け Azure サービス解説 de:code2019版 #CD81
AWS 技術者向け Azure サービス解説 de:code2019版 #CD81AWS 技術者向け Azure サービス解説 de:code2019版 #CD81
AWS 技術者向け Azure サービス解説 de:code2019版 #CD81Minoru Naito
 
Google Cloud Platform で実現するプロダクションレディ マイクロサービス
Google Cloud Platform で実現するプロダクションレディ マイクロサービスGoogle Cloud Platform で実現するプロダクションレディ マイクロサービス
Google Cloud Platform で実現するプロダクションレディ マイクロサービスGoogle Cloud Platform - Japan
 
Learn, build, and scale with elastic - realizing great programming experience...
Learn, build, and scale with elastic - realizing great programming experience...Learn, build, and scale with elastic - realizing great programming experience...
Learn, build, and scale with elastic - realizing great programming experience...Shotaro Suzuki
 
Elastic on-microsoft-azure-0630-webinar-no-video
Elastic on-microsoft-azure-0630-webinar-no-videoElastic on-microsoft-azure-0630-webinar-no-video
Elastic on-microsoft-azure-0630-webinar-no-videoShotaro Suzuki
 
ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは
ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とはライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは
ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とはKimihiko Kitase
 
[Cloud OnAir] BigQuery で実現する Smart Analytics Platform 2019年10月24日 放送
[Cloud OnAir] BigQuery で実現する Smart Analytics Platform 2019年10月24日 放送[Cloud OnAir] BigQuery で実現する Smart Analytics Platform 2019年10月24日 放送
[Cloud OnAir] BigQuery で実現する Smart Analytics Platform 2019年10月24日 放送Google Cloud Platform - Japan
 
オンプレ/クラウド連携と柔軟なストレージで実現する高信頼サービス_Shownet2021 studio 20210416
オンプレ/クラウド連携と柔軟なストレージで実現する高信頼サービス_Shownet2021 studio 20210416オンプレ/クラウド連携と柔軟なストレージで実現する高信頼サービス_Shownet2021 studio 20210416
オンプレ/クラウド連携と柔軟なストレージで実現する高信頼サービス_Shownet2021 studio 20210416Interop Tokyo ShowNet NOC Team
 
No-Ops で大量データ処理基盤を簡単に実現する
No-Ops で大量データ処理基盤を簡単に実現するNo-Ops で大量データ処理基盤を簡単に実現する
No-Ops で大量データ処理基盤を簡単に実現するKiyoshi Fukuda
 

What's hot (20)

Utilizing elasticcloudforallusecases
Utilizing elasticcloudforallusecasesUtilizing elasticcloudforallusecases
Utilizing elasticcloudforallusecases
 
Elastic 7.13-new-features-20210624
Elastic 7.13-new-features-20210624Elastic 7.13-new-features-20210624
Elastic 7.13-new-features-20210624
 
Gpu accelerates aimodeldevelopmentandanalyticsutilizingelasticsearchandazure ai
Gpu accelerates aimodeldevelopmentandanalyticsutilizingelasticsearchandazure aiGpu accelerates aimodeldevelopmentandanalyticsutilizingelasticsearchandazure ai
Gpu accelerates aimodeldevelopmentandanalyticsutilizingelasticsearchandazure ai
 
Elastic7.12 release-new-features-on-0428
Elastic7.12 release-new-features-on-0428Elastic7.12 release-new-features-on-0428
Elastic7.12 release-new-features-on-0428
 
ネットアップとマイクロソフトで アプリケーションをちょっと良くしよう!!
ネットアップとマイクロソフトで アプリケーションをちょっと良くしよう!!ネットアップとマイクロソフトで アプリケーションをちょっと良くしよう!!
ネットアップとマイクロソフトで アプリケーションをちょっと良くしよう!!
 
Migrating tocloudnativeapplicationwithusingelasticapm
Migrating tocloudnativeapplicationwithusingelasticapmMigrating tocloudnativeapplicationwithusingelasticapm
Migrating tocloudnativeapplicationwithusingelasticapm
 
20180309 azure+container
20180309 azure+container20180309 azure+container
20180309 azure+container
 
Building andobservingcloudnativeappliactionusingazure elastic-terraform
Building andobservingcloudnativeappliactionusingazure elastic-terraformBuilding andobservingcloudnativeappliactionusingazure elastic-terraform
Building andobservingcloudnativeappliactionusingazure elastic-terraform
 
Monitoring the health and performance of your aws environment using the Elast...
Monitoring the health and performance of your aws environment using the Elast...Monitoring the health and performance of your aws environment using the Elast...
Monitoring the health and performance of your aws environment using the Elast...
 
基本から学ぶ ビッグデータ / データ分析 / 機械学習 サービス群
基本から学ぶ ビッグデータ / データ分析 / 機械学習 サービス群基本から学ぶ ビッグデータ / データ分析 / 機械学習 サービス群
基本から学ぶ ビッグデータ / データ分析 / 機械学習 サービス群
 
データからビジネス変革をもたらすマイクロソフトの AI とは
データからビジネス変革をもたらすマイクロソフトの AI とはデータからビジネス変革をもたらすマイクロソフトの AI とは
データからビジネス変革をもたらすマイクロソフトの AI とは
 
AWS 技術者向け Azure サービス解説 de:code2019版 #CD81
AWS 技術者向け Azure サービス解説 de:code2019版 #CD81AWS 技術者向け Azure サービス解説 de:code2019版 #CD81
AWS 技術者向け Azure サービス解説 de:code2019版 #CD81
 
Google Cloud Platform で実現するプロダクションレディ マイクロサービス
Google Cloud Platform で実現するプロダクションレディ マイクロサービスGoogle Cloud Platform で実現するプロダクションレディ マイクロサービス
Google Cloud Platform で実現するプロダクションレディ マイクロサービス
 
Learn, build, and scale with elastic - realizing great programming experience...
Learn, build, and scale with elastic - realizing great programming experience...Learn, build, and scale with elastic - realizing great programming experience...
Learn, build, and scale with elastic - realizing great programming experience...
 
AIビジネスクリエーションワークショップ@東京
AIビジネスクリエーションワークショップ@東京AIビジネスクリエーションワークショップ@東京
AIビジネスクリエーションワークショップ@東京
 
Elastic on-microsoft-azure-0630-webinar-no-video
Elastic on-microsoft-azure-0630-webinar-no-videoElastic on-microsoft-azure-0630-webinar-no-video
Elastic on-microsoft-azure-0630-webinar-no-video
 
ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは
ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とはライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは
ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは
 
[Cloud OnAir] BigQuery で実現する Smart Analytics Platform 2019年10月24日 放送
[Cloud OnAir] BigQuery で実現する Smart Analytics Platform 2019年10月24日 放送[Cloud OnAir] BigQuery で実現する Smart Analytics Platform 2019年10月24日 放送
[Cloud OnAir] BigQuery で実現する Smart Analytics Platform 2019年10月24日 放送
 
オンプレ/クラウド連携と柔軟なストレージで実現する高信頼サービス_Shownet2021 studio 20210416
オンプレ/クラウド連携と柔軟なストレージで実現する高信頼サービス_Shownet2021 studio 20210416オンプレ/クラウド連携と柔軟なストレージで実現する高信頼サービス_Shownet2021 studio 20210416
オンプレ/クラウド連携と柔軟なストレージで実現する高信頼サービス_Shownet2021 studio 20210416
 
No-Ops で大量データ処理基盤を簡単に実現する
No-Ops で大量データ処理基盤を簡単に実現するNo-Ops で大量データ処理基盤を簡単に実現する
No-Ops で大量データ処理基盤を簡単に実現する
 

Similar to [CTC Forum 2019/10/25] 事例から学ぶ!AWS 移行でデータベースの管理・コストを削減する方法

20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...Amazon Web Services Japan
 
AWSの様々なアーキテクチャ
AWSの様々なアーキテクチャAWSの様々なアーキテクチャ
AWSの様々なアーキテクチャKameda Harunobu
 
[CTO Night & Day 2019] AWS Database Overview -データベースの選択指針- #ctonight
[CTO Night & Day 2019] AWS Database Overview -データベースの選択指針- #ctonight[CTO Night & Day 2019] AWS Database Overview -データベースの選択指針- #ctonight
[CTO Night & Day 2019] AWS Database Overview -データベースの選択指針- #ctonightAmazon Web Services Japan
 
マルチリージョン・マルチアカウント対応の柔軟な構築ツールを作ってみた
マルチリージョン・マルチアカウント対応の柔軟な構築ツールを作ってみたマルチリージョン・マルチアカウント対応の柔軟な構築ツールを作ってみた
マルチリージョン・マルチアカウント対応の柔軟な構築ツールを作ってみた桂一 中山
 
Management & Governance on AWS こんなこともできます
Management & Governance on AWS こんなこともできますManagement & Governance on AWS こんなこともできます
Management & Governance on AWS こんなこともできますAmazon Web Services Japan
 
20190226 AWS Black Belt Online Seminar Amazon WorkSpaces
20190226 AWS Black Belt Online Seminar Amazon WorkSpaces20190226 AWS Black Belt Online Seminar Amazon WorkSpaces
20190226 AWS Black Belt Online Seminar Amazon WorkSpacesAmazon Web Services Japan
 
Serverless backendformobilegame and_aws-appsync_gamingtechnight-2
Serverless backendformobilegame and_aws-appsync_gamingtechnight-2Serverless backendformobilegame and_aws-appsync_gamingtechnight-2
Serverless backendformobilegame and_aws-appsync_gamingtechnight-2Amazon Web Services Japan
 
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
【IVS CTO Night & Day】AWS re:Invent 2017 振り返りAmazon Web Services Japan
 
Best Practices for Running PostgreSQL on AWS
Best Practices for Running PostgreSQL on AWSBest Practices for Running PostgreSQL on AWS
Best Practices for Running PostgreSQL on AWSAmazon Web Services Japan
 
SAP on AWS最新情報とデジタルトランスフォーメーションに関する取組み
SAP on AWS最新情報とデジタルトランスフォーメーションに関する取組みSAP on AWS最新情報とデジタルトランスフォーメーションに関する取組み
SAP on AWS最新情報とデジタルトランスフォーメーションに関する取組みBeeX.inc
 
20180710 AWS Black Belt Online Seminar AWS入門者向け: AWSで実現するウェブサイトホスティング
20180710 AWS Black Belt Online Seminar AWS入門者向け: AWSで実現するウェブサイトホスティング20180710 AWS Black Belt Online Seminar AWS入門者向け: AWSで実現するウェブサイトホスティング
20180710 AWS Black Belt Online Seminar AWS入門者向け: AWSで実現するウェブサイトホスティングAmazon Web Services Japan
 
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...Amazon Web Services Japan
 
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報Amazon Web Services Japan
 
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...Amazon Web Services Japan
 
Security Operations and Automation on AWS
Security Operations and Automation on AWSSecurity Operations and Automation on AWS
Security Operations and Automation on AWSNoritaka Sekiyama
 

Similar to [CTC Forum 2019/10/25] 事例から学ぶ!AWS 移行でデータベースの管理・コストを削減する方法 (20)

20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
 
JAWS Festa 2019 keynote
JAWS Festa 2019 keynoteJAWS Festa 2019 keynote
JAWS Festa 2019 keynote
 
AWSの様々なアーキテクチャ
AWSの様々なアーキテクチャAWSの様々なアーキテクチャ
AWSの様々なアーキテクチャ
 
[CTO Night & Day 2019] AWS Database Overview -データベースの選択指針- #ctonight
[CTO Night & Day 2019] AWS Database Overview -データベースの選択指針- #ctonight[CTO Night & Day 2019] AWS Database Overview -データベースの選択指針- #ctonight
[CTO Night & Day 2019] AWS Database Overview -データベースの選択指針- #ctonight
 
マルチリージョン・マルチアカウント対応の柔軟な構築ツールを作ってみた
マルチリージョン・マルチアカウント対応の柔軟な構築ツールを作ってみたマルチリージョン・マルチアカウント対応の柔軟な構築ツールを作ってみた
マルチリージョン・マルチアカウント対応の柔軟な構築ツールを作ってみた
 
Management & Governance on AWS こんなこともできます
Management & Governance on AWS こんなこともできますManagement & Governance on AWS こんなこともできます
Management & Governance on AWS こんなこともできます
 
20190226 AWS Black Belt Online Seminar Amazon WorkSpaces
20190226 AWS Black Belt Online Seminar Amazon WorkSpaces20190226 AWS Black Belt Online Seminar Amazon WorkSpaces
20190226 AWS Black Belt Online Seminar Amazon WorkSpaces
 
Serverless backendformobilegame and_aws-appsync_gamingtechnight-2
Serverless backendformobilegame and_aws-appsync_gamingtechnight-2Serverless backendformobilegame and_aws-appsync_gamingtechnight-2
Serverless backendformobilegame and_aws-appsync_gamingtechnight-2
 
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
 
Best Practices for Running PostgreSQL on AWS
Best Practices for Running PostgreSQL on AWSBest Practices for Running PostgreSQL on AWS
Best Practices for Running PostgreSQL on AWS
 
Migration to AWS part2
Migration to AWS part2Migration to AWS part2
Migration to AWS part2
 
SAP on AWS最新情報とデジタルトランスフォーメーションに関する取組み
SAP on AWS最新情報とデジタルトランスフォーメーションに関する取組みSAP on AWS最新情報とデジタルトランスフォーメーションに関する取組み
SAP on AWS最新情報とデジタルトランスフォーメーションに関する取組み
 
20180710 AWS Black Belt Online Seminar AWS入門者向け: AWSで実現するウェブサイトホスティング
20180710 AWS Black Belt Online Seminar AWS入門者向け: AWSで実現するウェブサイトホスティング20180710 AWS Black Belt Online Seminar AWS入門者向け: AWSで実現するウェブサイトホスティング
20180710 AWS Black Belt Online Seminar AWS入門者向け: AWSで実現するウェブサイトホスティング
 
AWS All Stars ~Lightning Talks x 13~
AWS All Stars ~Lightning Talks x 13~AWS All Stars ~Lightning Talks x 13~
AWS All Stars ~Lightning Talks x 13~
 
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...
 
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報
 
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...
 
Security Operations and Automation on AWS
Security Operations and Automation on AWSSecurity Operations and Automation on AWS
Security Operations and Automation on AWS
 
AWS and PCI DSS
AWS and PCI DSSAWS and PCI DSS
AWS and PCI DSS
 
CData General Proposal
CData General ProposalCData General Proposal
CData General Proposal
 

[CTC Forum 2019/10/25] 事例から学ぶ!AWS 移行でデータベースの管理・コストを削減する方法

  • 1. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Web Services Japan K.K. Partner Solutions Architect Takanori Ohba 事例から学ぶ︕ AWS 移⾏でデータベースの 管理・コストを削減する⽅法 CTC Forum 2019 2019/10/25
  • 2. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Who am I ? p ⼤場 崇令(オオバ タカノリ) Ø Partner Solutions Architect @Amazon Web Services Japan K.K. (Joined 2015/12) p Background ØAWS テクニカルトレーナー@AWSJ K.K. ØWeb サービスのインフラエンジニア Ø国内クラウドベンダーにてテクニカルサポート p 好きな AWS サービス ØAWS Systems Manager ØAWS Server Migration Service ØAWS Service Catalog
  • 3. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 本セッションについて ⽬的 対象者 AWSのデータベースサービスの特徴と マイグレーションプロセスを理解する AWSをこれから利⽤する⽅ データベースの選定を⾏う⽅
  • 4. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agenda • What is AWS? • AWS データベース ソリューション • Database Migration Tools • お客様事例 • まとめ
  • 5. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. What is AWS?
  • 6. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. What is AWS? • IT リソースをウェブベースで 利⽤可能なクラウドプラットフォーム • 従量課⾦ • 165 を超えるサービス群を提供 ComputeMessaging Mobile App Services Database Networking Development and Management Tools Payments VPC On-Demand Workforce Analytics Content Delivery Storage
  • 8. 24 48 61 82 159 280 516 722 1,017 1,430 1,957 0 200 400 600 800 1,000 1,200 1,400 1,600 1,800 2,000 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 AWS の機能改善、イノベーションのスピード
  • 9. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 165 を超える主要なAWSサービス
  • 10. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 国内における AWS 利⽤の広がり
  • 11. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS データベース サービス
  • 12. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 1970 1980 1990 2000 Oracle DB2 SQL Server MySQL PostgreSQL DynamoDB Redis MongoDB Elasticsearch Neptune CassandraAccess Aurora 2010 Timestream QLDB DocumentDB
  • 13. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 従来のアプリケーション要件 HR Payroll … CRM ERP 従来要件 新要件 ユーザー: 10-10万 100万+ データ量: GB-TB TB-PB-EB 場所: 社内 グローバル パフォーマンス: 秒 ミリ秒/マイクロ秒 リクエスト: 万 百万 アクセス: 社内サーバー モバイル/IoT 拡張: スケールアップ スケールアウト ⽀払い: 前払い 従量課⾦ 開発者アクセス: ⽇次/週次/⽉次 APIアクセス 従来要件
  • 14. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 新しいアプリケーション要件 Social media Ride hailing Media streaming Dating ユーザー: 10-10万 100万+ データ量: GB-TB TB-PB-EB 場所: 社内 グローバル パフォーマンス: 秒 ミリ秒/マイクロ秒 リクエスト: 万 百万 アクセス: 社内サーバー モバイル/IoT 拡張: スケールアップ スケールアウト ⽀払い: 前払い 従量課⾦ 開発者アクセス: ⽇次/週次/⽉次 APIアクセス 従来要件 新要件
  • 15. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 「万能のデータベース は存在しない」 “A one size fits all database doesn't fit anyone” Werner Vogels CTO - Amazon.com https://www.allthingsdistributed.com/2018/06/ purpose-built-databases-in-aws.html
  • 16. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 従来のエンタープライズ DB システム アプリ オンライン トランザクション ETLツール 分析 BIツール ・OLTP : Online Transaction Processing ・ETL : Extract, Transform and Load ・OLAP : Online Analytical Processing ・BI : Business Intelligence ⽤途 OLTP DB OLAP DB
  • 17. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. データベースの選択 • AWS では多様な データベースの選択肢 • ワークロードに応じて 最適な選択が可能 Purpose built The right tool for the right job https://www.allthingsdistributed.com/2018/06/purpose-built-databases-in-aws.html 適材適所の選択
  • 18. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Relational 参照整合性、 ACIDトラン ザクション、 スキーマ Lift and shift,トラン ザクションアプリ ケーション、ERP 、CRM、e コマー ス Key-value ⾼スループット、 低レイテンシ、 スケーラ ビリティ ⼤規模アプリケー ション、リアルタイ ム⼊札、ショッピン グカート、顧客ごと のブックマーク Document ドキュメントを 保存し、任意の 属性にクエリで すばやく アクセス コンテンツ管理、 パーソナライズ、 モバイルアプリケー ション In-memory マイクロ秒 レベルの keyアクセス キャッシュ、 ゲームのリーダー ボード、リアルタ イム分析 Graph すばやく簡単に データ間の 関係を元に グラフ構造を 作成、 ナビゲート 不正検出、SNS、 レコメンド エンジン Time-series 時系列に特化 した形で データの収集、 格納、処理 IoT アプリケー ション、イベント トラッキング、産 業テレメトリ Ledger アプリケーション データの全変更を 完全、不変、 検証可能な 履歴として保存 記録システム、 サプライチェーン、 銀⾏トランザクショ ン DWH 分析可能な 情報のセン トラルリポ ジトリ 分析, BI 「データカテゴリ」と「ユースケース」
  • 19. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Relational Key-value Document In-memory Graph Time-series Ledger DWH Aurora CommercialCommunity Amazon Aurora Amazon RDS Amazon DocumentDB Amazon DynamoDB Amazon ElastiCache Amazon Neptune Amazon Quantum Ledger Database Amazon Timestream Amazon Redshift preview AWS が提供する データベースサービス
  • 20. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Relational Key-value Document In-memory Graph Time-series Ledger DWH Aurora CommercialCommunity Amazon Aurora Amazon RDS Amazon DocumentDB Amazon DynamoDB Amazon ElastiCache Amazon Neptune Amazon Quantum Ledger Database Amazon Timestream Amazon Redshift preview マネージドサービス AWS が提供する データベースサービス
  • 21. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. データベースサービス仮想サーバー OS インストール サーバーメンテナンス ハードウェア資産管理 電源/ネットワーク/空調 拡張性 ⾼可⽤性 DB バックアップ DB パッチ適⽤ DB インストール/構築 OS パッチ適⽤ OS インストール サーバーメンテナンス ハードウェア資産管理 電源/ネットワーク/空調 AWSマネージ オンプレミス Amazon RDS などAmazon EC2 データベース管理の フルマネージド化
  • 22. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. データベースサービス仮想サーバー OS インストール サーバーメンテナンス ハードウェア資産管理 電源/ネットワーク/空調 拡張性 ⾼可⽤性 DB バックアップ DB パッチ適⽤ DB インストール/構築 OS パッチ適⽤ OS インストール サーバーメンテナンス ハードウェア資産管理 電源/ネットワーク/空調 AWSマネージ オンプレミス Amazon RDS などAmazon EC2 データベース管理の フルマネージド化
  • 23. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 適材適所の選択 The right tool for the right job
  • 24. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Relational Key-value Document In-memory Graph Time-series Ledger DWH Aurora CommercialCommunity Amazon Aurora Amazon RDS Amazon DocumentDB Amazon DynamoDB Amazon ElastiCache Amazon Neptune Amazon Quantum Ledger Database Amazon Timestream Amazon Redshift preview 本⽇ 紹介する データベースサービス
  • 25. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Relational Key-value Document In-memory Graph Time-series Ledger DWH Aurora CommercialCommunity Amazon Aurora Amazon RDS Amazon DocumentDB Amazon DynamoDB Amazon ElastiCache Amazon Neptune Amazon Quantum Ledger Database Amazon Timestream Amazon Redshift preview AWS が提供する データベースサービス
  • 26. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. リレーショナルデータベース RDB
  • 27. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. オンプレミス On Amazon EC2 Amazon RDS リレーショナルデータベースの デプロイメントモデル
  • 28. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. リレーショナルデータ • テーブル間でデータを分割 • ⾼度に構造化されたデータ • キーを介して確⽴された リレーションシップ(関係性) • データの正確性と⼀貫性 Patient * Patient ID First Name Last Name Gender DOB * Doctor ID Visit * Visit ID * Patient ID * Hospital ID Date * Treatment ID Medical Treatment * Treatment ID Procedure How Performed Adverse Outcome Contraindication Doctor * Doctor ID First Name Last Name Medical Specialty * Hospital Affiliation Hospital * Hospital ID Name Address Rating リレーション 多 対 1
  • 29. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. ユースケース • エンタープライズ アプリケーション ü 基幹系システム ü ERP ü CRM 等 • SaaS アプリケーション • E コマースアプリケーション • ウェブアプリケーション 等
  • 30. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 選択指針 • 汎⽤的 • 既存アプリケーション移⾏ • 正規化/リレーショナル • SQLを使⽤可能 ü 複数の表を結合 (JOIN) して 利⽤できる • 柔軟なクエリ • トランザクション処理 • データの堅牢性/⼀貫性 Patient * Patient ID First Name Last Name Gender DOB * Doctor ID Visit * Visit ID * Patient ID * Hospital ID Date * Treatment ID Medical Treatment * Treatment ID Procedure How Performed Adverse Outcome Contraindication Doctor * Doctor ID First Name Last Name Medical Specialty * Hospital Affiliation Hospital * Hospital ID Name Address Rating JOIN
  • 31. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Relational Database Service (Amazon RDS) 6つのデータベースエンジンから選択できるマネージリレーショナルデータベース 容易な管理 ⾼可⽤性と永続性 ⾼スケール ⾼速でセキュア インフラストラクチャの プロビジョニング、データ ベースのインストール、 メンテナンス不要 マルチAZデータレプリケー ション、⾃動バックアップ、 スナップショット、 ⾃動フェイルオーバー 数クリックでコンピュートと ストレージをスケール可能 アプリケーションの ダウンタイムは最⼩限 SSDストレージのI/O保証、 保存時と通信時の暗号化
  • 32. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. RDB は、運⽤フェーズ の負荷が⼤きい 運⽤前(設計・導⼊) • サイジング • 導⼊作業 • 可⽤性設計 • バックアップ設計 運⽤開始後 • バックアップの⾃動実⾏ • リストア • モニタリング • サイズ調整(ディスク追加等) • SQLチューニング • 統計情報の更新 • フラグメンテーションの解消
  • 33. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. クラウドへ移⾏することで解決できる部分とそうでない部分 運⽤前(設計・導⼊) • サイジング • 導⼊作業 • 可⽤性設計 • バックアップ設計 運⽤開始後 • バックアップの⾃動実⾏ • リストア • モニタリング • サイズ調整(ディスク追加等) • SQLチューニング • 統計情報の更新 • フラグメンテーションの解消 クラウド化で楽になる部分 変わらず残る部分
  • 34. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⾃動 バックアップ スナップ ショット パッチ更新 Amazon Relational Database Service フルマネージドのRDBMSサービス ü バックアップやフェイルオーバーに対応したDBを数クリックで利⽤可能 ü メンテナンスコストを⼤幅削減(パッチ当てやバックアップの⾃動化) Availability Zone a Availability Zone b 負荷分散のための「読み取り ⽤レプリカ」を作成可能 別AZにデータを同期 ⾃動的にフェイルオーバー
  • 35. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. シンプルな⼿順で⾼度なアーキテクチャを実現 数クリックでDBが起動 • DBエンジン • インスタンスクラス • ディスクの種類とサイズ etc.. 選択するだけで⾼度な機能を実装 • マルチAZデプロイメント • リードレプリカ • バックアップ(スナップショット) • 監視(CloudWatch) • 拡張モニタリング etc.. マネジメントコンソールやAPIで操作可能
  • 36. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Aurora 特徴 (http://aws.amazon.com/jp/rds/aurora/) • MySQL5.6, 5.7 / PostgreSQL 9.6, 10と互換性 • ⾼い堅牢性 / 可⽤性 • レプリカの障害からの⾃動復旧 • 3つのAvailability Zone(AZ)にまたがる6つの データコピーによる⾼可⽤性 • スケーラビリティ • 64TBまでディスクがシームレスにスケール • 15台までの読み取り専⽤レプリカでスケールアウト • フルマネージド Amazonがクラウド時代に再設計したデータベース Availability Zone Availability Zone Availability Zone Primary Instance Aurora Replica Writes W rites Writes Reads Reads Reads Reads Amazon Aurora DB Cluster Data Copies Data Copies Data Copies Cluster Volume
  • 37. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Auroraのストレージ SSDを利⽤したシームレスにスケールするストレージ • 10GBから64TBまでシームレスに⾃動でスケールアップ • 実際に使った分だけ課⾦ • Peer-to-peer gossipレプリケーション 標準で⾼可⽤性を実現 • 3AZに6つのデータのコピーを作成 • 2つのディスクが利⽤不能でも読み書き可能 • 万が⼀1つのAZが利⽤不能になっても3本で 読み書き可能な状態で稼働 • 3つのディスクが利⽤不能でも読み込みは可能 Log structured Storage • redo logを複数の⼩さなセグメントに分割 • Log pageによってData pageを作成 SQL Transactions AZ 1 AZ 2 AZ 3 Caching Amazon S3
  • 38. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. ディスク障害検知と修復 2つのコピーに障害が起こっても、読み書きに影響は無い 3つのコピーに障害が発⽣しても読み込みは可能 ⾃動検知、修復 SQL Transaction AZ 1 AZ 2 AZ 3 Caching SQL Transaction AZ 1 AZ 2 AZ 3 Caching 読み書き可能読み込み可能
  • 39. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Backtrack • データベースの状態を容量によらず瞬時に特定の時点へ巻き戻す • オペミスなどをしてしまった場合に、作業実⾏前の状態にすぐに巻き戻すことでサービスへの影 響を最⼩限に抑えることが可能 T0 T1 T2 T0 T1 T2 T3 T4 T3 T4 REWIND TO T1 REWIND TO T3 INVISIBLE INVISIBLE
  • 40. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Aurora マイグレーションオプション Source database From where Recommended option RDS EC2, オンプレミス EC2, オンプレミス, RDS コンソールベースの ⾃動スナップショット インテグレーションとbinlog を⽤いたレプリケーション S3を⽤いたバイナリ スナップショットインテ グレーションとbinlogを ⽤いたレプリケーション SCTを⽤いたスキーマ 変換とDMSを⽤いた データ変換
  • 41. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS のリレーショナルデータベースサービス Amazon RDS Amazon Aurora 概要 • データベース管理がフルマネージド化された リレーショナルデータベースサービス データベースエンジン • Oracle、SQL Server、 MySQL、PostgreSQL、MariaDB 特徴 • ⾼速、安定したパフォーマンス • 低コスト、従量課⾦ • Oracleの場合、Standard Edition が ライセンス込みの従量課⾦で使⽤可能 概要 • Amazonがクラウド時代にRDBMSを作ると どうなるかを1から考え構築 データベースエンジン • MySQLまたはPostgreSQLとの互換性 特徴 • 低コスト、従量課⾦、フルマネージドサービス • 1/10のコストで商⽤データベースと同等の パフォーマンスと可⽤性 • 耐障害性、⾃⼰修復機能を持ち、64TBまで シームレスにスケールするストレージ
  • 42. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Relational Key-value Document In-memory Graph Time-series Ledger DWH Aurora CommercialCommunity Amazon Aurora Amazon RDS Amazon DocumentDB Amazon DynamoDB Amazon ElastiCache Amazon Neptune Amazon Quantum Ledger Database Amazon Timestream Amazon Redshift preview AWS が提供する データベースサービス
  • 43. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. データウェアハウス DWH
  • 44. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. データストアの分類と違い OLTP (Online Transaction Processing) ビジネスアプリケーションの永続層として機能する 多数のショートトランザクション (INSERT, UPDATE, DELETE) 中⼼ 例: Amazon Aurora / ⼀般的に⾏指向アーキテクチャ OLAP (Online Analytical Processing) / データウェアハウス データドリブンな意思決定のための分析⽤途 ⽐較的少量のトランザクションが中⼼ クエリは多くの場合複雑で⼤規模な履歴データセットに対する集計を伴う 例: Amazon Redshift / ⼀般的に列指向アーキテクチャ データレイク すべてのデータを単⼀の統⼀された場所に、任意の規模で低コストで 収集および保存できるアーキテクチャパラダイム データウェアハウスなどの他のデータストアを補完(≠置換) 例: Amazon S3 OLTP PostgreSQL Amazon Aurora Amazon EC2 (Business Application)User Applications DataLakeOLAP ETL Tools Amazon QuickSight Amazon Redshift AWS Glue BI Tools OLTP ERP CRM LOBUser Dashboards
  • 45. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. データウェアハウスの時代による遷移 DWH アプライアンス DWHアプライアンス OLTP向け RDBMS OLTP向けRDBMS 分析専⽤ RDBMS 分析専⽤RDBMS 遅い ⾼い クラウド データウェアハウス ■フルマネージド 運⽤管理のオフロード ■初期投資不要 すぐに始められる ■時間課⾦ ■列指向、MPP 管理が つらい Amazon Redshift
  • 46. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. データウェアハウス特化のデータベース ペタバイト級までスケールアウト フルマネージドサービス 多数の周辺ソフト; PostgreSQL互換性 約$1,000/TB/年; 最⼩$0.314/時*から Amazon S3上のデータへの直接アクセス Amazon Redshift *費⽤は2018年9⽉時点での東京リージョンのものです より速く よりシンプルに より安価に
  • 47. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 15,000を超えるお客様が Amazon Redshift を使⽤し、 1 ⽇に 2 エクサバイトを 超えるデータが処理 されています その他のクラウド データウェアハウス と⽐較して 最⼤ 75% 削減 エクサバイトデータ に対して オープンフォーマット でローディング不要で クエリを実⾏ その他のクラウド データウェアハウス と⽐較して 最⼤ 2 倍⾼速 クラウドデータウェアハウス Amazon Redshift の特徴
  • 48. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 1⽇に 2 エクサバイトを超えるデータを処理 Amazon Redshift は最も利⽤の多いクラウドデータウェアハウス 15,000を超えるお客様がAmazon Redshiftを利⽤ 利⽤者数トップ ・⾼いコスト効果 ・データレイクと連携・⾼速
  • 49. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Redshift p クラウド上のデータウェアハウス Ø 数クリックで起動 Ø 使った分だけの⽀払い p ⾼いパフォーマンス Ø ハイ・スケーラビリティMPP Ø カラムナ(列指向) p ⾼い汎⽤性 Ø PostgreSQL互換のSQL Ø 多くのBIツールがサポート
  • 50. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. p カラムナー型ストレージ p データ圧縮 p ゾーンマップ p 直結ストレージ p データブロックサイズ Amazon Redshift : I/Oを減らすための仕組み orderid name price 1 Book 100 2 Pen 50 … n Eraser 70 orderid name price 1 Book 100 2 Pen 50 … n Eraser 70 • ⾏指向型(他RDBMS) ・列指向型(Redshift)
  • 51. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. データベース移⾏のツール
  • 52. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 移⾏先エンジン/データベースの選定⽅法 (全ての機能⽐較表を作る前に) Aurora/データベース エンジンの異なる Amazon RDSに 移⾏できそう︖ 既存のデータベース エンジン(RDS)に 移⾏できそう︖ 既存データベース エンジンを Amazon EC2上 に構築 Amazon Aurora/ Amazon RDS 既存データベース エンジンの Amazon RDS No No Yes Yes - バージョンの互換性 - アプリケーションの(⽐較的⼤きな) 改修コスト - データベース固有機能が外せるのか - データベースエンジンを変更するこ とで技術的、ビジネス的課題を解決 するのか - 3rd パーティーのパッケージのサポート - 既存のパフォーマンスとの⽐較したサイジングで制限がある - 運⽤、アプリケーションの改修の可能性(OSへのアクセスや エージェント)
  • 53. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 移⾏パターンとポイントの整理 ⼗分な停⽌時間を 取れる ダンプツール CSVアンロード ソースとターゲットが 同⼀DBエンジン はい はい いいえいいえ
  • 54. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 移⾏パターンとポイントの整理 ⼗分な停⽌時間を 取れる ダンプツール CSVアンロード レプリケーション AWS Database Migration Service ソースとターゲットが 同⼀DBエンジン ソースとターゲットが 同⼀DBエンジン DB純正の レプリケーションが 組める はい はい いいえいいえ はい はい いいえいいえ
  • 55. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Database Migration Service (DMS) • 既存のデータベースを 最⼩限のダウンタイムで マイグレーションするサービス • 同種はもちろん 異種プラットフォームの 移⾏にも対応 オンプレミスDB DB on Amazon EC2 Amazon RDS オンプレミスDB DB on Amazon EC2 Amzaon RDS ※オンプレミス to オンプレミスは⾮対応 DMS Amazon S3
  • 56. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. インターネット or VPN or Direct Connect アプリケーション ユーザー 移⾏中もアプリケーションは稼働したまま オンプレミス Oracle AWS Cloud Aurora / Redshift
  • 57. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. インターネット or VPN or Direct Connect アプリケーション ユーザー 移⾏中もアプリケーションは稼働したまま 1. DMSを準備 DMS オンプレミス Oracle AWS Cloud Aurora / Redshift
  • 58. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. インターネット or VPN or Direct Connect アプリケーション ユーザー 移⾏中もアプリケーションは稼働したまま 1. DMSを準備 2. DMSがソースDBと ターゲットDBに接続 DMS オンプレミス Oracle AWS Cloud Aurora / Redshift
  • 59. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. インターネット or VPN or Direct Connect アプリケーション ユーザー 移⾏中もアプリケーションは稼働したまま 1. DMSを準備 2. DMSがソースDBと ターゲットDBに接続 3. 対象のスキーマ、 テーブルなどを選択 DMS オンプレミス Oracle AWS Cloud Aurora / Redshift
  • 60. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. インターネット or VPN or Direct Connect アプリケーション ユーザー 移⾏中もアプリケーションは稼働したまま 1. DMSを準備 2. DMSがソースDBと ターゲットDBに接続 3. 対象のスキーマ、 テーブルなどを選択 4. DMSがテーブルを作成し、データを ロードし、レプリケーション開始 DMS オンプレミス Oracle AWS Cloud Aurora / Redshift
  • 61. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. インターネット or VPN or Direct Connect アプリケーション ユーザー 移⾏中もアプリケーションは稼働したまま 1. DMSを準備 2. DMSがソースDBと ターゲットDBに接続 3. 対象のスキーマ、 テーブルなどを選択 4. DMSがテーブルを作成し、データを ロードし、レプリケーション開始 DMS オンプレミス Oracle AWS Cloud Aurora / Redshift
  • 62. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. インターネット or VPN or Direct Connect アプリケーション ユーザー 移⾏中もアプリケーションは稼働したまま 1. DMSを準備 2. DMSがソースDBと ターゲットDBに接続 3. 対象のスキーマ、 テーブルなどを選択 4. DMSがテーブルを作成し、データを ロードし、レプリケーション開始 5. 任意のタイミングで、 アプリをターゲットDB側に切り替え オンプレミス Oracle AWS Cloud Aurora / Redshift
  • 63. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Schema Conversion Tool (SCT) • ソースDBのスキーマ、ビュー、 ストアドプロシージャ、ファンクションの ⼤部分を⾃動的にターゲットDB互換 フォーマットに変換できる 無償のデスクトップアプリケーション • 何割のオブジェクトが⾃動変換可能か などのPDFレポートを数クリックで作成可 変換⼯数の⾃動⾒積もりを補助
  • 64. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 商⽤DBからの移⾏を検討しているお客様の声 「システム全体をクラウドに移⾏する際に、データベースの ダウンタイムを可能な限り短くしたい」 「RDBMSも従量課⾦で利⽤したいがCPUライセンスだとそ れができない」 「IT予算の多くを商⽤DBライセンスが占めている」 など
  • 65. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 考えられる移⾏パス: リフト • 既存のデータベース環境は できるだけ変更せず、 そのままクラウド化する • 既存データベースエンジンを 使⽤するシステムをクラウド化 することを最優先するオンプレミス
  • 66. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 考えられる移⾏パス: リフト データベースエンジンを維持したリフト Amazon EC2 に 既存データベースを お客様がインストール (Oracle on EC2) Amazon RDS for Oracleを使⽤ オンプレミス
  • 67. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 考えられる移⾏パス: シフト • 既存データベース環境の クラウド化と合わせて プラットフォーム変更も⾏う • クラウド化とRDBMSの プラットフォーム変更を 同時に⾏うため、 1回の移⾏⼯数は多いが 1回で済む Amazon RDS for PostgreSQL オンプレミス
  • 68. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 考えられる移⾏パス: リフト&シフト • 既存データベース環境を ひとまずリフトするが、 次のステップで より最適なプラットフォームに 変更する • 将来的には、より最適な プラットフォーム採⽤するが、 まずはシステムの クラウド化を優先する Amazon RDS for PostgreSQL オンプレミス
  • 69. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 考えられる移⾏パス ①リフト • 移⾏⼯数は少ない • クラウド最適化メリットは⼩さい ②シフト • 移⾏⼯数は⼤きい • クラウド最適化メリットは⼤きい ③リフト&シフト • 移⾏が2回必要 • 迅速なクラウド化(リフト)が可能 • クラウド最適化メリットを享受 (シフト)できる
  • 70. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Database Migration Playbook • トピックごとにどのようにデータベース、 DWHをAWSのデータベースサービスに 移⾏するか記載 • データベース固有の機能と様々な データベースオブジェクトを網羅 • 移⾏のベストプラクティス • Oracle to Amazon Aurora PostgreSQL • Oracle to Amazon Aurora MySQL • Oracle to Amazon Redshift • SQL Server to Aurora MySQL • SQL Server to Aurora PostgreSQL https://aws.amazon.com/dms/resources/
  • 71. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. お客様事例
  • 72. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 事例: 住信SBIネット銀⾏ オンプレミスの Oracle Database を Amazon Aurora へ移⾏ • 2019年3⽉4⽇ Webニュース • Oracle Database 11g 3ノードRAC から、 Amazon Aurora PostgreSQL 10 への移⾏を決定 • 機能/⾮機能/移⾏の観点で予備検討を実施 • アプリケーションの書き換えにはコストが かかるが、リリース後3年で回収可能 出典)https://www.netbk.co.jp/wpl/NBGate/i900500CT/PD/corp_news_20190304 https://japan.zdnet.com/article/35133723/ 性 能︓ピーク時のスループットが最⼤50%向上 可⽤性︓障害時は30秒でフェイルオーバーが完了 コスト︓83%のランニングコスト削減
  • 73. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Oracle を AWS上に移⾏したお客様事例 マガシーク株式会社 総合ファッションECサイトで 使⽤していた Oracle RAC を Amazon Aurora に移⾏ • AWS Database Migration Service を利⽤して2⼈体制で移⾏完了 • Auroraに単純移⾏しただけで、 あるバッチ処理の性能が3倍向上 • 拡張が柔軟にできるようになり、 セール対応が楽になった 株式会社 VOYAGE GROUP ECナビで使⽤している OracleをAWSに移⾏ • Oracleライセンス込みプ ランを使⽤、初期費⽤で 数千万円、年間でも千数 百万円ほどのライセンス 費⽤の削減を実現 • ECナビのコアとなる情報 を扱うだけの⼗分な性能 と信頼性を確認 ソニー銀⾏株式会社 管理会計システム⽤ OracleをAWSに移⾏ • オンプレ環境に⽐べ、イ ンフラコストを30〜50% 程度削減 • インフラ導⼊ / 構築期間 が半減 • 新たなシステム構成 / ⽅ 式の実機検証も、低コス トかつスピーディーに対 応可能
  • 74. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 全⽇本空輸株式会社 様 ⼤規模なデータの移⾏には、データベース移⾏ツール AWS Database Migration Service(DMS)を採⽤。 20 年以上にわたってオンプレミス環境で運⽤してき たデータ分析基盤を、⼤きなトラブルなくクラウドに 移⾏できたことの意義は⼤きい ” ” DMSを利⽤したお客様の声 Why AWS︖ AWS を選んだ決め⼿は、⽇本国内の⾦融機関や⼩売業など⼤規模 に機密情報を扱うシステムでの豊富な導⼊実績に裏付けられたセ キュリティの⾼さ、ノウハウを持つ AWS パートナーの数が圧倒 的に多かった。検討当初からコンサルティング/アドバイザリー サービスの AWS プロフェッショナルサービスを活⽤し、専⾨家 の知⾒を取り込んだこともプロジェクトの円滑な進⾏につながり ました。
  • 75. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 課題 データから洞察を得て、ビジネスの機 会を認識し、パフォーマンスを評価す るために分析する必要があった Oracle で構築された旧来の DWH では、 規模がスケールせず、維持が難しく、 ⾼コストであった ソリューション Amazon S3 データレイクを構築し、 Amazon Redshift および Redshift Spectrum、そして Amazon EMRを使っ てデータを分析する 結果: 分析できるデータ容量は2倍に増 加 (100PB), コストは削減され、洞察を 得るまでのスピードが向上 データ容量︓>100 PB 分析ジョブ/⽇︓600,000
  • 76. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 事例︓ ビデオリサーチ 様 (CTC 様ご⽀援) ⼤規模データの分析基盤をAmazon Redshiftに移⾏、 性能は既存のオンプレミス並みで運⽤コストは2分の1に • アプライアンスの 保守切れを機に新たな選択肢を模索 • PoC検証でAmazon Redshiftの実⼒を確認 リソース拡縮の⾃由度の⾼さで導⼊を決定 • 運⽤管理業務の効率化に⼤きな効果 ⇛ 運⽤コストは2分の1に 「分析基盤を使わない時間帯に Amazon Redshift のサービスを⾃動的に停⽌したり、 無駄なリソースを使わないように運⽤したりすることで、5 年間のトータル運⽤コスト はオンプレミス環境と⽐べて 50%以上は削減ができると⾒ています。」 株式会社ビデオリサーチ IT・技術推進局 IT1 部⻑兼管理グループ課⻑ 太⽥雅⽒
  • 77. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. • APN プレミアコンサルティングパートナー Ø • AWS 移⾏コンピテンシーを取得 Ø • AWS Oracle コンピテンシーを取得 Ø マイグレーションの⽀援は CTC 様へ Premier
  • 78. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. まとめ
  • 79. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. • データベースの選択 Ø 適材適所のサービス選択 Ø RDB / NoSQL / DWH … • データベースの移⾏パス Ø リフトのみ Ø シフトのみ Ø リフト & シフト • 移⾏⽀援サービス Ø AWS Database Migration Service Ø AWS Scheme Conversion Tool • マネージドサービスの活⽤ Ø 導⼊・運⽤コスト削減 Ø Innovation に集中 事例から学ぶ︕AWS 移⾏でデータベースの 管理・コストを削減する⽅法まとめ
  • 80. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank You!