2018年1月23日に実施したAmazon Redshift オンラインハンズオンでのRedshift概要説明資料です。

1. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
1
アマゾン ウェブ サービス ジャパン株式会社
ソリューションアーキテクト
下佐粉 昭 @simosako
2018.1.23
Amazon Redshift 概要

2. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
2
注目を集めるクラウド型データ・ウェアハウス
DWHの課題：投資対効果の検討が困難
• 導入時点で数年先のデータ増加量を見通すのは困難
• 投資に見合ったビジネスへの貢献＝ 価値のあるデータ分析ができるか？
• しかし、やってみないと分からないからこそ分析したい
クラウドでは①：利用した分だけの支払い
• 初期投資が不要。導入のリスクが最小
• DWHに付随するその他の投資（バックアップディスク等）も最小
クラウドでは②：運用管理が楽で柔軟に
• 必要な時にすぐに作成可能、専門家でなくてもDWHを起動可能
• 自動バックアップ、障害からの自動回復など
• 検証機やスタンバイ機が不要

3. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
3
Amazon Redshiftの概要
クラウド上のDWH
• 数クリックで起動
• 使った分だけの支払い
• 運用管理の手間が少ない
高いパフォーマンス
• ハイ・スケーラビリティ
高い汎用性
• PostgreSQL互換のSQL
• 多くのBIツールがサポート
コンピュート
ノード
コンピュート
ノード
コンピュート
ノード
リーダー
ノード
SQLクライアント
BIツール
JDBC/ODBC

4. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
4
Redshift - DWHに特化した設計
１）大規模スケールアウトを可能にするデザイン
• MPP : Massive Parallel Processing
• シェアードナッシング
（ディスクをノードで共有しない）
２）ディスクIOを削減するための様々な仕組み
• DWH最大のボトルネックはディスクIO

5. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
5
Redshiftの構成① - MPP＆シェアードナッシング
SELECT *
FROM lineitem;
リーダーノードがクライア
ントからSQLを受け取る
CPU CPU CPU CPU CPU CPU
Leaderノード
Computeノード
１つの表を各ノード
のストレージに分散
して保存（シェアー
ドナッシング）
表データ

6. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
6
Redshiftの構成②
SELECT *
FROM lineitem;
SQLをコンパイル、
コードを生成し、コン
ピュートノードへ配信
CPU CPU CPU CPU CPU CPU
Leaderノード
Computeノード
スライス＝
メモリとディスクを
ノード内で分割した論
理的な処理単位
コンピュートノードの追
加でパフォーマンス向上
（スケールアウト）

7. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
7
ノードタイプ
SSDベースのDCとHDDベースのDSから選択
• データは圧縮されて格納されるため、ストレージ総量より多くのデータが格納可能
最大128ノード：2ペタバイトまで拡張可能
• ノードタイプやノード数は後から変更可能
DC2 - Dense Compute
仮想CPU メモリ[GB] ストレージ ノード数 価格
dc2.large 2 15 0.16TB MVNe SSD 1~32 $0.314/時間
dc2.8xlarge 32 244 2.56TB MVNe SSD 2~128 $6.095/時間
DS2 – Dense Storage
ds2.xlarge 4 31 2TB HDD 1~32 $1.190/時間
ds2.8xlarge 36 244 16TB HDD 2~128 $9.520/時間
※価格は東京リージョンにおいて2018年1月時点のものです
※旧世代のDC1も利用可能です

8. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
8
IOを削減する仕組み① - 列指向型（カラムナ）
・行指向型（他RDBMS） ・列指向型（Redshift）
orderid name price
1 Book 100
2 Pen 50
…
n Eraser 70
orderid name price
1 Book 100
2 Pen 50
…
n Eraser 70
カラムナはDWH用途に適した格納方法

9. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
9
IOを削減する仕組み② - 圧縮
データは圧縮してストレージに
格納される
カラムナのため類似したデータ
が集まり、高い圧縮率を実現
エンコード（圧縮アルゴリズ
ム）は列ごとに選択可能
COPYコマンドやANALYZEコマ
ンドで圧縮アルゴリズムの推奨
を得ることが可能

10. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
10
IOを削減する仕組み③ - ゾーンマップ
Redshiftは「ブロック」単位で
ディスクにデータを格納
１ブロック＝１MB
ブロック内の最小値と最大値をメ
モリに保存
不要なブロックを読み飛ばすこと
が可能
10 | 13 | 14 | 26 |…
… | 100 | 245 | 324
375 | 393 | 417…
… 512 | 549 | 623
637 | 712 | 809 …
… | 834 | 921 | 959
10
324
375
623
637
959

11. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
11
フルマネージドサービス
設計・構築・運用の手間を削減
• 数クリックで起動
• １時間単位の費用
• ノード数やタイプは後から変更可能
• バックアップ
• 自動的にS3に差分バックアップ
• 手動バックアップも可能
• モニタリング機能：CloudWatch
• パッチ適用も自動的
• メンテナンスウィンドウでパッチの時間
帯を指定可能

12. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
12
Redshiftが向く用途
特化型のデータベースのため、
適した用途に使うことでパフォーマンスを発揮します
Redshiftに向くワークロード
• 巨大なデータ・セット（数百GB～ペタバイト）
• １つ１つのSQLが複雑だが、同時実行SQLは少ない
• データの更新は一括導入
ユースケース
• データウェアハウス（DWH）
• ユーザがクエリーを作成する（自由クエリー）（BI等）

13. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
13
Redshiftの特徴を生かせないユースケース
SQLの並列実行数が多い（※同時接続数ではなく同時実行数）
• RDS/Auroraを検討
極めて短いレーテンシが必要なケース
• ElastiCache(インメモリDB）やRDS/Auroraを検討
ランダム、かつパラレルな更新アクセス
• RDS/AuroraもしくはDynamoDB (NoSQL)を検討
巨大なデータを格納するが集計等はしない
• DynamoDBや大きいインスタンスのRDSを検討

14. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
14
ニーズに応じて適切なデータストアを選択してください
AWSのデータストアと、特性に応じた使い分け
Amazon DynamoDB
Amazon
RDS/Aurora
Amazon ElastiCache
Amazon Redshift
SQL
NoSQL• 低レンテンシ
• インメモリ
• 3拠点間での
レプリケーション
• 高いIOPS
• トランザク
ション処理
• 汎用
• 集計・分析処理
• 大容量データ
• DWH

15. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
15
オンプレミス環境との連携
• ファイルをS3に転送し、そこからRedshiftへデータロード
• 大容量の転送を安定させる場合は専用線接続も可能
Amazon Redshift
データセンター
RDBMS Amazon S3
BI on Amazon EC2
もしくはAmazon QuickSight
テキストファイル
1,Book,100⏎
2,Pen,50⏎
…
n,Eraser,10⏎
アプリサーバ
Webアクセス・ログ
2013-06-05 12:00:00
192.168.0.2
http://www.amazon.com
2013-06-05 12:00:01 …
インターネットVPN
もしくは
専用線接続
（Direct Connect)
ロード
（COPY）

16. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
16
AWSパートナーによる
RedshiftサポートのBI・
ETLソフトウェアが多数
PostgreSQLとの高い互換性
をもとに、既存ツールの活
用がしやすい環境
多くの周辺ツールを活用可能

17. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
17
Redshift Spectrum
• Redshiftのデータ保存方法を拡張
• S3上のファイルを外部テーブルと
して定義し、ロードせずクエリ
• ローカルストレージ上のデータと
ジョインが可能
• 多様なファイルフォーマットに対応
• CSV, TSV, Parquet, ORC ...
S3
各種データ
（CSV，Parquet等）
Spectrum層

18. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
18
補足：AWS Cloud9
• ブラウザだけでコーディング、実行、デバッグが可能なクラウドネイティブIDE
• リッチエディタ、統合デバッグ、AWS CLIがプリインストールされたビルドイン
ターミナル
• 数分で利用開始可能で、ローカル開発マシンのインストールや環境構成は不要
• 安価な利用料金（Cloud9から起動したEC2で費用が発生）

19. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
19
AWS Cloud9 スクリーンショット
自動補完機能
シンタックスチェックや
コードのカラーリング

20. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
20
まとめ：Redshift
低リスクかつ低コストで高速・スケーラブルなデータウェ
アハウスを容易に構築・運用できる
小規模利用からエンタープライズシステムにおよぶ幅広い
分野での実績
まずはお試しください！
• 無料利用枠：最初の2か月間 dc1.large 750時間/月

21. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
21
ケース・スタディ

22. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
22
POSデータ
を
定期的に転
送
すかいらーく様 POSデータ分析
過去数年分、数十億件のデータに加えて、日に数百万件のデータを投入
POSの生データを必要とする複雑な分析が、数日=>数秒になり、仮説検証・施
策投入のサイクルが飛躍的に向上
• レシート単位の売り上げ分析、商品の併売率、バスケット粗利、販
促施策の費用対効果、時間ごとの店舗稼働率、滞在時間等を分
析
Why AWS
• コスト：DWHアプライアンスと比べて2桁安
• スピード：利用開始までの期間が既存ソリューションの10分の1
• 容易性：膨大なデータを扱うにもかかわらず、高度なITインフラ知識
が不要
• スケーラビリティ：データ量が増えても
基盤の心配なく分析可能
国内3000店舗、年間4億人が利用するレストランの
POSデータ分析システムを、わずか1ヶ月で本番稼動
自社DC
Amazon
Redshift
(DWH)
Amazon S3
(データ収集)
Amazon EC2
(分析サーバー)
膨大なデータを数秒
～数十秒で分析
フィー
ドバッ
ク
本部（マーケティング部
門）
きめ細かいメッシュ、
多次元の相関を加味した
売上予測、販促効果分析
店舗（約3000店）
要員計画、調達計画、
臨時キャンペーン等に
活用
本部
店舗
http://aws.amazon.com/jp/solutions/case-studies/skylark/
http://media.amazonwebservices.com/jp/summit2014/EA-06.pdf

23. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
23
NTTドコモ様 統合DWHプロジェクト
「ペタバイト級のデータを安全に
ハンドリングしつつ、拡張性に富
む業務分析システムを実現できま
した」
安全性を担保するために、NTTドコモで構築する業務系システム等は、高い情報セ
キュリティ基準をクリアすることが前提となっています。以前ではオンプレミス
以外ではこの基準をクリアすることは厳しいと考えていましたが、
• セキュリティ機能の充実
• アクセス制御・統制
• ユーザ管理・統制
といった AWS の機能追加により、これら
の基準をクリアするシステム構築が可能
になりました

24. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
24
関連資料・情報

25. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
25
関連情報
Amazon Redshift
• Amazon Redshift ホームページ
• https://aws.amazon.com/jp/redshift/
• AWS Blackbelt – Amazon Redshift
• https://www.slideshare.net/AmazonWebServicesJapan/aws-black-
belt-online-seminar-amazon-redshift
• AWS Blackbelt – Amazon Redshift Spectrum
• https://www.slideshare.net/AmazonWebServicesJapan/aws-black-
belt-online-seminar-2017-amazon-redshift-update
AWS Cloud9
• AWS Cloud9 ホームページ
• https://aws.amazon.com/jp/cloud9/

26. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
26
内容についての注意点
• 本資料では2018年1月23日時点のサービス内容および価格についてご説明しています。最新
の情報はAWS公式ウェブサイト(http://aws.amazon.com)にてご確認ください。
• 資料作成には十分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の価格に
相違があった場合、AWS公式ウェブサイトの価格を優先とさせていただきます。
• 価格は税抜表記となっています。日本居住者のお客様が東京リージョンを使用する場合、別途
消費税をご請求させていただきます。
• AWS does not offer binding price quotes. AWS pricing is publicly available and is
subject to change in accordance with the AWS Customer Agreement available at
http://aws.amazon.com/agreement/. Any pricing information included in this
document is provided only as an estimate of usage charges for AWS services based
on certain information that you have provided. Monthly charges will be based on
your actual use of AWS services, and may vary from the estimates provided.

27. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
27