Suche senden
Hochladen
AWS Casual 02: ふつうのRedshiftパフォーマンスチューニング
•
36 gefällt mir
•
8,518 views
Minero Aoki
Folgen
ふつうのRedshiftパフォーマンスチューニング @ AWS Casual 02, 2014-04-18
Weniger lesen
Mehr lesen
Technologie
Melden
Teilen
Melden
Teilen
1 von 28
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
Logをs3とredshiftに格納する仕組み
Logをs3とredshiftに格納する仕組み
Ken Morishita
Amazon Redshiftの開発者がこれだけは知っておきたい10のTIPS / 第18回 AWS User Group - Japan
Amazon Redshiftの開発者がこれだけは知っておきたい10のTIPS / 第18回 AWS User Group - Japan
Koichi Fujikawa
Amazon Redshift ことはじめ
Amazon Redshift ことはじめ
Shiro Miyazaki
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Web Services Japan
はじめてのAmazon Redshift
はじめてのAmazon Redshift
Jun Okubo
事例で学ぶApache Cassandra
事例で学ぶApache Cassandra
Yuki Morishita
Windows Azure HDInsight サービスの紹介
Windows Azure HDInsight サービスの紹介
Kuninobu SaSaki
FukuokaCloud_Azure
FukuokaCloud_Azure
Shinichiro Isago
Empfohlen
Logをs3とredshiftに格納する仕組み
Logをs3とredshiftに格納する仕組み
Ken Morishita
Amazon Redshiftの開発者がこれだけは知っておきたい10のTIPS / 第18回 AWS User Group - Japan
Amazon Redshiftの開発者がこれだけは知っておきたい10のTIPS / 第18回 AWS User Group - Japan
Koichi Fujikawa
Amazon Redshift ことはじめ
Amazon Redshift ことはじめ
Shiro Miyazaki
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Web Services Japan
はじめてのAmazon Redshift
はじめてのAmazon Redshift
Jun Okubo
事例で学ぶApache Cassandra
事例で学ぶApache Cassandra
Yuki Morishita
Windows Azure HDInsight サービスの紹介
Windows Azure HDInsight サービスの紹介
Kuninobu SaSaki
FukuokaCloud_Azure
FukuokaCloud_Azure
Shinichiro Isago
Amazon Aurora Deep Dive (db tech showcase 2016)
Amazon Aurora Deep Dive (db tech showcase 2016)
Amazon Web Services Japan
Webアプリケーションから見たCassandra
Webアプリケーションから見たCassandra
2t3
Db tech showcase2015 how to replicate between clusters
Db tech showcase2015 how to replicate between clusters
Hiroaki Kubota
インフラエンジニアのためのcassandra入門
インフラエンジニアのためのcassandra入門
Akihiro Kuwano
RDB開発者のためのApache Cassandra データモデリング入門
RDB開発者のためのApache Cassandra データモデリング入門
Yuki Morishita
AWS Black Belt Techシリーズ Amazon Redshift
AWS Black Belt Techシリーズ Amazon Redshift
Amazon Web Services Japan
Cassandraとh baseの比較して入門するno sql
Cassandraとh baseの比較して入門するno sql
Yutuki r
(LT)Spark and Cassandra
(LT)Spark and Cassandra
datastaxjp
Devsumi2013【15-e-5】NoSQLの野心的な使い方 ~Apache Cassandra編~
Devsumi2013【15-e-5】NoSQLの野心的な使い方 ~Apache Cassandra編~
kishimotosc
Couchbase introduction-20150611
Couchbase introduction-20150611
Couchbase Japan KK
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
Yahoo!デベロッパーネットワーク
DB Tech showcase Tokyo 2015 Works Applications
DB Tech showcase Tokyo 2015 Works Applications
2t3
Cassandraのトランザクションサポート化 & web2pyによるcms用プラグイン開発
Cassandraのトランザクションサポート化 & web2pyによるcms用プラグイン開発
kishimotosc
[db tech showcase Tokyo 2015] A33:Amazon Aurora Deep Dive by アマゾン データ サービス ジャ...
[db tech showcase Tokyo 2015] A33:Amazon Aurora Deep Dive by アマゾン データ サービス ジャ...
Insight Technology, Inc.
Db tech showcase 2016
Db tech showcase 2016
datastaxjp
噛み砕いてKafka Streams #kafkajp
噛み砕いてKafka Streams #kafkajp
Yahoo!デベロッパーネットワーク
NoSQLに関するまとめ
NoSQLに関するまとめ
Gosuke Miyashita
[db tech showcase Tokyo 2016] D27: Next Generation Apache Cassandra by ヤフー株式会...
[db tech showcase Tokyo 2016] D27: Next Generation Apache Cassandra by ヤフー株式会...
Insight Technology, Inc.
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
terurou
リペア時間短縮にむけた取り組み@Yahoo! JAPAN #casstudy
リペア時間短縮にむけた取り組み@Yahoo! JAPAN #casstudy
Yahoo!デベロッパーネットワーク
ツイートID生成とツイッターリアルタイム検索システムの話
ツイートID生成とツイッターリアルタイム検索システムの話
Preferred Networks
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展
Recruit Technologies
Weitere ähnliche Inhalte
Was ist angesagt?
Amazon Aurora Deep Dive (db tech showcase 2016)
Amazon Aurora Deep Dive (db tech showcase 2016)
Amazon Web Services Japan
Webアプリケーションから見たCassandra
Webアプリケーションから見たCassandra
2t3
Db tech showcase2015 how to replicate between clusters
Db tech showcase2015 how to replicate between clusters
Hiroaki Kubota
インフラエンジニアのためのcassandra入門
インフラエンジニアのためのcassandra入門
Akihiro Kuwano
RDB開発者のためのApache Cassandra データモデリング入門
RDB開発者のためのApache Cassandra データモデリング入門
Yuki Morishita
AWS Black Belt Techシリーズ Amazon Redshift
AWS Black Belt Techシリーズ Amazon Redshift
Amazon Web Services Japan
Cassandraとh baseの比較して入門するno sql
Cassandraとh baseの比較して入門するno sql
Yutuki r
(LT)Spark and Cassandra
(LT)Spark and Cassandra
datastaxjp
Devsumi2013【15-e-5】NoSQLの野心的な使い方 ~Apache Cassandra編~
Devsumi2013【15-e-5】NoSQLの野心的な使い方 ~Apache Cassandra編~
kishimotosc
Couchbase introduction-20150611
Couchbase introduction-20150611
Couchbase Japan KK
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
Yahoo!デベロッパーネットワーク
DB Tech showcase Tokyo 2015 Works Applications
DB Tech showcase Tokyo 2015 Works Applications
2t3
Cassandraのトランザクションサポート化 & web2pyによるcms用プラグイン開発
Cassandraのトランザクションサポート化 & web2pyによるcms用プラグイン開発
kishimotosc
[db tech showcase Tokyo 2015] A33:Amazon Aurora Deep Dive by アマゾン データ サービス ジャ...
[db tech showcase Tokyo 2015] A33:Amazon Aurora Deep Dive by アマゾン データ サービス ジャ...
Insight Technology, Inc.
Db tech showcase 2016
Db tech showcase 2016
datastaxjp
噛み砕いてKafka Streams #kafkajp
噛み砕いてKafka Streams #kafkajp
Yahoo!デベロッパーネットワーク
NoSQLに関するまとめ
NoSQLに関するまとめ
Gosuke Miyashita
[db tech showcase Tokyo 2016] D27: Next Generation Apache Cassandra by ヤフー株式会...
[db tech showcase Tokyo 2016] D27: Next Generation Apache Cassandra by ヤフー株式会...
Insight Technology, Inc.
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
terurou
リペア時間短縮にむけた取り組み@Yahoo! JAPAN #casstudy
リペア時間短縮にむけた取り組み@Yahoo! JAPAN #casstudy
Yahoo!デベロッパーネットワーク
Was ist angesagt?
(20)
Amazon Aurora Deep Dive (db tech showcase 2016)
Amazon Aurora Deep Dive (db tech showcase 2016)
Webアプリケーションから見たCassandra
Webアプリケーションから見たCassandra
Db tech showcase2015 how to replicate between clusters
Db tech showcase2015 how to replicate between clusters
インフラエンジニアのためのcassandra入門
インフラエンジニアのためのcassandra入門
RDB開発者のためのApache Cassandra データモデリング入門
RDB開発者のためのApache Cassandra データモデリング入門
AWS Black Belt Techシリーズ Amazon Redshift
AWS Black Belt Techシリーズ Amazon Redshift
Cassandraとh baseの比較して入門するno sql
Cassandraとh baseの比較して入門するno sql
(LT)Spark and Cassandra
(LT)Spark and Cassandra
Devsumi2013【15-e-5】NoSQLの野心的な使い方 ~Apache Cassandra編~
Devsumi2013【15-e-5】NoSQLの野心的な使い方 ~Apache Cassandra編~
Couchbase introduction-20150611
Couchbase introduction-20150611
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
DB Tech showcase Tokyo 2015 Works Applications
DB Tech showcase Tokyo 2015 Works Applications
Cassandraのトランザクションサポート化 & web2pyによるcms用プラグイン開発
Cassandraのトランザクションサポート化 & web2pyによるcms用プラグイン開発
[db tech showcase Tokyo 2015] A33:Amazon Aurora Deep Dive by アマゾン データ サービス ジャ...
[db tech showcase Tokyo 2015] A33:Amazon Aurora Deep Dive by アマゾン データ サービス ジャ...
Db tech showcase 2016
Db tech showcase 2016
噛み砕いてKafka Streams #kafkajp
噛み砕いてKafka Streams #kafkajp
NoSQLに関するまとめ
NoSQLに関するまとめ
[db tech showcase Tokyo 2016] D27: Next Generation Apache Cassandra by ヤフー株式会...
[db tech showcase Tokyo 2016] D27: Next Generation Apache Cassandra by ヤフー株式会...
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
リペア時間短縮にむけた取り組み@Yahoo! JAPAN #casstudy
リペア時間短縮にむけた取り組み@Yahoo! JAPAN #casstudy
Ähnlich wie AWS Casual 02: ふつうのRedshiftパフォーマンスチューニング
ツイートID生成とツイッターリアルタイム検索システムの話
ツイートID生成とツイッターリアルタイム検索システムの話
Preferred Networks
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展
Recruit Technologies
Simplest API Server "miq"
Simplest API Server "miq"
Yuki Ito
ORTCの仕様書をざっくり斜め読みする
ORTCの仕様書をざっくり斜め読みする
Yusuke Naka
PHPとMongoDBで学ぶ次世代データストア
PHPとMongoDBで学ぶ次世代データストア
Takuya Sato
続・SECDマシン
続・SECDマシン
t-sin
最近のストリーム処理事情振り返り
最近のストリーム処理事情振り返り
Sotaro Kimura
LineairDBの紹介
LineairDBの紹介
Sho Nakazono
Dalvik仮想マシンのアーキテクチャ 改訂版
Dalvik仮想マシンのアーキテクチャ 改訂版
Takuya Matsunaga
PSoCまつり「PSoCの美味しい料理法」
PSoCまつり「PSoCの美味しい料理法」
betaEncoder
Handlersocket 20140218
Handlersocket 20140218
akirahiguchi
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
griddb
クラウドの破壊力
クラウドの破壊力
Osaka University
初心者向け負荷軽減のはなし
初心者向け負荷軽減のはなし
Oonishi Takaaki
コモディティL3SW/ルータでオープンなSDNを実現しよう
コモディティL3SW/ルータでオープンなSDNを実現しよう
Takashi Sogabe
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Recruit Technologies
Fluentd meetup #2
Fluentd meetup #2
Tomohiro Ikeda
Ossで作成するチーム開発環境
Ossで作成するチーム開発環境
Tadahiro Ishisaka
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
Satoru Ishikawa
Webエンジニアがスタートダッシュをキメるためのローカル開発環境の勘所
Webエンジニアがスタートダッシュをキメるためのローカル開発環境の勘所
Y Watanabe
Ähnlich wie AWS Casual 02: ふつうのRedshiftパフォーマンスチューニング
(20)
ツイートID生成とツイッターリアルタイム検索システムの話
ツイートID生成とツイッターリアルタイム検索システムの話
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展
Simplest API Server "miq"
Simplest API Server "miq"
ORTCの仕様書をざっくり斜め読みする
ORTCの仕様書をざっくり斜め読みする
PHPとMongoDBで学ぶ次世代データストア
PHPとMongoDBで学ぶ次世代データストア
続・SECDマシン
続・SECDマシン
最近のストリーム処理事情振り返り
最近のストリーム処理事情振り返り
LineairDBの紹介
LineairDBの紹介
Dalvik仮想マシンのアーキテクチャ 改訂版
Dalvik仮想マシンのアーキテクチャ 改訂版
PSoCまつり「PSoCの美味しい料理法」
PSoCまつり「PSoCの美味しい料理法」
Handlersocket 20140218
Handlersocket 20140218
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
クラウドの破壊力
クラウドの破壊力
初心者向け負荷軽減のはなし
初心者向け負荷軽減のはなし
コモディティL3SW/ルータでオープンなSDNを実現しよう
コモディティL3SW/ルータでオープンなSDNを実現しよう
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Fluentd meetup #2
Fluentd meetup #2
Ossで作成するチーム開発環境
Ossで作成するチーム開発環境
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
Webエンジニアがスタートダッシュをキメるためのローカル開発環境の勘所
Webエンジニアがスタートダッシュをキメるためのローカル開発環境の勘所
Kürzlich hochgeladen
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Kürzlich hochgeladen
(7)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
AWS Casual 02: ふつうのRedshiftパフォーマンスチューニング
1.
ふつうのRedshift パフォーマンスチューニング 青木峰郎
2.
Redshiftについて
3.
並列RDBMS
4.
Redshiftのアーキテクチャ compute node 0 compute
node 1 leader node compute node 2 compute node 3
5.
並列単位はNode Slice Node 0
Node 1 Node 2 Slice 0 Slice 1 Slice 2 Slice 3 Slice 4 Slice 5
6.
行は分散キーのハッシュ値で決定する node slice 0
node slice 1 node slice 2 node slice 3 time user_id item_id 1398579843 289750 19375
7.
本題
8.
なんかシステムもいろいろ あるじゃないですか
9.
典型的なシステム ウェブとか アプリとか Redshift BIツール Txn, ログ マスター マスター Hadoop 直SQL (人間) バッチ
10.
処理の種類 • オンライン(OLTP)マイクロ秒、更新あり • オンライン(OLAP
/ tactical)0.1∼数秒 • オンライン(OLAP / strategic)数秒∼数分 • バッチ 数分∼数時間
11.
OLTP 無理
12.
具体的に言うと… • リクエストの並列度が高いのは無理 • 秒間2桁以上はやめとけ •
高頻度・細粒度で更新するのは無理 • 5分間隔の追加くらいがギリ
13.
Tactical Query • sortkeyに当てろ •
テーブルサイズを実測して一番小さくしろ • 事前ジョインはあんま効かない(集計はOK)
14.
Strategic, Batch ここからが本番
15.
問題外の頻出パターン Redshift 全行selectしてきてRedshiftの外で非並列処理している Rubyとか Perlとか
16.
やめて!
17.
データを移動したら負け
18.
データの規模感 行数 サイズ 雰囲気
設計時の態度 100億∼ 1TB∼ マジヤバイ 細心の注意 ∼100億 ∼1TB 大きい 真面目にやれ ∼10億 ∼100GB 普通 考える ∼1億 ∼10GB 小さい 適当 ∼1千万 ∼1GB ゴミ 無視
19.
ネットワークが最重要 slice 0 CPU Disk slice 1 CPU Disk slice
2 CPU Disk
20.
dw1.xlargeの場合 最近の速度 速度比 CPU メモリより だいぶ速い x10 メモリ 20GB/s ※DDR3 x100 ディスク 300MB/s
x10 ネットワーク 30MB/s ※実測 1
21.
チューニングすべき順 # リソース 手段 1
ネットワーク distkey 2 I/O encode, sortkey, 正規化, 事前集計 3 CPU sortkey, 正規化, 事前集計
22.
再分散を避ける データ データ データ
データ データ データ データ データ
23.
ジョインキーがdistkeyなら 再分散は起こらない user_id time action 1 1 3 5 user_id
name org 1 3 5 7 user_id time action 2 4 4 4 user_id name org 2 4 6 8 ログテーブル ユーザー マスター
24.
ログテーブル GROUP BYキーがdistkeyなら 再分散は起こらない user_id time
action 1 1 3 5 5 5 7 9 9 user_id time action 2 4 4 4 6 6 8 10 10
25.
目印は DS_DIST_NONE
26.
データを移動したら負け (再)
27.
詳しくは WEB+DB pressの 記事をごら んください
28.
カジュアルなまとめ • 並列RDBではネットワークが最も貴重 • ネットワークの負荷を減らすには再分散を回避 •
再分散を回避するには分散キーを熟慮する
Jetzt herunterladen