Suche senden
Hochladen
[D36] Michael Stonebrakerが生み出した列指向データベースは何が凄いのか? ~Verticaを例に列指向データベースのアーキテクチャを詳解~ by Hiroyuki Komori
•
7 gefällt mir
•
4,030 views
Insight Technology, Inc.
Folgen
Technologie
Melden
Teilen
Melden
Teilen
1 von 29
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
Data platformdesign
Data platformdesign
Ryoma Nagata
ソーシャルゲームのためのデータベース設計
ソーシャルゲームのためのデータベース設計
Yoshinori Matsunobu
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
Takuto Wada
テスト文字列に「うんこ」と入れるな
テスト文字列に「うんこ」と入れるな
Kentaro Matsui
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
NTT DATA OSS Professional Services
PostgreSQLアンチパターン
PostgreSQLアンチパターン
Soudai Sone
Snowflake Architecture and Performance
Snowflake Architecture and Performance
Mineaki Motohashi
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Amazon Web Services Japan
Empfohlen
Data platformdesign
Data platformdesign
Ryoma Nagata
ソーシャルゲームのためのデータベース設計
ソーシャルゲームのためのデータベース設計
Yoshinori Matsunobu
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
Takuto Wada
テスト文字列に「うんこ」と入れるな
テスト文字列に「うんこ」と入れるな
Kentaro Matsui
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
NTT DATA OSS Professional Services
PostgreSQLアンチパターン
PostgreSQLアンチパターン
Soudai Sone
Snowflake Architecture and Performance
Snowflake Architecture and Performance
Mineaki Motohashi
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Amazon Web Services Japan
各種データベースの特徴とパフォーマンス比較
各種データベースの特徴とパフォーマンス比較
株式会社オプト 仙台ラボラトリ
AWS Black Belt Online Seminar Amazon Aurora
AWS Black Belt Online Seminar Amazon Aurora
Amazon Web Services Japan
イミュータブルデータモデル(入門編)
イミュータブルデータモデル(入門編)
Yoshitaka Kawashima
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
Hiroshi Ito
最近のストリーム処理事情振り返り
最近のストリーム処理事情振り返り
Sotaro Kimura
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
Amazon Web Services Japan
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
NTT DATA Technology & Innovation
データモデルについて知っておくべき7つのこと 〜NoSQLに手を出す前に〜
データモデルについて知っておくべき7つのこと 〜NoSQLに手を出す前に〜
Mikiya Okuno
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
ストリーム処理を支えるキューイングシステムの選び方
ストリーム処理を支えるキューイングシステムの選び方
Yoshiyasu SAEKI
イミュータブルデータモデルの極意
イミュータブルデータモデルの極意
Yoshitaka Kawashima
DynamoDBの初心者に伝えたい初めて触るときの勘所
DynamoDBの初心者に伝えたい初めて触るときの勘所
Ryo Sasaki
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのこと
Amazon Web Services Japan
マルチテナントのアプリケーション実装〜実践編〜
マルチテナントのアプリケーション実装〜実践編〜
Yoshiki Nakagawa
ゲームエンジニアのためのデータベース設計
ゲームエンジニアのためのデータベース設計
sairoutine
PostgreSQLの行レベルセキュリティと SpringAOPでマルチテナントの ユーザー間情報漏洩を防止する (JJUG CCC 2021 Spring)
PostgreSQLの行レベルセキュリティと SpringAOPでマルチテナントの ユーザー間情報漏洩を防止する (JJUG CCC 2021 Spring)
Koichiro Matsuoka
webエンジニアのためのはじめてのredis
webエンジニアのためのはじめてのredis
nasa9084
イミュータブルデータモデル(世代編)
イミュータブルデータモデル(世代編)
Yoshitaka Kawashima
クラウドでも非機能要求グレードは必要だよね
クラウドでも非機能要求グレードは必要だよね
YoshioSawada
グラフ構造のデータモデルをPower BIで可視化してみた
グラフ構造のデータモデルをPower BIで可視化してみた
CData Software Japan
[db tech showcase Sapporo 2015] B16:ビッグデータには、なぜ列指向が有効なのか? by 日本ヒューレット・パッカード株式...
[db tech showcase Sapporo 2015] B16:ビッグデータには、なぜ列指向が有効なのか? by 日本ヒューレット・パッカード株式...
Insight Technology, Inc.
何故DeNAがverticaを選んだか?
何故DeNAがverticaを選んだか?
Kenshin Yamada
Weitere ähnliche Inhalte
Was ist angesagt?
各種データベースの特徴とパフォーマンス比較
各種データベースの特徴とパフォーマンス比較
株式会社オプト 仙台ラボラトリ
AWS Black Belt Online Seminar Amazon Aurora
AWS Black Belt Online Seminar Amazon Aurora
Amazon Web Services Japan
イミュータブルデータモデル(入門編)
イミュータブルデータモデル(入門編)
Yoshitaka Kawashima
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
Hiroshi Ito
最近のストリーム処理事情振り返り
最近のストリーム処理事情振り返り
Sotaro Kimura
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
Amazon Web Services Japan
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
NTT DATA Technology & Innovation
データモデルについて知っておくべき7つのこと 〜NoSQLに手を出す前に〜
データモデルについて知っておくべき7つのこと 〜NoSQLに手を出す前に〜
Mikiya Okuno
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
ストリーム処理を支えるキューイングシステムの選び方
ストリーム処理を支えるキューイングシステムの選び方
Yoshiyasu SAEKI
イミュータブルデータモデルの極意
イミュータブルデータモデルの極意
Yoshitaka Kawashima
DynamoDBの初心者に伝えたい初めて触るときの勘所
DynamoDBの初心者に伝えたい初めて触るときの勘所
Ryo Sasaki
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのこと
Amazon Web Services Japan
マルチテナントのアプリケーション実装〜実践編〜
マルチテナントのアプリケーション実装〜実践編〜
Yoshiki Nakagawa
ゲームエンジニアのためのデータベース設計
ゲームエンジニアのためのデータベース設計
sairoutine
PostgreSQLの行レベルセキュリティと SpringAOPでマルチテナントの ユーザー間情報漏洩を防止する (JJUG CCC 2021 Spring)
PostgreSQLの行レベルセキュリティと SpringAOPでマルチテナントの ユーザー間情報漏洩を防止する (JJUG CCC 2021 Spring)
Koichiro Matsuoka
webエンジニアのためのはじめてのredis
webエンジニアのためのはじめてのredis
nasa9084
イミュータブルデータモデル(世代編)
イミュータブルデータモデル(世代編)
Yoshitaka Kawashima
クラウドでも非機能要求グレードは必要だよね
クラウドでも非機能要求グレードは必要だよね
YoshioSawada
グラフ構造のデータモデルをPower BIで可視化してみた
グラフ構造のデータモデルをPower BIで可視化してみた
CData Software Japan
Was ist angesagt?
(20)
各種データベースの特徴とパフォーマンス比較
各種データベースの特徴とパフォーマンス比較
AWS Black Belt Online Seminar Amazon Aurora
AWS Black Belt Online Seminar Amazon Aurora
イミュータブルデータモデル(入門編)
イミュータブルデータモデル(入門編)
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
最近のストリーム処理事情振り返り
最近のストリーム処理事情振り返り
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
ゲームアーキテクチャパターン (Aurora Serverless / DynamoDB)
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
データモデルについて知っておくべき7つのこと 〜NoSQLに手を出す前に〜
データモデルについて知っておくべき7つのこと 〜NoSQLに手を出す前に〜
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
ストリーム処理を支えるキューイングシステムの選び方
ストリーム処理を支えるキューイングシステムの選び方
イミュータブルデータモデルの極意
イミュータブルデータモデルの極意
DynamoDBの初心者に伝えたい初めて触るときの勘所
DynamoDBの初心者に伝えたい初めて触るときの勘所
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのこと
マルチテナントのアプリケーション実装〜実践編〜
マルチテナントのアプリケーション実装〜実践編〜
ゲームエンジニアのためのデータベース設計
ゲームエンジニアのためのデータベース設計
PostgreSQLの行レベルセキュリティと SpringAOPでマルチテナントの ユーザー間情報漏洩を防止する (JJUG CCC 2021 Spring)
PostgreSQLの行レベルセキュリティと SpringAOPでマルチテナントの ユーザー間情報漏洩を防止する (JJUG CCC 2021 Spring)
webエンジニアのためのはじめてのredis
webエンジニアのためのはじめてのredis
イミュータブルデータモデル(世代編)
イミュータブルデータモデル(世代編)
クラウドでも非機能要求グレードは必要だよね
クラウドでも非機能要求グレードは必要だよね
グラフ構造のデータモデルをPower BIで可視化してみた
グラフ構造のデータモデルをPower BIで可視化してみた
Andere mochten auch
[db tech showcase Sapporo 2015] B16:ビッグデータには、なぜ列指向が有効なのか? by 日本ヒューレット・パッカード株式...
[db tech showcase Sapporo 2015] B16:ビッグデータには、なぜ列指向が有効なのか? by 日本ヒューレット・パッカード株式...
Insight Technology, Inc.
何故DeNAがverticaを選んだか?
何故DeNAがverticaを選んだか?
Kenshin Yamada
Tibero
Tibero
Mosán Santos
Treasure Data Cloud Strategy
Treasure Data Cloud Strategy
Treasure Data, Inc.
自然言語処理はじめました - Ngramを数え上げまくる
自然言語処理はじめました - Ngramを数え上げまくる
phyllo
Pythonで自然言語処理
Pythonで自然言語処理
moai kids
実務で役立つデータベースの活用法
実務で役立つデータベースの活用法
Soudai Sone
大規模グラフアルゴリズムの最先端
大規模グラフアルゴリズムの最先端
Takuya Akiba
CuPy解説
CuPy解説
Ryosuke Okuta
Nosqlの基礎知識(2013年7月講義資料)
Nosqlの基礎知識(2013年7月講義資料)
CLOUDIAN KK
深層学習による自然言語処理の研究動向
深層学習による自然言語処理の研究動向
STAIR Lab, Chiba Institute of Technology
Andere mochten auch
(11)
[db tech showcase Sapporo 2015] B16:ビッグデータには、なぜ列指向が有効なのか? by 日本ヒューレット・パッカード株式...
[db tech showcase Sapporo 2015] B16:ビッグデータには、なぜ列指向が有効なのか? by 日本ヒューレット・パッカード株式...
何故DeNAがverticaを選んだか?
何故DeNAがverticaを選んだか?
Tibero
Tibero
Treasure Data Cloud Strategy
Treasure Data Cloud Strategy
自然言語処理はじめました - Ngramを数え上げまくる
自然言語処理はじめました - Ngramを数え上げまくる
Pythonで自然言語処理
Pythonで自然言語処理
実務で役立つデータベースの活用法
実務で役立つデータベースの活用法
大規模グラフアルゴリズムの最先端
大規模グラフアルゴリズムの最先端
CuPy解説
CuPy解説
Nosqlの基礎知識(2013年7月講義資料)
Nosqlの基礎知識(2013年7月講義資料)
深層学習による自然言語処理の研究動向
深層学習による自然言語処理の研究動向
Ähnlich wie [D36] Michael Stonebrakerが生み出した列指向データベースは何が凄いのか? ~Verticaを例に列指向データベースのアーキテクチャを詳解~ by Hiroyuki Komori
[db tech showcase Tokyo 2014] C25: Facebookが採用した世界最大級の分析基盤とは? by 日本ヒューレット・パッ...
[db tech showcase Tokyo 2014] C25: Facebookが採用した世界最大級の分析基盤とは? by 日本ヒューレット・パッ...
Insight Technology, Inc.
刊行記念セミナー「HBase徹底入門」
刊行記念セミナー「HBase徹底入門」
cyberagent
2019年度若手技術者向け講座 実践SQL
2019年度若手技術者向け講座 実践SQL
keki3
20140620 dbts osaka_redshift_v1.0_slideshare
20140620 dbts osaka_redshift_v1.0_slideshare
Jun Okubo
Hivemallで始める不動産価格推定サービス
Hivemallで始める不動産価格推定サービス
Kentaro Yoshida
DDD 2016 DB 12c クエリー・オプティマイザ新機能活用と統計情報運用の戦略
DDD 2016 DB 12c クエリー・オプティマイザ新機能活用と統計情報運用の戦略
歩 柴田
OSC ver : MariaDB ColumnStore ベンチマークしちゃいませんか?
OSC ver : MariaDB ColumnStore ベンチマークしちゃいませんか?
KAWANO KAZUYUKI
Sql server data store data access internals
Sql server data store data access internals
Masayuki Ozawa
Introduction to Modern Analytical DB
Introduction to Modern Analytical DB
Takeshi Yamamuro
A21 列指向DB HP Vertica ~その圧倒的な高速検索の謎を解き明かす~ byKeizo Aizawa
A21 列指向DB HP Vertica ~その圧倒的な高速検索の謎を解き明かす~ byKeizo Aizawa
Insight Technology, Inc.
Crystal Ball - Data analysis
Crystal Ball - Data analysis
KaitoKojima
Japan.r 2データベース
Japan.r 2データベース
sleipnir002
[db tech showcase Tokyo 2015] D23:MySQLはドキュメントデータベースになり、HTTPもしゃべる - MySQL Lab...
[db tech showcase Tokyo 2015] D23:MySQLはドキュメントデータベースになり、HTTPもしゃべる - MySQL Lab...
Insight Technology, Inc.
MySQLのNoSQL機能 - MySQL JSON & HTTP Plugin for MySQL
MySQLのNoSQL機能 - MySQL JSON & HTTP Plugin for MySQL
Ryusuke Kajiyama
【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]
【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]
Hideo Takagi
プロとしてのOracleアーキテクチャ入門 ~番外編~ @ Developers Summit 2009
プロとしてのOracleアーキテクチャ入門 ~番外編~ @ Developers Summit 2009
Ryota Watabe
DLLAB Ignite Update Data Platform
DLLAB Ignite Update Data Platform
Deep Learning Lab(ディープラーニング・ラボ)
20180619 AWS Black Belt Online Seminar データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法
20180619 AWS Black Belt Online Seminar データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法
Amazon Web Services Japan
【2018年3月時点】Oracle Data Visualizaion ご紹介
【2018年3月時点】Oracle Data Visualizaion ご紹介
オラクルエンジニア通信
20170622_MySQL最新情報 ~MySQL 8.0 開発状況、MySQL InnoDB Cluster、などのご紹介~ by 日本オラクル株式会社...
20170622_MySQL最新情報 ~MySQL 8.0 開発状況、MySQL InnoDB Cluster、などのご紹介~ by 日本オラクル株式会社...
Insight Technology, Inc.
Ähnlich wie [D36] Michael Stonebrakerが生み出した列指向データベースは何が凄いのか? ~Verticaを例に列指向データベースのアーキテクチャを詳解~ by Hiroyuki Komori
(20)
[db tech showcase Tokyo 2014] C25: Facebookが採用した世界最大級の分析基盤とは? by 日本ヒューレット・パッ...
[db tech showcase Tokyo 2014] C25: Facebookが採用した世界最大級の分析基盤とは? by 日本ヒューレット・パッ...
刊行記念セミナー「HBase徹底入門」
刊行記念セミナー「HBase徹底入門」
2019年度若手技術者向け講座 実践SQL
2019年度若手技術者向け講座 実践SQL
20140620 dbts osaka_redshift_v1.0_slideshare
20140620 dbts osaka_redshift_v1.0_slideshare
Hivemallで始める不動産価格推定サービス
Hivemallで始める不動産価格推定サービス
DDD 2016 DB 12c クエリー・オプティマイザ新機能活用と統計情報運用の戦略
DDD 2016 DB 12c クエリー・オプティマイザ新機能活用と統計情報運用の戦略
OSC ver : MariaDB ColumnStore ベンチマークしちゃいませんか?
OSC ver : MariaDB ColumnStore ベンチマークしちゃいませんか?
Sql server data store data access internals
Sql server data store data access internals
Introduction to Modern Analytical DB
Introduction to Modern Analytical DB
A21 列指向DB HP Vertica ~その圧倒的な高速検索の謎を解き明かす~ byKeizo Aizawa
A21 列指向DB HP Vertica ~その圧倒的な高速検索の謎を解き明かす~ byKeizo Aizawa
Crystal Ball - Data analysis
Crystal Ball - Data analysis
Japan.r 2データベース
Japan.r 2データベース
[db tech showcase Tokyo 2015] D23:MySQLはドキュメントデータベースになり、HTTPもしゃべる - MySQL Lab...
[db tech showcase Tokyo 2015] D23:MySQLはドキュメントデータベースになり、HTTPもしゃべる - MySQL Lab...
MySQLのNoSQL機能 - MySQL JSON & HTTP Plugin for MySQL
MySQLのNoSQL機能 - MySQL JSON & HTTP Plugin for MySQL
【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]
【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]
プロとしてのOracleアーキテクチャ入門 ~番外編~ @ Developers Summit 2009
プロとしてのOracleアーキテクチャ入門 ~番外編~ @ Developers Summit 2009
DLLAB Ignite Update Data Platform
DLLAB Ignite Update Data Platform
20180619 AWS Black Belt Online Seminar データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法
20180619 AWS Black Belt Online Seminar データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法
【2018年3月時点】Oracle Data Visualizaion ご紹介
【2018年3月時点】Oracle Data Visualizaion ご紹介
20170622_MySQL最新情報 ~MySQL 8.0 開発状況、MySQL InnoDB Cluster、などのご紹介~ by 日本オラクル株式会社...
20170622_MySQL最新情報 ~MySQL 8.0 開発状況、MySQL InnoDB Cluster、などのご紹介~ by 日本オラクル株式会社...
Mehr von Insight Technology, Inc.
グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?
Insight Technology, Inc.
Docker and the Oracle Database
Docker and the Oracle Database
Insight Technology, Inc.
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
Insight Technology, Inc.
事例を通じて機械学習とは何かを説明する
事例を通じて機械学習とは何かを説明する
Insight Technology, Inc.
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
Insight Technology, Inc.
MBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごと
Insight Technology, Inc.
グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?
Insight Technology, Inc.
DBREから始めるデータベースプラットフォーム
DBREから始めるデータベースプラットフォーム
Insight Technology, Inc.
SQL Server エンジニアのためのコンテナ入門
SQL Server エンジニアのためのコンテナ入門
Insight Technology, Inc.
Lunch & Learn, AWS NoSQL Services
Lunch & Learn, AWS NoSQL Services
Insight Technology, Inc.
db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019オープニングセッション @ 森田 俊哉
Insight Technology, Inc.
db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也
Insight Technology, Inc.
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
Insight Technology, Inc.
難しいアプリケーション移行、手軽に試してみませんか?
難しいアプリケーション移行、手軽に試してみませんか?
Insight Technology, Inc.
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Insight Technology, Inc.
そのデータベース、クラウドで使ってみませんか?
そのデータベース、クラウドで使ってみませんか?
Insight Technology, Inc.
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
Insight Technology, Inc.
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
Insight Technology, Inc.
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Insight Technology, Inc.
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
Insight Technology, Inc.
Mehr von Insight Technology, Inc.
(20)
グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?
Docker and the Oracle Database
Docker and the Oracle Database
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
事例を通じて機械学習とは何かを説明する
事例を通じて機械学習とは何かを説明する
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
MBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごと
グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?
DBREから始めるデータベースプラットフォーム
DBREから始めるデータベースプラットフォーム
SQL Server エンジニアのためのコンテナ入門
SQL Server エンジニアのためのコンテナ入門
Lunch & Learn, AWS NoSQL Services
Lunch & Learn, AWS NoSQL Services
db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
難しいアプリケーション移行、手軽に試してみませんか?
難しいアプリケーション移行、手軽に試してみませんか?
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
そのデータベース、クラウドで使ってみませんか?
そのデータベース、クラウドで使ってみませんか?
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
[D36] Michael Stonebrakerが生み出した列指向データベースは何が凄いのか? ~Verticaを例に列指向データベースのアーキテクチャを詳解~ by Hiroyuki Komori
1.
Michael Stonebrakerが生み 出した列指向データベース は何が凄いのか? ~Verticaを例に列指向データベースのアーキテクチャを詳解~ Verticaを例に列指向デ タベ
スのア キテクチャを詳解 日本ヒューレット・パッカード株式会社 小森 博之 ( hiroyuki.komori@hp.com ) © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
2.
列指向データベースとは? 列指向データベースマネジメントシステムは、データベースマネジメントシステム 列指向デ タベ ネジ は デ
タベ ネジ (DBMS)の内部構造において、列のデータをひとまとまりにして取り出すときに効率的 であるように設計されたものである。(ウィキペディアより引用) カラムナデータベース(Columnar Database)、カラム型データベースとも呼ばれます。 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 列指向 C2 C3 C4 C1 行指向 C2 C3 C2 C1 C3 C3 C4 C4 C1 C1 C2 C4 Hbase, Cassandraなど、”カラム指向データモデル”を採用したデータベースの ことを列指向データベースと呼ぶ場合もありますが、これとは別物です。 ことを列指向データベースと呼ぶ場合もありますが これとは別物です 2 © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
3.
データベース製品 一般用途向け • Oracle • SQL
Server • DB2 • Sybase ASE • NonStop/SQL • HiRDB • Symfoware • Tibero • AltiBase • PostgreSQL • MySQL 目的特化型 カラム指向 • HBase • Cassandra 3 イン・メモリ • HANA • TimesTen • VoltDB • 高速機関 OLAP向け • Teradata • Netezza • G GreenPlum Pl • Vertica • Sybase IQ • SQL Server PDW • HADB • EssBase • InfiniDB • RedShift SQL ドキュメント指向 • MongoDB • CouchDB © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. キーバリュー型 • Riak • Redis No SQL
4.
列指向なのは? 一般用途向け • Oracle • SQL
Server • DB2 • Sybase ASE • NonStop/SQL • HiRDB • Symfoware • Tibero • AltiBase • PostgreSQL • MySQL 目的特化型 カラム指向 • HBase • Cassandra 4 イン・メモリ • HANA • TimesTen • VoltDB • 高速機関 OLAP向け • Teradata • Netezza • G GreenPlum Pl • Vertica • Sybase IQ • SQL Server PDW • HADB • EssBase • InfiniDB • RedShift SQL ドキュメント指向 • MongoDB • CouchDB © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. キーバリュー型 • Riak • Redis No SQL
5.
Vertica 概要 • • • • • • 2005年 分析用DBソフトウェアベンダーとして設立 本社:米国
マサチューセッツ州 Michael Stonebrakerが産みの親 Postgres, C St の開発者 P t C-Storeの開発者 注目ベンチャーとして数々の賞を受賞 2011/3/22 HPが買収完了を発表 2012/12/1 HPに統合完了 / / 統合完了 Michael Stonebrakerが開発に関わったデータベース 1970 1980 2000 2010 INGRES POSTGRES C-store H-store RDBMS Object DB Columnoriented DB In-Memory DB Sybase S b SQL Server Aster Data A D Vertica 技術継承 Greenplum HP Netezza © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 5 VoltDB
6.
列指向デ タ 列指向データベースの実装 の実装 © Copyright
2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
7.
検索に最適な列指向のデータ格納 全ての列を読み込み 行指向 - 従来型 SELECT
AVG(price) FROM tickstore WHERE symbol = ‘AAPL” AND date = ‘5/06/09’ AAPL AAPL BBY BBY NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE NYASE NYASE NYAASE NYAASE NYSE NYSE NYASE NYASE NGGYSE NGGYSE NYGGGSE NYGGGSE NYSE NYSE NYSE NYSE NYSE NYSE 143.74 143.74 37.03 37.13 NYSE NYSE NYSE NYSE NYSE NYSE NYSE NYSE NYSE NYSE NYSE NYSE NYSE 列指向 - Vertica 7 NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS 143.74 143.75 37.03 37.13 37 13 NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYASE NYSE 143.74 NYAASE NYSE 143.74 NYAASE 37.13 NYSE NYSE NYSE NYSE NYASE NYSE NYSE NGGYSE NYSE NYSE NYGGGSE NGGYSE NYSE N 5/05/09 NYSE NGG YSE NYASE NYSE NYAASE NGGYSE NYSE NYASE NYSE 37.03 NYASE NYASE NYSE NYGGGSE 5/06/09 NYGGGSE NYSE 5/05/09 NYGGGSE NYSE 5/06/09 3列のみ読み込み SELECT AVG( i ) FROM ti k t AVG(price) tickstore WHERE symbol = ‘AAPL” AND date = ‘5/06/09’ NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYASE NYSE BBY AAPL AAPL BBY BBY NYAASE NYSE NYSE BBY NYSE NYASE NYSE AAPL 5/05/09 5/06/09 5/05/09 5/06/09 NYSE NYSE AAPL YSE 5/05/09 5/06/09 5/05/09 5/06/09 © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. AAPL AAPL BBY BBY 143.74 143.75 37.03 37.13 5/05/09 5/06/09 5/05/09 5/06/09
8.
列指向ストアの実装方法 真の列指向ストア C1 C2 C3 C4 列指向データベースとは? 列ごとに異なるストレージ領域 (ファイル)にデータを格納。 ( イ )にデ タを格納 C1 C2 C3 C4 列ごとに読み出しを実行。 「・・・列のデータをひとまと まりにして取り出す・・・」 圧縮は効くようになるが、列ごとの読 み出しはできず全ての列を読み出す。 ブロックの中に列ごとに格納。スト レージ領域としては分かれていない。 偽の列指向ストア 8 C1 C2 C3 C4 ©
Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
9.
計算してみましょう! 行のサイズ : 1KB 読み込む行数:10,000,000行
(1,000万行) 必要なカラム数:3 必要なカラムの合計サイズ:30B 読み込みが必要なデータ量は? 行指向の場合 1KB x 10,000,000行 = 10GB 列指向の場合 30B x 10,000,000行 = 300MB 9 1 / 33 © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 100MB / sec読めるストレー ジを使ったとすると… 100秒 3秒
10.
INSERT, DELETE, UPDATEはどうなるのか? INSERT DELETE
(削除マークをつけるだけ) UPDATE (内部的にDELETE + INSERTを実行) Read Optimized Store (ROS) Write Optimized Store (WOS) ( ) TUPLE MOVER • 列指向ストア • ディスク上 • ソート済/圧縮済 • 大量データを直接ロード 非同期データ転送 行指向ストア メモリ上 MOVE OUT 未ソ ト/非圧縮 未ソート/非圧縮 10 © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. A B C
11.
MERGE OUT Read Optimized
Store(ROS) Write Optimized Store (WOS) TUPLE MOVER • 列指向ストア • ディスク上 • ソート済/圧縮済 A B C メモリ上 A B C 未ソート/非圧縮 A B C 非同期データ転送 行指向ストア Read Optimized Store(ROS) MERGE OUT バックグランド処理 11 © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. A B C
12.
データ・ローディング COPY WOSを経由せず直接、 列指向ストアを生成 Read Optimized Store (ROS) Write
Optimized Store (WOS) ( ) TUPLE MOVER • 列指向ストア • ディスク上 • ソート済/圧縮済 • 大量データを直接ロード 非同期データ転送 行指向ストア メモリ上 未ソ ト/非圧縮 未ソート/非圧縮 12 © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. A B C
13.
圧縮 列ごとにデータを格納しているので、効率的な圧縮が可能 列ごとにデ タを格納しているので 効率的な圧縮が可能 データの属性に応じた最適な圧縮アルゴリズムを使⽤ データ検索時のI/O量が減り、より⾼速な処理を実現 処理日 5/05/2009,
16 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 RLE アルゴリズム 13 お客様番号 取引データ 0000001 0 0000001 2 0000003 2 0000003 4 0000005 10 0000011 10 0000011 19 0000020 25 0000026 49 0000050 0000051 0000052 ÞìÃp:±æ+©> Þ 100.25 ©> æ 302.43 Hì&ì¥YÛ¡×¥ 991.23 ©éa½?50ÓJ 73.45 134.09 843.11 208.13 208 13 114.29 83.07 43.98 229.76 Delta D l Encoding LZO アルゴリズム © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 計算してみましょう! 列指向ストアで1/33になった読込 データが、1/10に圧縮されていたと すると… 1/33 x 1/10 = 1/330 になります。
14.
列指向データベースに(ほぼ)共通して見られる実装 Vertica, V ti SAP
HANA, SQL Server 2012 P ll l Data W h HANA S Parallel D t Warehouseを例に を例に • 列指向ストアにより、検索時の読み込み量を削減 • デ タに応じて複数の圧縮方法を使い分け 非常に高い圧縮 データに応じて複数の圧縮方法を使い分け、非常に高い圧縮 率を実現 • Tuple Moverを使用した処理 • • • • • 14 更新処理は、いったん行指向ストアでメモリに書き込む Tuple Moverが列指向ストアの形式に変更して、ストレージに書き込む 検索処理は、両方の領域のデータを読んで処理する DELETEは削除マークをつけるだけ、UPDATEはDELETE+INSERTを実行 ロ ディングはTuple ローディングはTuple Moveを通さずに実行する © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
15.
HP AppSystem for
SAP HANA Other Applications SAP BusinessObjects インメモリーテクノロジー搭載のアプライアンス製品 インメモリ テクノロジ 搭載のアプライアンス製品 -アプライアンスはHPから、ライセンスはSAPからご提供ー MDX SQL SQL BICS SAP HANA® オープンインターフェイス(ODBC、JDBC、SQL、MDXに準拠) SAP HANA Studio データベースモデリング・運用管理 SAP HANA デ タ データベース ス 行・列型ストア リアルタイム データレプリケーション 計算・計画 エンジン バッチ データロード ハ ッチ テ ータロート (ETL) Real Time Replication / ETL SAP Business Suite 15 SAP NetWeaver BW インメモリーテクノロジー(リアルタイムに大量データをメモリ上で処理する技 術)を搭載 データ移行 ETL(Data services)機能により3rd partyデータソースの取り込みも容易に。 partyデ タソ スの取り込みも容易に。 また、SAP Landscape Transformationを使用することにより、リアルタイムの データ複製が可能 パフォーマンス 全てのデータがインメモリー上にあり(物理ディスクではなく物理メモリ上に 全てのデ タがインメモリ 上にあり(物理ディスクではなく物理メモリ上に 論理領域を作成してデータやログを書きこむ)ため、Disk I Oボトルネックを解 消。 インデックスのパーティショニングにより各サーバ(Core)で並列処理が可能。 結果大幅なパフォーマンス向上につながる。 3rd Party DB © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
16.
HANAの列指向ストア 列指向と行指向の両方をサポート 圧縮 Run Length Encoding,
辞書圧縮など、5種類の圧縮アルゴリズムを使用 更新処理 Data Table (列指向) Data Table (列指向) 456 1000 456 France corn 1000 Italy wheat 900 457 Italy corn 900 458 Italy corn 600 458 Italy corn 600 459 16 corn 457 INSERT DELETE UPDATE France Spain rice 800 459 Spain rice 800 460 Denmark corn 600 delta merge Delta Store (行指向) update 457 Italy corn 900 Insert 460 Denmark corn 600 © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
17.
HP AppSystem for
SQL Server 2012 Parallel Data Warehouse 1. ビッグデータ時代の大量データを高速に処理。 2. Hadoopと連携して、Webログやソーシャル・データの分析が可能。 3. Excelを使うことで、現場担当者自らがビッグ・データを分析。 高速 ExcelでBI SQL Serverを超並列(MPP) 化し、カラム型技術を搭載 することで、高速な処理を 実現しています。 17 Hadoopとの連携 Hadoopとの高速な連携を 実現。Hadoopで処理され た非構造化データと、DBに 蓄積されたデータの相関 分析を可能にします。 Microsoft製品だけにExcel との相性は抜群。誰でも使 えるExcelでビッグデータを 誰でも扱えるようにします。 © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
18.
SQL Server 2012
Parallel Data Warehouseの列指向ストア Clustered ColumnStoreとして列指向ストアを実装 (SQL Server 2012のColumnStore Indexとは異なります。) Delta Storeにデータがたまると、REORANIZEを実行。(VerticaのMOVE OUTに相当) その後、削除された領域の解放 (REBUILD)を実行。(VerticaのMERGE OUTに相当) そ 後 削除された領域 解放 ( )を実行 ( 相当) C1 C2 C3 C4 C5 C6 Column Store BULK INSERT Deleted Bitmap Tuple Mover INSERT DELETE UPDATE 18 Delta Store C1 C2 C3 © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. C4 C5 C6
19.
Vertica独自の実装 実装 © Copyright 2013
Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
20.
リレーショナル・データベースの基礎 RDBMSでは、データを列と行から構成される表として考えます。 表の行は論理的には順序に関係ないものとして考えます。 RDBMSは、この表から以下のような関係演算と呼ばれる処理を行って、目的とする表(結果セット、一時 テーブル)を作り出します。 • • • • projection : 列の取り出し selection
: 行の取り出し join : 表と表の結合 union : 表と表の合併 DBMSは、データ言語である SQLが抽象的で無手続きであるという特質により、平行および並列処理などを 色々と工夫して処理速度を上げる事が可能です。 言いかえれば、RDBMSの最大の利点は、目的のデータを探す手順を示さなくても得る事ができる点です。 20 © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
21.
C-Store(Vertica)の設計思想 “C-Store: Column-Oriented DBMS
” Stonebraker al. “C Sto e A Col mn O iented DBMS.” Stoneb ake et al VLDB 2005 2005. • Compress columns • No alignment • Bi di k blocks Big disk bl k • Only materialized views (perhaps many) → Projection • Focus on Sorting not indexing → Indexよりsortが重要 • Data ordered on anything, not just time • Automatic physical DBMS design → 物理デザインの自動化 • O ti i f grid computing Optimize for id ti • Innovative redundancy • Xacts – but no need for Mohan • Column optimizer and executor → 列指向専用オプティマイザ 21 © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
22.
Projection 最適な圧縮と最適な列配置と最適なソートが事前に実施されたデータセット 最適な圧縮と最適な列配置と最適なソ トが事前に実施されたデ タセ
ト 表A Super Projection Comprehensive Projection 圧 縮 圧 縮 圧 縮 圧 縮 表B 圧 縮 圧 縮 圧 縮 圧 縮 圧 縮 表の実態 Query Specific Projection 特定クエリーに最適化 圧 縮 ⼊⼒されたSQLを Database Designerで解析し、対象 クエリ に最適なProjectionを追加で作成可能 クエリーに最適なProjectionを追加で作成可能 SELECT A.2c,A.3c from TableA where A.1c = 100 and A.3c = 200; 自動作成 Pre-JOIN-Projection あらかじめJOIN SELECT A.5c,B.2c from TableA,TableB where A.3c = B.3c; 22 圧 縮 Database Designer © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 圧 縮 圧 縮 圧 縮
23.
Projectionを使ったデータの絞り込み Gender F F F F F F F F F F M M M stM M M Reads entire 1 I/O Class Freshman Freshman
offset Junior Junior Junior Junior Junior Senior Sophomore nd d Sophomore Freshman Junior Sophomore Sophomore Senior S i Senior 2 I/O /O Grade A A A A C D D A D rd F d A D B B C D Score offset 3 I/O /O 95 96 90 100 76 63 68 92 62 th59 91 67 82 85 76 64 4 I/O /O column Example query: select avg( Score ) from example where Class = ‘Junior’ and Gender = ‘F’ and Grade = ‘A’ 23 © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Name Student_ID Popovic, Popovic, Tanisha Borba, Borba, Milagros Stober, Stober, Saundra Trembley, Trembley, Allyson Orner, Orner, Katy Lessig, Lessig, Elnora Sosnowski, Sosnowski, Hillary Dalal, Dalal, Alana Cappiello, Cappiello, Emilia Nibert, Nibert, Emilia Sinko, Sinko, Erik Porcelli, Porcelli, Darren Thon, Max Tarvin, Tarvin, Julio Schreckengost, M Schreckengost, Max S h k t Frigo, Frigo, Avis 1267170 1249290 1210466 1246648 1278858 1222781 1244262 1254038 1256678 1252490 1230382 1243483 1231806 1240224 1248100 1230807
24.
超並列処理(MPP)アークテクチャー シェアードナッシング⽅式によりリニアに性能向上 すべてのノードが同じ役割を実⾏可能 (マスターノードがない!) 検索クエリ node01 node01 3 専用デ
タ領域 専用データ領域 24 node02 計算してみましょう! 10 3 node02 専用デ タ領域 専用データ領域 node03 4 node03 専用デ タ領域 専用データ領域 © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 列指向と圧縮で1/330になった読込 データを、10ノードに分散して並列 処理すると… 1/33 ÷ 10 = 1/3300 になります になります。
25.
リアルタイム・マーケティング事例 Zynga, Inc. –
オンライン ゲ ム会社 Z I オンライン・ゲーム会社 • ゲーム体験をパーソナライズ “4,000万人以上のプレー することで、ユーザを繋ぎ止め、 ヤーからは発生する1日当り 収入を向上させる。 を向 3TBのデータを、230ノードク • 個人個人の行動から、インフ ルエンサを見出す。 ル ンサを見出す • 世界最大のVerticaユーザの 一つ。1日に3TB以上のデータ つ 1日に3TB以上のデ タ をロードしている。 25 © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. ラスタで構成したVerticaに 毎日ロードしています。 Verticaを使用したZyngaの 列指向データベースは、真 の分析ツールです。” - Ken Rudin, VP Analytics
26.
Verticaを使用したデータ分析リファレンス・アーキテクチャ Gather 非構造化 データソース e.g. social media l
d Video images データソース &EDW 外部ソース 外部ソ ス e.g.D&B Acxiom 26 Create Infuse Vertica Platform Unstructured Data 非構造化 データストア HADOOP Act 分析アルゴリズム SQL + Q Analytic Extensions 構造化デ タ 構造化データ Hadoop コネクタ Vertica Database R Analytics UDX C++ SAS/ACEESS Interface to Vertica SAS © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. SAS 分析者 分析者 分析インター フェース フ ス Tableau. Spotfire etc. センチメント分析関数 twitter API
27.
まとめ 列指向データベースは、高速な検索を実現できます。 必要な列だけを読み取ることでIOを削減します。 列ごとにデータが格納されているため、圧縮率が高く、さらにIOを削減します。 MPPを併用することで、並列処理によりさらに高速化できます。 列指向データベースの代表格であるVerticaは、さらに特徴的な機能を持っています。 Projectionによるさらなる検索の高速化を実現しています。 Detabase Designerによる自動チューニングが可能です。 27 © Copyright
2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
28.
Vertica Community Edition テストを目的として、1Tbyte、3ノードまで、無料
及び無期限で利用可能 まずは、Community EditionでVerticaの 魅力を体感ください。 https://my.vertica.com/community/ My Verticaというサイトにて登録後、ダウンロードが可能です。 • 容量:1TByteまで • ノード数:3台まで • 対象OS: RHEL5 and 6, CentOS5 and 6, SUSE10 and 11, Debian 5 and 6 1Tbyte、3台以上の構成で試したい場合は、Evaluation Licenseを発行いたします。 台 上 構成 試 た 場合は を発行 た ます Evaluation Licenseを用いて、日本HPのソリューションセンターにてPOCの実施も可 能です。 実際のサービス運用へ移行の際は、Enterprise Edition (1Tbyte、3台の制限無し、 製品保守付き)へ、オンラインでライセンス適用することが可能です。 製品保守付き) オンラインでライセンス適用することが可能です ※データ容量が1Tbyteを場合、select/deleteなどが出来なくなり、それ以降のデータの追加ができません。EnterpriseEditionへの移行をご検討ください 28 © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
29.
ご静聴ありがとうございました 静聴ありがとう ざ ました ©
Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Jetzt herunterladen