[db tech showcase Tokyo 2018] Azure Cosmos DB Technical Deep Dive ～グローバル分散型マルチモデルデータベースサービスを使いこなそう～

Azure Cosmos DB Technical Deep Dive
～グローバル分散型マルチモデル
データベースサービスを使いこなそう～
db tech showcase Tokyo 2018
#dbts2018 #E25

https://twitter.com/satonaoki
https://satonaoki.wordpress.com
http://aka.ms/weeklyazure
スピーカー

http://www.shuwasystem.co.jp/
products/7980html/4573.html
https://www.oreilly.co.jp/
books/9784873117140/

TrustedProductiveIntelligentHybrid

世界中に分散されたデータの管理と同期
応答性の高いリアルタイムのパーソナライズの提
供
大規模で複雑なデータの処理と分析
グローバルの需要を基にしたスループット、ストレー
ジのスケーリング
グローバルのユーザーへの低レイテンシの提供
既存アプリ、データのモダナイゼーション
モダンアプリが
直面する新たな課題

Azure Cosmos DB
モダンアプリ向けに超低レイテンシ、
大規模なスケールを保証するために構築された
フルマネージド、グローバル分散データベースサービス

Azure Cosmos DB
SQL
MongoDB
Table API
ターンキー
グローバル分散
ストレージ、スループットの
エラスティックスケールアウト
99 パーセンタイルでの
低レイテンシ保証
包括的な SLA
5 つの明確に定義された
整合性モデル
ドキュメント列ファミリ
キー/値グラフ

キー/値
Key Value
Key1 $3.05
Key2 9/22/1974
Key3 $4.99 Profile1.jpg

Azure Cosmos DB
ユースケース

アプリケーションを世界中に分散

Jet.com 在庫処理システム「Panther」
Event streams
(CosmosDB)
Raw sellable
inventory
(Kafka)
Commands
(Kafka)
Process command
Events
(Kafka)
Change Feed
Snapshot event
stream
Map raw sellable
inventory
Process command
(reservations only)
Commands
(HTTP)
Customer
front-end
checkout
Event stream
snapshots
(CosmosDB)
Inventory & order
updates (Kafka)
Marts
(Walmart.com,
Jet.com)
Filter available
inventory per mart
External to
Panther system
Communication
channel
Panther μs
Data
store
Map msg to
command
https://satonaoki.wordpress.com/2018/05/18/
azure-cosmos-db-customer-profile-jet-com/

Azure Cosmos DB
リソースモデル

リソースモデル
Account
DatabaseDatabaseDatabase
DatabaseDatabaseContainer
DatabaseDatabaseItem

Account
アカウント URI と資格情報
********.azure.com
IGeAvVUp …

アカウントの作成
Account

データベース
Account

コンテナー
Account
=Collection Graph Table

コレクションの作成 - SQL API
Account

コンテナーレベルのリソース
Account
DatabaseDatabaseItem ConflictSproc Trigger UDF

Atom-Record-Sequence (ARS)

コンテナー

コンテナー
コレクションテーブルグラフ
プロジェクション

アイテム
Projection

システムトポロジ
Resource
Manager
Language
Runtime(s)
Hosts
Query
Processor
RSM
Index Manager
Bw-tree++/LLAMA++
Log Manager
IO Manager
Resource Governor
Transport
Database engine
Admission control
…
…
地球 Azureリージョンデータセンタースタンプ障害ドメイン
クラスターマシンレプリカデータベースエンジン
Container
Various agents

リソース階層
コンテナー
リソースパーティション
コレクションテーブルグラフ
テナント
リーダー
フォロワー
フォロワー
フォワーダー
レプリカセット
リモートのリソース
パーティションへ

Azure Cosmos DB
Graph APIによる
フライトデータの処理

C# からの Gremlin クエリの実行
g.V('{from}').union(outE().inV().hasId('{to}'),
outE().inV().outE().inV().hasId('{to}')).path()

要求ユニット (RU)
% IOPS% CPU% メモリ

GET
POST
PUT
クエリ
…
=
=
=
=

最小 RU/秒
最大 RU/秒
入力リクエスト
レプリカが
休止状態
レート制限
レート制限なし

New 一連のコンテナーに対するRU/秒のプロビジョニング
コンテナーレベルで
スループットを
プロビジョニング
データベースレベルで
テナント
テーブルコンテナーグラフ
コンテナー
データベース内の
一連のコンテナー
リソースパーティションリソースパーティション
データベースレベルでのスループットのプロビジョニング

ストレージとスループットのエラスティックなスケールアウト

パーティション
Cosmos DB コンテナー
(コレクション)
パーティションキー:
ユーザー ID
論理パーティション
分割の抽象化
背後にある物理
パーティションセット
ハッシュ (ユーザー ID)
ハッシュ値の範囲にわたる疑似ランダムなデータ分散

…
パーティション 1 パーティション 2 パーティション n
実際のストレージ、スループットのニーズを基にした少ないパーティション数
(低い TCO でスケーラビリティを実現)
Andrew
Mike
…
Bob
Dharma
Shireesh
Karthik
Rimma
Alice
Carol
…

…
パーティション1 パーティション2 パーティションn
パーティションが増大する必要があるとき、何が起こるか?
Andrew
Mike
…
Bob
Dharma
Shireesh
Karthik
Rimma
Alice
Carol
…

+
パーティ
ション x
パーティ
ション x1
パーティ
ション x2
Rimma
Karthik
…
Dharma
Shireesh
Karthik
Rimma
Alice
Carol
…
Dharma
Shireesh
…

ターンキーグローバル分散

ターンキーグローバル分散
Writes/
Reads
Reads
"airport" : “AMS" "airport" : “MEL"
West US
Container
"airport" : "LAX"
Local Distribution (via horizontal partitioning)
GlobalDistribution(ofresourcepartitions)
Reads
30K transactions/sec
Writes/
ReadsReads
Reads
West Europe
30K transactions/sec
Partition-key = "airport"

グローバルなデータレプリケーション

グローバルなデータレプリケーション
http://mongogeodemo.azurewebsites.net/

自動フェールオーバー

手動フェールオーバー

Strong Bounded-staleness Session Consistent prefix Eventual
5 つの明確に定義された整合性モデル

Azure Cosmos DB の整合性レベル

Azure Cosmos DB の整合性レベル
https://languye-webapp.azurewebsites.net/music/music.html

New グローバルスケールのマルチマスター (プレビュー)

マルチマスターでの競合解決モデル

Azure Cosmos DB PxDraw https://pxdraw.azure.com/

スキーマ非依存の
インデックス作成

スキーマなし、インデックス作成なしで、あらゆるデータを処理
Item Color
Microwave
safe
Liquid
capacity
CPU Memory Storage
Geek
mug
Graphite Yes 16ox ??? ??? ???
Coffee
Bean
mug
Tan No 12oz ??? ??? ???
Surface
book
Gray ??? ??? 3.4 GHz
Intel
Skylake
Core i7-
6600U
16GB 1 TB SSD
GEEK

JSON ドキュメントのインデックス作成
{
"locations": [
{
"country": "Germany",
"city": "Berlin"
},
{
"country": "France",
"city": "Paris"
}
],
"headquarter": "Belgium",
"exports": [
{ "city": "Moscow" },
{ "city": "Athens" }
]
}
locations headquarter exports
0
country city
Germany Berlin
1
country city
France Paris
0 1
city
Athens
city
Moscow
Belgium

{
"locations": [
{
"country": "Germany",
"city": "Bonn",
"revenue": 200
}
],
"headquarter": "Italy",
"exports": [
{
"city": "Berlin",
"dealers": [
{ "name": "Hans" }
]
},
{ "city": "Athens" }
]
}
0
country city
Germany Bonn
revenue
200
0 1
citycity
Berlin
Italy
dealers
0
name
Hans

Athens
0
country city
Germany Bonn
revenue
200
0 1
citycity
Berlin
Italy
dealers
0
name
Hans
0
country city
Germany Berlin
1
country city
France Paris
0 1
city
Athens
city
Moscow
Belgium

転置インデックス
0
country city
Germany
Berlin
revenue
200
0 1
city
Athens
city
Berlin
Italy
dealers
0
name
Hans
Bonn
1
country city
France Paris
Belgium
Moscow

インデックスポリシー
{
"automatic": true,
"indexingMode": "Consistent",
"includedPaths": [{
"path": "/*",
"indexes": [{
"kind": "Hash",
"dataType": "String",
"precision": -1
}, {
"kind": "Range",
"dataType": "Number",
"precision": -1
}, {
"kind": "Spatial",
"dataType": "Point"
}]
}],
"excludedPaths": [{
"path": "/nonIndexedContent/*"
}]
}

一連のコンテナーに対するRU/秒のプロビジョニング
コンテナーレベルで
データベースレベルで
テナント
テーブルコンテナーグラフ
コンテナー
データベース内の
一連のコンテナー
リソースパーティションリソースパーティション
データベースレベルでのスループットのプロビジョニング

グローバルスケールのマルチマスター (プレビュー)

仮想ネットワークサービスエンドポイント

SQL API 向けの Java 非同期ライブラリ

cosmosdb.com
gotcosmos.com
azure.microsoft.com/try/cosmosdb/
azure.microsoft.com/free/
What’s Next

[db tech showcase Tokyo 2018] Azure Cosmos DB Technical Deep Dive ～グローバル分散型マルチモデルデータベースサービスを使いこなそう～

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie [db tech showcase Tokyo 2018] Azure Cosmos DB Technical Deep Dive ～グローバル分散型マルチモデルデータベースサービスを使いこなそう～

Ähnlich wie [db tech showcase Tokyo 2018] Azure Cosmos DB Technical Deep Dive ～グローバル分散型マルチモデルデータベースサービスを使いこなそう～ (20)

Mehr von Naoki (Neo) SATO

Mehr von Naoki (Neo) SATO (20)