2018/3/13 開催の Microsoft ビッグデータセミナーでの講演資料です。 【セミナー】分析スペシャリストが「データ活用」を真にビジネスの筋肉にするための秘訣を伝授！ https://microsoft-events.connpass.com/event/76574/

1. クラウドネイティブ時代の
データストア選択 ”秘伝の書”
株式会社ゼンアーキテクツ
岡 大勝
Choosing Right Datastore on Cloud-Native Era - Overview
Hiromasa Oka / ZEN ARCHITECTS Co.,Ltd.
概要解説編

2. •
•
•
•
•
•

3. 株式会社ゼンアーキテクツ
代表取締役CEO アーキテクト
Hiromasa Oka

5. クラウド時代のデータストア選択 ”秘伝の書”
1. データストアの種類を知っておくべし
2. データ / インデックス / 処理 を分けて扱うべし
3. マネージドデータストアの利用を前提とすべし

6. データストア 格納データ 検索性 リアルタイム
性能
データ一貫性 容量/
コスト
その他
KeyValue型 – NoSQL Key, Value △キー値のみ ◎Stateless ○ ○～△ インメモリデー
タグリッド型も
Document型 – NoSQL JSON ○ ◎Stateless △
遅延一貫性
○ 分散型DB
分散バッチ型
（HDFS+MapReduce）
ファイル
（CSV,JSON）
△ △一括処理
に最適化
×なし ◎ 「データ＋処
理」単位で並列
実行
ObjectStore / FileSystem ファイル △キー/
ファイル名
△オブジェ
クト単位
×なし ◎ 何でも格納可能
SearchEngine インデックス ◎ ◎Stateless △インデク
シング時
△ 実データは
別データストア
RDB 表形式 ○ ○Stateful ◎完全 ○ ACIDトランザク
ション
クラウドが実用化されたことで、RDB以外の選択肢が現実的になってきた
（それぞれ数ノード～数十ノード必要）

7. データストア 格納データ 検索性 リアルタイム
性能
データ一貫性 容量/
コスト
その他
KeyValue型 – NoSQL Key, Value △キー値のみ ◎Stateless ○ ○～△ インメモリデー
タグリッド型も
Document型 – NoSQL JSON ○ ◎Stateless △
遅延一貫性
○ 分散型DB
分散バッチ型
（HDFS+MapReduce）
ファイル
（CSV,JSON）
△ △一括処理
に最適化
×なし ◎ 「データ＋処
理」単位で並列
実行
ObjectStore / FileSystem ファイル △キー/
ファイル名
△オブジェ
クト単位
×なし ◎ 何でも格納可能
SearchEngine インデックス ◎ ◎Stateless △インデク
シング時
△ 実データは
別データストア
RDB 表形式 ○ ○Stateful ◎完全 ○ ACIDトランザク
ション
クラウドが実用化されたことで、RDB以外の選択肢が現実的になってきた
（それぞれ数ノード～数十ノード必要）

9. UI/シェル SQL Pig Command検索文字列

10. UI/シェル SQL Pig Command検索文字列

11. UI/シェル SQL Pig Command検索文字列

13. ただし、常に「調停の困難さ」が存在
SQL Server におけるシャーディングを用いた分散データベース

14. 分散データストアの自前での構築維持管理は
一般的にコストが合わない

15. クラウドネイティブ時代の
データストア選択 ”秘伝の書”
Rev.20180313

16. S1. 参照パターンは？
S2. 必要な
同時参照性能は？
S3. 処理特性は？
Primary-Key Index Combination/Complex Index
Full-Text Index
HD Insight Cosmos DB Azure DB for
MySQL/PostgreSQL
SQL DatabaseSQL Data
Warehouse
Cosmos DB
Azure Search
Cosmos DB Redis Azure Data
Lake Store Blob Storage Table Storage File Storage
SQL Database
秘伝の書 Public Preview 1

17. U1. ACIDが必要？
U2. 更新の競合が発生する？ 絶対に必要？
Primary-Key Index
U3. 楽観的ロックで
充足可能？
• 不必要な正規化
• 安易な既存踏襲
Azure DB for
MySQL/PostgreSQL
SQL Database
秘伝の書 Public Preview 1

20. 0
20
40
60
80
100
データ一貫性
キャパシティと性能
可用性コスト
互換性
RDBとNOSQLの特性の違い（イメージ）
RDB NoSQL

23. S1. 参照パターンは？
S2. 必要な
同時参照性能は？
S3. 処理特性は？
Primary-Key Index Combination/Complex Index
Full-Text Index
HD Insight Cosmos DB Azure DB for
MySQL/PostgreSQL
SQL DatabaseSQL Data
Warehouse
Cosmos DB
Azure Search
Cosmos DB Redis Azure Data
Lake Store Blob Storage Table Storage File Storage
SQL Database
秘伝の書 Public Preview 1

24. 「蓄積型」のデータストア選択

30. 「それ、CDNじゃね？」

31. http://www.glennklockwood.com/data-intensive/hadoop/overview.html
1ノード
データ 処理ロジック

36. • 苦労のほとんどは “Too Many Connections” との闘い

37. 「更新型」のデータストア選択

38. U1. ACIDが必要？
U2. 更新の競合が発生する？ 絶対に必要？
Primary-Key Index
U3. 楽観的ロックで
充足可能？
• 不必要な正規化
• 安易な既存踏襲
Azure DB for
MySQL/PostgreSQL
SQL Database
秘伝の書 Public Preview 1

40. Inside Microsoft® SQL Server™ 2005, Fourth Edition by Kalen Delaney
https://social.msdn.microsoft.com/Forums/sqlserver/en-US/bac0637c-45e6-4569-a38b-
331e3736a8ab/sql-server-architecture-diagram-and-explanation

41. https://sites.google.com/site/webdevelopart/30-common/lock

45. 秘伝の書の極意（まとめ）
一、汎用性は限界を低くする。
データストアの利用目的を明確にせよ。
一、ACID更新と分散性は“水と油”。
そのACIDが本当に必要か熟慮せよ。
一、データ設計は非正規化から始めよ。
過剰な正規化はデータの独立性を損ない、
その結果、処理の分散性を失わせる。
一、データストアは処理毎に選択し、組み合わせて利用せよ。
「システム全体で1つのDB」だけが選択肢ではない。

47. メッセージ
Function App
キュー
Azure Storage - Queue
monitor
処理実行基盤
App Service
データストア
Cosmos DB
Application Insights
テレメトリ
Azure Monitor
monitor

48. センサーデータ・
操作ログ etc
Azure Cosmos DB
Azure
Stream Analytics
Azure IoT Hub
Azure Event Hubs
フルテキスト
インデックス作成
Azure Functions
Azure Search
Hot Data
Cold Data
一覧表示／検索
詳細表示
Azure Data Lake Store
Change
Feed
Power BI

49. https://microsoft-events.connpass.com/event/80453/

50. 「クラウド時代のデータアーキテクチャ」
https://channel9.msdn.com/Events/de-code/decode-2015/ARC-001
http://www.intellilink.co.jp/article/column/bigdata-kk03.html

52. https://zenarchitects.co.jp
facebook.com/zenarchitects