SlideShare ist ein Scribd-Unternehmen logo
1 von 61
Downloaden Sie, um offline zu lesen
世界中のゲーム分析をしてきたPlayFabが大進化!
一緒に裏側の最新データ探索の仕組みを覗いてみよう
Data is eating the world
マイクロソフト
グローバルブラックベルトアジア地域
ゲームサーバーアーキテクト
増渕大輔
@dmasubuchi
slideshare
`本日のお話
 第一部: PlayFab Insights
 ゲームの BaaS 「 PlayFab 」の分析機能 についてお話します
 従来の分析機能が大幅にバージョンアップしました(新機能=PlayFab Insights)
 内部には、Azure Data Explorer が使われています。機構をご紹介します
 第二部: Azure Data Explorer
 Azure Data Explore についてさらにお話します
 この製品の生い立ち、過去の経緯、Microsoft社内での利用シナリオについてご紹介します
Kusto と Azure Data Explorer の言葉の定義
Kusto は、テレメトリ データをすばやく検索および視覚化するためのビッグデータ ログ検索および分析の社内向け
に開発されたサービスであり、開発コードです
当初はApplication Insightsや、OMS(現 Azure Monitor)のエンジンとして使われました
この社内サービス(Kusto)を一般企業向けに提供したものが、Azure Data Explorer です
ただし今でも Kusto の愛称で呼ばれることがあります。またツールやクエリーには Kusto の名前が残っています
例: Kusto Explorer、 KQL(Kusto Query Language)
今年リリースされた、PlayFabの新しい分析機能の、PlayFab Insights の基盤は、Azure Data Explorer です
ゲームデータ管理やマルチプレイ通信をサポート
します
ゲーム内ストア運営や、仮想通貨管理、アイテム
管理などの機能があります
様々なプラットフォームやデバイスに対応
開発者はサーバーのスキルを必用としません
プレイヤー行動ログ(イベント)を即座に可視化
ゲーム運営をスムーズにします
ゲーム向けBaaS 「PlayFab」とは?
https://playfab.com/
https://playfab.com/
https://www.buzzsprout.com/489403
PlayFab を使うと誰でも簡単にデータ設計できる
PlayFabを手に入れた
これは、数千件のオンラインゲームの
運用実績があるツールだ
データ設計のスキルUpの効果がある
PlayFab を 装備しますか?
> はい
いいえ
PlayStream
すべてのイベントのリアルタイムストリーム(と履歴)をモニター
Real-Time Segmentation
プロパティを利用して、プレーヤーをセグメント化
プレーヤーがセグメントに出入りするときにアクションをトリガー
Reports
ゲームの日次・月次の状況を、電子メール等でレポーティング
Real-Time Rules Engine
PlayStreamイベントに応答する強力なアクションとトリガーを設定
Event Filter and Search
タイムスライスを利用し、プレーヤー、イベント、エラー状態を分析
Microsoft Azure によって
強化された新しいログ分
析機能
アドホックなデータ探索
と分析用に最適化された
クエリ言語KQLで可視化
時系列のデータに対する
機械学習を利用した異常
検知を実装可能に
PlayStream Event Model reference
https://docs.microsoft.com/en-us/gaming/playfab/api-
references/events/
PlayFab内のイベントのプロパティ説明
Player、Title、など、PlayFabのデータの概念を理解していると読みとく
のはとても簡単です
Kusto の概要
https://docs.microsoft.com/ja-jp/azure/data-explorer/kusto/concepts/
Kusto のクエリ言語の説明や、よく使われ
るテーブル演算子の説明があります
チュートリアルやサンプル配下の天気データを用いることで、
実際に手を動かしながらKQLを学ぶことができます
['events.all']
| take 10
// Event list
['events.all']
| distinct FullName_Name
// project(“select” in SQL): https://docs.microsoft.com/en-us/azure/data-
explorer/kusto/query/projectoperator
['events.all']
| take 10
| project EventData
// “dynamic” data type: https://docs.microsoft.com/ja-jp/azure/data-
explorer/kusto/query/scalar-data-types/dynamic
['events.all']
| take 10
| project EventData
| getschema
['events.all']
| where FullName_Name == 'player_logged_in'
| take 10
| project EventData, EventData.Source
['events.all']
| where FullName_Name == 'player_logged_in'
| take 10
| project EventData, EventData.Location.CountryCode
// extend(define new column): https://docs.microsoft.com/en-us/azure/data-
explorer/kusto/query/extendoperator
['events.all']
| where FullName_Name == 'player_logged_in'
| take 10
| project EventData
| extend ipv4adress = tostring(EventData.IPV4Address)
| extend CountryCode = tostring(EventData.Location.CountryCode)
| extend Timestamp = todatetime(EventData.Timestamp)
// DAU, NRU, Retention rate, Churn rate
let startdate = datetime(2020-03-01);
let enddate = datetime(2020-06-30);
['events.all']
| where FullName_Name == 'player_logged_in'
| evaluate activity_metrics(Entity_Id, Timestamp, startdate, endofday(enddate), 1d)
//| render timechart
// DAU, NRU, Retention rate, Churn rate by Country
let startdate = datetime(2020-03-01);
let enddate = datetime(2020-06-30);
['events.all']
| where FullName_Name == 'player_logged_in'
| extend CountryCode = tostring(EventData.Location.CountryCode)
| evaluate activity_metrics(Entity_Id, Timestamp, startdate, endofday(enddate), 1d,
CountryCode)
//| render timechart
// DAU by country
let startdate = datetime(2020-03-01);
let enddate = datetime(2020-06-30);
['events.all']
| where FullName_Name == 'player_logged_in' and Timestamp between (startdate ..
endofday(enddate))
| extend CountryCode = tostring(EventData.Location.CountryCode)
| summarize dcount(Entity_Id) by CountryCode, bin(Timestamp, 1d)
| project Timestamp, CountryCode, dcount_Entity_Id
// Power BI
['events.all’]
| where Timestamp > ago(7d)
PlayFabイベントに関する情報
詳しくは・・・ https://docs.microsoft.com/en-us/gaming/playfab/api-references/events/
以前のPlayFab
• モバイル/カジュアル中心
• 小規模組織
• PlayFab 自身の情報が把握しにくかった
• 高度な分析ニーズはなかった
Microsoft への合流後
• AAAのタイトルのニーズ急増
• マルチプレイやチャットなど、PlayFab の
ワークロードが多様化
• データサイエンティストがいる
スタジオの高度な分析機会
• PlayFab 運営チーム自身が顧客の状況をリア
ルタイムで把握できるように
データの量・質が増えたら、分析手法も変わるべき
• PlayFab はもともと分析に強いと好評でした
• さらに、Azure に移行したことで、PlayFab Insights (Preview) の提供を開始
• プレーヤーの全体像をより把握しやすくなる
• インポート、エクスポートの柔軟性
• 様々なBIツールとの連携
• 機械学習の対応
PlayFab Analytics Architecture (high level)
PlayStream
PlayFab
Client
SDK
Game Manager
PlayFab.com
PlayFab Customer
Game Manager
Game Manager
PlayFab Action
Services
Ingestion
ADX Clusters
ADF
Proxy
PlayFab
Services
Logs &
Metrics
CosmosDB
Operational logs
and metrics
Tenancy
RTA
*ADX - Azure Data Explorer
*ADF - Azure Data Factory
Warehouse: Reports, Trends
etc.
AzureBlob
Scorecard compute
PlayFab Facts /
Dimensions
PlayFab Analytics (ETL scenarios)
PlayFab
Client
SDK
ADX Clusters
GDE004
(table per event)
CosmosDB
ADX Clusters
GDEPF001
(follower DB from GDE001)
ADF
PlayFab
Services
PlayFab Facts /
Dimensions
Power BI PF internal reportsPlayFab DB
ADX Functions
PlayFab Metrics
PlayFab Metrics
PlayFab Metrics
ADF
PlayFab Facts /
Dimensions
PlayFab Facts /
Dimensions
PlayFab Analytics – direct access
Powering analytics with Azure Data Explorer
• クエリの埋め込みエクスペリエンス
• 保存されたクエリ/レンダリングされたグラフ
• データのインポートとエクスポート
• スケーラブルなパフォーマンス (IPU メーター)
Connectors through Proxy
ADX continuous
export to Azure Blob
Manage Experiments
Experience
• UI と API を使用する
• CRUD API サーフェス
• 実験のスケジュール
• Expのコンプライアンス
• Expのアクセス制御
• コードレスExp
•
*A&E – Analytics and Experimentation
➢ Variant ID でタグ付けされ
た PlayFab Profile
(treatment)
➢ Variant ID でタグ付けされ
た PlayFab Events
➢ メトリック生成用
Azure BLOB データ
➢ Data Bricks による
スコアカード
Azure Data Explorer
(Kusto)
PlayFab Data Governance – GDPR
PlayFab.com
Game Manager
PlayFab
APIPurge or
Export
PlayFab SDK
Service Fabric Cluster
PCF Command
Feed Ingestion
Command Actor
Orchestrator
Actor
Table Delete Service
CRM
Management
API
PlayFab
Webhook
Stateful Service
(Partitioned by
Cluster]
Stateless Service
Stateful Actor
(Partitioned by PlayerId)
Stateful Actor
Determines Query Execution
GDPR compliance for all customers
• Data Portability: 顧客データのエクスポートを提供
• Forgottenの権利: すべてのPlayFabテレメトリの顧客データ消去
NGP Compliance (for Xbox Game Studios)
• Integrated into Microsoft Privacy Portal
DeleteMasterPlayer
ExportMasterPlayer
`本日のお話
 第一部: PlayFab Insights
 ゲームの BaaS である PlayFab の分析機能についてお話します
 PlayFab は従来の分析機能が大幅にバージョンアップしました
 内部には、Azure Data Explorer が使われており、その機構をご紹介します
 第二部: Azure Data Explorer
 Azure Data Explore (ADX、または Kusto )についてさらにお話します
 この製品の生い立ち、過去の経緯、Microsoft社内での利用シナリオについてご紹介します
PlayFab 以外もいろいろと使われている ADX
Azure Monitor Security Products IoT
Office 365 Telemetry
Gaming
Kusto Basics – What & Why
• ビッグ データ ログ検索とテキスト分析
• ログ データへの格納とクエリに最適化
• クラウドベースのサービス
• 時系列データへの機械学習が優れている
• RDBMSではない
• クエリの最適化を可能にするレコードの更新
はサポートしていません
• インポート速度が速い(Ingestion の容量が大
きい)
• キホンはインメモリーデータベース(階層型
でディスクを組み合わせることも可能)
• Azure では、テレメトリ データをモダンな
データサービスに格納し、Kusto を使用して
新しいダッシュボードを構築するという大き
な流れがあった
• KQL(Kusto Query Language)はシンプルで
簡単
• 数十億行を数秒で検索
• Azureのデータセンター内部、ネットワークに
関する深い洞察を得ることができるようにな
る
• 視覚的なグラフですばやく要約する
• 迅速にCSV、Excel、プレーンテキストまたは
Power BIにエクスポートすることもできる
• 機械学習を応用して、異常検出などの追加の
シナリオの実装が簡単
• トラブルシューティングシナリオでかなり役
に立つ
Kusto Basics – Terminology
 すべてのデータは、固有のクラスターを介してアクセス可能
 クラスタにデータベースが含まれる
 データベースにテーブルが含まれる
 テーブルは、列と行にデータを格納 "表形式のデータ"
(Cluster)
(Database)
(Tables)
Kusto Basics – Exploring data
 Kusto Explorer でデータの探索を開始する最も簡単な方法
 リスト内のテーブルをダブルクリックすることです。
注意!!
この方法では実行しないでください
Kusto Basics – Exploring data
右のスクショの環境には24億行以上の
データが含まれていました!
制限のないクエリを実行すると、GB 相
当のデータが返され、
クラスターリソースが無駄になる可能性
があります
(2.4 Billion Rows)
ただし、Azure Data Explorer はクラスターのCore
数課金なのでクエリー課金バーストはありません
(ご安心ください)
Kusto Basics – Pipes & Operators
 Kusto のパイプは他のシステムの
パイピング データと同じ (UNIX、
BSD、JUNOS)
 パイプは、クエリを非常に読みやす
くします
 演算子の順序も重要
 タイムスタンプwhere句で最初に
フィルタリングするのが◎
 時間でフィルタリングするように最
適化されています
Kusto Basics – Limit Operator
 クエリ結果を小さなサイズに制限す
る。
 テーブル内の生データをすばやく確
認でき、データに含まれる内容、構
造を理解できます。
 右の場合は、結果をスキミングして、
デバイス名、インターフェイス、説
明、各種カウンタなどの詳細がテー
ブルに含まれているかをチェック
Kusto Basics – Where Operator
右のスクショでは以下の条件に合致
するルータのみを表示
 時間が過去 1 日
 tunnel を含まない
 ibr と lax を含む
Kusto Basics – Summarize Operator
Summarize(集計)演算の例
 TIMESTAMP列が最も近い時間にラ
ウンドされている
 T-SQL で DISTINCT を使用する場
合と似ています
Kusto Basics – Render Operator
Renderでデータをグラフィカルに
 右の例は(現在の時間を除く) 7 時間 の
データを取得
 TIMESTAMP で集計し、棒グラフに表
示
タイムチャートの例
//performance index % of requests meeting SLA (5 second)
request
|where context_data_eventTime >= now(-7d)
| summarize reqCount = count(), reqCountovr5 =
count(request_durationMetric_value > 50000000) by
context_data_eventTime bin = time(1h)
| extend pctover5s = reqCountovr5 *100.0 / reqCount
| extend pctIndex = 100.00 - pctover5s
| project context_data_eventTime , pctIndex
| render timechart
//reliability index - % of failed requests
request
| where context_data_eventTime >= now() -time(7d)
| summarize reqCount = count(), reqError =
count(request_responseCode >= 500) by
context_data_eventTime bin = time(1h)
| extend relIndex = reqError *100.00 / reqCount
| extend reliabilityIndex = 100.00 - relIndex
| project context_data_eventTime , reliabilityIndex
|render timechart
Kusto 続き.
Kusto + Power BI
ADXが
地味な理由
1ノード、200MB/秒のインポート速度
数十億件のクエリが1秒
1兆超のイベントを毎日処理
しかし、多くの企業にビックなデータは
ない(ゆえに営業部門では興味を持つ人が少ない)
“Digital feedback loops help you
better engage with your customers,
empower your employees, optimize
your operations, and reinvent
products and business models”
S. Nadela
Log files
Spatial & GPS
coordinates
Data market feeds
eGov feeds
Weather
Text/image
Web 2.0Advertising
Mobile
Collaboration
eCommerce
Web logs
Digital Marketing
Search Marketing
Recommendations
40
More decision makers
BigData
Megabytes
Gigabytes
Terabytes
Petabytes
Data Complexity: Velocity, Variety
ERP/CRM
Payables
Payroll
Inventory
Contacts
Deal Tracking
Sales Pipeline
Click streams
Wikis, Blogs
Sensors/RFID/
Devices
Social Sentiment
Audio/Video
エンジニア部門
やサポート部門
では、ADXは
絶対的な存在
7 PB 27K
MSFT ENG
MONTHLY UNIQUE USERS
Per day, at 2017
800K
CORES
Any append-
only stream
of records
Relational query
model:
Filter, aggregate, join,
calculated columns, …
Fully-
managed
Rapid iterations to
explore the data
High volume
High velocity
High variance
(structured, semi-
structured, free-text)
PaaS,
Vanilla,
Database
Purposely built
1センテンスで理解するADX
• メトリックと時系列データ
• テキスト検索とテキスト分析
• 多次元/リレーショナル分析
Comprehensive Strength
• シンプルで強力なデータ探索
• リッチ リレーショナル クエリ言語
• 全文検索
• ML Extentionの拡張性
• SQL/TDS エンドポイント
Analytics Query language
• 低遅延インジェズレーション
• 圧縮とインデックス作成
• 自動保持(リテンション設定)
• Hot/cold resource アロケーション
Data Ingestion and Management
• ハードウェアでスケールアウト
• ジオ全体でスケールアウト
• 細かいリソース使用率制御
• クロスジオでのクエリ
High performance over large data sets
Azure Data Explorer
A big data interactive platformAzure Data Explorer の内部の構造
Ingestion
Dev/BI Tools
Telemetry Analytics for internal Analytics Data Platform for products
AI OMS ASC Defender IOT
Interactive Analytics Big Data Platform
2015 - 2016
Israelの研究所で行われた社内のインキュ
ベーションプログラム
マイクロソフト社内のデータ分析プラッ
トフォームを作るビジョンで開始された
2019
サードパーティのオファーを試験運営
Operational Management Suite/Application
Insightsにまたがる統合プラットフォーム
クライアント/サーバー・セキュリティー
を介してブリッジされるシナリオに拡張
(IoT、テレメトリーシナリオ)
2017
パブリックプレビューは2018年後半
GAは、2019年
Kusto (現ADX)の生い立ち
昔々、VSTSサービス停止とスローダウン障害発生
 SQL Azure クエリ プロセッサの互換性レベルを 100 (SQL Server 2008) から 120 (SQL Server 2014) に変更
 SQL Server 2014 クエリ オプティマイザは、カーディナリティの推定値に大幅な変更があった
 これは、クエリのメモリアロケーション算定に使用されました
 (ワーキングメモリのディスクへの流出を避けるためにクエリのメモリを事前に計算している)
 処理に必要なクエリのメモリ許可の推定値が以前の小さな値から 3.5 GB に急増
 メモリ不足を防ぐため、クエリを実行する前にバックアップされシリアル化される可能性が発生
 これによる、ジョブの渋滞が発生
 お客様の要求がタイムアウト/失敗
 解決方法はクエリに使用する最大メモリ付与をクエリ オプティマイザーに伝えるヒントを追加する
Blog: https://devblogs.microsoft.com/bharry/vs-team-services-incidents-on-feb-3-4/
(続き)
 SQL の互換性レベルを変更する前に、すべての SQL 待機タイプを確認
 上位の待機タイプが CXPACKET であり、並列化された部分が別の並列部分の完了を待機している
 RESOURCE_SEMAPHOREで待機しているものを見ることによってさらに掘削すると、prc_UpdateIdentitiesが支配的
 sproc に対するメモリ許可要求のタイム チャートを見ると、 SQL compat レベルに変更した瞬間から巨大なスパイクが発生
Blog: https://devblogs.microsoft.com/bharry/a-bit-more-on-the-feb-3-and-4-incidents/
https://devblogs.microsoft.com/bharry/a-bit-more-on-the-feb-3-and-4-incidents/
* Microsoft Edge にて機械翻訳をしています
Brian
February 6th, 2016
弊社サービスのボリューム例 (5-6年前)
1 MILLION
1 秒あたりのイベント数
78 TB
1 日あたりに取り込むデータ
20 PB
2013年 XX 月の処理データ合計
99.99%
2013年 XX 月以降のコレクターの可用性
75 SECONDS
PUB-SUB へのイベントの 99.9% の待機時間
390 MILLION
デバイスとサービスの接続の数
1.8 MILLION
データ サービスに対する 1 日あたりのクエリ
1000 VIEWS
ポータルの 1 日あたりのページ ビュー
このような巨大SaaSサービスがAzure Data Explorer(ADX)のユーザーです
最近は、社内の承認アプリや Oderアプリにも使われ始めています
Azure Data Explorer を使う主な目的
素晴らしいクラウドサービスを開発・運用するチームづくりには絶対に必要
1. Monitorするため
品質、製品健全性、ユーザーインサイト、ビジネス指標における監視とアクション
2. Correlate による作業効率化
クラウド、モバイル、Web アプリ間のデータの意味付け
3. Security を確保するため
準拠した方法でのコンシューマ・企業データのセキュリティ
4. Interop で好きなツールやデータにつなぐため
他のデータ セットおよびテクノロジとの相互運用
Engineer Raw Data Cooked
Data
Alerts
Dashboards
Cosmos
Data Apps
Diagnostics
Services
Data
Processing
“Analyze”
“Debug”
“Mine”
“Glance”
“Monitor”
Data Information
データサイエンティストやビジネ
スアナリストの助けを借りて
チームは、KPI から開始し、ドリルダウンして実行可能な
ステップを特定し、優先順位を付け、洞察を得ることが
できる
エンジニアは
彼らが素早く洞察を得ること
ができる
魔法はここで起こる
生データを、迅速に問い合わせることができる意味の
ある洞察に変換する
IntelligenceInsight
Democratize access to data-driven insight
データに関する深い専門知識, 洗練された分析
“Log”
Service/Client Feedback “Tune”
Clients
高レベルのシナリオをサポート
監視、診断、軽減、異常検出、実験、本番でのテスト
KPI 主導のアクション
なぜこれらの
訪問者は買い
物カゴを放棄
するのです
か?
最も不満な
ユーザーは誰
ですか?
お客様がこの
コンテンツを
クリックしな
いのはなぜで
すか?
生産品質に影
響を与えるも
のは何です
か?
何の背後にあ
る理由を理解
する
サービスのパ
ターンを深く
理解する
創発的な行動
と傾向を発見
する
新しいアイデ
アを刺激でき
る予期しない
パターンを発
見する
2019 GA 以降、徐々に 顧客事例登場
 クラウド化
 巨大化するサービス
 デジタルデータ肥大化
 データ活用の重要性
大規模なIoTアプリケーション
> 数十億のセンサー、製造設備、車両からのテレメトリー監視
ビッグ データ ログの分析が必要な企業
> アドネットワーク、オンラインゲーム、ニュースサイト等
推奨コンテンツ、異常検知、データサイエンティスト負荷軽減
成長したSaaSアプリケーション
> トレンドの発見、パーソナライズされた体感の提供
Azure Data Explorer
Estimating costsコスト計算ツール
 https://aka.ms/adx.cost
Azureの利用の気を付けるべき点やチューニングのヒント、設計パターンを提案する
公式ドキュメント (URL: https://docs.microsoft.com/ja-jp/azure/architecture/ )
ワークロード「Analytics」の配下に、Azure Data Explorer を利用したパターンが
4つほどあります
注意: ADXはデータウェアハウス処理が苦手です
Modern data warehousing Real-time analytics
リアルタイムで様々な
サービス、デバイスから
洞察を得る
Machine Learning
高度な異常検知のための
分析プラットフォーム
複数のソースから、さまざま
な形式でデータを分析
ここが得意
Kusto の 名前の意味は
何だと思いますか?
最後に問題です
ジャック=イヴ・クストー Jacques-Yves Cousteau
彼の名前が由来のようです( precision_score = ??? )
1930年にフランス海軍に参加。潜水用の呼吸装置スクーバ(商品
名:アクアラング)の発明者の一人として知られる。
水中考古学を始めた人物でもある。
1957年、海軍大佐で海軍を退役し、モナコ海洋博物館長に就任。
1959年海の国連と呼ばれる世界水中連盟CMASを創設。1971年に
ベリーズのグレート・ブルーホールを訪れ、世界のトップダイビ
ングスポットに選定した[1]。1992年の地球サミットで環境破
壊・海洋汚染を警告し、母国フランスの核実験再開を激しく批判。
赤いニット帽がトレードマーク。「海の恋人」と呼ばれていた。
(日本版Wikipediaより抜粋)
“Explore the ocean of data”
という言葉を残してます
Explore the ocean of data with Kusto
ThinkIT紙にご紹介いただきました
山田様・宮城様のビックデータ基盤の記事に Azure Data Explorer が取り
上げられました。Microsoft Azure、GCP(Google Cloud Platform)、
AWS(Amazon Web Services)の3社が展開する基盤の比較も掲載予定
https://thinkit.co.jp/series/9868
Product
 Product Page: http://aka.ms/AzureDataExplorer
 Docs: https://aka.ms/adx.docs
 Pricing Page: https://azure.microsoft.com/en-us/pricing/details/data-explorer/
 Cost Estimator: http://aka.ms/adx.cost
Demos
 Scott Guthrie’s Keynote (ADX Announcement/Demo)
 Rohan Kumar’s Keynote (ADX Announcement/Demo)
 Scott Guthrie’s in Techorama (Scott’s demo)
Blogs
 Announcement: https://azure.microsoft.com/en-in/blog/introducing-azure-data-explorer/
 Whitepaper: https://azure.microsoft.com/en-us/resources/azure-data-explorer/en-us/
 101 blog: https://azure.microsoft.com/en-us/blog/azure-data-explorer-technology-101/
Social and Community
 Twitter: @AzDataExplorer
 Stack overflow: https://stackoverflow.com/search?q=Azure+Data+Explorer
 Tech Community: https://techcommunity.microsoft.com/t5/Azure-Data-Explorer/bd-p/Kusto
リンク集
ご清聴いただき、ありがとうございました。
世界中のゲーム分析をしてきたPlayFabが大進化!
一緒に裏側の最新データ探索の仕組みを覗いてみよう
マイクロソフト
グローバルブラックベルトアジア地域
ゲームサーバーアーキテクト
増渕大輔
Data is eating the world
@dmasubuchi
slideshare

Weitere ähnliche Inhalte

Was ist angesagt?

入門者の方向け Azure PlayFab の簡単な紹介
入門者の方向け Azure PlayFab の簡単な紹介入門者の方向け Azure PlayFab の簡単な紹介
入門者の方向け Azure PlayFab の簡単な紹介YutoNishine
 
マイクロソフトのクラウドテクノロジーでゲーム開発(2019年7月)
マイクロソフトのクラウドテクノロジーでゲーム開発(2019年7月)マイクロソフトのクラウドテクノロジーでゲーム開発(2019年7月)
マイクロソフトのクラウドテクノロジーでゲーム開発(2019年7月)Daisuke Masubuchi
 
さいきんのMySQLに関する取り組み(仮)
さいきんのMySQLに関する取り組み(仮)さいきんのMySQLに関する取り組み(仮)
さいきんのMySQLに関する取り組み(仮)Takanori Sejima
 
GREE 流!AWS をお得に使う方法
GREE 流!AWS をお得に使う方法GREE 流!AWS をお得に使う方法
GREE 流!AWS をお得に使う方法gree_tech
 
メルカリでのNorikraの活用、 Mackerelを添えて
メルカリでのNorikraの活用、 Mackerelを添えてメルカリでのNorikraの活用、 Mackerelを添えて
メルカリでのNorikraの活用、 Mackerelを添えてMasahiro Nagano
 
InnoDBのすゝめ(仮)
InnoDBのすゝめ(仮)InnoDBのすゝめ(仮)
InnoDBのすゝめ(仮)Takanori Sejima
 
【Unite Tokyo 2019】AWS for Unity Developers
【Unite Tokyo 2019】AWS for Unity Developers【Unite Tokyo 2019】AWS for Unity Developers
【Unite Tokyo 2019】AWS for Unity DevelopersUnityTechnologiesJapan002
 
DynamoDBを利用したKPI保存システム
DynamoDBを利用したKPI保存システムDynamoDBを利用したKPI保存システム
DynamoDBを利用したKPI保存システムgree_tech
 
Data Factoryの勘所・大事なところ
Data Factoryの勘所・大事なところData Factoryの勘所・大事なところ
Data Factoryの勘所・大事なところTsubasa Yoshino
 
Gazelle & CPAN modules for performance. Shibuya.pm Tech Talk #17 LT
Gazelle & CPAN modules for performance. Shibuya.pm Tech Talk #17 LTGazelle & CPAN modules for performance. Shibuya.pm Tech Talk #17 LT
Gazelle & CPAN modules for performance. Shibuya.pm Tech Talk #17 LTMasahiro Nagano
 
Mackerel & Norikra mackerel meetup #4 LT
Mackerel & Norikra mackerel meetup #4 LTMackerel & Norikra mackerel meetup #4 LT
Mackerel & Norikra mackerel meetup #4 LTMasahiro Nagano
 
Azure Database for PostgreSQL 入門 (PostgreSQL Conference Japan 2021)
Azure Database for PostgreSQL 入門 (PostgreSQL Conference Japan 2021)Azure Database for PostgreSQL 入門 (PostgreSQL Conference Japan 2021)
Azure Database for PostgreSQL 入門 (PostgreSQL Conference Japan 2021)Keisuke Takahashi
 
AIやマイクロサービスを活用したDynamoDB節約術
AIやマイクロサービスを活用したDynamoDB節約術AIやマイクロサービスを活用したDynamoDB節約術
AIやマイクロサービスを活用したDynamoDB節約術gree_tech
 
開発者なのに運用で手がいっぱい? そんなあなたに贈る、 クラウド時代に最適な OSS の RDBMS ! Azure Database for MySQL...
開発者なのに運用で手がいっぱい? そんなあなたに贈る、 クラウド時代に最適な OSS の RDBMS ! Azure Database for MySQL...開発者なのに運用で手がいっぱい? そんなあなたに贈る、 クラウド時代に最適な OSS の RDBMS ! Azure Database for MySQL...
開発者なのに運用で手がいっぱい? そんなあなたに贈る、 クラウド時代に最適な OSS の RDBMS ! Azure Database for MySQL...Suguru Ito
 
AzureStorageのオブジェクトレプリケートを試してみた
AzureStorageのオブジェクトレプリケートを試してみたAzureStorageのオブジェクトレプリケートを試してみた
AzureStorageのオブジェクトレプリケートを試してみた裕之 木下
 
Interact2019 ws2019 s2d_IN05
Interact2019 ws2019 s2d_IN05Interact2019 ws2019 s2d_IN05
Interact2019 ws2019 s2d_IN05Hiroshi Matsumoto
 
Windows Server 2016 で実現しちゃう HCI (Hyper Converged Infrastructure)
Windows Server 2016 で実現しちゃう HCI (Hyper Converged Infrastructure)Windows Server 2016 で実現しちゃう HCI (Hyper Converged Infrastructure)
Windows Server 2016 で実現しちゃう HCI (Hyper Converged Infrastructure)Miho Yamamoto
 
PlayFabの2020 3月 最新情報
PlayFabの2020 3月 最新情報PlayFabの2020 3月 最新情報
PlayFabの2020 3月 最新情報Daisuke Masubuchi
 
99999999 azure iaas_newportal版
99999999 azure iaas_newportal版99999999 azure iaas_newportal版
99999999 azure iaas_newportal版Osamu Takazoe
 

Was ist angesagt? (20)

入門者の方向け Azure PlayFab の簡単な紹介
入門者の方向け Azure PlayFab の簡単な紹介入門者の方向け Azure PlayFab の簡単な紹介
入門者の方向け Azure PlayFab の簡単な紹介
 
マイクロソフトのクラウドテクノロジーでゲーム開発(2019年7月)
マイクロソフトのクラウドテクノロジーでゲーム開発(2019年7月)マイクロソフトのクラウドテクノロジーでゲーム開発(2019年7月)
マイクロソフトのクラウドテクノロジーでゲーム開発(2019年7月)
 
さいきんのMySQLに関する取り組み(仮)
さいきんのMySQLに関する取り組み(仮)さいきんのMySQLに関する取り組み(仮)
さいきんのMySQLに関する取り組み(仮)
 
GREE 流!AWS をお得に使う方法
GREE 流!AWS をお得に使う方法GREE 流!AWS をお得に使う方法
GREE 流!AWS をお得に使う方法
 
メルカリでのNorikraの活用、 Mackerelを添えて
メルカリでのNorikraの活用、 Mackerelを添えてメルカリでのNorikraの活用、 Mackerelを添えて
メルカリでのNorikraの活用、 Mackerelを添えて
 
InnoDBのすゝめ(仮)
InnoDBのすゝめ(仮)InnoDBのすゝめ(仮)
InnoDBのすゝめ(仮)
 
【Unite Tokyo 2019】AWS for Unity Developers
【Unite Tokyo 2019】AWS for Unity Developers【Unite Tokyo 2019】AWS for Unity Developers
【Unite Tokyo 2019】AWS for Unity Developers
 
DynamoDBを利用したKPI保存システム
DynamoDBを利用したKPI保存システムDynamoDBを利用したKPI保存システム
DynamoDBを利用したKPI保存システム
 
Data Factoryの勘所・大事なところ
Data Factoryの勘所・大事なところData Factoryの勘所・大事なところ
Data Factoryの勘所・大事なところ
 
Playfabmeetup#4
Playfabmeetup#4Playfabmeetup#4
Playfabmeetup#4
 
Gazelle & CPAN modules for performance. Shibuya.pm Tech Talk #17 LT
Gazelle & CPAN modules for performance. Shibuya.pm Tech Talk #17 LTGazelle & CPAN modules for performance. Shibuya.pm Tech Talk #17 LT
Gazelle & CPAN modules for performance. Shibuya.pm Tech Talk #17 LT
 
Mackerel & Norikra mackerel meetup #4 LT
Mackerel & Norikra mackerel meetup #4 LTMackerel & Norikra mackerel meetup #4 LT
Mackerel & Norikra mackerel meetup #4 LT
 
Azure Database for PostgreSQL 入門 (PostgreSQL Conference Japan 2021)
Azure Database for PostgreSQL 入門 (PostgreSQL Conference Japan 2021)Azure Database for PostgreSQL 入門 (PostgreSQL Conference Japan 2021)
Azure Database for PostgreSQL 入門 (PostgreSQL Conference Japan 2021)
 
AIやマイクロサービスを活用したDynamoDB節約術
AIやマイクロサービスを活用したDynamoDB節約術AIやマイクロサービスを活用したDynamoDB節約術
AIやマイクロサービスを活用したDynamoDB節約術
 
開発者なのに運用で手がいっぱい? そんなあなたに贈る、 クラウド時代に最適な OSS の RDBMS ! Azure Database for MySQL...
開発者なのに運用で手がいっぱい? そんなあなたに贈る、 クラウド時代に最適な OSS の RDBMS ! Azure Database for MySQL...開発者なのに運用で手がいっぱい? そんなあなたに贈る、 クラウド時代に最適な OSS の RDBMS ! Azure Database for MySQL...
開発者なのに運用で手がいっぱい? そんなあなたに贈る、 クラウド時代に最適な OSS の RDBMS ! Azure Database for MySQL...
 
AzureStorageのオブジェクトレプリケートを試してみた
AzureStorageのオブジェクトレプリケートを試してみたAzureStorageのオブジェクトレプリケートを試してみた
AzureStorageのオブジェクトレプリケートを試してみた
 
Interact2019 ws2019 s2d_IN05
Interact2019 ws2019 s2d_IN05Interact2019 ws2019 s2d_IN05
Interact2019 ws2019 s2d_IN05
 
Windows Server 2016 で実現しちゃう HCI (Hyper Converged Infrastructure)
Windows Server 2016 で実現しちゃう HCI (Hyper Converged Infrastructure)Windows Server 2016 で実現しちゃう HCI (Hyper Converged Infrastructure)
Windows Server 2016 で実現しちゃう HCI (Hyper Converged Infrastructure)
 
PlayFabの2020 3月 最新情報
PlayFabの2020 3月 最新情報PlayFabの2020 3月 最新情報
PlayFabの2020 3月 最新情報
 
99999999 azure iaas_newportal版
99999999 azure iaas_newportal版99999999 azure iaas_newportal版
99999999 azure iaas_newportal版
 

Ähnlich wie PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020

Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しようMicrosoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しようHideo Takagi
 
[日本DCの本命、大阪でWindows Azureを愛でる会] Windows Azure 概要 & 最新情報
[日本DCの本命、大阪でWindows Azureを愛でる会] Windows Azure 概要 & 最新情報[日本DCの本命、大阪でWindows Azureを愛でる会] Windows Azure 概要 & 最新情報
[日本DCの本命、大阪でWindows Azureを愛でる会] Windows Azure 概要 & 最新情報Naoki (Neo) SATO
 
Data platformdesign
Data platformdesignData platformdesign
Data platformdesignRyoma Nagata
 
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現Ryoma Nagata
 
Microsoft Ignite November 2021 最新アップデート - Azure Synapse Analytics
Microsoft Ignite November 2021 最新アップデート - Azure Synapse AnalyticsMicrosoft Ignite November 2021 最新アップデート - Azure Synapse Analytics
Microsoft Ignite November 2021 最新アップデート - Azure Synapse AnalyticsShohei Nagata
 
Azure Antenna はじめての Azure Data Lake
Azure Antenna はじめての Azure Data LakeAzure Antenna はじめての Azure Data Lake
Azure Antenna はじめての Azure Data LakeHideo Takagi
 
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)Yosuke Katsuki
 
アプリケーション開発者のためのAzure Databricks入門
アプリケーション開発者のためのAzure Databricks入門アプリケーション開発者のためのAzure Databricks入門
アプリケーション開発者のためのAzure Databricks入門Yoichi Kawasaki
 
Microsoft Ignite Fall 2021 Data Platform Update Topics
Microsoft Ignite Fall 2021 Data Platform Update TopicsMicrosoft Ignite Fall 2021 Data Platform Update Topics
Microsoft Ignite Fall 2021 Data Platform Update TopicsMicrosoft
 
【日商USA】Webinar 2023.12.13 AWS re:Invent ハイライト ~データ活用の最先端を垣間見る~
【日商USA】Webinar 2023.12.13 AWS re:Invent ハイライト ~データ活用の最先端を垣間見る~【日商USA】Webinar 2023.12.13 AWS re:Invent ハイライト ~データ活用の最先端を垣間見る~
【日商USA】Webinar 2023.12.13 AWS re:Invent ハイライト ~データ活用の最先端を垣間見る~NISSHO USA
 
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...日本マイクロソフト株式会社
 
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)日本マイクロソフト株式会社
 
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...Insight Technology, Inc.
 
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~Daisuke Masubuchi
 
【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~日本マイクロソフト株式会社
 
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...Daiyu Hatakeyama
 
SAP on Azure Cloud Workshop Material Japanese 20190221
SAP on Azure Cloud Workshop Material Japanese 20190221SAP on Azure Cloud Workshop Material Japanese 20190221
SAP on Azure Cloud Workshop Material Japanese 20190221Hitoshi Ikemoto
 
トレジャーデータ新サービス発表 2013/12/9
トレジャーデータ新サービス発表 2013/12/9トレジャーデータ新サービス発表 2013/12/9
トレジャーデータ新サービス発表 2013/12/9Treasure Data, Inc.
 

Ähnlich wie PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020 (20)

Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しようMicrosoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
 
[日本DCの本命、大阪でWindows Azureを愛でる会] Windows Azure 概要 & 最新情報
[日本DCの本命、大阪でWindows Azureを愛でる会] Windows Azure 概要 & 最新情報[日本DCの本命、大阪でWindows Azureを愛でる会] Windows Azure 概要 & 最新情報
[日本DCの本命、大阪でWindows Azureを愛でる会] Windows Azure 概要 & 最新情報
 
Data platformdesign
Data platformdesignData platformdesign
Data platformdesign
 
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
 
Microsoft Ignite November 2021 最新アップデート - Azure Synapse Analytics
Microsoft Ignite November 2021 最新アップデート - Azure Synapse AnalyticsMicrosoft Ignite November 2021 最新アップデート - Azure Synapse Analytics
Microsoft Ignite November 2021 最新アップデート - Azure Synapse Analytics
 
Azure Antenna はじめての Azure Data Lake
Azure Antenna はじめての Azure Data LakeAzure Antenna はじめての Azure Data Lake
Azure Antenna はじめての Azure Data Lake
 
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
 
アプリケーション開発者のためのAzure Databricks入門
アプリケーション開発者のためのAzure Databricks入門アプリケーション開発者のためのAzure Databricks入門
アプリケーション開発者のためのAzure Databricks入門
 
Microsoft Ignite Fall 2021 Data Platform Update Topics
Microsoft Ignite Fall 2021 Data Platform Update TopicsMicrosoft Ignite Fall 2021 Data Platform Update Topics
Microsoft Ignite Fall 2021 Data Platform Update Topics
 
DLLAB Ignite Update Data Platform
DLLAB  Ignite Update Data PlatformDLLAB  Ignite Update Data Platform
DLLAB Ignite Update Data Platform
 
【日商USA】Webinar 2023.12.13 AWS re:Invent ハイライト ~データ活用の最先端を垣間見る~
【日商USA】Webinar 2023.12.13 AWS re:Invent ハイライト ~データ活用の最先端を垣間見る~【日商USA】Webinar 2023.12.13 AWS re:Invent ハイライト ~データ活用の最先端を垣間見る~
【日商USA】Webinar 2023.12.13 AWS re:Invent ハイライト ~データ活用の最先端を垣間見る~
 
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...
 
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
 
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
 
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
 
【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
【de:code 2020】 2020 年も最高のゲームをつくろう! Game Stack でゲーム開発をしよう! ~ LiveOps とデータ分析編 ~
 
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
 
SAP on Azure Cloud Workshop Material Japanese 20190221
SAP on Azure Cloud Workshop Material Japanese 20190221SAP on Azure Cloud Workshop Material Japanese 20190221
SAP on Azure Cloud Workshop Material Japanese 20190221
 
【de:code 2020】 Azure Cosmos DB - Build 2020 アップデート
【de:code 2020】 Azure Cosmos DB - Build 2020 アップデート【de:code 2020】 Azure Cosmos DB - Build 2020 アップデート
【de:code 2020】 Azure Cosmos DB - Build 2020 アップデート
 
トレジャーデータ新サービス発表 2013/12/9
トレジャーデータ新サービス発表 2013/12/9トレジャーデータ新サービス発表 2013/12/9
トレジャーデータ新サービス発表 2013/12/9
 

Mehr von Daisuke Masubuchi

ChatGPTの ビジネス活用とセキュリティ
ChatGPTのビジネス活用とセキュリティChatGPTのビジネス活用とセキュリティ
ChatGPTの ビジネス活用とセキュリティDaisuke Masubuchi
 
Azure PlayFab トレーニング資料
Azure PlayFab トレーニング資料Azure PlayFab トレーニング資料
Azure PlayFab トレーニング資料Daisuke Masubuchi
 
"No Man’s Sky" から"Forza Horizon 5" まで。 国内外の成功タイトルが使う Microsoft Azure
"No Man’s Sky" から"Forza Horizon 5" まで。 国内外の成功タイトルが使う Microsoft Azure"No Man’s Sky" から"Forza Horizon 5" まで。 国内外の成功タイトルが使う Microsoft Azure
"No Man’s Sky" から"Forza Horizon 5" まで。 国内外の成功タイトルが使う Microsoft AzureDaisuke Masubuchi
 
AI に取り組むべき4つの領域
AI に取り組むべき4つの領域AI に取り組むべき4つの領域
AI に取り組むべき4つの領域Daisuke Masubuchi
 
Azure インフラの信頼性とガバナンス
Azure インフラの信頼性とガバナンスAzure インフラの信頼性とガバナンス
Azure インフラの信頼性とガバナンスDaisuke Masubuchi
 
Microsoft for Startups 「起業家をメジャーな職業にする!」 起業・新規事業に少し役立つ MR, Communication のお話を...
Microsoft for Startups 「起業家をメジャーな職業にする!」 起業・新規事業に少し役立つ MR, Communication のお話を...Microsoft for Startups 「起業家をメジャーな職業にする!」 起業・新規事業に少し役立つ MR, Communication のお話を...
Microsoft for Startups 「起業家をメジャーな職業にする!」 起業・新規事業に少し役立つ MR, Communication のお話を...Daisuke Masubuchi
 
カード収集ゲームにおけるPlayFabの使い方
カード収集ゲームにおけるPlayFabの使い方カード収集ゲームにおけるPlayFabの使い方
カード収集ゲームにおけるPlayFabの使い方Daisuke Masubuchi
 
出勤から企業開発者を解放し、エンジニアの働き方改革を実現するリモート開発環境構築
出勤から企業開発者を解放し、エンジニアの働き方改革を実現するリモート開発環境構築出勤から企業開発者を解放し、エンジニアの働き方改革を実現するリモート開発環境構築
出勤から企業開発者を解放し、エンジニアの働き方改革を実現するリモート開発環境構築Daisuke Masubuchi
 
韓国オンラインゲームから学ぶアドホックなビックデータ分析
韓国オンラインゲームから学ぶアドホックなビックデータ分析韓国オンラインゲームから学ぶアドホックなビックデータ分析
韓国オンラインゲームから学ぶアドホックなビックデータ分析Daisuke Masubuchi
 
これからのIT人材のためのワーク・シフト
これからのIT人材のためのワーク・シフトこれからのIT人材のためのワーク・シフト
これからのIT人材のためのワーク・シフトDaisuke Masubuchi
 
個人からトリプル A タイトルのゲーム開発者まで。Azure PlayFab で LiveOps しよう
個人からトリプル A タイトルのゲーム開発者まで。Azure PlayFab で LiveOps しよう個人からトリプル A タイトルのゲーム開発者まで。Azure PlayFab で LiveOps しよう
個人からトリプル A タイトルのゲーム開発者まで。Azure PlayFab で LiveOps しようDaisuke Masubuchi
 
【de:code19】最高のゲームをつくろう! マイクロソフト Game Stack でゲーム開発をしよう!
【de:code19】最高のゲームをつくろう! マイクロソフト Game Stack でゲーム開発をしよう!【de:code19】最高のゲームをつくろう! マイクロソフト Game Stack でゲーム開発をしよう!
【de:code19】最高のゲームをつくろう! マイクロソフト Game Stack でゲーム開発をしよう!Daisuke Masubuchi
 
GDC2019報告会 発表資料(Microsoft 増渕)
GDC2019報告会 発表資料(Microsoft 増渕)GDC2019報告会 発表資料(Microsoft 増渕)
GDC2019報告会 発表資料(Microsoft 増渕)Daisuke Masubuchi
 
モノビットエンジンがついにクラウド化!しかし、インフラでまさかのAzureを利用!?本当に大丈夫なの?
モノビットエンジンがついにクラウド化!しかし、インフラでまさかのAzureを利用!?本当に大丈夫なの?モノビットエンジンがついにクラウド化!しかし、インフラでまさかのAzureを利用!?本当に大丈夫なの?
モノビットエンジンがついにクラウド化!しかし、インフラでまさかのAzureを利用!?本当に大丈夫なの?Daisuke Masubuchi
 
【CEDEC2018】Azure最新情報+「オトギフロンティア」運用大公開+サーバーレスアーキテクチャー
【CEDEC2018】Azure最新情報+「オトギフロンティア」運用大公開+サーバーレスアーキテクチャー【CEDEC2018】Azure最新情報+「オトギフロンティア」運用大公開+サーバーレスアーキテクチャー
【CEDEC2018】Azure最新情報+「オトギフロンティア」運用大公開+サーバーレスアーキテクチャーDaisuke Masubuchi
 
ゲーム、エンターテインメント向けのMicrosoft Azure最新情報 Part2
ゲーム、エンターテインメント向けのMicrosoft Azure最新情報 Part2ゲーム、エンターテインメント向けのMicrosoft Azure最新情報 Part2
ゲーム、エンターテインメント向けのMicrosoft Azure最新情報 Part2Daisuke Masubuchi
 
『Cortana さん、Alexa を開いて!』マイクロソフトのクロスプラットフォーム戦略と最新高品質なスマートスピーカー
『Cortana さん、Alexa を開いて!』マイクロソフトのクロスプラットフォーム戦略と最新高品質なスマートスピーカー『Cortana さん、Alexa を開いて!』マイクロソフトのクロスプラットフォーム戦略と最新高品質なスマートスピーカー
『Cortana さん、Alexa を開いて!』マイクロソフトのクロスプラットフォーム戦略と最新高品質なスマートスピーカーDaisuke Masubuchi
 
OSS on Azure で構築するウェブアプリケーション
OSS on Azure で構築するウェブアプリケーションOSS on Azure で構築するウェブアプリケーション
OSS on Azure で構築するウェブアプリケーションDaisuke Masubuchi
 
オープンソーステクノロジー対応の App Service と Azure Database Servicesを活用した Webシステムデザイン
オープンソーステクノロジー対応の App Service と Azure Database Servicesを活用した Webシステムデザインオープンソーステクノロジー対応の App Service と Azure Database Servicesを活用した Webシステムデザイン
オープンソーステクノロジー対応の App Service と Azure Database Servicesを活用した WebシステムデザインDaisuke Masubuchi
 
Azure上の データベース 機能の選び方。KVSからDWHまで
Azure上の データベース 機能の選び方。KVSからDWHまでAzure上の データベース 機能の選び方。KVSからDWHまで
Azure上の データベース 機能の選び方。KVSからDWHまでDaisuke Masubuchi
 

Mehr von Daisuke Masubuchi (20)

ChatGPTの ビジネス活用とセキュリティ
ChatGPTのビジネス活用とセキュリティChatGPTのビジネス活用とセキュリティ
ChatGPTの ビジネス活用とセキュリティ
 
Azure PlayFab トレーニング資料
Azure PlayFab トレーニング資料Azure PlayFab トレーニング資料
Azure PlayFab トレーニング資料
 
"No Man’s Sky" から"Forza Horizon 5" まで。 国内外の成功タイトルが使う Microsoft Azure
"No Man’s Sky" から"Forza Horizon 5" まで。 国内外の成功タイトルが使う Microsoft Azure"No Man’s Sky" から"Forza Horizon 5" まで。 国内外の成功タイトルが使う Microsoft Azure
"No Man’s Sky" から"Forza Horizon 5" まで。 国内外の成功タイトルが使う Microsoft Azure
 
AI に取り組むべき4つの領域
AI に取り組むべき4つの領域AI に取り組むべき4つの領域
AI に取り組むべき4つの領域
 
Azure インフラの信頼性とガバナンス
Azure インフラの信頼性とガバナンスAzure インフラの信頼性とガバナンス
Azure インフラの信頼性とガバナンス
 
Microsoft for Startups 「起業家をメジャーな職業にする!」 起業・新規事業に少し役立つ MR, Communication のお話を...
Microsoft for Startups 「起業家をメジャーな職業にする!」 起業・新規事業に少し役立つ MR, Communication のお話を...Microsoft for Startups 「起業家をメジャーな職業にする!」 起業・新規事業に少し役立つ MR, Communication のお話を...
Microsoft for Startups 「起業家をメジャーな職業にする!」 起業・新規事業に少し役立つ MR, Communication のお話を...
 
カード収集ゲームにおけるPlayFabの使い方
カード収集ゲームにおけるPlayFabの使い方カード収集ゲームにおけるPlayFabの使い方
カード収集ゲームにおけるPlayFabの使い方
 
出勤から企業開発者を解放し、エンジニアの働き方改革を実現するリモート開発環境構築
出勤から企業開発者を解放し、エンジニアの働き方改革を実現するリモート開発環境構築出勤から企業開発者を解放し、エンジニアの働き方改革を実現するリモート開発環境構築
出勤から企業開発者を解放し、エンジニアの働き方改革を実現するリモート開発環境構築
 
韓国オンラインゲームから学ぶアドホックなビックデータ分析
韓国オンラインゲームから学ぶアドホックなビックデータ分析韓国オンラインゲームから学ぶアドホックなビックデータ分析
韓国オンラインゲームから学ぶアドホックなビックデータ分析
 
これからのIT人材のためのワーク・シフト
これからのIT人材のためのワーク・シフトこれからのIT人材のためのワーク・シフト
これからのIT人材のためのワーク・シフト
 
個人からトリプル A タイトルのゲーム開発者まで。Azure PlayFab で LiveOps しよう
個人からトリプル A タイトルのゲーム開発者まで。Azure PlayFab で LiveOps しよう個人からトリプル A タイトルのゲーム開発者まで。Azure PlayFab で LiveOps しよう
個人からトリプル A タイトルのゲーム開発者まで。Azure PlayFab で LiveOps しよう
 
【de:code19】最高のゲームをつくろう! マイクロソフト Game Stack でゲーム開発をしよう!
【de:code19】最高のゲームをつくろう! マイクロソフト Game Stack でゲーム開発をしよう!【de:code19】最高のゲームをつくろう! マイクロソフト Game Stack でゲーム開発をしよう!
【de:code19】最高のゲームをつくろう! マイクロソフト Game Stack でゲーム開発をしよう!
 
GDC2019報告会 発表資料(Microsoft 増渕)
GDC2019報告会 発表資料(Microsoft 増渕)GDC2019報告会 発表資料(Microsoft 増渕)
GDC2019報告会 発表資料(Microsoft 増渕)
 
モノビットエンジンがついにクラウド化!しかし、インフラでまさかのAzureを利用!?本当に大丈夫なの?
モノビットエンジンがついにクラウド化!しかし、インフラでまさかのAzureを利用!?本当に大丈夫なの?モノビットエンジンがついにクラウド化!しかし、インフラでまさかのAzureを利用!?本当に大丈夫なの?
モノビットエンジンがついにクラウド化!しかし、インフラでまさかのAzureを利用!?本当に大丈夫なの?
 
【CEDEC2018】Azure最新情報+「オトギフロンティア」運用大公開+サーバーレスアーキテクチャー
【CEDEC2018】Azure最新情報+「オトギフロンティア」運用大公開+サーバーレスアーキテクチャー【CEDEC2018】Azure最新情報+「オトギフロンティア」運用大公開+サーバーレスアーキテクチャー
【CEDEC2018】Azure最新情報+「オトギフロンティア」運用大公開+サーバーレスアーキテクチャー
 
ゲーム、エンターテインメント向けのMicrosoft Azure最新情報 Part2
ゲーム、エンターテインメント向けのMicrosoft Azure最新情報 Part2ゲーム、エンターテインメント向けのMicrosoft Azure最新情報 Part2
ゲーム、エンターテインメント向けのMicrosoft Azure最新情報 Part2
 
『Cortana さん、Alexa を開いて!』マイクロソフトのクロスプラットフォーム戦略と最新高品質なスマートスピーカー
『Cortana さん、Alexa を開いて!』マイクロソフトのクロスプラットフォーム戦略と最新高品質なスマートスピーカー『Cortana さん、Alexa を開いて!』マイクロソフトのクロスプラットフォーム戦略と最新高品質なスマートスピーカー
『Cortana さん、Alexa を開いて!』マイクロソフトのクロスプラットフォーム戦略と最新高品質なスマートスピーカー
 
OSS on Azure で構築するウェブアプリケーション
OSS on Azure で構築するウェブアプリケーションOSS on Azure で構築するウェブアプリケーション
OSS on Azure で構築するウェブアプリケーション
 
オープンソーステクノロジー対応の App Service と Azure Database Servicesを活用した Webシステムデザイン
オープンソーステクノロジー対応の App Service と Azure Database Servicesを活用した Webシステムデザインオープンソーステクノロジー対応の App Service と Azure Database Servicesを活用した Webシステムデザイン
オープンソーステクノロジー対応の App Service と Azure Database Servicesを活用した Webシステムデザイン
 
Azure上の データベース 機能の選び方。KVSからDWHまで
Azure上の データベース 機能の選び方。KVSからDWHまでAzure上の データベース 機能の選び方。KVSからDWHまで
Azure上の データベース 機能の選び方。KVSからDWHまで
 

PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020

  • 1. 世界中のゲーム分析をしてきたPlayFabが大進化! 一緒に裏側の最新データ探索の仕組みを覗いてみよう Data is eating the world マイクロソフト グローバルブラックベルトアジア地域 ゲームサーバーアーキテクト 増渕大輔 @dmasubuchi slideshare
  • 2. `本日のお話  第一部: PlayFab Insights  ゲームの BaaS 「 PlayFab 」の分析機能 についてお話します  従来の分析機能が大幅にバージョンアップしました(新機能=PlayFab Insights)  内部には、Azure Data Explorer が使われています。機構をご紹介します  第二部: Azure Data Explorer  Azure Data Explore についてさらにお話します  この製品の生い立ち、過去の経緯、Microsoft社内での利用シナリオについてご紹介します
  • 3. Kusto と Azure Data Explorer の言葉の定義 Kusto は、テレメトリ データをすばやく検索および視覚化するためのビッグデータ ログ検索および分析の社内向け に開発されたサービスであり、開発コードです 当初はApplication Insightsや、OMS(現 Azure Monitor)のエンジンとして使われました この社内サービス(Kusto)を一般企業向けに提供したものが、Azure Data Explorer です ただし今でも Kusto の愛称で呼ばれることがあります。またツールやクエリーには Kusto の名前が残っています 例: Kusto Explorer、 KQL(Kusto Query Language) 今年リリースされた、PlayFabの新しい分析機能の、PlayFab Insights の基盤は、Azure Data Explorer です
  • 7.
  • 8.
  • 11. PlayStream Event Model reference https://docs.microsoft.com/en-us/gaming/playfab/api- references/events/ PlayFab内のイベントのプロパティ説明 Player、Title、など、PlayFabのデータの概念を理解していると読みとく のはとても簡単です Kusto の概要 https://docs.microsoft.com/ja-jp/azure/data-explorer/kusto/concepts/ Kusto のクエリ言語の説明や、よく使われ るテーブル演算子の説明があります チュートリアルやサンプル配下の天気データを用いることで、 実際に手を動かしながらKQLを学ぶことができます
  • 12. ['events.all'] | take 10 // Event list ['events.all'] | distinct FullName_Name // project(“select” in SQL): https://docs.microsoft.com/en-us/azure/data- explorer/kusto/query/projectoperator ['events.all'] | take 10 | project EventData // “dynamic” data type: https://docs.microsoft.com/ja-jp/azure/data- explorer/kusto/query/scalar-data-types/dynamic ['events.all'] | take 10 | project EventData | getschema ['events.all'] | where FullName_Name == 'player_logged_in' | take 10 | project EventData, EventData.Source ['events.all'] | where FullName_Name == 'player_logged_in' | take 10 | project EventData, EventData.Location.CountryCode // extend(define new column): https://docs.microsoft.com/en-us/azure/data- explorer/kusto/query/extendoperator ['events.all'] | where FullName_Name == 'player_logged_in' | take 10 | project EventData | extend ipv4adress = tostring(EventData.IPV4Address) | extend CountryCode = tostring(EventData.Location.CountryCode) | extend Timestamp = todatetime(EventData.Timestamp) // DAU, NRU, Retention rate, Churn rate let startdate = datetime(2020-03-01); let enddate = datetime(2020-06-30); ['events.all'] | where FullName_Name == 'player_logged_in' | evaluate activity_metrics(Entity_Id, Timestamp, startdate, endofday(enddate), 1d) //| render timechart // DAU, NRU, Retention rate, Churn rate by Country let startdate = datetime(2020-03-01); let enddate = datetime(2020-06-30); ['events.all'] | where FullName_Name == 'player_logged_in' | extend CountryCode = tostring(EventData.Location.CountryCode) | evaluate activity_metrics(Entity_Id, Timestamp, startdate, endofday(enddate), 1d, CountryCode) //| render timechart // DAU by country let startdate = datetime(2020-03-01); let enddate = datetime(2020-06-30); ['events.all'] | where FullName_Name == 'player_logged_in' and Timestamp between (startdate .. endofday(enddate)) | extend CountryCode = tostring(EventData.Location.CountryCode) | summarize dcount(Entity_Id) by CountryCode, bin(Timestamp, 1d) | project Timestamp, CountryCode, dcount_Entity_Id // Power BI ['events.all’] | where Timestamp > ago(7d) PlayFabイベントに関する情報 詳しくは・・・ https://docs.microsoft.com/en-us/gaming/playfab/api-references/events/
  • 13.
  • 14. 以前のPlayFab • モバイル/カジュアル中心 • 小規模組織 • PlayFab 自身の情報が把握しにくかった • 高度な分析ニーズはなかった Microsoft への合流後 • AAAのタイトルのニーズ急増 • マルチプレイやチャットなど、PlayFab の ワークロードが多様化 • データサイエンティストがいる スタジオの高度な分析機会 • PlayFab 運営チーム自身が顧客の状況をリア ルタイムで把握できるように
  • 15. データの量・質が増えたら、分析手法も変わるべき • PlayFab はもともと分析に強いと好評でした • さらに、Azure に移行したことで、PlayFab Insights (Preview) の提供を開始 • プレーヤーの全体像をより把握しやすくなる • インポート、エクスポートの柔軟性 • 様々なBIツールとの連携 • 機械学習の対応
  • 16. PlayFab Analytics Architecture (high level) PlayStream PlayFab Client SDK Game Manager PlayFab.com PlayFab Customer Game Manager Game Manager PlayFab Action Services Ingestion ADX Clusters ADF Proxy PlayFab Services Logs & Metrics CosmosDB Operational logs and metrics Tenancy RTA *ADX - Azure Data Explorer *ADF - Azure Data Factory Warehouse: Reports, Trends etc. AzureBlob Scorecard compute
  • 17. PlayFab Facts / Dimensions PlayFab Analytics (ETL scenarios) PlayFab Client SDK ADX Clusters GDE004 (table per event) CosmosDB ADX Clusters GDEPF001 (follower DB from GDE001) ADF PlayFab Services PlayFab Facts / Dimensions Power BI PF internal reportsPlayFab DB ADX Functions PlayFab Metrics PlayFab Metrics PlayFab Metrics ADF PlayFab Facts / Dimensions PlayFab Facts / Dimensions
  • 18. PlayFab Analytics – direct access Powering analytics with Azure Data Explorer • クエリの埋め込みエクスペリエンス • 保存されたクエリ/レンダリングされたグラフ • データのインポートとエクスポート • スケーラブルなパフォーマンス (IPU メーター) Connectors through Proxy
  • 19. ADX continuous export to Azure Blob Manage Experiments Experience • UI と API を使用する • CRUD API サーフェス • 実験のスケジュール • Expのコンプライアンス • Expのアクセス制御 • コードレスExp • *A&E – Analytics and Experimentation ➢ Variant ID でタグ付けされ た PlayFab Profile (treatment) ➢ Variant ID でタグ付けされ た PlayFab Events ➢ メトリック生成用 Azure BLOB データ ➢ Data Bricks による スコアカード
  • 20. Azure Data Explorer (Kusto) PlayFab Data Governance – GDPR PlayFab.com Game Manager PlayFab APIPurge or Export PlayFab SDK Service Fabric Cluster PCF Command Feed Ingestion Command Actor Orchestrator Actor Table Delete Service CRM Management API PlayFab Webhook Stateful Service (Partitioned by Cluster] Stateless Service Stateful Actor (Partitioned by PlayerId) Stateful Actor Determines Query Execution GDPR compliance for all customers • Data Portability: 顧客データのエクスポートを提供 • Forgottenの権利: すべてのPlayFabテレメトリの顧客データ消去 NGP Compliance (for Xbox Game Studios) • Integrated into Microsoft Privacy Portal DeleteMasterPlayer ExportMasterPlayer
  • 21.
  • 22. `本日のお話  第一部: PlayFab Insights  ゲームの BaaS である PlayFab の分析機能についてお話します  PlayFab は従来の分析機能が大幅にバージョンアップしました  内部には、Azure Data Explorer が使われており、その機構をご紹介します  第二部: Azure Data Explorer  Azure Data Explore (ADX、または Kusto )についてさらにお話します  この製品の生い立ち、過去の経緯、Microsoft社内での利用シナリオについてご紹介します
  • 23. PlayFab 以外もいろいろと使われている ADX Azure Monitor Security Products IoT Office 365 Telemetry Gaming
  • 24.
  • 25.
  • 26. Kusto Basics – What & Why • ビッグ データ ログ検索とテキスト分析 • ログ データへの格納とクエリに最適化 • クラウドベースのサービス • 時系列データへの機械学習が優れている • RDBMSではない • クエリの最適化を可能にするレコードの更新 はサポートしていません • インポート速度が速い(Ingestion の容量が大 きい) • キホンはインメモリーデータベース(階層型 でディスクを組み合わせることも可能) • Azure では、テレメトリ データをモダンな データサービスに格納し、Kusto を使用して 新しいダッシュボードを構築するという大き な流れがあった • KQL(Kusto Query Language)はシンプルで 簡単 • 数十億行を数秒で検索 • Azureのデータセンター内部、ネットワークに 関する深い洞察を得ることができるようにな る • 視覚的なグラフですばやく要約する • 迅速にCSV、Excel、プレーンテキストまたは Power BIにエクスポートすることもできる • 機械学習を応用して、異常検出などの追加の シナリオの実装が簡単 • トラブルシューティングシナリオでかなり役 に立つ
  • 27. Kusto Basics – Terminology  すべてのデータは、固有のクラスターを介してアクセス可能  クラスタにデータベースが含まれる  データベースにテーブルが含まれる  テーブルは、列と行にデータを格納 "表形式のデータ" (Cluster) (Database) (Tables)
  • 28. Kusto Basics – Exploring data  Kusto Explorer でデータの探索を開始する最も簡単な方法  リスト内のテーブルをダブルクリックすることです。 注意!! この方法では実行しないでください
  • 29. Kusto Basics – Exploring data 右のスクショの環境には24億行以上の データが含まれていました! 制限のないクエリを実行すると、GB 相 当のデータが返され、 クラスターリソースが無駄になる可能性 があります (2.4 Billion Rows) ただし、Azure Data Explorer はクラスターのCore 数課金なのでクエリー課金バーストはありません (ご安心ください)
  • 30. Kusto Basics – Pipes & Operators  Kusto のパイプは他のシステムの パイピング データと同じ (UNIX、 BSD、JUNOS)  パイプは、クエリを非常に読みやす くします  演算子の順序も重要  タイムスタンプwhere句で最初に フィルタリングするのが◎  時間でフィルタリングするように最 適化されています
  • 31. Kusto Basics – Limit Operator  クエリ結果を小さなサイズに制限す る。  テーブル内の生データをすばやく確 認でき、データに含まれる内容、構 造を理解できます。  右の場合は、結果をスキミングして、 デバイス名、インターフェイス、説 明、各種カウンタなどの詳細がテー ブルに含まれているかをチェック
  • 32. Kusto Basics – Where Operator 右のスクショでは以下の条件に合致 するルータのみを表示  時間が過去 1 日  tunnel を含まない  ibr と lax を含む
  • 33. Kusto Basics – Summarize Operator Summarize(集計)演算の例  TIMESTAMP列が最も近い時間にラ ウンドされている  T-SQL で DISTINCT を使用する場 合と似ています
  • 34. Kusto Basics – Render Operator Renderでデータをグラフィカルに  右の例は(現在の時間を除く) 7 時間 の データを取得  TIMESTAMP で集計し、棒グラフに表 示
  • 35. タイムチャートの例 //performance index % of requests meeting SLA (5 second) request |where context_data_eventTime >= now(-7d) | summarize reqCount = count(), reqCountovr5 = count(request_durationMetric_value > 50000000) by context_data_eventTime bin = time(1h) | extend pctover5s = reqCountovr5 *100.0 / reqCount | extend pctIndex = 100.00 - pctover5s | project context_data_eventTime , pctIndex | render timechart //reliability index - % of failed requests request | where context_data_eventTime >= now() -time(7d) | summarize reqCount = count(), reqError = count(request_responseCode >= 500) by context_data_eventTime bin = time(1h) | extend relIndex = reqError *100.00 / reqCount | extend reliabilityIndex = 100.00 - relIndex | project context_data_eventTime , reliabilityIndex |render timechart
  • 39. “Digital feedback loops help you better engage with your customers, empower your employees, optimize your operations, and reinvent products and business models” S. Nadela
  • 40. Log files Spatial & GPS coordinates Data market feeds eGov feeds Weather Text/image Web 2.0Advertising Mobile Collaboration eCommerce Web logs Digital Marketing Search Marketing Recommendations 40 More decision makers BigData Megabytes Gigabytes Terabytes Petabytes Data Complexity: Velocity, Variety ERP/CRM Payables Payroll Inventory Contacts Deal Tracking Sales Pipeline Click streams Wikis, Blogs Sensors/RFID/ Devices Social Sentiment Audio/Video
  • 42. Any append- only stream of records Relational query model: Filter, aggregate, join, calculated columns, … Fully- managed Rapid iterations to explore the data High volume High velocity High variance (structured, semi- structured, free-text) PaaS, Vanilla, Database Purposely built 1センテンスで理解するADX
  • 43. • メトリックと時系列データ • テキスト検索とテキスト分析 • 多次元/リレーショナル分析 Comprehensive Strength • シンプルで強力なデータ探索 • リッチ リレーショナル クエリ言語 • 全文検索 • ML Extentionの拡張性 • SQL/TDS エンドポイント Analytics Query language • 低遅延インジェズレーション • 圧縮とインデックス作成 • 自動保持(リテンション設定) • Hot/cold resource アロケーション Data Ingestion and Management • ハードウェアでスケールアウト • ジオ全体でスケールアウト • 細かいリソース使用率制御 • クロスジオでのクエリ High performance over large data sets Azure Data Explorer A big data interactive platformAzure Data Explorer の内部の構造 Ingestion Dev/BI Tools
  • 44. Telemetry Analytics for internal Analytics Data Platform for products AI OMS ASC Defender IOT Interactive Analytics Big Data Platform 2015 - 2016 Israelの研究所で行われた社内のインキュ ベーションプログラム マイクロソフト社内のデータ分析プラッ トフォームを作るビジョンで開始された 2019 サードパーティのオファーを試験運営 Operational Management Suite/Application Insightsにまたがる統合プラットフォーム クライアント/サーバー・セキュリティー を介してブリッジされるシナリオに拡張 (IoT、テレメトリーシナリオ) 2017 パブリックプレビューは2018年後半 GAは、2019年 Kusto (現ADX)の生い立ち
  • 45. 昔々、VSTSサービス停止とスローダウン障害発生  SQL Azure クエリ プロセッサの互換性レベルを 100 (SQL Server 2008) から 120 (SQL Server 2014) に変更  SQL Server 2014 クエリ オプティマイザは、カーディナリティの推定値に大幅な変更があった  これは、クエリのメモリアロケーション算定に使用されました  (ワーキングメモリのディスクへの流出を避けるためにクエリのメモリを事前に計算している)  処理に必要なクエリのメモリ許可の推定値が以前の小さな値から 3.5 GB に急増  メモリ不足を防ぐため、クエリを実行する前にバックアップされシリアル化される可能性が発生  これによる、ジョブの渋滞が発生  お客様の要求がタイムアウト/失敗  解決方法はクエリに使用する最大メモリ付与をクエリ オプティマイザーに伝えるヒントを追加する Blog: https://devblogs.microsoft.com/bharry/vs-team-services-incidents-on-feb-3-4/
  • 46. (続き)  SQL の互換性レベルを変更する前に、すべての SQL 待機タイプを確認  上位の待機タイプが CXPACKET であり、並列化された部分が別の並列部分の完了を待機している  RESOURCE_SEMAPHOREで待機しているものを見ることによってさらに掘削すると、prc_UpdateIdentitiesが支配的  sproc に対するメモリ許可要求のタイム チャートを見ると、 SQL compat レベルに変更した瞬間から巨大なスパイクが発生 Blog: https://devblogs.microsoft.com/bharry/a-bit-more-on-the-feb-3-and-4-incidents/
  • 47. https://devblogs.microsoft.com/bharry/a-bit-more-on-the-feb-3-and-4-incidents/ * Microsoft Edge にて機械翻訳をしています Brian February 6th, 2016
  • 48. 弊社サービスのボリューム例 (5-6年前) 1 MILLION 1 秒あたりのイベント数 78 TB 1 日あたりに取り込むデータ 20 PB 2013年 XX 月の処理データ合計 99.99% 2013年 XX 月以降のコレクターの可用性 75 SECONDS PUB-SUB へのイベントの 99.9% の待機時間 390 MILLION デバイスとサービスの接続の数 1.8 MILLION データ サービスに対する 1 日あたりのクエリ 1000 VIEWS ポータルの 1 日あたりのページ ビュー このような巨大SaaSサービスがAzure Data Explorer(ADX)のユーザーです 最近は、社内の承認アプリや Oderアプリにも使われ始めています
  • 49. Azure Data Explorer を使う主な目的 素晴らしいクラウドサービスを開発・運用するチームづくりには絶対に必要 1. Monitorするため 品質、製品健全性、ユーザーインサイト、ビジネス指標における監視とアクション 2. Correlate による作業効率化 クラウド、モバイル、Web アプリ間のデータの意味付け 3. Security を確保するため 準拠した方法でのコンシューマ・企業データのセキュリティ 4. Interop で好きなツールやデータにつなぐため 他のデータ セットおよびテクノロジとの相互運用
  • 50. Engineer Raw Data Cooked Data Alerts Dashboards Cosmos Data Apps Diagnostics Services Data Processing “Analyze” “Debug” “Mine” “Glance” “Monitor” Data Information データサイエンティストやビジネ スアナリストの助けを借りて チームは、KPI から開始し、ドリルダウンして実行可能な ステップを特定し、優先順位を付け、洞察を得ることが できる エンジニアは 彼らが素早く洞察を得ること ができる 魔法はここで起こる 生データを、迅速に問い合わせることができる意味の ある洞察に変換する IntelligenceInsight Democratize access to data-driven insight データに関する深い専門知識, 洗練された分析 “Log” Service/Client Feedback “Tune” Clients 高レベルのシナリオをサポート 監視、診断、軽減、異常検出、実験、本番でのテスト KPI 主導のアクション
  • 52. 2019 GA 以降、徐々に 顧客事例登場  クラウド化  巨大化するサービス  デジタルデータ肥大化  データ活用の重要性 大規模なIoTアプリケーション > 数十億のセンサー、製造設備、車両からのテレメトリー監視 ビッグ データ ログの分析が必要な企業 > アドネットワーク、オンラインゲーム、ニュースサイト等 推奨コンテンツ、異常検知、データサイエンティスト負荷軽減 成長したSaaSアプリケーション > トレンドの発見、パーソナライズされた体感の提供
  • 53. Azure Data Explorer Estimating costsコスト計算ツール  https://aka.ms/adx.cost
  • 55. 注意: ADXはデータウェアハウス処理が苦手です Modern data warehousing Real-time analytics リアルタイムで様々な サービス、デバイスから 洞察を得る Machine Learning 高度な異常検知のための 分析プラットフォーム 複数のソースから、さまざま な形式でデータを分析 ここが得意
  • 57. ジャック=イヴ・クストー Jacques-Yves Cousteau 彼の名前が由来のようです( precision_score = ??? ) 1930年にフランス海軍に参加。潜水用の呼吸装置スクーバ(商品 名:アクアラング)の発明者の一人として知られる。 水中考古学を始めた人物でもある。 1957年、海軍大佐で海軍を退役し、モナコ海洋博物館長に就任。 1959年海の国連と呼ばれる世界水中連盟CMASを創設。1971年に ベリーズのグレート・ブルーホールを訪れ、世界のトップダイビ ングスポットに選定した[1]。1992年の地球サミットで環境破 壊・海洋汚染を警告し、母国フランスの核実験再開を激しく批判。 赤いニット帽がトレードマーク。「海の恋人」と呼ばれていた。 (日本版Wikipediaより抜粋) “Explore the ocean of data” という言葉を残してます
  • 58. Explore the ocean of data with Kusto
  • 59. ThinkIT紙にご紹介いただきました 山田様・宮城様のビックデータ基盤の記事に Azure Data Explorer が取り 上げられました。Microsoft Azure、GCP(Google Cloud Platform)、 AWS(Amazon Web Services)の3社が展開する基盤の比較も掲載予定 https://thinkit.co.jp/series/9868
  • 60. Product  Product Page: http://aka.ms/AzureDataExplorer  Docs: https://aka.ms/adx.docs  Pricing Page: https://azure.microsoft.com/en-us/pricing/details/data-explorer/  Cost Estimator: http://aka.ms/adx.cost Demos  Scott Guthrie’s Keynote (ADX Announcement/Demo)  Rohan Kumar’s Keynote (ADX Announcement/Demo)  Scott Guthrie’s in Techorama (Scott’s demo) Blogs  Announcement: https://azure.microsoft.com/en-in/blog/introducing-azure-data-explorer/  Whitepaper: https://azure.microsoft.com/en-us/resources/azure-data-explorer/en-us/  101 blog: https://azure.microsoft.com/en-us/blog/azure-data-explorer-technology-101/ Social and Community  Twitter: @AzDataExplorer  Stack overflow: https://stackoverflow.com/search?q=Azure+Data+Explorer  Tech Community: https://techcommunity.microsoft.com/t5/Azure-Data-Explorer/bd-p/Kusto リンク集