2. Part 0: 製造リファレンスアーキテクチャについて
Part 0.5: 事例を中心としたユースケース
Part 1: IoT 基盤
Part 2: Data & AI 基盤
Part 3: サーバーレスとシステム間連携基盤
Part 4: Power Platform / Dynamics 365 概説
Part 5: “製品の変革” を支える基盤サービス
製造リファレンス・アーキテクチャをベースとした
システム構築を行うための基盤技術 トレーニング (座学)
12. Data Workloads
Applications
High Scale Web &
Mobile
CDN – Web & Video
Interactive (low-
latency)
Analytics
Spark (Databricks) &
Hive
Hadoop Ecosystem
(HDFS)
Machine Learning
Data Warehouse
HPC
Autonomous Driving
Oil & Gas
Genomics
EDA
Cloud Burst
Media transcoding
Finserv & Insurance
Cold
Backup & DR
Logs
Media Archives
Medical Imaging
46. Azure Arc: アーキテクチャ
Management
experiences
Azure Portal
Azure CLI
Azure SDK
Azure Arc
technologies:
Azure
Identity
RBAC
Policy
Index
Groups
Etc.
Azure Resource
Manager
Azure Arc data
RP
Container
registry
Azure Arc
K8s RP
Azure Arc
server RP
Azure Data Services
Wave 1
• SQL
• PostgreSQL
Azure Arc data controller
Kubernetes
Azure PaaS
Control
K8s Cluster
Azure Arc data
agent
GitOps
Manager
Azure Arc K8s
agent
Servers
Linux
Windows
Server
Azure Arc
server agent
Resource specific tools
Azure Data Studio
Cluster provisioning
Cluster upgrade and patch
management
Cluster lifecycle management
Cluster monitoring
K8s Native Tools
Server Admin Tools
Customer locations
47. Azure Arc: Azure data services anywhere
Azure data services anywhere:
https://azure.microsoft.com/ja-jp/services/azure-arc/hybrid-data-services/
48. Azure Arc: Azure data services anywhereプレビュー
今後、他の Azure Data Services も追加の予定
Azure Arc上の
Azure Database for
PostgreSQL Hyperscale
Azure Arc上の
Azure SQL Database
49. Azure Arc: Azure data services anywhere – 全体像
アプリケーションと BI
カスタム
アプリ 分析BI
AKS
…
あらゆる Kubernetes
あらゆる ハードウェア
Azure Data Services
Microsoft
Azure Site
Recovery
OEM ハードウェア
Azure Arc による管理
Kubernetes OPENSHIFT
Azure Site RecoveryAzure MonitorAzure Security
展開
HA/DR
スケーリング
アップデート
バックアップ
診断
Azure Stack
50. Azure Arc data controller
バックアップ監視とログ
制御 API Azure Arc 統合 HA/DR スケーリング
パッチ適用とアップデート
展開
永続ストレージ
ノード ノード ノード ノード ノード ノード
Azure Data Studio
ID
Azure RBAC & Policy
高度なデータ セキュリティ
展開
リソースのインベントリー
ログとテレメトリー
バックアップと保持期間
利用
azdata CLI
kubectl CLI
Microsoft Container
Registry
SQL DB SQL DB (HA付)
Azure ポータル
Azure Data Studio
CLI
サードパーティ
Kubernetes
API
PostgreSQL Hyperscale* データベース サービス 分析サービス
Azure Arc: Azure data services anywhere アーキテクチャ
59. IoT テレメトリを活用し、差別化されたエクスペリエンスを構築
予測できないほど大量のリアルタイムデータを、
ビジネスを中断することなしに処理
• テレマティクスは、正確な診断のためにリアルタイム クエリとインデ
キシング機能を提供
• 書き込みの多いワークロードを扱うために、瞬時の柔軟なスケーリ
ング
• SLAによって保証された推測可能なパフォーマンス
Azure Cosmos DB
(Telemetry & device state)
Apache Storm on
Azure HDInsight
Azure Storage
(archival)
Azure Web Jobs
(Change feed
processor)
Logic apps
Azure IoT Hub
Azure Cosmos DB was chosen due
to its ability to ingest data at
massive scale with high availability
guarantee.
67. アジェンダ
クラウド スケールの分析基盤
• 蓄積: Azure Data Lake Storage
• 収集 ( & 前処理 ): Azure Data Factory
• 前処理: Azure Databricks
• 分析: Azure Synapse Analytics
• 共有: Azure Data Catalog と、Azure Data Share
• 見える化: Power BI
AI 基盤
• 機械学習: Azure Machine Learning
• 学習済モデル: Cognitive Service
• AIの民主化: Power Platform
Azure Storage の基本
• なぜ、クラウド ストレージなのか?
• Azure Storageのアーキテクチャ
• Azure Blob Storage / Azure Data Lake Storage
オペレーショナル データベース基盤
• SQL Server: Azure SQL Database
• オープンソースRDBMSサービス:
Azure Database for PostgreSQL / MySQL / Maria DB
• NoSQLサービス: Azure Cosmos DB
68. 現代のデータ資産
Azure Data Services
Azure Data Services
データウェアハウス
オペレーショナルデータベース データレイクと分析
リレーショナルデータ用
Azure SQL Database
どんなサイズ、形状、速度の
データも処理し、分析できる
Azure Data Lake
非リレーショナル/NoSQLデータ用
Azure Cosmos DB
オープンソース
Azure Database for MySQL、
PostgreSQL、およびMariaDB
オープンソースベースの分析
Azure HDInsight
セキュリティとパフォーマンス選択の柔軟性
その場所でデータを
利用する理由に合わせて展開
ビッグデータ分析および
AIソリューション用
Azure Databricks
ペタバイトのデータに対する複雑なクエリ用
Azure Synapse Analytics
( Formerly Azure SQL Data Warehouse )
69. クラウド スケールの分析基盤
蓄積
前処理 提供収集
( & 前処理 )
Azure
Data Factory
Azure Data Lake Storage
Azure
Databricks
クラウド上のデータ
SaaS 上のデータ
オンプレミス上のデータ
デバイスからのデータ
Power BI
Azure
Machine Learning
Azure Synapse Analytics
(Formerly Azure SQL DW)
70. クラウド スケールの分析基盤
“Gartner Magic Quadrant for Analytics and Business Intelligence Platforms” で、12年連続リーダーポジション
https://info.microsoft.com/ww-landing-gartner-mq-bi-analytics-2019.html?LCID=JA-JP
71. サブシナリオ2: 見える化 / サブシナリオ3: 工程間情報統合
Factory of the Future
クラウド スケールの分析基盤
• Azure Data Lake Storage ( Azure Storage )
• Azure Databricks
• Azure Synapse Analytics (旧SQL DWH)
• Azure Data Factory
• Power BI
• Azure Data Share / Azure Data Catalog
2 Data Lake
3 データ加工
4 Synapse Analytics / BIツール
72. リファレンスアーキテクチャ
Factory of the Future:
2. 工場モニタリング (見える化)
3. 簡易工場デジタルツイン作成
Expectation for Partners
• 装置ログなどから有意なデータ構造を見出すデータ加工(❸)
• 分散処理PaaS等を利用した大規模データ処理ソリューション(❸)
• 工程横断データ分析ソリューション(❹)
IoT Hubから受け取った製造記録(装置ログ・検査結果など)を時系列データの
まま格納する。
格納の時点では対象装置や検査工程ごとのデータであり、製造対象品ごとに紐づ
いていない。
Data Lake2
データ加工結果をBIツールで見える化し、不良要因分析や傾向分析を行う。
Synapse Analytics / BIツール4
Edge PC / Gateway Device1
製造装置のログやセンサデータ、検査結果を時系列で取得し、IoT EdgeからIoT
Hubに送信する。
Data Lake に蓄積された大規模データを Synapse Analytics 上の Apache
Spark で分散処理することにより、高速に構造化データに加工できる。
データ加工の例
• 正規化: 手入力データやアナログ値データを整形し、データ間の比較を可能に
する。
• 変化点検出: 時系列データが変化するタイミングに対してイベントを定義する。
• 工程別データの紐付け: 製造対象品毎に工程、検査などのデータを紐付け、
トレーサビリティ管理が可能なデータ構造にする。
データ加工3
RFID/QRリーダ
装置ログ/
センサデータ
製造・組立装置
Power BI
テレメトリ
製造履歴
装置設定 検査実施
Azure Data Lake
StorageAzure Stream Analytics
生技 品管
IoT Hub
センサデータ
ストリーム
1
製造指示・指図
テレメトリ
検査結果
製造ログ
BOM/BOP
2
4
X
X
X
X
:
時刻
加工前データ
A
工程1
A
B
B
:
型番
a
工程2
a
a
b
:
合格
検査結果
OK
NG
可
:
X
X
X
X
:
加工後データ
A
工程1
A
B
B
:
型番
a
工程2
a
a
b
:
OK
検査結果
OK
NG
OK
:
変化点
変化点
IoT Hub
Gateway
Device
IoT Edge Runtime / Agent
OPC
Twin & Proxy
OPC
Publisher
On-premise
data gateway
IoT Hub
Gateway
Device
Azure Synapse Analytics
Azure Synapse
SQL
Azure Synapse
Pipeline
3
79. 1. Connected Sales
Product as a Service
クラウド スケールの分析基盤
• Azure Data Lake Storage ( Azure Storage )
• Azure Databricks
• Azure Synapse Analytics (旧SQL DWH)
• Azure Data Factory
• Power BI
• Azure Data Share / Azure Data Catalog
3 顧客情報の集約
94. Apache Spark on Azure – 前処理
Azure Databricks
Azure リソース マネージャ
ワークスペース、リソース、ロックさ
れたリソース グループの作成
VM の作成/削除
95. Apache Spark on Azure – 前処理
Azure Databricks: Unified Analytics Platform
Databricks Workspace
Collaborative Notebooks, Production Jobs
Databricks Runtime
Databricks Cloud Service
Transactions Indexing
ML Frameworks
Blob Storage
Data Lake Store
AZURE
DATA SOURCES
Event Hub
IoT Hub
SQL DB / DW
Cosmos DB
Azure Data Factory
116. Azure Synapse Analytics
BI、AI、継続的なインテリジェンス向けの統合データプラットフォーム
プラットフォーム
Azure
Data Lake Storage
Common Data Model
Enterprise Security
Optimized for Analytics
メタ ストア
セキュリティ
管理
監視
データ統合
分析ランタイム
プロビジョン型 サーバーレス型
展開方法
SQL
開発言語
Python .NET Java Scala R
エクスペリエンス Synapse Analytics Studio
AI / Machine Learning / IoT / Intelligent Apps /
BI をシングルサービスで提供
117. Synapse Studio は、Activity ハブに分けています
これらのハブは、分析ソリューションを構築する為に必要なタスクに整理
Synapse Studio
Overview Data
Monitor Manage
Quick-access to common
gestures, most-recently used
items, and links to tutorials
and documentation.
Explore structured and
unstructured data
Centralized view of all resource
usage and activities in the
workspace.
Configure the workspace, pool,
access to artifacts
Develop
Write code and the define
business logic of the pipeline
via notebooks, SQL scripts,
Data flows, etc.
Orchestrate
Design pipelines that that
move and transform data.
134. SQL On-Demand: アーキテクチャの5つの柱
Data Lake 上のあらゆるデータをペタバイト スケールでクエリ可能
ステートレス型のサービス アーキテクチャ – 状態とコンピューティングの分離
同一形態のサービスとしては、最高レベルの性能
自己チューニング型のワークロード マネジメント:キャパシティ プランニング, アクセス制御, リソース
ガバナンス
リソース状況認識型タスクスケジューラーによる高い同時実行性
135. Overview
An interactive query service that provides T-SQL queries over
high scale data in Azure Storage.
Benefits
Serverless
No infrastructure
Pay only for query execution
No ETL
Offers security
Data integration with Databricks, HDInsight
T-SQL syntax to query data
Supports data in various formats (Parquet, CSV, JSON)
Support for BI ecosystem
SQL On-Demand
Azure Storage
SQL On
Demand
Query
Power BI
Azure Data Studio
SSMS
Read and write
data files
Curate and transform data
Sync table
definitions
Read and write
data files
136. Overview
Uses OPENROWSET function to access data
Benefits
Ability to read CSV File with
- no header row, Windows style new line
- no header row, Unix-style new line
- header row, Unix-style new line
- header row, Unix-style new line, quoted
- header row, Unix-style new line, escape
- header row, Unix-style new line, tab-delimited
- without specifying all columns
SQL On Demand – Querying CSV File
SELECT *
FROM OPENROWSET(
BULK 'https://XXX.blob.core.windows.net/csv/population/populat
ion.csv',
FORMAT = 'CSV',
FIELDTERMINATOR =',',
ROWTERMINATOR = '¥n'
)
WITH (
[country_code] VARCHAR (5) COLLATE Latin1_General_BIN2,
[country_name] VARCHAR (100) COLLATE Latin1_General_BIN2,
[year] smallint,
[population] bigint
) AS [r]
WHERE
country_name = 'Luxembourg'
AND year = 2017
138. - T-SQL ベースのエクスペリエンス (対話型/バッチ型 スコアリング)
- 他の場所で構築されたその他のモデルとの相互運用性
- データが存在する場所で、スコアリングを実行
機械学習が有効化されたデータウェアハウスプレビュー
--T-SQL syntax for scoring data in SQL DW
SELECT d.*, p.Score
FROM PREDICT(MODEL = @onnx_model, DATA = dbo.mytable AS
d)
WITH (Score float) AS p;
モデルの
アップロード
T-SQL Language
Data Warehouse
Data
+
モデルの
実行
Model
モデルの
作成
Predictions
=
SQL Analytics
143. モダン データウェアハウスの論理的な構成
Universal Data Lake (UDL)
Business Data Lake
(BDL)
Business Data Lake
(BDL)
Business Data Lake
(BDL)
Product Product Product Product Product
• Implemented using ADLS
• Implemented using ADLS
• Each product will have its own
resource group for cataloguing
and cross-charging purposes
• Generally implemented using
SQL DW, AAS, PBI, but
flexibility based on
requirements
ADFADF
Orchestration
• Implemented using Azure
Databricks
Microsoft Ignite 2019 BRK3051より抜粋: https://myignite.techcommunity.microsoft.com/sessions/81055?source=sessions
151. (ご参考までに) ビッグ データ と 可視化のアーキテクチャ
https://github.com/Microsoft/MCW-Big-Data-and-Visualization
External Data
(CSV Files)
Historical Data
(CSV Files)
Azure Data
Factory
Azure
Databricks
(Spark SQL)
Power BI
Visualize Predictions
Azure Web Apps
Web Portal
3rd Party API
Azure
Kubernetes
Service
Containerized AI
Services ( Predictions )
Create, train, & export
ML model
Azure Machine
Learning
Store and operationalize
trained ML model
Operationalize ML
model
Copy data to blob storage
Execute Databricks Notebook for
batch scoring
Integration Runtime
Move on-premises
data to Azure
Storage
Azure Synapse Analytics
( Formerly Azure SQL DW )
Azure Data Lake Storage /
Azure Blob Storage
152. アジェンダ
クラウド スケールの分析基盤
• 蓄積: Azure Data Lake Storage
• 収集 ( & 前処理 ): Azure Data Factory
• 前処理: Azure Databricks
• 分析: Azure Synapse Analytics
• 共有: Azure Data Catalog と、Azure Data Share
• 見える化: Power BI
AI 基盤
• 機械学習: Azure Machine Learning
• 学習済モデル: Cognitive Service
• AIの民主化: Power Platform
Azure Storage の基本
• なぜ、クラウド ストレージなのか?
• Azure Storageのアーキテクチャ
• Azure Blob Storage / Azure Data Lake Storage
オペレーショナル データベース基盤
• SQL Server: Azure SQL Database
• オープンソースRDBMSサービス:
Azure Database for PostgreSQL / MySQL / Maria DB
• NoSQLサービス: Azure Cosmos DB