18 Febbraio 2021

Machine Learning Models
Continuous Deployment
On Azure Using DevOps
approaches
Luca Milan & Igor Antonacci

Agenda
 Introduzione al Machine Learning – (Luca)
 ML.NET Framework – (Luca)
 Pratiche DevOps & ML Operations – (Igor)
 Tools (Github Actions, Pulumi) – (Igor)
 Demo Time – (Luca, Igor)
 Question Time – (Tutti Insieme)

Continuous Delivery per ML
IT Staff Customer

Top 15 Emerging Jobs U.S.
(by Linkedin)
 #1 Artificial Intelligence Specialist +74%
Skills required: Machine Learning, Deep Learning, TensorFlow, Python, Natural Language Processing
 #2 Robotics Engineer +40%
Skills required: Robotic Process Automation, UiPath, Blue Prism, Automation Anywhere, Robotics
 #3 Data Scientist +37%
Skills required: Machine Learning, Data Science, Python, R, Apache Spark
 #5 Site Reliability Engineer +34%
Amazon Web Services, Ansible, Kubernetes, Docker Products, Terraform
 … Full Stack, JavaScript, Backend Developer, Cybersecurity specialist, etc…

Perché il ML è così
popolare oggi?
Business Case
Modelli e Teorie
Matematiche a supporto
Dati
Potenza di
Calcolo

Peculiarità del Machine Learning
E' collegato alla "Scienza dei Dati", servono "Specialisti" con conoscenze
matematiche e statistiche approfondite
Possiede metodologie di sviluppo e strumenti dedicati non sempre allineati
con gli approcci moderni di Software Development
Il ciclo di vita di un progetto di ML è differente da quello di un «software
tradizionale»
Generalmente i modelli di ML sono distribuiti come «Black Box» e non
"integrabili" nel codice e nel processo che esegue l’applicazione

Artificial Intelligence
Machine Learning
Deep Learning
AI
Machine
Learning
Deep
Learning

Il ciclo di vita di un progetto ML
Training Prediction
Model Evaluation
Re-Training
Data

Tipologie del Machine Learning
Machine
Learning
Supervised
(labelled)
Regression Classification
Unsupervised
(no labels)
Anomaly
Detection
Clustering
Analysis

y = f(x1,x2,x3,x4,….)
FEATURES
LABEL
Feature = rappresentazione numerica
di una proprietà individuale e
misurabile del dataset

Tecniche del Machine Learning

Fare Machine Learning senza Python
 Nasce da un progetto di Microsoft Research (10 anni fa)
 La prima versione è del Maggio 2018, oggi siamo alla 1.5.4
 E’ scritto in C# e alcune parti in C++
 Open Source, supportato da Microsoft e dalla Community
 Basato su .NET Standard (Mac / Linux / Windows)
 API flessibile (approccio «low code» e tradizionale)
 Supporta il Deep Learning (Transfer Learning / ONNX)

Usare ML.NET
Regole di Ingaggio
API CLI Model Builder
Codificare la pipeline
(basta referenziare il pacchetto nuget e si
può iniziare a codificare la pipeline di
training, fare il training, la predizione,
etc.)
Auto-ML Engine
(strumento da linea di comando per il
“discovery” dei modelli più performanti
partendo dal datase di input e altri
parametri come output abbiamo il
modello trainato e il codice pe usarlo)
low code
(da visual studio in maniera guidata si
procede all’importazione del dataset e
alla scelta dell’algoritmo poi la procedura
produce il codice necessario ad usare il
modello)
Outputs
Training Pipeline Model Prediction Code
Codice C# che rappresenta le fasi di Build
e Training da effettuare su un dataset per
risolvere il task oggetto dell’analisi.
In formato binario è l’artefatto prodotto
della training pipeline. Rappresenta la
descrizione analitica dell’algoritmo
traninato.
Codice C# utilizzato per la fase di
predizione, deve essere incluso nelle
applicazioni finali.

Raccolta
(Load & Transform)
Model Improvement
(Evaluate)
Featuring & Learning
(Append)
Model Training
(Fit)
Salvataggio
(Save)
Caricamento Modello
(Load)
Make Prediction
(PredictionEngine)
SERVING
webapi, webapp, iot, desktop
BULD & TRAINING
Trasformer
Trasformer
DataView
Estimator
Trasformer

Training del Modello

Training del Modello - Test

“Serving” del Modello

”Serving” del Modello – Prediction

”Serving” del Modello – Metriche

“Serving” del Modello – Test

Pulumi & IaC

Igor Antonacci

Obiettivo
organizzativo
All’interno di un Team di sviluppo,
facilitare il dispiegamento di Modelli di IA
attraverso:
• la COOPERAZIONE tra Data Scientists
e IT Operations
• L’AUTOMAZIONE del processo di
Analisi, Sviluppo, Test e rilascio di un
modello

DevOps e MLOps
DevOps
“DevOps (dalla contrazione inglese di development,
"sviluppo", e operations, qui simile a "messa in
produzione" o "deployment") è un metodologia di
sviluppo del software che punta alla
comunicazione, collaborazione e integrazione
tra sviluppatori e addetti alle operations della
information technology (IT). DevOps vuole
rispondere all'interdipendenza tra sviluppo software
e IT operations, puntando ad aiutare
un'organizzazione a sviluppare in modo più rapido
ed efficiente prodotti e servizi software.”
(cit. DevOps - Wikipedia)

DevOps e MLOps
MLOps
“With Machine Learning Model
Operationalization Management (MLOps),
we want to provide an end-to-end machine
learning development process to design,
build and manage reproducible,
testable, and evolvable ML-powered
software.” (cit. ML Ops: Machine Learning
Operations (ml-ops.org))

Continuous Integration /
Continuous Delivery
Continuous Integration:
 Integrazione dei cambiamenti (al codice)
con la baseline esistente
 Build
 Test (Unit, Integration, Security … )
Continuous Delivery:
• Produzione di Artefatti (ML)
POTENZIALMENTE rilasciabili in
produzione in maniera
• Sicura
• Riproducibile
• Affidabile
• Rapida
COMMIT
FEEDBACK – GREEN / RED
COMMIT
 Build
 Test
 Training
 Build
 Test
 Training

The Last Mile - Deploy
 Deploy  portare il valore all’utente attraverso il dispiegamento
degli artefatti sull’infrastruttura
 Riprodicibile
 Automatico
 Idempotente
COMMIT
R
E
L
E
A
S
E
SETUP INFRA
Automatic (Approved) Deploy
“Old” Deploy approach
 Model
(Code)
 Test
 Dataset
 Build
 Test
 Training
 Trained Model
 Dataset
Release 0.1.0-3e82c10

Infrastructure-As-Code
«Infrastructure as code è il processo di gestione e provisioning dei data
center dei computer attraverso file di definizione leggibili dalla macchina,
piuttosto che configurazione hardware fisica o strumenti di
configurazione interattiva»
 Hashicorp Terraform
 Pulumi
SETUP INFRA
PUSH PULL
IaC CI / CD Pipeline

Ciclo di vita di un progetto di ML
Training
Pipelines T
rained
Models
Training / Test
Dataset
Azure
Resources
33
validation
Model Created
Training Pipeline GitHub Release Prediction Pipeline
 Trained Model
 Dataset
Release 0.1.0-3e82c10

Tools – GitHub Actions
 on push
 on pull-request
 …
Job #1 Job #2
Action 1 – Setup .NET Core
Action 2 – Build project
Action 3 – Test project
Action N – …
Action 1 – GitVersion
Action 2 – Create Release
Action 3 – Publish Artifacts
Action N – …

Tools – GitHub Actions
 on push
 on pull-request
 …
Job #1 Job #2
Action 1 – Setup .NET Core
Action 2 – Build project
Action 3 – Test project
Action N – …
Action 1 – GitVersion
Action 2 – Create Release
Action 3 – Publish Artifacts
Action N – …
Depends on
Environment

Tools – GitHub Actions - Environments
 Definiti staticamente all’interno di ogni repo GH
 Definisce una FASE del processo di sviluppo
 Development
 QA
 Production
 Scoped resources
 Protection Rules – Workflow di approvazione
 Branch (è possibile limitare l’uso di un “Environment” a specifici branch)
 Secrets – variabili criptate con validità limitata al singolo Environment

Tools – GitHub Actions - Environments

Ciclo di vita di un progetto di ML –
Training Pipeline in dettaglio – 1
COMMIT
 Model
(Code)
 Test
 Dataset
 Build
 Test
 Training
 Trained Model
 Dataset
Pull-request
 Review
 Approve
 Merge
Dispatch Message
 event_type: model-created
 message: |
{
"ML_MODEL_VERSION": vX.Y.Z-xxxx,
"ML_MODEL_URI":
https://github.com/igoran/.../${{
env.VERSION_NAME }}.zip
}
Approvazione
Promozione
 Review
 Approve
Serving “Environment”

Ciclo di vita di un progetto di ML –
Serving Pipeline in dettaglio
SETUP INFRA
 Build
 Test
Azure
Resources
model-created
 Trained Model
 Dataset
Download Model

Tools – Pulumi – 1
 Infrastructure-as-Code Framework
 Multi-Platform Providers (AWS, Azure, GCP … )
 (Multi-)Language oriented
 C#, Python, Go …
 CLI ed Engine multi piattaforma (pulumi)
 NO YAML 
 Ambienti “sandboxed” Stacks

Tools – Pulumi – 2
 Pulumi Service Backend (Pulumi Servers)
 Self-Managed Service Backend (Pulumi Enterprise)
 Language-Agnostic
 Multi-Cloud Resource Provider
 Multi-platform Engine
 Multi-Platform CLI
 Windows
 Linux
 MacOSX

Tools – Pulumi – State & Stacks
Pulumi State
 metadata dell’Infrastruttura
 Memorizzata in “Backend services”
Pulumi Stack(s)
• Istanza isolata, configurata in maniera indipendente di
un programma Pulumi
• Utilizzata, principalmente, per separare le risorse delle
diverse fasi di sviluppo (Dev, QA, Prod … ) o di diverse
feature

DEMO

Domande e
Risposte