Come arrivare dal dato grezzo ad un modello di analisi

1. www.xedotnet.org
Power BI: Cleaning and Modelling Data
Marco Pozzan

2. Speaker
• Consulente e formatore in ambito business intelligence, business analytics e data
mining per (www.methode.it)
• Dal 2002 le attività principali sono legate alla progettazione di data warehouse
relazionale e alla progettazione multidimensionale con strumenti Microsoft.
• Docente all'Università di Pordenone nel corso di analisi dei dati e Big Data
• Community Lead di 1nn0va (www.innovazionefvg.net)
• MCP,MCSA,MCSE,MCT e dal 2014 MVP per SQL Server e relatore in diverse
conferenze sul tema.
• Marco.Pozzan@methode.it
• @marcopozzan.it
• www.marcopozzan.it
• http://www.scoop.it/u/marco-pozzan
• http://paper.li/marcopozzan/1422524394

3. • Building blocks soluzione di BI
• Data Analysis e Power BI
• Demo
Agenda

4. Dati
Informazioni
Conoscenza
Visualizzazione - Azione
Collezionare: I dati necessari devono essere raccolti dalle applicazioni o
dalle sorgenti dati esterne nei diversi modi che conosciamo. Dove si
trovano i dati? Gap Informativo?
Integrare: I dati grezzi devono essere convertiti in informazioni chiare e
precise. Verifica delle regole di business. I dati devono essere integrati in
una struttura coerente usata per comprendere informazioni aziendali
(verificare il dato). Dati vengono normalizzati e puliti.
Analisi: generare informazione che sia accurata, disponibile sempre e
tempestiva ha poco valore se non ci sediamo con il business ad analizzare
che cosa significa realmente l’informazione estratta e la comprendiamo.
«L'informazione non è conoscenza Albert Einstein»
Presentare i dati e AGIRE!!!: Il motivo principale per cui le soluzioni di
business intelligence sono deludenti e che mettiamo a disposizione la
conoscenza attraverso dashboard, KPI ma le persone che possono decidere
per qualsiasi motivo non fanno nulla.
Building blocks business intelligence

5. Dati: Data Sources
• La posizione (location) o il repository dei
dati per la nostra soluzione di BI
• Sono usate tradizionalmente nei
processi di ETL, al momento abbiamo:
• On-premises
• In the cloud
• In files
Dati
Informazioni
Conoscenza
Visualizzazione - Azione

6. Dati: Queries
Comandi che girano sui data source per
estrarre un dato specifico:
• Ritorna un intera tabella oppure viene
eseguita una query sulla sorgente
• Può essere una stored procedure su SQL
Server
• Ritorna solo I dati di cui necessitiamo
• Eseguire trasformazioni dei dati
Dati
Informazioni
Conoscenza
Visualizzazione - Azione

7. Informazioni: Data Transformations
I dati devono essere trasformati dalla loro
forma originale (source system) in un
formato compatibile per la vostra
destinazione:
• Cleaning
• Formatting
• Key Lookups
• Aggregations
Dati
Informazioni
Conoscenza
Visualizzazione - Azione

8. • Trovare, combinare e rimodellare Big Data, small data, e
qualsiasi Dato!
• Identificare e importare dati esterni
• Trovare dati rilevanti usando strumenti di ricerca
• Combinare e trasformare più sorgenti dati
• Power Query formula language: “M”
• Lo stesso linguaggio per la stessa query su sorgenti di dati
diverse
• Possibilità di condividere query e funzioni
• (free) add-in per Excel 2010 e Excel 2013, 2016
(integrated)
Power BI: Power Query?
Dati
Informazioni
Conoscenza
Visualizzazione - Azione

9. Conoscenza: Data Models
• Creare una vista consistente degli
elementi dei dati e le loro relazioni in una
organizzazione
• Insieme di standard e naming
conventions
• Contiene il modello semantico dei dati
• L'idea di base è sempre la stessa:
abilitare l'utente a navigare i dati senza
riscrivere una nuova query ogni volta
Dati
Informazioni
Conoscenza
Visualizzazione - Azione

10. Power BI: Power Pivot
• Soluzione In-memory per le
necessita di data modelling della
Self-Service BI.(free)add-in Excel
2010,Excel 2013 e 2016(i)
• Data Model (BISM) è
• E’ una lista di tabelle con delle frecce
che le collegano
• Tabella = indica un insieme di colonne
che contengono dati
• Relazione = si leggono come si
«riferisce a»
• Data model fisico: è il modo di
pensare del tecnico
• Data model logico: è il modo di
pensare dell’utente (mondo reale)
• Dove si creano le logiche di business o
calcoli
• Dove si utilizza DAX (Data Analysis
Expression)
Dati
Informazioni
Conoscenza
Visualizzazione - Azione

11. Visualization
• L’occhio umano riconosce i patterns
• Facile da individuare le anomalie in un
charts o in una maps, rispetto alle tabelle
• Le visualizzazioni trovano patterns, clusters,
e outliers
• Aiutano a prendere facili decisioni sui nostri
dati
• Eliminare lo sforzo mentale nell’analizzare i
numeri sulle righe
Dati
Informazioni
Conoscenza
Visualizzazione - Azione

12. Power BI: Power View?
• Tool con visual interattivi
• Ricerca dati: cross-filtering, Bing-
integration, play axis
• Già pronti per una eventuale
presentazione (es: PPT)
• Basato su Silverlight / Html 5
• Pensato per gli utenti di business
• Obbietivo: dare potenza alla
visualizzazione dei dati
• Minima curva di apprendimento
Dati
Informazioni
Conoscenza
Visualizzazione - Azione

13. DEMOAnalisi l’IDEB
(Index Quality
Education
Brazilian)
23/03/2018 25

14. Recap DAX prima della demo
• La colonna calcolata usa Nometabella[campo]
• La misura usa [nomemisura]
• Colonna calcolata occupa spazio in memoria
• Operazioni su riga IF( Sales[Discount] > 0 ; «si», «no»)
• Misura non occupa spazio ma CPU
• SUM(Sales[Discount])
• FILTER/ALL simili alla where di SQL filtra una tabella
• FILTER(sales; sales[discount] >0 ) o ALL(Sales)

15. Recap nozioni DAX prima della demo
• Funzioni di aggregazione SUM,AVERAGE,Ecc...
• SUM(Sales[Qtà])
• Non posso aggregare su due colonne
• SUMX(Sales,Sales[Qta] * Sales[Unit Price])
• CALCULATE Rimpiazza il filtro di valutazione di una
formula
• CALCULATE(SUM(Sales[Discount]);Product[color] =«red»)
• ALLSELECTED permette il visual total

16. DEMO
Management
23/03/2018 28

17. Grazie!