Soluzioni flessibili per il collezionamento, la conservazione e l'analisi di dati di qualsiasi tipo e dimensione

2. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Fabrizio Celli - Solutions Architect
Federico D’Alessio - Solutions Architect
Leonardo Fenu - Solutions Architect
16 Ottobre 2019
Soluzioni flessibili per il collezionamento, la conservazione e
l'analisi di dati di qualsiasi tipo e dimensione: ’’Data Lake’’

3. I dati sono un asset strategico per ogni organizzazione
The world’s most
valuable resource is
no longer oil, but data.*
*Copyright: The Economist, 2017, David Parkins
“
”

4. I Clienti vogliono ottenere più valore dai propri dati
Hanno una crescita
esponenziale
Nuove sorgenti Sono sempre più
diversificati
Sono utilizzati da
molte persone
Sono analizzati da
molte applicazioni

5. * IDC, Data Age 2025: The Evolution of Data to Life-Critical Don’t Focus on Big Data, Focus on the Data That’s Big, April 2017.
Data
every 5 years
Ci sono più dati di
quanto si possa pensare
15
years
live for
Data platforms need to
1,000x
scale
>10x
grows

6. Attuale modello di processamento dei datiSiloedApps
$$$
ETL JOB ETL JOB ETL JOB
Primary DWH Secondary DWH Datamarts
Data propagation Delay
Complex – Long DataModel Update
Data Filtering / Data Duplication
$$
$$
$$
$$
$$
$$
Always running infrastructure
$$
$$
$$

7. Un nuovo approccio per ottenere valore dai propri dati
 Un unico data store scalabile e conveniente
 Per conservare i propri dati in modo sicuro e in formati standard
 Per analizzare i propri dati in modi diversi

8. Il Data Lake
Cloud Data Lake
Infrastructure
Decoupled Storage
& Compute Resources
Security & Governance
Data
Migration
Streaming
Services
Data
Warehouse
Big Data
Processing
Serverless Data
Processing
Real-time
Analytics
Operational
Analytics
Predictive
AnalyticsETL & Catalog
Data Management
Un Data Lake è un repository
centralizzato che permette di
conservare e analizzare tutti i dati,
strutturati e non strutturati, di qualsiasi
dimensione, nel loro formato nativo

9. Perché scegliere AWS per realizzare un Data Lake ed
effettuare l’Analisi dei Dati ?
Il più completo
set di servizi

10. Data Movement
Analytics
+ 11 more
Redshift
EMR (Spark
& Hadoop)
Athena
Elasticsearch
Service
Kinesis Data
Analytics
Glue (Spark
& Python)
S3/Glacier GlueLake
Formation
Visualization, Engagement, & Machine Learning
QuickSight SageMaker Comprehend Lex Polly Rekognition Translate Transcribe
Database Migration Service | Snowball | Snowmobile | Kinesis Data Firehose | Kinesis Data Streams | Managed Streaming for Kafka
Data Lake Infrastructure & Management
Pinpoint
Il più completo
Il più ampio e dettagliato portfolio “purpose-built for builders”

11. Perché scegliere AWS per realizzare un Data Lake ed
effettuare l’Analisi dei Dati ?
Il più completo
set di servizi
Il più sicuro

12. Il più sicuro
Servizi per la security e la governance
Compliance
AWS Artifact
Amazon Inspector
Amazon Cloud HSM
Amazon Cognito
AWS CloudTrail
Security
Amazon GuardDuty
AWS Shield
AWS WAF
Amazon Macie
VPC
Encryption
AWS Certification Manager
AWS Key Management
Service
Encryption at rest
Encryption in transit
Bring your own keys, HSM
support
Identity
AWS IAM
AWS SSO
Amazon Cloud Directory
AWS Directory Service
AWS Organizations
I nostri clienti hanno bisogno di livelli multipli di sicurezza, identity e access
management, encryption e compliance per mettere in sicurezza i loro Data Lake

13. Il più sicuro: il maggior numero di certificazioni
CSA
Cloud Security
Alliance Controls
ISO 9001
Global Quality
Standard
ISO 27001
Security Management
Controls
ISO 27017
Cloud Specific
Controls
ISO 27018
Personal Data
Protection
PCI DSS Level 1
Payment Card
Standards
SOC 1
Audit Controls
Report
SOC 2
Security, Availability, &
Confidentiality Report
SOC 3
General Controls
Report
Global United States
CJIS
Criminal Justice
Information Services
DoD SRG
DoD Data
Processing
FedRAMP
Government Data
Standards
FERPA
Educational
Privacy Act
FIPS
Government Security
Standards
FISMA
Federal Information
Security Management
GxP
Quality Guidelines
and Regulations
ISO FFIEC
Financial Institutions
Regulation
HIPPA
Protected Health
Information
ITAR
International Arms
Regulations
MPAA
Protected Media
Content
NIST
National Institute of
Standards and Technology
SEC Rule 17a-4(f)
Financial Data
Standards
VPAT/Section 508
Accountability
Standards
Asia Pacific
FISC [Japan]
Financial Industry
Information Systems
IRAP [Australia]
Australian Security
Standards
K-ISMS [Korea]
Korean Information
Security
MTCS Tier 3 [Singapore]
Multi-Tier Cloud
Security Standard
My Number Act [Japan]
Personal Information
Protection
Europe
C5 [Germany]
Operational Security
Attestation
Cyber Essentials
Plus [UK]
Cyber Threat
Protection
G-Cloud [UK]
UK Government
Standards
IT-Grundschutz
[Germany]
Baseline Protection
Methodology
X P
G

14. Perché scegliere AWS per realizzare un Data Lake ed
effettuare l’Analisi dei Dati ?
Il più completo
set di servizi
Il più sicuro Il più
conveniente

15. Il più conveniente
La compomente compute è disaccoppiata da quella storage e
fornisce servizi di analytics in modalità ”Pay As You Go”
Storage
S3 tiers &
intelligent tiering
From $0.023 per
GB/mo to as low as
$0.004 per GB/mo
Compute
Spot & reserved
instances
Save up to 90% off
on-demand prices
EMR
Autoscaling
57% less than
on-premises
per IDC report
Redshift
Less than 1/10th of
the cost of
traditional, on-
premises solutions
Athena &
QuickSight
Serverless pay
only for what is used
Pricing per session for
visualization

16. Perché scegliere AWS per realizzare un Data Lake ed
effettuare l’Analisi dei Dati ?
Il più completo
set di servizi
Il più sicuro Il più
conveniente
Il più diffuso

17. Largamente Utilizzato
AWS ospita decine di migliaia di data lake

18. Il maggior numero di partner per completare l’offerta AWS

19. IL DATA LAKE AWS
PER L’EVOLUZIONE DIGITALE DI SIAE
Ottobre, 2019

20. La sfida che guida la trasformazione

21. Perché AWS
Processamento di una
grande mole di dati
Accuratezza e qualità
dei dati di output
Efficienza nel processo di
matching
Piattaforma multi-tenant
Incrementare
Cash Flow
Migliorare
Servizio
Migliorare
Efficienza
Garantire
Velocità
Maggiore
Flessibilità
Garantire
Modularità
Requisiti di BusinessRequisiti Tecnici

22. SIAE
La soluzione di Data Lake su AWS
Amazon S3 WEB APPLICATION RDS
CLUSTER EMR
CLUSTER EC2
Ad ogni opera contenuta nei file DSR, viene associato un set codice + metadati per identificarla e renderla
processabile
DSP
Storage Processing Analysis/Monitoring
DSP1
DSP2
DSP3
DSPn
DSPs
Reports
Amazon
SQS

23. I vari step di processo gestiti su AWS
Acquisizione dei flussi delle
utilizzazioni dai vari DSP
• Riconoscimento opere
utilizzate
• Valorizzazione economica
secondo le licenze
Claim delle quote tutelate
Incassati i diritti d’autore dal
DSP, valorizzazione
economica delle utilizzazioni
agli aventi diritto
N° DSR
(DSPs
Reports)
N° File
Outuput
SIAE+Partner
Documentation
System
DSP
N°
Invoice
Reports
Amazon EMR Amazon EMR Amazon EC2 Amazon EC2 Amazon EC2
Amazon S3 Amazon S3 Amazon S3
Amazon RDS Amazon RDS Amazon RDS

24. Framework tecnologico
Business Process Monitoring Simulation
DSR Flow
Management
DSP Contract
Management
Multi tenant
Management
Pricing Rules
Management
Live Datalake
Historic
Datalake
Logsfile
storage
KB Machine
Learning
Pricing
Claimin
g
Invoicing &
Cash Payment
Post/Back
Claiming
DSR
Management
Automatic
Matching
Manual Matching
IntegrationLayer
Business
Intelligence
Distribution
External
Documentatio
n System
External ERP
System
External CRM
System
External
Settlement
System
Machine
Learning
Amazon S3
Amazon EMR
Amazon EC2
Amazon RDS

25. I benefici introdotti da una soluzione AWS
Aumento %
di machting
64
%
72%90%
Aumento dei
report processati
Riduzione del 90% dei
conflitti con i DSP
SISTEMA LEGACY

26. Le utilizzazioni gestite oggi con AWS
LICENZE MULTI-TERRITORIALI

27. What’s next? Un’architettura digitale convergente
Portali
Front-End
Microservice Layer
Storage Big Data
Processing
SQL AccessRule Engine Event
Broker
Kafka
Integration Layer
Security
DataGovernance
Administration/Monitoring
Hadoop Distribuited File System
BI/Reporting
SIAE Legacy Systems

28. What’s next? Nuovi accordi e collaborazioni
LICENZE MULTI-TERRITORIALI E MULTI-MANDANTI LICENZE ITALIANE: Multimediale, Broadcasting, TV&Radio ed
Eventi Live

29. What’s next? La Roadmap funzionale
ALTRE MANDANTI
MULTIMEDIA LOCALEBROADCASTING
TV & RADIO
1
2
3
4UPGRADE
ALTRI REPERTORI SIAE
(Cinema, Teatro, Lirica, Opere
Letterarie e Arti Figurative)
6
EVENTI LIVE
5

30. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Fabrizio Celli - Solutions Architect
Federico D’Alessio - Solutions Architect
Leonardo Fenu - Solutions Architect
Come creare un Data Lake con
AWS Lake Formation

31. Come creare un Data Lake
Passaggi per la creazione di un Data Lake
Move data2 Cleanse, prep,
and catalog data
3
Configure and enforce security
and compliance policies4
Make data available
for analytics5
Setup storage1

32. AWS Lake Formation
Crea, metti in sicurezza e gestisci un data lake in giorni
Build a data lake in days,
not months
Build and deploy a fully managed
data lake with a few clicks
Enforce security policies
across multiple services
Centrally define security,
governance, and auditing policies in
one place and enforce those policies
for all users and all applications
Combine different
analytics approaches
Empower analyst and data scientist
productivity, giving them self-
service discovery and safe access to
all data from a single catalog

33. Creiamo un Data Lake in 3 passi

34. Creiamo un Data Lake in 3 passi

35. Creiamo un Data Lake in 3 passi

36. Creiamo un Data Lake in 3 passi

37. Creiamo un Data Lake in 3 passi

38. Creiamo un Data Lake in 3 passi

39. Effettuiamo la Data Ingestion da una fonte dati strutturata

40. Effettuiamo la Data Ingestion da una fonte dati strutturata

41. Effettuiamo la Data Ingestion da una fonte dati strutturata

42. Effettuiamo la Data Ingestion da una fonte dati strutturata

43. Effettuiamo la Data Ingestion da una fonte dati strutturata

44. Effettuiamo la Data Ingestion da una fonte dati strutturata

45. Effettuiamo la Data Ingestion da una fonte dati strutturata

46. Effettuiamo la Data Ingestion da una fonte dati strutturata

47. Effettuiamo la Data Ingestion da una fonte dati strutturata

48. Effettuiamo la Data Ingestion da una fonte dati strutturata

49. Effettuiamo la Data Ingestion da una fonte dati strutturata

50. Effettuiamo la Data Ingestion da una fonte dati strutturata

51. Effettuiamo la Data Ingestion da una fonte dati strutturata

52. Effettuiamo la Data Ingestion da una fonte dati strutturata

53. Effettuiamo la Data Ingestion da una fonte dati semi-strutturata

54. Effettuiamo la Data Ingestion da una fonte dati semi-strutturata

55. Effettuiamo la Data Ingestion da una fonte dati semi-strutturata

56. Effettuiamo la Data Ingestion da una fonte dati semi-strutturata

57. Effettuiamo la Data Ingestion da una fonte dati semi-strutturata

58. Implementiamo la sicurezza per i nostri dati

59. Implementiamo la sicurezza per i nostri dati

60. Interroghiamo il nostro Data Lake con Amazon Athena

61. Utilizziamo Amazon QuickSight per effettuare delle analisi

62. cellifab@
dalesf@
lfenu@
Grazie
Nella Prossima Sessione
Strumenti per l'analisi avanzata dei dati con tecniche descrittive,
predittive e prescrittive: Machine Learning