Paris data ladies #6

Paris Data Ladies#6
N I N A B E R T R A N D J U S T I N E D E S H A I S A D È L E G U I L L E T M A R I N E K R O L C H A R L O T T E L E D O U X A U R É L I A N È G R E
@parisdataladies

Spark Streaming: From 101 to Production
MEETUP DATALADY PARIS - APRIL 2018

About me
Huikan XIANG
⬢ Data Engineer @ Deezer Core Data
⬢ 7 years experience on data related applications
⬢ Worked in startup environments
3

The Core-Data Team at Deezer
4
Recommendations/Search
Analytics
Royalties
CRM
Data WarehouseUsers app interactions
Serving all data related needs for the entire company

The Core-Data Team Operates on a Massive Scale
5
1900
Daily jobs
1.5
PB of historical data
2.5
TB/day
100
machines
50+
data engineers & scientists
14M
Active Users

As Soon As Possible
7
I need the data to know what happened on Deezer

9
Adapting Recommendations in Real-Time
Mozart

10
Beethoven

11
Bethoven

Why is real-time data analysis important?
12
Recommendation & search
reactive content recommended and precise search ranking
BI & product
meteometer for product features, bug tracking
Fraud detection
fake fans detection as fast as possible
CRM
Fast emailing campaigns

Solutions:
14
Batch Processing
DATA

Solutions:
15
Batch Processing
DATA
Streaming Processing

Batch vs Streaming
16
Batch Processing Streaming Processing
Data scope All or most of the data
Most recent data managed by rolling
time window
Data size Larges batches > GB
Individual records or micro batches of
few records
Performance Latencies in minutes to hours Seconds or milliseconds
Analytics Complex analytics
Simple aggregates and rolling metrics
(Not true anymore for Spark
Streaming)

Why Spark Streaming
17
Tech Integration
Already our batch processing engine, reusable component
Multi-data sources integration
Kafka, tables, files and third-tier APIs etc.
Windowing Functions
Rich and adaptive functions
Distributed and Scalable
Data partitioned

Spark Streaming 101 exercises
18
Goal
Get your hands dirty
Official Example
NetCat and WordCount
More Fun !
Trending topic in Twitter

Demo - Twitter Trending Hashtag
19
HTTP POST
Processing Details
batch interval: 2 secs
Query Semantics
aggregate window: 10 minutes
Hardware
local 2 cores, memory 512M
Twitter Streaming
API
Spark Streaming
Application
Data Visualisation
Application
dropped
Python, Flask framework1% Tweets
Developer's trial app

Demo - Twitter Trending Hashtag
https://github.com/Huikan/datalady-demo
20

Demo - Sample Code
21
TwitterUtils
.createStream(ssc, None, filters)
val ssc = new StreamingContext (sparkConf, 2 Seconds) Process details
How often?
Source

Demo - Sample Code
22
TwitterUtils
.flatMap{status =>
status.getText.trim.split(" ").filter(txt
=>
txt.startsWith("#"))
.map((_, 1))
.reduceByKeyAndWindow(_ + _, Minutes(10))
.map{case (topic, count) => (count, topic)}
.transform(_.sortByKey(false))
How often?
Source
Query semantics
How to group?
same as batch

Demo - Sample Code
23
TwitterUtils
.flatMap{status =>
status.getText.trim.split(" ").filter(txt
=>
txt.startsWith("#"))
.map((_, 1))
.reduceByKeyAndWindow(_ + _, Seconds(10))
.map{case (topic, count) => (count, topic)}
.transform(_.sortByKey(false))
.foreachRDD( rdd => {/** HTTP POST rdd top 10 */})
How often?
Source
Query semantics
How to group?
same as batch
Sink/Receiver

Inspiring for production?
24
HTTP POST
Twitter Streaming
API
Spark Streaming
Application
Data Visualisation
Application

Production components
25
Rate Control
Memory Tuning
Failover
Kafka Spark Cluster
Durable Storage
Monitoring
Schema Registry

Deezer listen stream in real-time
26
Computing
dynamic alloc 3 executors, 2 cores, 4GB RAM each executor
Input rate
peak to 4K records/s, 6MB/s
Latency
queryable in less than 1 minute

Next steps
More applications
20% of our pipelines in streaming fashion
Sync with spark streaming release
State, structured API
Build an universal message driven system
27

We recruit data ladies (and data boys)
deezerjobs.com
28

Huikan Xiang
Data Engineer
hxiang@deezer.com
linkedin.com/in/huikanxiang
Thank you

DIFFUSION LIMITÉE –
MODÉLISATION DE RETARDS
POUR L’EXPLOITATION DES
GRANDES GARES
Marie de Faverges
CEDRIC – CNAM
DPF – SNCF Réseau
Marie.milliet-de-faverges@reseau.sncf.fr

–
ROUTAGE DES TRAINS EN GARE
C’EST QUOI UN GOV ?

–
INFRASTRUCTURE COMPLEXE

–
DES GOV FAITS ET VÉRIFIÉS À LA MAIN

–
RÉSOLUTION
Programmation linéaire en nombres entiers
+Données :
• Liste de trains qui arrivent ou partent de la gare
• Liste d’itinéraires traversant la gare
+Variables booléennes affectant un train à un itinéraire
+Contraintes d’infrastructure, contraintes commerciales, etc
Complexité
+En théorie : problème NP-complet
+En pratique : exple de Montparnasse :
• 800 arrivées et départs par jour
• 28 voies en gare
• 1000 itinéraires d’arrivée et 1000 itinéraires de départ

–
ROBUSTESSE
Mais les trains n’arrivent pas toujours à
l’heure !
+Le planning n’est plus valable
+Les retards se propagent et s’amplifient à
travers le réseau
!"
temps
A
!#
Comment rendre les GOV plus robustes
?
+Détecter les scenarios les moins
robustes
+Les pénaliser en objectif
+La solution finale tendra à absorber une
partie des retards
+MAIS paramétrage très complexe et
arbitraire

–
LES RETARDS
But
+Modéliser les retards de trains quelques jours
en avance
+Utiliser ces résultats pour paramétrer l’outil
Mais…
+Des retards plus exceptionnels qu’on ne le
pense
+Des causes trop variées et rares pour prédire
précisément
But de l’étude
+Estimer le risque de retard en prédisant sa loi
+Cibler uniquement les petits retards
(inférieurs à 20 minutes)

–
MÉTHODOLOGIE
38
Données
Brutes
• Historique des retards
• Grands travaux
• Météo
• Vacances
Création du
data set
•Encodage des données
•Troncature des retards
•Sélection des variables
Modélisation
•Modèles linéaires
généralisés
•Validation
Prédiction de
probabilités
de retards

–
MODÈLES LINÉAIRES GÉNÉRALISÉS
Trois composantes dans le modèle :
+La composante aléatoire : ! = ($%, … , $() suivant une loi de la famille exponentielle
+Un prédicteur linéaire : *+ = ∑-+.+
+Une fonction de lien / entre la composante aléatoire et le prédicteur linéaire : *+ =
/ 0+
Soit :
1 ~345678+91 :
; < =>?
Les paramètres ? sont estimés par maximum de vraisemblance
Exemple
+Loi négative binomiale tronquée au-delà de 20 minutes
+Deux paramètres 0 et @
! ~ABC <, D
EF/ < = >G?G
EF/ D = >H?H

–
PREDICTIONS
R = 2 – Arrivée à 12h45 de La Rochelle un jeudi de vacances
R = 16 – Arrivée à 20h de la Rochelle un mercredi de vacances
R = 0 – Arrivée à 20h45 de Nantes un mercredi hors vacances

–
PROBLÈME DE VALIDATION
Difficulté
+Défaut d’homogénéité entre les prédictions et les observations
+Pas de méthode de validation adaptée au cas continu
Validation des modèles binaires
+Calibration : correspondance entre les probabilités prédites et les taux observés
+Discrimination : capacité à différencier les succès des échecs en se basant sur les
probabilités prédites
ON VA ADAPTER LES VALIDATIONS
BINAIRES À NOTRE MODÈLE CONTINU EN
TESTANT LA CDF EN PLUSIEURS POINTS

–
VALIDATION PAR CALIBRATION
Calibration plot :
+Pour un entier t on calcule pour chaque train ℙ(# ≥ % |') probabilité d’avoir un retard
supérieur à t
+On trie les trains par probabilités croissantes
+On crée g groupes de tailles égales
+On compare pour chaque groupe la probabilité prédite et la fréquence observée
APPROCHE GRAPHIQUE

–
Test Hosmer-Lemeshow :
+Pour un entier t on calcule pour chaque train ℙ(# ≥ % |') probabilité d’avoir un retard
supérieur à t
+On trie les trains par probabilités croissantes
+On crée g groupes de tailles égales
+Statistique de Hosmer-Lemeshow :
) = +
,-.
/
0., − 2.,
3
2.,
+
05, − 25,
3
25,
+Si le modèle est le bon H suit une loi du chi-deux à g-2 degrés de liberté
+On veut que la p-valeur soit non significative pour ne pas pouvoir rejeter l’hypothèse
nulle
APPROCHE STATISTIQUE

–
! = #
$%&
'
(&$ − *&$
+
*&$
+
(-$ − *-$
+
*-$
! = 6,17
2 = 0,63
Groupe (- *- (& *&
[0.03,0.29] 420 437 155 138
[0.29,0.34] 384 394 191 181
[0.34,0.38] 374 368 200 206
[0.38,0.42] 349 345 226 230
[0.42,0.46] 337 324 238 251
[0.46,0.50] 298 300 276 274
[0.50,0.54] 282 276 293 299
[0.54,0.59] 249 251 325 324
[0.59,0.65] 231 221 344 354
[0.65,0.86] 173 170 402 405
Régression logistique ponctuel/retard
Test set de 5700 trains, g = 10

–
VALIDATION PAR DISCRIMINATION
Sensitivité et spécificité
!"#!$%$&$%' =
)*
)*+,-
!."/$0$/$%' =
)-
)-+,*
La courbe roc représente la !"#!$%$&$%' et 1 − !."/$0$/$%' pour tout cutpoint % ∈ 0,1
Aire sous la courbe ROC
Pour un couple 67, 68 avec 67 = 1 et 68 = 0 de
probabilités de succès prédites 97 et 98 alors :
:;< = ℙ 97 > 98

–
RÉSULTATS
GLM avec une loi négative binomiale entraîné sur 17 000 arrivées de TGV à
Montparnasse
Le modèle est évalué sur un set de 6 000 retards

–
CONCLUSION
Objectif de la thèse
+Estimer le risque de retard de trains quelques jours en avance
+Utiliser ces résultats pour paramétrer un outil de routage des trains en gare
+But à terme : limiter la propagation des retards en gare
Approche
+Modèles linéaires généralisés pour prédire les lois de probabilité de retard
+Validation par calibration et discrimination
+Résultats : bonne calibration et discrimination stable

MERCI DE VOTRE ATTENTION !
DES QUESTIONS ?

your.name@uwa.edu.auName et al., 201X
Visualizating the deep Australian continent
with advanced geophysical signal processing
Ph.D. Candidate
Sophie Monnier
Supervisors
Prof. David Lumley, A/Prof. Jeffrey Shragge, Dr. Rie Kamei

Paris Data Ladies #6Monnier, 2018
Outline
• Geophysics is cool!!
• Seismic Data and Model Inputs
• Seismic inversion method: Full Waveform Inversion
• Results and Impacts

Geophysics: a tool to probe the Earth’s Interior
Crust
Mantle
Outer Core
Inner Core
~ 6400 km
We live on the surface of planet
Earth, but we cannot penetrate
its depths…
Earth’s deepest drilling:
• Kola superdeep borehole
• 12 km (0.1% Earth’s radius)

Geophysics: a tool to probe the Earth’s Interior
Crust
Mantle
Outer Core
Inner Core
We live on the surface of planet
Earth, but we cannot penetrate
its depths…
We cannot physically
penetrate the Earth!!!
~ 6400 km
Earth’s deepest drilling:
• Kola superdeep borehole
• 12 km (0.1% Earth’s radius)

So how do we know what we know?
The study of seismic waves gives us a picture of the interior of the earth
1. A seismic source propagates in the
earth…
2. …is recorded at seismic stations
3. …Gathering information shows
seismic discontinuities in the Earth
Earthquake seismology: deep earth scale (100 – 6000 km)

Exploration seismology: shallow earth scale (0.05 – 6 km)
Seismology not only is cool but useful!
2D seismic image of buried geological layersFoetal ecography

"
"
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
114°0'0"E
114°0'0"E
112°0'0"E
112°0'0"E
110°0'0"E
110°0'0"E
20°0'0"S 20°0'0"S
22°0'0"S 22°0'0"S
Ü
0 100 km
-100-3000-6000
Seafloor elevation (m)
Bart 2D
line
Gascoyne
abyssal plain
Exm
outhPlateau
110 E 112 E 114 E
20 S
22 S
Cuvier abyssal
plain
New developments in Australian OBS technology
New Australian OBS fleet:
• 18 State-of-the-art seismic sensors
• Inaugural survey
• Acquisition year: 2014 – 2015
• Investigate deep WA structure

PhD Research Objectives
receivers
(OBS)
ØObtain a high-resolution image of Australia’s deep
continental structure offshore Western Australia
ØInvestigate the performance of state-of-the-art seismic
inversion methods on an innovative dataset
ØHybrid project: crustal-scale seismology (5–30 km)

!"
!#
!$
!%
Moho
Crust
Mantle
Source
Receivers (OBS)
Controlled-source acquisition of seismic data
Crust
Mantle
Outer Core
Inner Core
~ 12 800 km
Ø Crustal-scale seismology: [10"
,10#
] km
~ 30km

!"
!#
!$
!%
Crust
Mantle
Receivers (OBS)
Controlled-source acquisition of seismic data
Ø Crustal-scale seismology: [10#
,10"
] km
()*) = ,(!", !#, !$, !%)Source
Moho
Crust
Mantle
Outer Core
Inner Core
~ 12 800 km
~ 20km

Modelling and inversion of seismic data
!"#" = %('(, '*, '+, ',)
Forward modelling
Inversion
• Seismic modelling
“Mathematically simulate the propagation of seismic waves from a
geological model of the subsurface” (Stekl et al., 1998)

!"#" = %('(, '*, '+, ',)
Forward modelling
Inversion
• Seismic inversion
'(
'*
'+
',
“Estimate a 2D or 3D Velocity model of the Earth”
(Lailly, 1983)
Modelling and inversion of seismic data

!
"
#
!
"
$
What does seismic data look like?

What does a velocity model look like?
Critical acquisition parameters:
Ø Source Frequency content
Ø Source-Receiver distance (offset)
Ø Source/Receiver sampling
Ø Choice of Objective Function
!
2
=
$
2%
(Kamei et al. 2013)
Full Waveform Inversion (FWI)
Depth(km)
Distance (km)
km/s
FWI Resolution:

Full Waveform inversion: a local optimization
approach
Starting Model !"
≤ $ ?
No:
Update model
!&'( = !& + +!
Synthetic DataPreprocessed Field Data
Data Misfit
Yes:
Convergence
Raw Field Data

Full Waveform Inversion Pipeline
1. Build initial
velocity model
2. Prepare and
model data
3. Inversion
parameter tuning
4. Interpret results

AuSREM, crustal component
(Salmon et al., 2013)
AusMoho
(Kennett et al., 2011)
1D velocity profiles
(Goncharov et al., 2016)
Maurice Ewing cruise
(Geoscience Australia, 2001)
Synthetic Model
"
"
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
114°0'0"E
114°0'0"E
112°0'0"E
112°0'0"E
110°0'0"E
110°0'0"E
20°0'0"S 20°0'0"S
22°0'0"S 22°0'0"S
Ü
0 100 km
Bart 2D
line
Velocity Model Building
1. Build initial
velocity model
2. Prepare and
Model Data
3. Inversion
parameter tuning
4. Interpret
results

AuSREM Crustal model below Bart 2D line
Distance from first shot point
(km)
Distance from first shot point (km)
Depth(km)
Bart 2D line
Ewing (2001)
Moho contour from Maurice
Ewing velocity model
Moho depth from AusMoho
model
Moho depth estimated from
Goncharov et al. 2016
Velocity Model Building
1. Build initial
velocity model
3. Inversion
parameter tuning
4. Interpret
results
2. Prepare and
Model Data

Field Data
"
"
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
114°0'0"E
114°0'0"E
112°0'0"E
112°0'0"E
110°0'0"E
110°0'0"E
20°0'0"S 20°0'0"S
22°0'0"S 22°0'0"S
Ü
0 100 km
?
Bart 2 Field Receiver Gather, near-offset traces muted & AGC applied (window length: 30 s)
Bart 2
Ø Processed field data
1. Build initial
velocity model
3. Inversion
parameter tuning
4. Interpret
results
2. Prepare and
Model Data

Bart 2 Synthetic Receiver Gather, with AGC applied (window length: 30s)
Ø Bart 2 Synthetic
"
"
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
!(
114°0'0"E
114°0'0"E
112°0'0"E
112°0'0"E
110°0'0"E
110°0'0"E
20°0'0"S 20°0'0"S
22°0'0"S 22°0'0"S
Ü
0 100 km
Bart 2
2D Synthetic Modelling
1. Build initial
velocity model
3. Inversion
parameter tuning
4. Interpret
results
2. Prepare and
Model Data

Ø Frequency and Offset for Subsurface Illumination
Inversion Parameter Tuning
Low frequency High frequency
1. Build initial
velocity model
3. Inversion
parameter tuning
4. Interpret
results
2. Prepare and
Model Data
S
R

1. Build initial
velocity model
3. Inversion
parameter tuning
4. Interpret
results
2. Prepare and
Model Data
Ø Offset and Source-Receiver Sampling for Resolution
1 km 22 km
Sampling Illumination

1. Build initial
velocity model
3. Inversion
parameter tuning
4. Interpret
results
2. Prepare and
Model Data
1 km
6 km
18 km
22 km
18 km
9 km

1 km
6 km
18 km
1. Build initial
velocity model
3. Inversion
parameter tuning
4. Interpret
results
2. Prepare and
Model Data
22 km
18 km
9 km

Starting Model
(km)
Depth(km)
Bart 2D line
Ewing (2001)
model
Initial Model
1. Build initial
velocity model
3. Inversion
parameter tuning
4. Interpret
results
2. Prepare and
Model Data

Final Model
1. Build initial
velocity model
3. Inversion
parameter tuning
4. Interpret
results
2. Prepare and
Model Data
Bart 2D line
Ewing (2001)
model
(km)
Final Model
Depth(km)

1. Build initial
velocity model
3. Inversion
parameter tuning
4. Interpret
results
2. Prepare and
Model Data
Seismic Inversion Results
Before After
• Crustal visibility: < 10 km
• Moho not imaged
• Tomographic resolution: 5-10 km
• Crustal visibility: down to 25 km
• Moho imaged at 20-25 km
• FWI resolution: 1-2 km
• Sensitivity analysis:
• Subsurface Illumination
• Resolution
• Acquisition Design
• Sensitivity analysis used for second
OBS deployment over Lord Howe
Rise Plateau

Conclusion
Ø The deep structure of the WA continent was imaged in high
resolution thanks to high-quality seismic data, advanced geophysical
processing and state-of-the-art seismic inversion methods
Ø My analysis enabled better planning of seismic acquisition surveys
offshore Australia
Ø Geophysical Data Analysis and Machine Learning are meeting
halfway!
o Automatized geological interpretation
o CNNs for induced seismicity prediction
o Automatic detection of ore minerals

References
• Alcock, M. B., Stagg, H. M. J., Colwell, J. B., Borissova, I., Symonds, P. A. and Bernardel, G., 2006. “Seismic
Transects of Australia’s Frontier Continental Margins”, Geoscience Australia Record
• Goncharov, A., Cooper, A. Chia,P. and O’Neil, P., 2016. “A New Dawn for Australian Ocean-Bottom Seismography.”
The Leading Edge 35 (1): 99–104.
• Kamei, R., Pratt, R. G. and Tsuji, T., 2013. “On Acoustic Waveform Tomography of Wide-Angle OBS Data--
Strategies for Pre-Conditioning and Inversion.” Geophysical Journal International 194 (2): 1250–80.
• Kennett, B.L.N., Salmon, M., Saygin, E. & AusMoho Working Group,2011. “AusMoho: the variation of Moho depth
in Australia.” Geophysical Journal International 187: 946-958.
• Lailly, P. 1983. “The Seismic Inverse Problem as a Sequence of Before Stack Migrations.” In Conference on Inverse
Scattering, Theory and Applications, Society for Industrial and Applied Mathematics, 206–20.
• Salmon, M., B. L. N. Kennett, and E. Saygin. 2012. “Australian Seismological Reference Model (AuSREM): Crustal
Component.” Geophysical Journal International 192 (1): 190–206.
• Stagg, H.M.J., Alcock, M.B., Bernardel, G., Moore, A.M.G., Symonds, P.A. & Exon, N.F., 2004. “Geological
framework of the outer Exmouth Plateau and adjacent ocean basins.” Geoscience Australia Record
• Štekl, I., and Pratt, R. G., 1998. “Accurate visco-elastic modelling by frequency-domain finiti differences using
rotated operators”, Geophysics, 63, 796-809
• Tortopoglu, B., 2015. “The Structural Evolution of the Northern Carnarvon Basin, Northwest Australia”, PhD
Thesis
• Zelt, C. A., Smith, R. B., 1992. “Seismic Traveltime Inversion for 2-D Crustal Velocity Structure.” Geophysical
Journal International 108 (1): 16–34.

Thank you for your attention!

Thank you for your attention !!
Questions?

1. Build initial
velocity model
3. Inversion
parameter tuning
4. Interpret
results
2. Prepare and
Model Data
Ø Receiver Sampling and Objective Function for Resolution

1. Build initial
velocity model
3. Inversion
parameter tuning
4. Interpret
results
2. Prepare and
Model Data
Ø Receiver Sampling and Objective Function for Imaging

L’association créée en 1987
Objectif principal favoriser la présence des femmes en
mathématiques.
Actions
• Journées « filles et maths : une équation lumineuse »,
• Forum des jeunes mathématiciennes,
• Interventions dans les classes,
• Statistiques, ….
Elle est également un lieu de rencontre et de promotion de la
contribution des femmes à la recherche et à l’enseignement des
mathématiques. femmes et mathématiques

femmes et mathématiques
Depuis 2009, en partenariat avec Animath,
Journées organisées autour de 4 temps forts:
• Promenade mathématique ,
• Atelier sur les stéréotypes liés aux maths
et découverte des métiers des maths,
• Speed-meeting,
• Pièce de théâtre-forum Dérivée
Les 2 associations ont déjà organisé 76 journées
En 2017:
Ø 10 villes
Ø 15 journées
Ø 1250 lycéennes
Ø 420 collégiennes
En 2018, nous visons:
Ø 15 villes
Ø 20 journées
Ø 1700 lycéennes
Ø 550 collégiennes

femmes et mathématiques
Nous avons besoin de vous !
Vous pouvez nous aider.
1) en nous faisant un don
2) en participant à des speed-meetings*
3) via du bénévolat de compétences
4) en organisant une journée dans vos locaux….
Vous pouvez nous joindre à fetm@ihp.fr
Prochaines dates: 18 mai à Pau, 25 mai au Salon de la culture et des jeux
mathématiques Place Saint Sulpice, 30 mai au Lycée la Mare Carré à Moissy-
Cramayel

Paris data ladies #6

Recommended

Recommended

More Related Content

Similar to Paris data ladies #6

Similar to Paris data ladies #6 (20)

Recently uploaded

Recently uploaded (20)

Paris data ladies #6