1. Score de Fisher et d´tection de courbes anormales dans
e
une s´quence ` des fins de diagnostic
e a
Etienne Cˆme1 , Allou Sam´1 , Patrice Aknin1 et Marc Antoni2
o e
etienne.come@ifsttar.fr
(1), Unit´ de Recherche : G´nie des R´seaux de
e e e (2) Ing´nierie de Maintenance,
e
transports terrestres et informatique avanc´e
e Cellule ´mergence et prospectives
e
IFSTTAR SNCF
25/01/2011
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 1 / 27

2. Plan
1 Contexte
Introduction et motivation
Exemples de mesures acquises
M´thodologie adopt´e
e e
2 Mod`lisation des courbes ` changement de r´gime
e a e
Mod`le de r´gressions ` processus logistique latent
e e a
Estimation des param`tres
e
3 Mise ` jour des param`tres en ligne
a e
Gradient stochastique
Calcul du score de Fisher
4 D´tection en ligne de courbe atypique
e
Test du score
Estimation de la matrice de Fisher
5 R´sultats
e
6 Conclusion & Perspectives
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 2 / 27

3. Contexte
Plan
1 Contexte
Introduction et motivation
Exemples de mesures acquises
M´thodologie adopt´e
e e
2 Mod`lisation des courbes ` changement de r´gime
e a e
Mod`le de r´gressions ` processus logistique latent
e e a
Estimation des param`tres
e
3 Mise ` jour des param`tres en ligne
a e
Gradient stochastique
Calcul du score de Fisher
4 D´tection en ligne de courbe atypique
e
Test du score
Estimation de la matrice de Fisher
5 R´sultats
e
6 Conclusion & Perspectives
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 3 / 27

4. Contexte Introduction et motivation
Introduction et motivations
Aiguilles mobiles
Moteur
électrique
~380v
Contexte
Diagnostic du m´canisme d’aiguillage de rails
e
Analyse de mesures acquises durant des manœuvres d’aiguillage
−→ puissance ´lectrique consomm´e durant les manœuvres
e e
D´tection en ligne de d´fauts (d´faut m´canique, ´lectrique,
e e e e e
graissage, ...)
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 4 / 27

5. Contexte Exemples de mesures acquises
Exemples de mesures acquises
Signal de puissance ´lectrique consomm´e durant une manoeuvre
e e
fr´quence : 100 Hz
e
longueur des signaux : ≈ 560 points
5 phases durant une manœuvre normale
700
600
500
puissance (W)
400
300
200
100
0
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5
temps (s)
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 5 / 27

6. Contexte M´thodologie adopt´e
e e
M´thodologie adopt´e
e e
D´tection de courbes anormales dans une s´quence
e e
Mod`le g´n´ratif pour les courbes ` changement de r´gime
e e e a e
Estimation initiale des param`tres ` l’aide d’un algorithme EM
e a
Test du score pour d´tecter les courbes atypiques
e
Mise ` jour r´cursive des param`tres ` chaque nouvelle courbe :
a e e a
gradient stochastique
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 6 / 27

7. Contexte M´thodologie adopt´e
e e
Sch´ma de la m´thode
e e
Initialisation
Lancer EM sur un
petit ensemble de
Nvlle
courbes pour initialiser
Courbes
les paramètres
yi
Score de Fisher
Si H0 Mise à jour des paramètres
Test du Score
(Gradient Stochastic)
Si H1
Détection
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 7 / 27

8. Mod´lisation des courbes ` changement de r´gime
e a e
Plan
1 Contexte
Introduction et motivation
Exemples de mesures acquises
M´thodologie adopt´e
e e
2 Mod`lisation des courbes ` changement de r´gime
e a e
Mod`le de r´gressions ` processus logistique latent
e e a
Estimation des param`tres
e
3 Mise ` jour des param`tres en ligne
a e
Gradient stochastique
Calcul du score de Fisher
4 D´tection en ligne de courbe atypique
e
Test du score
Estimation de la matrice de Fisher
5 R´sultats
e
6 Conclusion & Perspectives
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 8 / 27

9. Mod´lisation des courbes ` changement de r´gime
e a e Mod`le de r´gression ` processus logistique latent
e e a
Mod`le de r´gressions ` processus logistique latent
e e a
yj = gzj (xj ) + σzj j , j ∼ N (0, 1)
(x1 , y1 ), . . . , (xm , ym ), yj valeur du signal au point xj .
zj ∈ {1, . . . , K } donn´es manquantes, g´n´r´es ind´pendamment
e e ee e
suivant une multinomiale M(1, πj1 (xj ; w), . . . , πjK (xj ; w)), dont les
param`tres sont donn´s par :
e e
exp (wk0 + wk1 xj )
πk (xj ; w) = K
·
=1 exp (w 0 + w 1 xj )
gzj polynˆmes d’ordre p.
o
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 9 / 27

10. Mod´lisation des courbes ` changement de r´gime
e a e Mod`le de r´gression ` processus logistique latent
e e a
Exemple sur les donn´es d’aiguilles
e
1000
900
800
700
puissance (W)
600
500
400
300
200
100
0
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5
temps en (s)
probabilites logistiques
1
0.5
0
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5
temps en (s)
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 10 / 27

11. Mod´lisation des courbes ` changement de r´gime
e a e Estimation des param`tres
e
Estimation des param`tres
e
Maximisation de la log-vraisemblance
m
L(θ; y1 , . . . , ym ) = log p(yj |xj ; θ)
j=1
Maximisation exacte impossible, chaque yi suit un mod`le de m´lange
e e
K
p(yj |xj ; θ) = πk (xj )φ yj ; β T xj , σk ,
k
2
k=1
L’algorithme EM, (Expectation-Maximization) est la solution
naturelle pour r´soudre ce probl`me
e e
Donn´es manquantes : zi indice du sous-mod`le de r´gression
e e e
g´n´rant le point yi
e e
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 11 / 27

12. Mod´lisation des courbes ` changement de r´gime
e a e Estimation des param`tres
e
Algorithme EM
Vraisemblance compl´t´e
ee
Lc (θ) = log p(y1 , . . . , yn , z1 , . . . , zn |x; θ)
Etape E
Q(θ, θ (q) ) = E [Lc (θ)|y1 , . . . , yn ; θ (q) ]
Calcul des propabilit´s a posteriori des diff´rents sous mod`les de
e e e
r´gression :
e
πk (xj ; w)φ yij ; β T xj , σk
k
2
tijk = K T
· (1)
2
=1 π (xj ; w)φ yij ; β xj , σ
Etape M
Maximisation de Q par rapport ` w : algorithme IRLS.
a
Maximisation de Q par rapport ` β k , σk formules explicites.
a
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 12 / 27

13. Mise ` jour des param`tres en ligne
a e
Plan
1 Contexte
Introduction et motivation
Exemples de mesures acquises
M´thodologie adopt´e
e e
2 Mod`lisation des courbes ` changement de r´gime
e a e
Mod`le de r´gressions ` processus logistique latent
e e a
Estimation des param`tres
e
3 Mise ` jour des param`tres en ligne
a e
Gradient stochastique
Calcul du score de Fisher
4 D´tection en ligne de courbe atypique
e
Test du score
Estimation de la matrice de Fisher
5 R´sultats
e
6 Conclusion & Perspectives
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 13 / 27

14. Mise ` jour des param`tres en ligne
a e Gradient stochastique
Mise ` jour des param`tres lors de l’acquisition d’une
a e
courbe
Donn´es : s´quence de courbes
e e
y1 , . . . , yi , . . . , yn . . .
avec yi = [yi1 , . . . , yim ].
Gradient stochastique par bloc
A chaque nouvelle courbe yi mise ` jour des param`tres du mod`le par :
a e e
ˆ (i) ˆ (i−1) + λi S (i) yi , θ (i−1) ,
θ =θ ˆ (2)
(i−1)
ˆ
avec λi le pas du gradient stochastique et S (i) yi , θ le score de
fischer de la nouvelle courbe.
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 14 / 27

15. Mise ` jour des param`tres en ligne
a e Calcul du score de Fisher
Calcul du score de Fisher
D´finition
e
(i) (i)
S (i) (yi , θ) = [s1 (θ), . . . , sR (θ)]T ,
(i) ∂L(θ;yi )
o` R est le nombre de param`tres du mod`le et sr (θ) =
u e e ∂θ r ,
Formulation sp´cifique pour les mod`les ` variables latentes
e e a
Possibilt´ d’utiliser l’esp´rance conditionnelle du gradient de la
e e
vraisemblance compl´t´e plutˆt que le gradient de la vraisemblance.
ee o
(i) ∂L(θ; yi )
sr (θ) = (3)
∂θ r
∂Lc (θ; Yi , Zi )
= E |yi ; θ . (4)
∂θ r
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 15 / 27

16. Mise ` jour des param`tres en ligne
a e Calcul du score de Fisher
Calcul du score de Fisher
Exemple :
∂L(θ; yi ) ∂Lc (θ; Yi , Zi )
= E |yi , θ
∂β k ∂β k
m
1
= 2
tijk yij − β T xj xj ,
k (5)
σk
j=1
avec tijk les probabilit´s a posteriori de la composante k au point xj ,
e
calcul´e de la mˆme mani`re que dans le contexte de l’algorithme EM :
e e e
πk (xj ; w)φ yij ; β T xj , σk
k
2
tijk = K
· (6)
=1 π (xj ; w)φ yij ; β T xj , σ 2
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 16 / 27

17. D´tection en ligne de courbe atypique
e
Plan
1 Contexte
Introduction et motivation
Exemples de mesures acquises
M´thodologie adopt´e
e e
2 Mod`lisation des courbes ` changement de r´gime
e a e
Mod`le de r´gressions ` processus logistique latent
e e a
Estimation des param`tres
e
3 Mise ` jour des param`tres en ligne
a e
Gradient stochastique
Calcul du score de Fisher
4 D´tection en ligne de courbe atypique
e
Test du score
Estimation de la matrice de Fisher
5 R´sultats
e
6 Conclusion & Perspectives
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 17 / 27

18. D´tection en ligne de courbe atypique
e Test du score
D´tection en ligne de courbe atypique
e
Test du score
H0 : θ 1 = θ 2 = . . . = θ i−1 = θ i (7)
H1 : θ 1 = θ 2 = . . . = θ i−1 = θ i , (8)
ou i est l’indice de la courbe courante.
sous H0 le vecteur score associ´ ` une nouvelle courbe yi suit
ea
ˆ
asymptotiquement en θ une loi normale donn´e par :
e
ˆ ˆ
S (i) (θ) ∼ N (0, If (θ)), (9)
ˆ
If (θ) : matrice d’information de Fisher associ´e ` l’observation yi .
e a
−1
ˆ ˆ
on a donc S (i) (θ)T If (θ) ˆ
S (i) (θ) ∼ χ2 (R),
ce qui permet de d´finir une r´gion critique approch´e.
e e e
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 18 / 27

19. D´tection en ligne de courbe atypique
e Estimation de la matrice de Fisher
Estimation de la matrice de Fisher
Information de Fisher Observ´e
e
Calcul de l’information de Fisher pose probl`me dans les mod`les `
e e a
variables latentes
Arguments th´oriques et pratiques soutiennent l’utilisation de
e
l’information de Fisher observ´e qui elle est simple ` calcul´e
e a e
n
1
Iˆ (θ) =
o
ˆ ˆ ˆ
S i (θ)S i (θ)T (10)
n
i=1
Cet estimateur est convergent.
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 19 / 27

20. R´sultats
e
Plan
1 Contexte
Introduction et motivation
Exemples de mesures acquises
M´thodologie adopt´e
e e
2 Mod`lisation des courbes ` changement de r´gime
e a e
Mod`le de r´gressions ` processus logistique latent
e e a
Estimation des param`tres
e
3 Mise ` jour des param`tres en ligne
a e
Gradient stochastique
Calcul du score de Fisher
4 D´tection en ligne de courbe atypique
e
Test du score
Estimation de la matrice de Fisher
5 R´sultats
e
6 Conclusion & Perspectives
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 20 / 27

21. R´sultats
e
Conditions exp´rimentales
e
Donn´es
e
s´quence de 916 courbes (2005-2007)
e
toujours la mˆme aiguille
e
1 ` 3 courbes par jours
a
R´glages des param`tres des algorithmes
e e
mod`le ` 6 composantes r´gressives cubiques, (θ = 40 param`tres).
e a e e
pas du gradient stochastique 0.01.
niveau de confiance du test 0.999.
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 21 / 27

22. R´sultats
e
Evolution d’une composante du vecteur score (β 6,3 )
10
8
6
composante 33 du vecteur score
4
2
0
−2
−4
−6
−8
−10
100 200 300 400 500 600 700 800 900
index de la courbe
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 22 / 27

23. R´sultats
e
´
Evolution de la statistique de test
400
350
300
statistique de test
250
200
150
100
50
100 200 300 400 500 600 700 800 900
index de la courbe
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 23 / 27

24. R´sultats
e
R´sultats de d´tection
e e
1000
900
800
700
puissance (W)
600
500
400
300
200
100
0
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5
temps (s)
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 24 / 27

25. Conclusion & Perspectives
Plan
1 Contexte
Introduction et motivation
Exemples de mesures acquises
M´thodologie adopt´e
e e
2 Mod`lisation des courbes ` changement de r´gime
e a e
Mod`le de r´gressions ` processus logistique latent
e e a
Estimation des param`tres
e
3 Mise ` jour des param`tres en ligne
a e
Gradient stochastique
Calcul du score de Fisher
4 D´tection en ligne de courbe atypique
e
Test du score
Estimation de la matrice de Fisher
5 R´sultats
e
6 Conclusion & Perspectives
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 25 / 27

26. Conclusion & Perspectives
Conclusion
M´thodologie de d´tection s´quentielle de courbes atypiques
e e e
Tire partie d’un mod`le g´n´ratif adapt´ aux donn´es (courbes `
e e e e e a
changement de r´gime)
e
Mise ` jour r´cursive des param`tres (peu coˆteuse en temps)
a e e u
R´sultats pr´liminaire en accord avec les attentes m´tier
e e e
Perspectives
Evaluation des pertes dues aux approximation (sur donn´es simul´es)
e e
Extension aux donn´es non stationaires (prise en compte des
e
´volutions lentes)
e
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 26 / 27

27. Conclusion & Perspectives
Merci de votre attention !
etienne.come@ifsttar.fr
http://ecome.wordpress.com
Etienne Cˆme (IFSTTAR, Grettia)
o EGC 2011 25/01/2011 27 / 27