1. beamer-logo
Mod`ele GAM et mod`ele GAM
adaptative pour la pr´evision de
consommation ´electrique fran¸caise `a
court terme
Yannig Goude
EDF R&D, France
(EDF R&D, France) 19/11/2010 1 / 44

2. beamer-logo
1 La pr´evision de consommation ´electrique
2 Les donn´ees de consommation
Cycles et propri´et´es temporelles du signal de conso. France
D´ependance aux variables m´et´eorologiques
D´ependance aux variables tarifaires/´economiques
Ev´enements atypiques
3 Le mod`ele param´etrique utilis´e par EDF
4 La m´ethodologie GAM
cadre th´eorique
Statistiques int´eressantes pour la pratique
5 Application 1: un mod`ele de la consommation ´electrique Fran¸caise
6 Application2: un mod`ele unique
(EDF R&D, France) 19/11/2010 2 / 44

3. beamer-logo
La pr´evision de consommation ´electrique
Une activit´e essentielle pour EDF:
(presque) pas de stockage: n´ecessit´e
d’ad´equation offre-demande en temps
r´eel
´eviter les black outs
´eviter les p´enalit´es financi`eres
r´esultant d’un d´es´equilibre
offre-demande
→ La pr´evision de conso. est une activit´e cl´e
du management d’´energie:
la consommation est la variable
d’entr´ee pour le programme d’appel
le management d’un grand nombre de
moyens de production ´electrique en
d´epend:
centrales nucl´eaire,
thermiques
barrages, h´eoliennes
(EDF R&D, France) 19/11/2010 3 / 44

4. beamer-logo
La pr´evision de consommation ´electrique
La pr´evision de consommation est donc n´ecessaire `a plusieurs horizons:
tr`es court terme (infra-journalier): de 1h `a 24h
court terme: de 1 jour `a 2 semaines
programme d’appel, tous les jours `a 16h pour le lendemain
trading (march´e spot)
moyen terme:de 2 semaines `a 5 ans
maintenance
politique de gestion de risque
long terme: de 5 `a 50 ans
strat´egie d’investissement
(EDF R&D, France) 19/11/2010 4 / 44

5. beamer-logo
La pr´evision de consommation ´electrique
La pr´evision de consommation est donc n´ecessaire `a plusieurs horizons:
tr`es court terme (infra-journalier): de 1h `a 24h
court terme: de 1 jour `a 2 semaines
programme d’appel, tous les jours `a 16h pour le lendemain
trading (march´e spot)
moyen terme:de 2 semaines `a 5 ans
maintenance
politique de gestion de risque
long terme: de 5 `a 50 ans
strat´egie d’investissement
(EDF R&D, France) 19/11/2010 4 / 44

6. beamer-logo
La pr´evision de consommation ´electrique
La pr´evision de consommation est donc n´ecessaire `a plusieurs horizons:
tr`es court terme (infra-journalier): de 1h `a 24h
court terme: de 1 jour `a 2 semaines
programme d’appel, tous les jours `a 16h pour le lendemain
trading (march´e spot)
moyen terme:de 2 semaines `a 5 ans
maintenance
politique de gestion de risque
long terme: de 5 `a 50 ans
strat´egie d’investissement
(EDF R&D, France) 19/11/2010 4 / 44

7. beamer-logo
La pr´evision de consommation ´electrique
La pr´evision de consommation est donc n´ecessaire `a plusieurs horizons:
tr`es court terme (infra-journalier): de 1h `a 24h
court terme: de 1 jour `a 2 semaines
programme d’appel, tous les jours `a 16h pour le lendemain
trading (march´e spot)
moyen terme:de 2 semaines `a 5 ans
maintenance
politique de gestion de risque
long terme: de 5 `a 50 ans
strat´egie d’investissement
(EDF R&D, France) 19/11/2010 4 / 44

8. beamer-logo
Les donn´ees de consommation Cycles et propri´et´es temporelles du signal de conso. France
Une tendance:
(EDF R&D, France) 19/11/2010 5 / 44

9. beamer-logo
Les donn´ees de consommation Cycles et propri´et´es temporelles du signal de conso. France
Un cycle annuel:
(EDF R&D, France) 19/11/2010 6 / 44

10. beamer-logo
Les donn´ees de consommation Cycles et propri´et´es temporelles du signal de conso. France
Un cycle hebdomadaire:
(EDF R&D, France) 19/11/2010 7 / 44

11. beamer-logo
Les donn´ees de consommation Cycles et propri´et´es temporelles du signal de conso. France
Un cycle journalier:
(EDF R&D, France) 19/11/2010 8 / 44

12. beamer-logo
Les donn´ees de consommation D´ependance aux variables m´et´eorologiques
La temp´erature:
(EDF R&D, France) 19/11/2010 9 / 44

13. beamer-logo
Les donn´ees de consommation D´ependance aux variables m´et´eorologiques
La n´ebulosit´e:
(EDF R&D, France) 19/11/2010 10 / 44

14. beamer-logo
Les donn´ees de consommation D´ependance aux variables tarifaires/´economiques
Jours Effacements Jour de Pointe:
(EDF R&D, France) 19/11/2010 11 / 44

15. beamer-logo
Les donn´ees de consommation D´ependance aux variables tarifaires/´economiques
Activit´e Economique (IPI...)
(EDF R&D, France) 19/11/2010 12 / 44

16. beamer-logo
Les donn´ees de consommation Ev´enements atypiques
Coupe du monde de foot:
(EDF R&D, France) 19/11/2010 13 / 44

17. beamer-logo
Les donn´ees de consommation Ev´enements atypiques
Un exemple de l’effet gr`eve:
(EDF R&D, France) 19/11/2010 14 / 44

18. beamer-logo
Le mod`ele param´etrique utilis´e par EDF
(EDF R&D, France) 19/11/2010 15 / 44

19. beamer-logo
Le mod`ele param´etrique utilis´e par EDF
(EDF R&D, France) 19/11/2010 16 / 44

20. beamer-logo
Le mod`ele param´etrique utilis´e par EDF
(EDF R&D, France) 19/11/2010 17 / 44

21. beamer-logo
Le mod`ele param´etrique utilis´e par EDF
(EDF R&D, France) 19/11/2010 18 / 44

22. beamer-logo
Le mod`ele param´etrique utilis´e par EDF
(EDF R&D, France) 19/11/2010 19 / 44

23. beamer-logo
Le mod`ele param´etrique utilis´e par EDF
(EDF R&D, France) 19/11/2010 20 / 44

24. beamer-logo
La m´ethodologie GAM cadre th´eorique
Cadre th´eorique:
soit y une v.a.r
les variables explicatives associ´ees: x1, ..., xp, et X∗
= x∗
1 , ..., x∗
k
Un mod`ele GAM correspond au type de mod`ele suivant:
yi = X∗
i β∗
+ f1(x1,i ) + f2(x2,i ) + f3(x3,i , x4,i ) + ... + εi
Ou (εi )i=1,...,n:
iid
E(εi ) = 0,V (εi ) = σ2
les fonctions fj sont suppos´ees suffisemment ”lisses” (estimable par r´egression
spline p´enalis´ee...)
(EDF R&D, France) 19/11/2010 21 / 44

25. beamer-logo
La m´ethodologie GAM cadre th´eorique
Plus pr´ecis´ement:
yi = X∗
i β∗
+ f1(x1,i ) + f2(x2,i ) + f3(x3,i , x4,i ) + ... + εi
on suppose que f (x)2
dx est faible (cubic splines)
cette notion de r´egularit´e ´etant param´etrable: param`etre λ= (λ1, λ2, ...)
cela conduit au probl`eme d’optimisation suivant:
minβ∗,fj
n
i=1
(yi − X∗
i β∗
− f1(x1,i ) − f2(x2,i ) + ...)2
MSE
+ λ1 f1 (x)2
dx + λ2 f2 (x)2
dx
penalite
+...
(EDF R&D, France) 19/11/2010 22 / 44

26. beamer-logo
La m´ethodologie GAM cadre th´eorique
(EDF R&D, France) 19/11/2010 23 / 44

27. beamer-logo
La m´ethodologie GAM cadre th´eorique
Projection lin´eaire dans une base de fonction:
fj (x) =
k1
q=1
a1,q(x)β1,q
le probl`eme devient:
minf ,g
n
i=1
(yi −X∗
i β∗
−
k1
q=1
a1,q(xi )β1,q−
k2
q=1
a2,q(xi )β2,q...)2
+λ1βt
1S1β1+λ2βt
2S2β2+...
Ou: Sj est une matrice connue, d´ependant de la base choisie
connaissant λ le probl`eme se ram`ene `a un probl`eme de ridge regression
les solutions: on note F := [X∗
, a1(X1), a2(X2), ..., ap(Xp)]
β = (FT
F + λ1S1 + λ2S2 + ...)−1
FT
y
A = F(FT
F + λ1S1 + λ2S2 + ..)−1
FT
, µ = Ay
(EDF R&D, France) 19/11/2010 24 / 44

28. beamer-logo
La m´ethodologie GAM cadre th´eorique
Choix de λ
Validation crois´ee: OCV
enlever une observation
estimer le mod`ele sur le nouveau jeu de donn´ee
pr´evoir l’observation en question, mesurer l’erreur quadratique
it´erer le processus sur toutes les observations
choisir le λ qui minimise l’erreur moyenne (OCV score)
Pb: temps de calcul
Validation crois´ee g´en´eralis´ee: GCV
V = n y − Ay|2
/(n − tr(A))2
Avantage du GCV:
temps de calcul: formule explicite, permet d’appliquer un algo d’optim num´erique
(package mgcv de R: Newton multidimension)
r´esultats th´eoriques (voir [Wahba (1990)]): asymptotique (minimise l’erreur quad.
de pr´evision), stabilit´e au choix de la base de splines
(EDF R&D, France) 19/11/2010 25 / 44

29. beamer-logo
La m´ethodologie GAM Statistiques int´eressantes pour la pratique
degr´es de libert´e estim´e: tr(A)
R2
= 1 − (yi − µi )2
/ (yi − ¯y)2
, ajusted-R2
= 1 − 1
n−p
(yi − µi )2
/ (yi − ¯y)2
GCV score
V = n y − Ay|2
/(n − tr(A))2
tests (Fisher, Student) (hyp. de normalit´e)
Outil informatique: R, package mgcv (Simon Wood, voir [Wood (2001)] et
[Wood (2006)])
(EDF R&D, France) 19/11/2010 26 / 44

30. beamer-logo
Application 1: un mod`ele de la consommation ´electrique Fran¸caise
Pourquoi un mod`ele GAM `a EDF:
d´eformation de la courbe de charge (modification des usages)
mod`ele param´etrique couteux en donn´ee, hypoth`ese rigides
pr´evision d’un intervalle de confiance...
(EDF R&D, France) 19/11/2010 27 / 44

31. beamer-logo
Application 1: un mod`ele de la consommation ´electrique Fran¸caise
Les donn´ees:
la consommation ´electrique (donn´ees consolid´ees horaires): P en MW
la temp´erature T en ◦
C
la temp´erature ressentie Tl , provenant de la mod´elisation param´etrique
op´erationnelle
T23 (resp. T23), la temp´erature maximale (resp. minimale) des derni`eres 24 heures
la n´ebulosit´e N en Octet (0 pas de nuage, 1 1/8 du ciel couvert...,1 ciel totalement
couvert)
la vitesse du vent V (en m/s)
le calendrier
posant: quanti`eme du jour de l’observation t dans l’ann´ee (1/365.25
pour le 01/01, 2/365.25 le 02/01...)
tdjt: variable qualitative, dans 1, ..., k
swe:variable qualitative, dans 0, 1, pour weekend/ semaine
Les variables m´et´eo. sont des moyennes pond´er´ees (prise en compte de la population,
l’industrialisation...) de 26 stations du territoire. La p´eriode d’estimation s’´etend du 1er
septembre 2000 au 31 aoˆut 2005. Pour prendre en compte le cycle journalier de la
conso., ainsi que pour des raisons de temps de calcul, nous consid´erons un mod`ele
diff´erent par instant de la journ´ee (ici l’heure), soit 24 mod`eles
(EDF R&D, France) 19/11/2010 28 / 44

32. beamer-logo
Application 1: un mod`ele de la consommation ´electrique Fran¸caise
Mod`eles test´es
Mod`ele R2
GCV Effets pris en compte
mod1 0.904 6.63 ∗ 106
f (Tl ), f (Pt−24), f (Pt−168), f (posant ), f (Nt )
mod2 0.911 5.69 ∗ 106
f (Tt ), f (Tt−1), f (Tt−24), f (Pt−24),f (Pt−168),f (posant )
mod3 0.911 5.69 ∗ 106
f (Tt ), f (Tt−24), f (Tt−48), f (
Tt−24+Tt−48
2
), f (Pt−24), f (Pt−168),f (posant )
mod4 0.978 1.43 ∗ 106
mod1 +swet
mod5 0.979 1.41 ∗ 106
mod2 +swet
mod6 0.979 1.38 ∗ 106
mod3 +swet
mod7 0.987 8.83 ∗ 106
mod6 +trend
mod8 0.994 3.94 ∗ 105
mod7 -swet + tdjt
mod9 0.994 3.22 ∗ 105
mod8 +gestion lag/jours f´eri´es
mod10 0.994 3.19 ∗ 105
mod9 +f (Pt−24, by = tdjt )
mod11 0.994 2.9 ∗ 105
mod10 -f (Pt−168)+f (Pt−168, posan)
mod12 0.994 2.67 ∗ 105
mod11 -f (Tt )+f (Tt , Vt )
mod13 0.996 2.66 ∗ 105
mod12 + invalid. outliers
mod14 0.996 2.74 ∗ 105
mod13+ rupture d’´et´e
mod15 0.997 2.52 ∗ 105
mod14-f (posant )+f (posant , by = swe)
mod16 0.997 2.44 ∗ 105
mod15-f (Pt−168, posan)
mod17 0.997 2.35 ∗ 105
mod16-f (
Tt−24+Tt−48
2
)+f (T23)+f (T23) rupture d’´et´e
Possibilit´e d’inclure la rupture d’´et´e, mais pas la rupture d’hiver dans le mod`ele (pas assez de donn´ees)
(EDF R&D, France) 19/11/2010 29 / 44

33. beamer-logo
Application 1: un mod`ele de la consommation ´electrique Fran¸caise
Le mod`ele retenu: mod`ele 17 (93 degr´es de libert´e par heure)
(EDF R&D, France) 19/11/2010 30 / 44

34. beamer-logo
Application 1: un mod`ele de la consommation ´electrique Fran¸caise
Qualit´e du mod`ele retenu sur la p´eriode d’estimation:
(EDF R&D, France) 19/11/2010 31 / 44

35. beamer-logo
Application 1: un mod`ele de la consommation ´electrique Fran¸caise
(EDF R&D, France) 19/11/2010 32 / 44

36. beamer-logo
Application 1: un mod`ele de la consommation ´electrique Fran¸caise
40000 50000 60000 70000 80000
−100000100002000030000
lag load
lagloadeffect,friday
40000 50000 60000 70000 80000
−100000100002000030000
lag load
lagloadeffect,sunday
0 5 10 15 20 25 30
−100000100002000030000
Temperature
temperatureeffect
0.0 0.2 0.4 0.6 0.8 1.0
−100000100002000030000
Day j, year n
yearlyseasonnality,daysofweek
(EDF R&D, France) 19/11/2010 33 / 44

37. beamer-logo
Application 1: un mod`ele de la consommation ´electrique Fran¸caise
(EDF R&D, France) 19/11/2010 34 / 44

38. beamer-logo
Application 1: un mod`ele de la consommation ´electrique Fran¸caise
Performance en pr´evision: sur la p´eriode du 01/09/2005 au 31/08/2006
(EDF R&D, France) 19/11/2010 35 / 44

39. beamer-logo
Application 1: un mod`ele de la consommation ´electrique Fran¸caise
comparaison avec le mod`ele op´erationnel:
(EDF R&D, France) 19/11/2010 36 / 44

40. beamer-logo
Application2: un mod`ele unique
Plusieurs points sont non r´esolus par le pr´ec´edent mod`ele:
24 mod`eles ind´ependants: perte d’information, besoin d’un grand nombre de
donn´ees
jours f´eri´es
rupture d’hiver
effets ”fixes” au cours de l’ann´ee de pr´evision
⇒ une modification du package R mgcv a ´et´e r´ealis´e pour pouvoir prendre en compte
un plus grand nombre de donn´ees, cela permet:
l’estimation d’un mod`ele unique pour les 48 demi-heures
la r´e-estimation du mod`ele en ligne, chaque jour
prise en compte d’une corr´elation demi-horaire
(EDF R&D, France) 19/11/2010 37 / 44

41. beamer-logo
Application2: un mod`ele unique
Le mod`ele:
Pt = tdjt + g1(tdjt , Pt−48)I1 + ... + g4(tdjt , Pt−48)I4 + f1(t) + f2(posant ) + f3(Nt ) + f4(Tt , instt ) + f5(Tt−48, Tt−96) + εt
Ou:
instt est l’heure de la journ´ee (pas demi-heure)
εt est un processus AR(1)
(Ij )j=1,..,4 correspond `a une classe de type de jour mod´elisant le transition vacances-jour ouvrables (hh,hw,wh,ww)
Le mod`ele est estim´e sur 2002-2007, la pr´evision se fait ensuite sur l’ann´ee 2007.
Ce travail s’est effectu´e en 2 ´etapes:
s´election de mod`ele sans prendre en compte la d´ependance temporelle de εt
estimation de l’AR(1) optimal (grille sur ρ)
Temps de calcul:
estimation du mod`ele (incluant ρ): 10 heures
r´e-estimation en ligne: 10 min
Degr´es de libert´e:
48 mod`eles demi-horaire: 93 ∗ 48 = 4464
mod`ele unique: 775
(EDF R&D, France) 19/11/2010 38 / 44

42. beamer-logo
Application2: un mod`ele unique
(EDF R&D, France) 19/11/2010 39 / 44

43. beamer-logo
Application2: un mod`ele unique
(EDF R&D, France) 19/11/2010 40 / 44

44. beamer-logo
Application2: un mod`ele unique
Performance en pr´evision sur 2007: RMSE de 1004-886MW en estimation,
1077-852MW en pr´evision
(EDF R&D, France) 19/11/2010 41 / 44

45. beamer-logo
Application2: un mod`ele unique
(EDF R&D, France) 19/11/2010 42 / 44

46. beamer-logo
Application2: un mod`ele unique
(EDF R&D, France) 19/11/2010 43 / 44

47. beamer-logo
Application2: un mod`ele unique
Am´eliorations possibles:
les ponts (nouveau type de jour: hwh)
les changements d’heure
p´eriode du 24/12 au 01/01 (idem ponts?)
mod´elisation de la d´ependance temporelle (MA?)
(EDF R&D, France) 19/11/2010 44 / 44

48. beamer-logo
Application2: un mod`ele unique
Green and Silverman (1994) ”Nonparametric Regression and Generalized Linear Models”. Chapman and Hall.
Hastie and Tibshirani (1990) ” Generalized Additive Models”. Chapman and Hall.
Wahba (1990) ”Spline Models of Observational Data”. SIAM
Wood (2001) mgcv:GAMs and Generalized Ridge Regression for R. R News 1(2):20-25
Wood and Augustin (2002) ”GAMs with integrated model selection using penalized regression splines and applications to
environmental modelling”. Ecological Modelling 157:157-177
Wood (2006)Generalized Additive Models, An Introduction with R (Chapman and Hall, 2006)
(EDF R&D, France) 19/11/2010 44 / 44