Presentation Mafia

Mafia
Classification et prédiction de courbes de charge
Nolwen Huet
Groupe MAFIA
Laboratoire de Statistique et Probabilités,
Université Toulouse 3
en collaboration avec le groupe ICAME, EDF R&D
Classification et prédiction de courbes de charge Mafia Nolwen Huet

Mafia
Plan
1 Problématique
Qu’est-ce qu’une courbe de charge ?
Pourquoi estimer des courbes de charge ?
Prédire une courbe de charge
2 Méthode
Prétraitement des données
Classification
Prédiction
3 Résultats
Erreurs de prédiction
Graphique récapitulatif des résultats
Exemples de prédiction
4 Perspectives

Problématique Mafia
Plan
1 Problématique
2 Méthode
Classification
Prédiction
3 Résultats
4 Perspectives

Problématique Mafia Qu’est-ce qu’une courbe de charge ?
La courbe de charge (CdC) est l’évolution de la puissance appelée par un

client au cours du temps.
CdC annuelle au pas demi−horaire

250
200
puissance (en kW)
150
100
50
0 J F M A M J J A S O N D
temps (en mois)
Il s’agit du meilleur indicateur sur la façon qu’a un client de consommer

l’électricité dans le temps.

Problématique Mafia Qu’est-ce qu’une courbe de charge ?
La courbe de charge (CdC) est l’évolution de la puissance appelée par un

client au cours du temps.
CdC hebdomadaire au pas demi−horaire

160
puissance (en kW) 140
120
100
80
60
40
20 L M M J V S D
temps (en jours)
Il s’agit du meilleur indicateur sur la façon qu’a un client de consommer

l’électricité dans le temps.

Problématique Mafia Pourquoi estimer des courbes de charge ?
Intérêts de la CdC :
équilibre « production – consommation »
reconstitution des flux, dans le cadre réglementaire de la CRE
(Commission de Régulation de l’Energie)
recherche de comportements types de consommation pour construire
des offres de prix
prévision de consommation d’un portefeuille de clients

des offres de prix
La télérelève des CdC est compliquée et coûteuse :
avec : 40 000 sites / sans : 32 millions de sites

des offres de prix
La télérelève des CdC est compliquée et coûteuse :
avec : 40 000 sites / sans : 32 millions de sites
=⇒ prédiction de CdC ou de profils

Problématique Mafia Prédire une courbe de charge
But recherché
On veut prédire une courbe de charge i.e. construire une application
variables explicatives 7−→ CdC
puisque seules les variables explicatives sont connues en général.
variables explicatives = données de facturation, localisation, secteur

d’activité, . . .

Méthode Mafia
Plan
1 Problématique
2 Méthode
Classification
Prédiction
3 Résultats
4 Perspectives

Méthode Mafia
Les données
Nous disposons de 1000 individus et, pour chacun d’entre eux :
une CdC sur un an à pas demi-horaire (dans R17520 )

des variables explicatives : 4 qualitatives et 12 quantitatives
base d’apprentissage : 900 individus

échantillon test : 100 individus

Méthode Mafia Prétraitement des données

On observe des comportements à 2 niveaux :
niveau global : hiver/été, saisonnalité, périodes de non-activité,
vacances scolaires, . . .
CdC annuelle au pas demi−horaire, ind568

120
100
puissance (en kW)
80
60
40
20
temps (en mois)


caractéristisque globale : courbe annuelle lissée
caractéristique globale : courbe lissée, ind 568

120
100
puissance (en kW)
80
60
40
20
temps (en mois)


caractéristisque globale : profil annuel lissé
profil annuel lissé, ind 568

puissance renormalisée (sans unité)
1.4
1.2
0.8
0.6
0.4
0.2
temps (en mois)


niveau local : jour/nuit, jour ouvrable/chômé, samedi, . . .
3 semaines de CdC, ind 568

120
100
puissance (en kW)
80
60
40
20
0 J
temps (en mois)


caractéristisque locale : semaine type
CdC renormalisée, zoom, ind 568
6
5
puissance (en kW)
0 J
temps (en mois)


semaine type, ind 568
3
2.5
puissance (en kW)
1.5
0.5
0 L M M J V S D
temps (en jours)


compression ACP
profil annuel lissé : semaine type :

36 coefficients 88 coefficients

Méthode Mafia Classification
Classification
Courbes de charge
composantes globales Variables explicatives
et locales
Classes

Classification
Courbes de charge
et locales
comportements
Classes

Classification
Courbes de charge
et locales
comportements apprentissage
Classes

Boucle classification/discrimination
Classification Discrimination
- CdC - var. expl.
- non supervisée - supervisée
- K -means - RN
Initialisation K , centr nos
- var. expl. de classe
- CAH
∼ ∼
K , centr
boucle
(nouvelle intialisation)

Conditions d’arrêt de la boucle
On arrête de boucler dès que, après apprentissage supervisé, les conditions

suivantes sont réunies :
le nombre de mal classés est satisfaisant ;
aucune classe ne s’est vidée.

Conditions d’arrêt de la boucle
On arrête de boucler dès que, après apprentissage supervisé, les conditions

suivantes sont réunies :
le nombre de mal classés est satisfaisant ;
aucune classe ne s’est vidée.
Remarque :
Rien ne dit théoriquement que le nombre de mal classé devienne
effectivement très petit, même si en pratique, c’est le cas.

Méthode Mafia Prédiction
Prédire une CdC ?
On dispose maintenant de 2 applications :
variables explicatives 7→ classe globale

variables explicatives 7→ classe locale

Prédire une CdC ?
On dispose maintenant de 2 applications :
variables explicatives 7→ classe globale

variables explicatives 7→ classe locale
Question :
Comment prédire une CdC ? i.e. construire une application
variables explicatives 7→ CdC ?

Prédiction par centroïdes
1 Calcul des centroïdes sur l’échantillon d’apprentissage :

classe globale centroïde des profils annuels lissés tombant dans la
classe
classe locale centroïde des semaines type


classe
2 Prédiction pour un individu :
variables / (classe globale, classe locale)
explicatives


classe
variables / (centroïde global, centroïde local)
explicatives


classe
explicatives
_

puis moy


classe
explicatives
_ VVV VVVV
VVVV
VVVV
VVVV
VVVV
*
puis moy CdC


classe
explicatives
_ VVV VVVV
VVVV
VVVV
VVVV
VVVV
*
puis moy CdC
CdC = puis moy × centroïde global × centroïde local

Prédiction par analyse de la covariance
Idée :
Les numéros de classe sont de nouvelles variables explicatives.

Idée :
=⇒ On peut donc effectuer une analyse de la covariance avec 2 nouveaux

facteurs : classe globale et classe locale.

Idée :

Deux types de coefficients à régresser :
1 composante globale + composante locale
2 coefficients de Fourier de la CdC totale « les plus importants »

Idée :

Deux types de coefficients à régresser :
1 composante globale + composante locale
2 coefficients de Fourier de la CdC totale « les plus importants »
périodogramme cumulé sur les individus

Le modèle linéaire à ajuster est :

j
X X
i
Yind = µ + αmod i (ind)
+ βglob(ind) + γloc(ind) + θj .Xind + εind
i qual j quant


j
X X
i
i qual j quant
On peut aussi ajouter des termes d’interaction (≈ « régression locale ») :

X
i
+ βglob(ind) + γloc(ind)
i qual
j
X glob(ind) loc(ind)
+ (θj + ηj ).Xind + εind .
j quant


j
X X
i
i qual j quant
On peut aussi ajouter des termes d’interaction (≈ « régression locale ») :

X
i
+ βglob(ind) + γloc(ind)
i qual
j
X glob(ind) loc(ind)
+ (θj + ηj ).Xind + εind .
j quant
+ sélection de modèle (AIC, BIC, GBIC)

Résultats Mafia
Plan
1 Problématique
2 Méthode
Classification
Prédiction
3 Résultats
4 Perspectives

Résultats Mafia Erreurs de prédiction
Choix d’un critère d’erreur
17520
X
|CdC préditeind (h) − CdC réelleind (h)|2
h=1
erreur(ind ) = 17520
X
|CdC réelleind (h)|2
h=1

Résultats Mafia Graphique récapitulatif des résultats
Graphique récapitulatif
Récapitulatif des erreurs sur base d’(a)pp et ech (t)est avec (9) classes ou (4) classes Legende
1.3 1.3 1.3
1.1 1.1 1.1
0.9 0.9 0.9
0.7 0.7 0.7 max
//////// //////// ////////
0.25 0.25 0.25
changement
d’échelle
erreur quadratique relative pondérée
0.2 0.2 0.2
1er−3ème quartile
(50% des ind)
0.15 0.15 0.15
int de confiance
à 5% pour la moy
0.1 0.1 0.1 moy
med
int de confiance
0.05 0.05 0.05
à 5% pour la med
min
0 0 0
a t a t a t a t a t a t a t a t a t a t a t a t t (t)est ou (a)pp
9 4 9 4 9 4 9 4 9 4 4 nb de classes
GxL GxL Fourier GxL Fourier Fourier coeff régressé
λ λ’ centroides mod lin gbic gbic méthode

Résultats Mafia Exemples de prédiction
Exemples de prédiction (échantillon test)
courbes annuelles lissées

puis liss predite, ind 88
120
100
puissance (en kW)
80
60
40
20
J F M A M J J A S O N D
0
temps (en mois)

vraie CdC
lambda
lambda prime
centroides (global + local)
regression (courbe totale)
aic (courbe totale)


250
puissance (en kW)

200
150
100
temps (en mois)

vraie CdC
lambda
lambda prime
aic (courbe totale)


80
70
puissance (en kW)

60
50
40
30
20
temps (en mois)

vraie CdC
lambda
lambda prime
aic (courbe totale)

Perspectives Mafia
Plan
1 Problématique
2 Méthode
Classification
Prédiction
3 Résultats
4 Perspectives

Perspectives Mafia
Perspectives
Aller-retour classification/discrimination
Classes = nouvelles variables explicatives

Perspectives Mafia
Perspectives
Aller-retour classification/discrimination convergence ? justification

théorique ?
Classes = nouvelles variables explicatives

Perspectives Mafia
Perspectives
Aller-retour classification/discrimination convergence ? justification

théorique ?
Classes = nouvelles variables explicatives utilisation de probabilités
d’appartenance à une classe

Mafia
The end
Classification et prédiction de courbes de charge
Nolwen Huet
Groupe MAFIA
Laboratoire de Statistique et Probabilités,
Université Toulouse 3
en collaboration avec le groupe ICAME, EDF R&D

Bonus-données Mafia
Bonus
5 Bonus-données
Variables explicatives
Prétraitement des données II
6 Bonus-classification/prediction
Initialisation de la première classification
Sélection des fréquences de Fourier
Sélection de modèle

Bonus-données Mafia Variables explicatives
4 variables qualitatives :
naf17 : secteurs d’activité (17 modalités)
DCECL : localisation (8 modalités)
zone gaz : accès au réseau de gaz (2 modalités)
version tarifaire : taux d’utilisation de la puissance souscrite (4
modalités : courte à très longue utilisation)
Les données

autres : chauffage, climatisation et eau chaude électriques
Les données

autres : chauffage, climatisation et eau chaude électriques
12 variables quantitatives :
puissance souscrite pour chacun des 5 postes tarifaires : HP, HPH,
HCH, HPE, HCE
consommation annuelle par poste
ratio hiver/été
ratio heures creuses/heures pleines
Les données

Bonus-données Mafia Prétraitement des données II

CdC annuelle au pas demi−horaire, ind568

120
100
puissance (en kW)
80
60
40
20
temps (en mois)
Classification


caractéristisque globale : courbe annuelle lissée
caractéristique globale : courbe lissée, ind 568

120
100
puissance (en kW)
80
60
40
20
temps (en mois)
Classification


profil annuel lissé, ind 568

1.4
1.2
0.8
0.6
0.4
0.2
temps (en mois)
Classification


niveau local : jour ouvrable/chômé, samedi, . . .

120
100
puissance (en kW)
80
60
40
20
0 J
temps (en mois)
Classification


3
2.5
puissance (en kW)
1.5
0.5
0 L M M J V S D
temps (en jours)
Classification


seuil d’inactivité, ind 568
120
100
puissance (en kW)
80
60
40
20
temps (en mois)
Classification


120
100
puissance (en kW)
80
60
40
20
0 J
temps (en mois)
Classification


CdC renormalisée, zoom, ind 568
6
5
puissance (en kW)
0 J
temps (en mois)
Classification


3
2.5
puissance (en kW)
1.5
0.5
0 L M M J V S D
temps (en jours)
Classification


compression ACP (99,9% de la variance)
profil annuel lissé : semaine type :

36 coefficients 88 coefficients
Classification

Bonus-classification/prediction Mafia Initialisation de la première classification

Classification ascendante hiérarchique sur les variables explicatives :
Dendrogramme :
dendrogramme, classification hiérarchique, critère ward
180
160
140
120
100
80
60
40
20
Classification

Bonus-classification/prediction Mafia Initialisation de la première classification

Classification ascendante hiérarchique sur les variables explicatives :
On coupe à un saut de variance intraclasse :

dendrogramme, choix du seuil, critère ward
40
35
30 9 classes
25
15 classes
20
15
10
Classification

Bonus-classification/prediction Mafia Sélection des fréquences de Fourier
Sélection des fréquences de Fourier
Périodogramme cumulé :
sélection des fréquences de Fourier, p=150

0.3
périodogramme cumulé (L1)
0.25 périodogramme cumulé (L2)
périodogramme de la moyenne
0.2
0.15
0.1
0.05
−0.05
0 2000 4000 6000 8000 10000
fréquence (en année−1)
X
S(f ) = |F (CdCi )(f )|2
ind i
Analyse de la covariance

Bonus-classification/prediction Mafia Sélection de modèle
Sélection de modèle
Il s’agit d’un compromis biais/variance (ou erreur d’apprentissage/erreur de

généralisation).
On minimise un critère pénalisant les « gros » modèles pour éviter le
surajustement :
critère GBIC :
2
GBICk (m) = Y − Ŷm + k. |m|
critère AIC : k = 2
critère BIC : k = log n
Analyse de la covariance

Presentation Mafia

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Presentation Mafia

Transféré par

Droits d'auteur :

Formats disponibles

Mafia

Classification et prédiction de courbes de charge

en collaboration avec le groupe ICAME, EDF R&D

Classification et prédiction de courbes de charge Mafia Nolwen Huet

Classification et prédiction de courbes de charge Mafia Nolwen Huet

Classification et prédiction de courbes de charge Mafia Nolwen Huet

Qu’est-ce qu’une courbe de charge ?

La courbe de charge (CdC) est l’évolution de la puissance appelée par un

CdC annuelle au pas demi−horaire

temps (en mois)

Il s’agit du meilleur indicateur sur la façon qu’a un client de consommer

Classification et prédiction de courbes de charge Mafia Nolwen Huet

Qu’est-ce qu’une courbe de charge ?

La courbe de charge (CdC) est l’évolution de la puissance appelée par un

CdC hebdomadaire au pas demi−horaire

puissance (en kW) 140

temps (en jours)

Il s’agit du meilleur indicateur sur la façon qu’a un client de consommer

Classification et prédiction de courbes de charge Mafia Nolwen Huet

Pourquoi estimer des courbes de charge ?

Classification et prédiction de courbes de charge Mafia Nolwen Huet

Pourquoi estimer des courbes de charge ?

Classification et prédiction de courbes de charge Mafia Nolwen Huet

Pourquoi estimer des courbes de charge ?

Classification et prédiction de courbes de charge Mafia Nolwen Huet

On veut prédire une courbe de charge i.e. construire une application

variables explicatives 7−→ CdC

puisque seules les variables explicatives sont connues en général.

variables explicatives = données de facturation, localisation, secteur

Classification et prédiction de courbes de charge Mafia Nolwen Huet

Classification et prédiction de courbes de charge Mafia Nolwen Huet

Nous disposons de 1000 individus et, pour chacun d’entre eux :

une CdC sur un an à pas demi-horaire (dans R17520 )

base d’apprentissage : 900 individus

Classification et prédiction de courbes de charge Mafia Nolwen Huet

Prétraitement des données

CdC annuelle au pas demi−horaire, ind568

temps (en mois)

Classification et prédiction de courbes de charge Mafia Nolwen Huet

Prétraitement des données

caractéristique globale : courbe lissée, ind 568

temps (en mois)

Classification et prédiction de courbes de charge Mafia Nolwen Huet

Prétraitement des données

profil annuel lissé, ind 568

temps (en mois)

Classification et prédiction de courbes de charge Mafia Nolwen Huet

Prétraitement des données

3 semaines de CdC, ind 568

temps (en mois)

Classification et prédiction de courbes de charge Mafia Nolwen Huet

Prétraitement des données

temps (en mois)

Classification et prédiction de courbes de charge Mafia Nolwen Huet

Prétraitement des données

temps (en jours)

Classification et prédiction de courbes de charge Mafia Nolwen Huet

Prétraitement des données

profil annuel lissé : semaine type :

Classification et prédiction de courbes de charge Mafia Nolwen Huet

Classification et prédiction de courbes de charge Mafia Nolwen Huet

Classification et prédiction de courbes de charge Mafia Nolwen Huet

Classification et prédiction de courbes de charge Mafia Nolwen Huet