ECOTRAIN PV- AMARENCO

Contexte du projet ECOTRAIN PV

Le projet ECOTRAIN est un système de navettes autonomes ferroviaires légères alimentées par batterie
et permettant d’assurer une circulation automatisée sans conducteur. Deux types de navettes seront
développées sur une base technique commune “micro-fret” et “passager”. L’objectif est de développer
une navette autonome guidée par des rails de 30 places abordée en version passager et fret, en rupture
par rapport à l’existant (poids, automatisation rapide, polyvalence du véhicule), avec un coût
d’exploitation plus faible dû à l’automatisation du service (sans conducteur). Compte-tenu de sa faible
charge à l’essieu, le véhicule ultraléger proposé par ECOTRAIN sera compatible avec les rails du projet
INFRALIGHT, susceptible d’améliorer le bilan potentiel de coûts globaux d’investissement et
d’équipement « standard » des lignes de desserte fine du territoire. Plusieurs centaines de lignes
ECOTRAIN sont envisagées, rien que sur le territoire national, à l’horizon de dix ans.

A ce jour, le Comité de Pilotage du Programme France 2030 a décidé de supporter une première vague
de financement de l’initiative ECOTRAIN visant à développer un premier prototype de matériel roulant
et à investiguer les schémas organisationnels associés au projet (modalités de pré- et post-
acheminement, principes et outils de planification des activités, etc.). Ce premier programme
n’adresse pas la question pourtant cruciale, de la production et de la distribution de l’énergie
électrique nécessaire aux futures navettes. Un minimum de 5 MW sera en effet nécessaire pour
chaque ligne et une production par centrale photovoltaïque est envisagé pour répondre aux enjeux
environnementaux de l’initiative ECOTRAIN. Ainsi, ce sont 50 000 m2 à 100 000 m2 de panneaux
solaires qui devraient être nécessaires pour chacune des futures lignes ferroviaires ECOTRAIN.

Au final, dans son approche actuelle, le projet ECOTRAIN ambitionne d’adjoindre à chaque future ligne
ferroviaire ECOTRAIN, une centrale photovoltaïque (PV) permettant d’alimenter le rechargement des
batteries des trains d’une part, mais aussi les activités socio-économiques de proximité d’autre part.
En effet, la production d’électricité sera par définition « continue » alors que les besoins relatifs au
projet ECOTRAIN seront « discontinus » (enjeu de gestion des crêtes). Dans cette perspective, le
présent projet, nommé ECOTRAIN PV, souhaite investiguer, dans une logique d’autoconsommation
collective (loi du 3 mars 2021), des solutions techniques et des schémas organisationnels innovants
compatibles avec la philosophie générale du projet ECOTRAIN. Il faut noter ici que l’emprise du projet
ECOTRAIN portera essentiellement sur de petites agglomérations et sur des milieux ruraux. En
conséquence, la solution qui consisterait à simplement réinjecter le surplus de production électrique

1
sur le réseau national ne semble pas crédible au regard des ambitions économiques et écologiques du
projet.

Problématiques R&D adressées dans le projet ECOTRAIN PV

Plusieurs verrous scientifiques et industriels seront à adresser dans le cadre du projet de recherche et
développement (R&D) ECOTRAIN PV. L’approche d’autoconsommation collective et la dynamique de
mobilité portée par ECOTRAIN sont deux initiatives totalement nouvelles pour lesquelles les solutions
métiers en matière énergétique restent à inventer. En particulier, la question des débouchés potentiels
pour les surplus d’énergie électrique produits par les futures centrales photovoltaïques
ECOTRAIN reste entière. Si on ajoute à cela le fait que les solutions seront forcément dépendantes des
contextes environnementaux, sociaux et économiques de chacune des futures lignes, il convient
d’envisager une approche permettant de simplement identifier, définir, caractériser et évaluer les
options possibles de consommation énergétique à considérer pour chacune des futures lignes. De là,
ressort une première question de R&D :
Problématique 1 : Comment identifier et concevoir rapidement des alternatives
d’autoconsommation énergétique collective associées à la mise en œuvre d’une centrale
photovoltaïque en milieu faiblement urbain ou rural ?

Un second enjeu du projet ECOTRAIN PV portera inévitablement sur sa capacité à passer à l’échelle.
En effet, la dynamique ECOTRAIN envisage un déploiement à moyen terme sur plusieurs dizaines de
lignes simultanément (plusieurs centaines à long terme). Or, de tels projets d’implantation
photovoltaïque sont longs, coûteux et soumis à de nombreuses incertitudes (foncier, financier,
règlementaire, politique, etc.). En parallèle, les évolutions de notre société nécessitent de multiplier
les projets de décarbonation de nos sources d’énergie. Cela passera par une demande accrue de la
part des donneurs d’ordre qu’ils soient institutionnels, industriels ou particuliers pour mener des
projets portant sur des énergies renouvelables et notamment photovoltaïque. Afin d’optimiser les
investissements, il conviendra d’être capable, dès les phases amont, de choisir les bons projets pour
lesquels l’effort d’investissement permettra de maximiser les chances de succès et de rentabilité
malgré de nombreux facteurs incertitude non encore fixés à ce stade. Parmi les facteurs de risque et
d’incertitude on pensera bien évidemment à la variabilité associée aux estimations elles-mêmes, à
l’évolution des hypothèses en fonction de l’avancement du projet et des décisions retenues, aux choix
stratégiques effectués au niveau de l’entreprise et à l’évolution du contexte extérieur au projet [1]. En
complément et de manière plus spécifique à ce type de projet, il est nécessaire de prendre en compte
d’autres facteurs et aléas comme les évolutions tarifaires, le prix des matériaux et matières premières,
les taux d’intérêt, la préemption foncière, la perte d’un débouché de consommation… Le contexte
actuel, caractérisé entre autres par la sortie de la crise covid-19, les tensions internationales, l’accès
difficile à certaines matières, etc. rend la rentabilité de ces projets plus sensible aux fluctuations des
coûts et des modes de consommation. Tous ces facteurs impactent une ou plusieurs des dimensions
cruciales dans le pilotage de tels projets comme le délai de mise à disposition, les coûts, la performance
de l’installation et la rentabilité du projet. Pour autant, la plupart des outils de gestion de projet utilisés
par les « solaristes » restent relativement standards. Ils sont caractérisés par des approches
d’évaluation et de planification essentiellement déterministes et des logiques de suivi de projet quasi
exclusivement ex post. Cet état de fait conduit bien souvent à des arbitrages peu robustes et souvent
tardifs, et donc à des risques majeurs sur la rentabilité et la durabilité des projets. Dans un contexte
où l’ambition d’ECOTRAIN PV est de permettre au(x) « solariste(s) » agréé(s) de mener efficacement
et à grande échelle les futurs projets d’installation photovoltaïque nécessaires au déploiement de
l’initiative, une seconde question de R&D émerge :
Problématique 2 : Comment garantir la rentabilité et la pérennité des projets d’installation
de centrales photovoltaïques à viser d’autoconsommation collective, en milieu faiblement urbain ou
rural, en proposant des outils innovants d’aide à la gestion des risques et opportunités ?

2
Un troisième enjeu porte sur la dynamique de fonctionnement d’un dispositif tel que celui d’ECOTRAIN
incluant la planification des charges des trains et la dynamique des consommations locales des
« surplus » d’énergie électrique résultant de la modélisation des productions et consommations. Un
tel système énergétique suppose une grande agilité des modes de pilotage associé. Cette agilité peut
être accrue par l’ajout de systèmes de stockage stationnaires, complémentaires au stockage propre
d’ECOTRAIN, associés aux parcs photovoltaïques de production d’électricité renouvelable. Ces
stockages complémentaires, court-terme ou long-terme, permettront alors d’optimiser les usages
locaux d’énergie en excès. Un enjeu économique majeur est finalement de définir des modèles
technico-économiques adaptés à de telles situations où il serait possible de s’affranchir de la revente
de l’énergie produite et donc du raccordement au réseau basse tension, tout en considérant les coûts
induits par ce stockage complémentaire. Les enjeux techniques et scientifiques associés à ce contexte
consistent à développer :
- Des outils de modélisation permettant d’intégrer les caractéristiques des différentes
technologies de stockage d’énergie envisageables dans le cadre d’ECOTRAIN, afin de pouvoir
tenir compte de manière précise des comportements le plus souvent non-linéaires impactant
les performances et les durées de vie des composants du stockage ; ce type d’outil permet une
meilleure estimation de la rentabilité des installations sur une période plus longue ;
- Un outil de pilotage du système énergétique capable de réagir en temps réel ou de manière
prédictive aux données de production et de consommation de l’écosystème (données avec
une forte composante aléatoire) ; cet outil constitue un élément central des performances
futures d’ECOTRAIN et des systèmes de production énergétique.

Une troisième question de R&D émerge alors et peut se résumer comme suit :
Problématique 3 : Comment évaluer la performance technico-économique d’un système
énergétique photovoltaïque incluant des systèmes de stockage d’énergie sur des temps longs et une
logique d’autoconsommation collective et comment rendre agile un tel système énergétique en le
pilotant par les données (endogènes et exogènes) ?

La suite de ce document vise à proposer un plan d’action à ces trois questions R&D à travers des états
de l’art associés et une répartition des travaux à réaliser par tâches.

Etat de l’art et positionnement

Aide à la décision pour les alternatives d’autoconsommation en zone faiblement urbaine
La Problématique1 relative à la proposition d’alternatives pour l’autoconsommation en milieu rural
ou faiblement urbanisé est très étroitement lié à l’analyse d’implantation, notamment géographique
et socio-économique d’une centrale photovoltaïque. En particulier, il s’agit de définir et qualifier les
communautés d’énergies renouvelables potentielles voisines de l’implantation et qui pourraient en
bénéficier. Dans le cadre d’un problème d’aide à la décision comme celui-ci, les étapes suivantes sont
habituellement mises en œuvre : modélisation du problème (variables et objectifs), élaboration
d’algorithmes de proposition et sélection d’alternatives et expérimentations.
S’agissant de la modélisation de communautés d’énergie et des objectifs, Alaton et al., sur la base des
réglementations européennes en la matière, mettent en avant sept défis qui doivent être pris en
compte dans la qualification d’une communauté d’énergie: (i) les objectifs de la communauté de leurs
indicateurs, (ii) l’accès au marché, (iii) le partage de l’énergie renouvelable, (iv) la gestion des réseaux
de distribution, (v) les restrictions géographiques, (vi) la gouvernance de la communauté voulue
démocratique et (vi) une réévaluation des grilles tarifaires adaptée à ce réseau de distribution [2]. Luz
et Silva utilisent notamment ces critères pour modéliser des communautés d’énergie dans le but de
proposer des installations adaptées à leur environnement, avec un coût global minimal [3]. Un cas
d’étude dans un contexte semi-rural au Portugal est développé, à l’intersection entre les besoins
énergétiques d’un vignoble et d’une ville adjacente possédant des variations saisonnières propres.

3
Albouys-Perrois et al. utilisent une cosimulation d’un modèle d’activité humaine (individuel et par
foyer) et un d’un modèle thermique pour mieux prendre en compte les impacts de l’activité humaine
sur la consommation énergétique dans le cadre de la gestion d’une autoconsommation collective [4].
L’état de l’art sur la question montre une activité très marquée par la « communauté énergie » ces
dernières années. Néanmoins, aucun système d’information ne semble avoir été développé sur la
question. Or, alors que les modèles d’analyse énergétique proposés s’intéressent à une définition
précise sur des cas particuliers, aucune réponse ne semble amenée à la modélisation et la qualification
simple et générique de contexte d’implantation de centrale et des potentielles communautés
d’énergie voisines, ne permettant ainsi pas de produire de manière automatisée un workflow de (a)
modélisation des contextes d’implantation de centrale, et (b) leur exploitation pour optimiser les
scénarios d’autoconsommation collective (quel agent du système bénéficie quand de quel volume
d’énergie partagée pour réaliser quelle opération).
Travaux internes
Le Centre Génie Industriel d’IMT Mines Albi possède une forte expertise dans la modélisation et la
proposition et optimisation de processus (dans le cadre de flux physiques et informationnels). Benaben
et al. présentent par exemple l’utilisation de l’ingénierie des modèles – définition générique des
concepts importants et leurs liens – et des connaissances – population d’une base de connaissance
basée sur l’expertise métier – pour définir un contexte situationnel pouvant par la suite être exploité
pour produire une aide à la décision [5]. Les travaux de Montarnal et al. montrent qu’un tel système à
base de connaissance peut-être exploité par des règles métier et des algorithmes d’optimisation pour
produire des processus répondant à des fonctions objectifs [6]. Cette approche a par ailleurs été
étendue et mise en œuvre pour optimiser des réseaux collectifs de bioraffinerie [7].
Proposition
Concernant cette première Problématique1, l’approche envisagée consiste ainsi en deux étapes. Tout
d’abord, l’établissement un méta-modèle et d’une base de connaissance associée viseront à identifier
et caractériser les concepts communs relatifs à la mise en place d’une centrale photovoltaïque en
milieu rural ou faiblement urbanisé, à visée d’autoconsommation collective et de
réapprovisionnement énergétique d’un système principal (ici ECOTRAIN). En effet, si chaque projet
d’implantation sera effectivement unique, nous émettons l’hypothèse que des caractéristiques
communes doivent exister et qu’une certaine modularité dans la conception des solutions
d’autoconsommation collective doit pouvoir s’envisager.
Ainsi, par la suite, des propositions de scénarios d’autoconsommation collective peuvent être
proposées par l’utilisation de règles métier et d’algorithmes d’optimisation multicritères et multi-
objectifs.
En complément, des méthodes d’apprentissage automatique et statistiques permettront de profiter
des opportunités, permises par l’open data (en particulier partagée par l’INSEE1) et les données
passées et futures potentiellement collectées sur de telles installations énergétiques, pour affiner
automatiquement la contextualisation de chaque situation d’implantation.
L’ambition est ici d’avoir recours à des outils d’Intelligence Artificielle afin de maximiser l’efficience des
travaux de conception d’une part, et de maximiser la pertinence des solutions proposées d’autre part.

Rentabilité des projets innovants et analyse des risques

Concernant la Problématique2 , comme le précisent Serrano-Gomez et Muñoz-Hernandez dans leur
étude [8] portant sur la construction d’une installation photovoltaïque, il est important de considérer
et d’analyser, dès les phases amont, l’influence des risques identifiés sur les paramètres financiers de
tels projets. Ce pour quoi les auteurs proposent un modèle dédié.
L’état de l’art montre que malgré l’intérêt croissant porté par la société à ce type de projet, il existe
encore peu de travaux académiques spécifiques à cette problématique d’évaluation de la rentabilité
et d’analyse de l’influence des facteurs de risques sur le succès/échec de ces types de projet.

1
Institut National de la Statistique et des Études Économiques : https://www.insee.fr

4
Pour autant, cela fait écho à l’état de l’art portant sur des projets tout aussi innovants et risqués
comme les projets à rentabilité contrôlée de développement de nouveaux produits ou de recherche
et développement.

La question de l’évaluation de la rentabilité des projets à rentabilité contrôlée relève la plupart du

temps d’une double problématique à savoir :
1. le pilotage mono-projet, en permettant :
a. De mesurer la rentabilité prévisionnelle d’un projet dès les phases amont,
b. de suivre l’évolution de la rentabilité au fur et à mesure de l’avancement du projet
alors que certaines incertitudes sont levées ou que de nouveaux risques apparaissent
c. de comparer plusieurs variantes (solutions techniques différentes) afin de
sélectionner la plus prometteuse et la plus adaptée.
2. le pilotage du portefeuille de projets : en permettant de comparer plusieurs projets candidats,
qui sont par essence différents et non directement comparables, afin de sélectionner/prioriser
les plus intéressants et pertinents.

Inspirés des travaux sur l’évaluation des investissements, les travaux dans le domaine de l’évaluation
des projets s’appuient fréquemment sur les techniques telles que la valeur actuelle nette (VAN) [9], le
taux de rendement interne [10], l’indice de profitabilité [11], les options réelles [12] , Value at Risk.
Chang propose une analyse comparative [13] de trois techniques d’évaluation (VAN, options réelles,
méthodes multicritères) de la rentabilité de projets d’énergie renouvelable. Il conclut en listant les
limites de ces approches et en posant les principes pour le développement de nouvelles approches
basées sur le niveau de prise de risque.
Ces techniques ne peuvent être utilisées directement sans une adaptation au contexte spécifique du
projet ECOTRAIN et notamment en intégrant une prise en compte des risques et aléas spécifiques.
Concernant l’identification des risques et l’analyse de leur influence sur la réussite du projet ECOTRAIN,
l’état de l’art permet d’identifier plusieurs méthodes et techniques pour modéliser allant des
diagrammes papillon, techniques des scénarios ou encore aux diagrammes cause-effet.
Plusieurs auteurs ont établi, sur la base d’entretiens et d’enquêtes auprès d’experts de projets
d’énergie renouvelable, des listes de facteur de risque et d’incertitude. On pourra citer par exemple
les travaux de Chang [13], de Tummala et Burchett [14] ou de Murgas et al. [15] dans le secteur des
projets éoliens pour ce dernier. Ces travaux sont une base pertinente pour initialiser la construction
d’un portefeuille de risques et d’incertitudes. Toutefois, la singularité du contexte du projet ECOTRAIN
rendra nécessaire un travail spécifique pour adapter et compléter ces facteurs de risque et
d’incertitude.
Travaux internes
En complément, le Centre Génie Industriel d’IMT Mines Albi possède une forte expertise de ces
problématiques acquise dans différents secteurs applicatifs, tous caractérisés par des niveaux élevés
d’innovation, soumis à des facteurs de risques, d’incertitude élevés et à de forts enjeux financiers. A
titre d’exemple les secteurs du développement de nouveau médicament, que ce soit pour la médecine
humaine ou médecine vétérinaire répondent à ces critères.
Nous avons déjà mené plusieurs études dans ces secteurs et avons proposé divers types d’outils pour :
• Prédire le taux de succès des projets de développement [16]
• Identifier les facteurs de risque dans les projets de développement de nouveau produit [17]
• Evaluer le rentabilité des projets dans un contexte d’incertitude élevée [18]
• Méthodologies d’analyse des risques dans les projets et processus industriels [19]–[22]
Proposition
L’approche suggérée pour résoudre la Problématique2 consiste à développer des outils de gestion de
projet permettant de sécuriser au mieux la marge brute et la rentabilité des investissements qui seront
à la charge de(s) « solariste(s) ». Le principe envisagé consiste ainsi à développer un outil d’aide à la
décision capable de scénariser (what-if) largement la décision d’engagement dans un projet afin de

5
limiter les risques d’annulation en cours de route. Il s’agit aussi d’être capable d’intégrer dans les
modélisations et les évaluations de l’impact projet les nombreux aléas, variabilités et autres
perturbations que de tels projets peuvent subir (évolution tarifaire, taux d’intérêt, prix matières,
préemption foncier, perte d’un débouché de consommation, etc.). Ici aussi, ce sont des modèles et
algorithmes issus du Génie Industriel et de l’Intelligence Artificielle qui seront utilisés afin de
développer la proposition. En particulier, des techniques de modélisation des incertitudes et des
risques, de simulation de Monte Carlo et d’analyse dynamique de données exogènes et endogènes
seront employées.

Performance technico-économique et agilité du système énergétique

Concernant la problématique3, comme résumé par Laurent Bridier dans ses travaux [23], l’énergie
photovoltaïque est :
- Non programmable, et ne peut donc être adaptée au profil de consommation des usagers,
- Non garantie, des moyens de production garantie sont nécessaires pour la compenser,
- Difficilement prévisible, bien que de nombreux travaux permettent de la prédire plus ou moins
précisément que ce soit pour un horizon temporel plus ou moins étendu,
- Fluctuante.
Ces caractéristiques peuvent être d’autant plus pénalisantes quand l’énergie photovoltaïque est
implantée sur un système énergétique local car la possibilité de foisonnement, i.e. la multiplication de
sources d’énergie intermittentes pour moyenner les irrégularités, n’est pas possible.
L’enjeu du stockage d’énergie est alors d’apporter de la flexibilité et de renforcer la fiabilité
des systèmes énergétiques en permettant de :
- Équilibrer l’offre et la demande. Le stockage, en fonction de son dimensionnement, de ses
spécifications techniques, adossé à une source d’énergie intermittente, peut en effet offrir des
garanties en termes de puissance, de prévisibilité, de stabilité, voire fournir une énergie
programmable ;
- Intégrer les productions renouvelables (gain environnemental) ;
- Mieux optimiser le fonctionnement selon le prix de l’électricité pour tirer parti de la volatilité
du marché et générer ainsi des bénéfices ou réduire des coûts (levier économique) ;
- Maîtriser la demande en énergie en adaptant la consommation aux fluctuations de la
production.
Le choix de la technologie de stockage et son dimensionnement dépendent de nombreuses
caractéristiques comme la puissance disponible, la capacité énergétique, le temps de décharge,
l’efficacité, la durée de vie (ou le nombre de cycles), la densité énergétique, etc.

Le contrôle d’un système électrique décentralisé, ou micro-réseau, est généralement décomposé selon
3 niveaux [24] : le niveau primaire pour la régulation de la puissance (ré)active pour le contrôle de la
tension et de la fréquence, le niveau secondaire pour le contrôle de l'équilibre avec correction des
déviations de tension et de fréquence, et enfin le niveau tertiaire, ou encore contrôle haut niveau,
pour une planification à plus ou moins long terme afin d’avoir un fonctionnement optimal en termes
de coûts. En pratique, deux stratégies principales sont le plus souvent adoptées pour le contrôle haut
niveau. La programmation des batteries qui consiste à contrôler directement le système de stockage.
Ainsi, les charges peuvent être déplacées, la production d'énergie renouvelable être utilisée de
manière optimale en évitant un éventuel gaspillage causé par un surplus non stockable en raison de
contraintes de capacité de stockage ou de puissance. La modélisation de l’unité de stockage est alors
nécessaire et peut s'avérer difficile, en particulier en raison des non-linéarités des puissances de charge
et de décharge en fonction de l'état de charge et de l'usure de l'unité de stockage. Le système de
stockage peut combiner des stockages à court et à long terme, tels que les batteries électrochimiques
et le stockage de l'hydrogène [25]. L’autre stratégie est la gestion de la demande qui repose sur un
compromis à rechercher entre le coût d'exploitation et la satisfaction des usagers. Les consommations
flexibles deviennent des variables contrôlables. Le délestage, le déplacement de charge et l'effacement

6
de l'énergie sont des techniques de gestion de la demande qui permettent de réduire ou de déplacer
la consommation.

Le contrôle de haut niveau, comme défini plus haut, peut être effectué par différentes approches [26].
On distingue une approche basée sur des règles construites à partir de modèles mathématiques et de
l’expertise du gestionnaire. Ces règles prédéfinies peuvent être conçues sur la base des limites
supérieures et inférieures admissibles de la batterie, des taux de charge et de décharge maximaux, des
puissances de charge et de génération, etc. Par exemple, la batterie peut fonctionner avec une
puissance constante à son point d'efficacité optimale et être activée ou désactivée selon les limites
inférieure et supérieure de son état de charge. Autre exemple, la puissance de charge/décharge de la
batterie est directement ajustée en fonction de la demande de puissance. Cette approche déterministe
est largement répandue en raison de sa simplicité et de sa fiabilité [27]. Cependant, les règles sont
généralement conçues sur la base de l'état initial des éléments du système énergétique, ce qui peut
ne pas refléter avec précision les conditions réelles des différents éléments à long terme. La nature
stochastique des productions renouvelables et des consommations rend également difficile le contrôle
à partir de règles et des approches capables de s’adapter aux incertitudes sont recommandées. Une
solution est une stratégie de contrôle par logique floue qui gère la transition entre les différentes
règles. Le fonctionnement peut être alors plus souple et plus flexible qu’avec des règles déterministes
[28]. Une autre classe de méthodes repose sur des algorithmes d'optimisation (programmation
linéaire, programmation dynamique, algorithme génétique, etc.). Contrairement aux approches
basées sur des règles, les algorithmes d'optimisation sont beaucoup plus complexes et peuvent
nécessiter une capacité de calcul importante [29]. On retrouve souvent l’approche dite de commande
prédictive par modèle (MPC), qui calcule au cours du temps les actions de contrôle optimales sur un
horizon temporel, à partir de la résolution d’un modèle du système énergétique et des prévisions des
différentes composantes aléatoires (production photovoltaïque, consommation, etc.) afin de
minimiser un critère qui peut intégrer plusieurs composantes économiques et environnementales,
tout en respectant des contraintes techniques et technologiques [30][31][32].

Récemment, avec l'utilisation croissante des capteurs, et l’accroissement des capacités de stockage et
traitement numérique, on voit apparaître de nouvelles stratégies de contrôle reposant sur les données
et sur des méthodes d'apprentissage à partir de ces données. En particulier, l'apprentissage par
renforcement (RL) est une méthodologie, à l'intersection de la théorie du contrôle optimal et de
l'apprentissage automatique, par laquelle des lois de contrôle vont être apprises par l'expérience.
L'apprentissage par renforcement fournit un cadre pour étudier et optimiser les problèmes de prise
de décisions séquentielles, comme l’est le contrôle de système, en mettant en œuvre une stratégie
d'essais et d'erreurs. Les algorithmes développés introduisent la notion de récompenses numériques
(positives/négatives) qui, selon que la décision prise est bonne ou mauvaise selon l’objectif considéré,
vont améliorer itérativement la loi de contrôle. L'apprentissage par renforcement nécessite la
disponibilité d'un simulateur qui génère des données pour la conception de loi de contrôle. Il a été
montré que ces lois de contrôle obtenues par apprentissage présentaient de très bonnes capacités à
gérer des situations nouvelles ; de nombreux travaux ont été publiés sur ce sujet ces deux ou trois
dernières années ([33][34] par exemple).

Travaux internes
Le Centre RAPSODEE d’IMT Mines Albi possède depuis de nombreuses années d’une compétence forte
sur les problématiques scientifiques associées aux productions d’énergies renouvelables, au stockage
d’énergie et à la modélisation et optimisation des procédés et systèmes énergétiques. Une thèse
démarrée récemment a pour sujet le contrôle des micro-réseaux électriques en présence de stockages
de type court et long terme [35]. Ces travaux ont mis en lumière les nombreux avantages des
approches basées sur l’apprentissage par renforcement [36]

7
Proposition
L’approche envisagée consiste à développer un environnement de simulation pour le contrôle
énergétique optimal d’une ligne ferroviaire ECOTRAIN, couplée à une centrale de production
photovoltaïque, des éléments de consommation complémentaires formant un micro-réseau
électrique, ainsi que des éléments de stockage stationnaires, court-terme et/ou long-terme, dans le
cadre d’une opération d’autoconsommation collective. Plusieurs scenarii seront étudiés et simulés en
lien avec les premières implantations d’ECOTRAIN. La stratégie de contrôle sera basée sur
l’apprentissage par renforcement afin de prendre en compte le mieux possible les nombreuses
composantes aléatoires. Un aspect du travail consistera à évaluer les performances et la fiabilité de
cette approche par comparaison à une approche plus classique basée sur des règles fixes par exemple.
Le développement de cet environnement nécessitera une analyse détaillée du cadre réglementaire
des installations d’autoconsommation, et l’identification des différentes technologies de stockage
d’énergie à court et long terme pouvant être mise en œuvre dans ce projet. Les modèles de stockage
développés seront alors incorporés dans un outil d’évaluation technico-économique ces stockages
complémentaires (au stockage d’ECOTRAIN).

Références bibliographiques
[1] S. Ward et C. Chapman, « Transforming project risk management into project uncertainty management »,
Int. J. Proj. Manag., vol. 21, no 2, p. 97‑105, févr. 2003, doi: 10.1016/S0263-7863(01)00080-1.
[2] C. Alaton, J. Contreras-Ocaña, P. de Radiguès, T. Döring, et F. Tounquet, « Energy Communities: From
European Law to Numerical Modeling », ArXiv200803044 Cs Math, août 2020, Consulté le: 6 mai 2022. [En
ligne]. Disponible sur: http://arxiv.org/abs/2008.03044
[3] G. Pontes Luz et R. Amaro e Silva, « Modeling Energy Communities with Collective Photovoltaic Self-
Consumption: Synergies between a Small City and a Winery in Portugal », Energies, vol. 14, no 2, p. 323, janv.
2021, doi: 10.3390/en14020323.
[4] J. Albouys-Perrois et al., « Multi-agent simulation of collective self-consumption: Impacts of storage systems
and large-scale energy exchanges », Energy Build., vol. 254, p. 111543, janv. 2022, doi:
10.1016/j.enbuild.2021.111543.
[5] F. Benaben et al., « An AI framework and a metamodel for collaborative situations: Application to crisis
management contexts », J. Contingencies Crisis Manag., vol. 28, no 3, p. 291‑306, 2020, doi: 10.1111/1468-
5973.12310.
[6] A. Montarnal, W. Mu, F. Benaben, J. Lamothe, M. Lauras, et N. Salatge, « Automated deduction of cross-
organizational collaborative business processes », Inf. Sci., vol. 453, p. 30‑49, juill. 2018, doi:
10.1016/j.ins.2018.03.041.
[7] M. Houngbé, A.-M. Barthe-Delanoë, et S. Négny, « Servitization of Biomass Processing for a Virtual
Biorefinery: Application to the Lignocellulosic Biomass in a French Local Territory », in Collaborative Networks
and Digital Transformation, Cham, 2019, p. 477‑486. doi: 10.1007/978-3-030-28464-0_41.
[8] L. Serrano-Gomez et J. I. Muñoz-Hernandez, « Risk Influence Analysis Assessing the Profitability of Large
Photovoltaic Plant Construction Projects », Sustainability, vol. 12, no 21, Art. no 21, janv. 2020, doi:
10.3390/su12219127.
[9] C. Fuchs, K. Marquardt, J. Kasten, et K. Skau, « Wind Turbines on German Farms—An Economic
Analysis », Energies, vol. 12, no 9, Art. no 9, janv. 2019, doi: 10.3390/en12091587.
[10] A. Bhattacharya et S. Kojima, « Power sector investment risk and renewable energy: A Japanese case study
using portfolio risk optimization method », Energy Policy, vol. 40, p. 69‑80, janv. 2012, doi:
10.1016/j.enpol.2010.09.031.
[11] B. Chabot, « Profitability analysis of solar thermal power plants projects : Methodology, examples,
comparisons », J. Phys. IV, vol. 09, no PR3, p. Pr3-698, mars 1999, doi: 10.1051/jp4:19993110.
[12] G. G. Dranka, J. Cunha, J. D. de Lima, et P. V. Ferreira, « Economic evaluation methodologies for
renewable energy projects », 2020, doi: 10.3934/energy.2020.2.339.
[13] C.-Y. Chang, « A critical analysis of recent advances in the techniques for the evaluation of renewable
energy projects », Int. J. Proj. Manag., vol. 31, no 7, p. 1057‑1067, oct. 2013, doi: 10.1016/j.ijproman.2013.03.001.
[14] V. M. R. Tummala et J. F. Burchett, « Applying a Risk Management Process (RMP) to manage cost risk
for an EHV transmission line project », Int. J. Proj. Manag., vol. 17, no 4, p. 223‑235, août 1999, doi:
10.1016/S0263-7863(98)00038-6.
[15] B. Murgas, A. Henao, et L. Guzman, « Evaluation of Investments in Wind Energy Projects, under
Uncertainty. State of the Art Review », Appl. Sci., vol. 11, no 21, Art. no 21, janv. 2021, doi:
10.3390/app112110213.

8
 [16] D. Gourc, S. Bougaret, D. Devos, F. Woehrlé, et B. Boisramé, « Une méthode pour déterminer, a priori, le
taux de succès des projets de R&D », présenté à 7e Congrès International de Génie Industriel, Trois-Rivières
(Québec), juin 2007.
[17] S. Bougaret, D. Gourc, G. Lacoste, et J. M. Ruiz, « Analyse des risques liés à la performance des projets à
rentabilité contrôlée vue sous l’angle d’une approche financière », in 3ème Congrès international de génie
industriel -L’intégration des ressources humaines et des technologies : le défi = 3rd International industrial
engineering conference -Integration of human resources and technologies : the challenge, Montréal, Canada, mai
1999, vol. 1, p. p.97-107. [En ligne]. Disponible sur: https://hal.archives-ouvertes.fr/hal-01785530
[18] D. Gourc, S. Bougaret, et B. Burtin, « Un modèle d’évaluation de la rentabilité des projets incertains utilisant
la simulation Monte Carlo : application à un projet de médicament », présenté à QUALITA, Bordeaux, 2005.
[19] S. Dahmani, X. Boucher, D. Gourc, S. Peillon, et F. Marmier, « Integrated approach for risk management
in servitization decision-making process », Bus. Process Manag. J., vol. 26, no 7, p. 1949‑1977, nov. 2020, doi:
10.1108/BPMJ-07-2019-0279.
[20] F. Marmier, I. Filipas Deniaud, et D. Gourc, « Strategic decision-making in NPD projects according to risk:
Application to satellites design projects », Comput. Ind., vol. 65, no 8, p. 1107‑1114, oct. 2014, doi:
10.1016/j.compind.2014.06.001.
[21] T.-H. Nguyen, F. Marmier, et D. Gourc, « A decision-making tool to maximize chances of meeting project
commitments », Int. J. Prod. Econ., vol. 142, no 2, p. 214‑224, avr. 2013, doi: 10.1016/j.ijpe.2010.11.023.
[22] F. Marmier, D. Gourc, et F. Laarz, « A risk oriented model to assess strategic decisions in new product
development projects », Decis. Support Syst., vol. 56, p. 74‑82, 2013, doi:
http://www.sciencedirect.com/science/article/pii/S0167923613001188.
[23] Bridier, L. (2016), Modélisation et optimisation d'un système de stockage couplé à une production électrique
renouvelable intermittente, Thèse de doctorat, Université de la Réunion.
[24] Bidram, A., Davoudi, A. (2012), Hierarchical Structure of Microgrids Control System In: IEEE Transactions
on Smart Grid 3.4 (Dec. 2012), pp. 1963–1976.
[25] François-Lavet, V., Taralla, D., Ernst, D., Fonteneau, R. (2016), Deep Reinforcement Learning Solutions
for Energy Microgrids Management In: European Workshop on Reinforcement Learning , p. 7.
[26] Jing, W., Hung Lai, C., Wong, S.H.W., Wong, M.L.D. (2017), Battery-supercapacitor hybrid energy storage
system in standalone DC microgrids: a review. IET Renewable Power Generation, 11, pp. 461-469.
[27] Teleke, S., Baran, M.E., Bhattacharya, S., Huang,A.Q. (2010) Rule-based control of battery energy storage
for dispatching intermittent renewable sources, IEEE Trans. Sustain. Energy, 1, (3), pp. 117–124.
[28] Feng, X., Gooi, H.B., Chen, S.X. (2014) Hybrid energy storage withmultimode fuzzy power allocator for
PV systems, IEEE Trans. Sustain.Energy, 5, (2), pp. 389–397.
[29] Bajpai, P., Dash, V. (2012) Hybrid renewable energy systems for power generationin stand-alone
applications: a review, Renew. Sustain. Energy Rev., 16, (5), pp. 2926–2939.
[30] Parisio, A., Rikos, E., Tzamalis, G., Glielmo L., (2014) Use of model predictive control for experimental
microgrid optimization, Applied Energy, 115, pp. 37–46.

[31] Cole, W. J., Powell, K. M. , Edgar, T. F. (2012) Optimization and advanced control of thermal energy
storage systems, Rev Chem Eng, 28, pp. 81–99.
[32] Zotica, C. , Pérez-Piñeiro, D., Skogestad, S. (2021) Supervisory control design for balancing supply and
demand in a district heating system with thermal energy storage, Computers and Chemical Engineering, 149,
107306
[33] Arwa, E. O., Folly, K. A. (2020) Reinforcement Learning Techniques for Optimal Power Control in Grid-
Connected Microgrids: A Comprehensive Review, IEEE Access, 8 , pp. 208992–209007.
[34] Manohar, M., Janmenjoy, N., Bighnaraj, N., Ajith, A., Deep Learning in Electrical Utility Industry: A
Comprehensive Review of a Decade of Research (2020), Engineering Applications of Artificial Intelligence, 96,
p. 104000
[35] Pere, V., Milhé, M., Baillon, F., Dirion, J.L. (2022) The Impact of Reward Shaping in Reinforcement
Learning for Agent-based Microgrid Control In: 32nd European Symposium on Computer Aided Process
Engineering, Toulouse.
[36] Pere, V., Milhé, M., Baillon, F., Dirion, J.L. (2022) Reinforcement Learning for high level Microgrid
Electricity Management : A Review, soumis à Computers & Electrical Engineering.