Jumeau Numérique (Digital Twin) Pour La Formation Et Le Suivi de Performance D'opérateurs de Machineries Lourdes

Jumeau numérique (digital twin) pour la formation et le
suivi de performance d'opérateurs de machineries

lourdes
Mémoire
Bryan-Elliott Tam
Maîtrise en informatique - avec mémoire

Maître ès sciences (M. Sc.)
Québec, Canada
© Bryan-Elliott Tam, 2022

Jumeau numérique (digital twin) pour la formation et
le suivi de performance d’opérateurs de machineries
lourdes
Mémoire
Bryan-Elliott Tam
Sous la direction de:
Thierry Eude, directeur de recherche

Luc LeBel, codirecteur de recherche
Résumé
Le jumeau numérique est un concept relativement nouveau qui a reçu plusieurs contribu-
tions académiques ces dernières années. Un jumeau numérique reproduit une entité physique
de façon à ce que l’état de cette entité soit identique en tout temps à l’état de l’entité nu-
mérique. L’objectif de cette maîtrise est de créer le prototype d’un jumeau numérique qui
vise à assister des opérateurs de machineries forestières. Pour ce faire, une revue littérature
a été réalisée pour documenter les contributions académiques dans les domaines principaux
du jumeau numérique, de façon à montrer les caractéristiques que le jumeau numérique d’un
système opérateur-machine forestier pourrait avoir. Cette revue a également permis de déter-
miner qu’il est nécessaire, de développer un algorithme pour traduire les mouvements de la
machine en actions effectuées par l’opérateur dans le but de créer ce jumeau. À partir de ce
constat, le prototype d’un jumeau numérique a été créé à l’aide d’un simulateur de machinerie
lourde générique. Le prototype a permis la création d’une base de données afin d’alimenter
l’algorithme proposé. L’étude rattachée à cet algorithme est centrée sur l’influence de l’ajout
d’informations temporelles et de son impact sur la précision du modèle. Il en résulte qu’avec
les données collectées, l’ajout du contexte temporel a soit, pas d’influence sur la précision du
modèle, soit nui aux résultats lorsque l’environnement et la machine sont complètement ca-
ractérisés. À travers ces contributions, un concept de jumeau numérique a été créé et il pourra
servir de base à de futures recherches sur l’assistance des opérateurs de machinerie lourde. Ce
projet permet également de mettre en valeur un exemple de jumeau numérique appliqué à des
problématiques rencontrées par des travailleurs spécialisés. Une telle application du concept
du jumeau numérique n’est pas encore commune.
ii
Abstract
The concept of digital twin is a relatively new research topic that has received several academic
contributions in recent years. A digital twin reproduces a physical entity in such a way
that the state of this entity is identical at all times to the state of the digital entity. The
objective of the master’s project is to create the prototype of a digital twin in order to assist
operators of forestry machinery. To this end, a literature review was written to document
the academic contributions related to the main study areas of the digital twin, so as to show
the characteristics that the digital twin of a forest operator-machine system could have. This
review has also determined that it is necessary to develop an algorithm to transpose the
movements of the machine into actions performed by the operator in order to advise the
operator. Based on this, the prototype of a digital twin was created using a generic heavy
machinery simulator. This allowed the creation of a database to feed the proposed algorithm.
The study related to this algorithm is centered on the influence of the addition of temporal
information and its impact on the accuracy of the model. It follows that with the collected
data, the addition of the temporal context, by itself, has no influence on the precision of
the model, or harms the performance when the environment and the machine are completely
characterized. Through these contributions, a prototype of digital twins has been created and
it can serve as a basis for future research on the assistance of heavy machinery operators.
This project also highlights an example of a digital twin applied to problems encountered by
specialized workers.
iii
Table des matières
Résumé ii
Abstract iii
Table des matières iv
Liste des tableaux vii
Liste des figures viii
Liste des codes xi
Liste des abréviations xii
Remerciements xv
Avant-propos xvi
Introduction 1
1 Litterature review 4
1.1 Résumé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 Materials and methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.5 Responses to the research questions . . . . . . . . . . . . . . . . . . . . . . 8
1.5.1 Q1 : How do we define the digital twin concept and apply it in a
forestry operation context ? . . . . . . . . . . . . . . . . . . . . . . . 8
Defining the digital twin . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.5.2 Q2 : How best can a forest operator be modelled in a digital twin
context ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Operator skills . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Work semantic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Data acquisition for the operator’s status . . . . . . . . . . . . . . . 10
1.5.3 Q3 : What should guide the design of a forest operator’s digital twin ? 11
General types of digital twin architecture . . . . . . . . . . . . . . . 12
Component-based digital twin architecture . . . . . . . . . . . . . . 13
Process-based digital twin architecture . . . . . . . . . . . . . . . . . 13
IoT-based architecture . . . . . . . . . . . . . . . . . . . . . . . . . . 14
iv
Which architecture for the operator-machine twin ? . . . . . . . . . . 14
1.5.4 Q4 : How should the interconnection of multiple simulations of a
forest operator digital twin be managed ? . . . . . . . . . . . . . . . 15
Hierarchical simulations . . . . . . . . . . . . . . . . . . . . . . . . . 15
Modular simulations . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Comparing both approaches . . . . . . . . . . . . . . . . . . . . . . . 17
1.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2 Cadre d’analyse du comportement des travailleurs spécialisés par rap-

port à l’évaluation des compétences 21
2.1 Crew Resources Management-DYnamic MOdel . . . . . . . . . . . . . . . . 22
2.2 Work Model that Computes . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3 VISUal VERifying . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3 Méthodologie expérimentale et prototype du jumeau numérique 28

3.1 Simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.2 Modèles d’intelligences artificielles . . . . . . . . . . . . . . . . . . . . . . . 34
3.2.1 Modèle de Markov à états cachés . . . . . . . . . . . . . . . . . . . . 34
3.2.2 Réseaux de neurones denses . . . . . . . . . . . . . . . . . . . . . . . 36
3.2.3 Réseaux de neurones de convolutions . . . . . . . . . . . . . . . . . . 37
3.2.4 Réseaux de neurones récurrents . . . . . . . . . . . . . . . . . . . . . 39
3.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4 Temporal context analysis of machine learning model for digital twin

of forest operator 44
4.1 Résumé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.2 Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.3 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.4 Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.4.1 Data acquisition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.4.2 Temporal context analysis . . . . . . . . . . . . . . . . . . . . . . . . 51
4.5 Mathematical models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.5.1 Hidden Markov Model . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.5.2 Neural Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
Dense Neural Network . . . . . . . . . . . . . . . . . . . . . . . . . . 53
Convolutional Neural Network . . . . . . . . . . . . . . . . . . . . . 54
Recurrent Neural Network . . . . . . . . . . . . . . . . . . . . . . . . 54
4.6 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.6.1 Data acquisition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.6.2 Neural Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
Dense Neural Network . . . . . . . . . . . . . . . . . . . . . . . . . . 56
Convolutional Neural Network . . . . . . . . . . . . . . . . . . . . . 59
Recurrent Neural Network . . . . . . . . . . . . . . . . . . . . . . . . 61
4.7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
v
5 Traduction d’observations en actions des opérateurs à l’aide de modèles
d’intelligences artificielles autres que l’apprentissage profond 69
5.1 K plus proche voisin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.2 Arbre de décisions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5.3 Machine à vecteurs de support . . . . . . . . . . . . . . . . . . . . . . . . . 79
5.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
5.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
Conclusion 86
A Données du simulateur 88
B Images complémentaires relatives au simulateur 93
C Précision du modèle de vecteur à support de machine selon différent

noyau 97
Bibliographie 99
vi
Liste des tableaux
3.1 Actions que peuvent effectuer les opérateurs . . . . . . . . . . . . . . . . . . . . 35
4.1 Action of the operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

4.2 DNN hyper-parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.3 CNN hyper-parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.4 RNN hyper-parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
5.1 Meilleur résultats des modèles présentés au chapitre 4 et 5 . . . . . . . . . . . . 85
vii
Liste des figures
1.1 Digital twin of a forest machine operator presented as a block diagram . . . . . 7

1.2 Hierarchical model of simulations inspired from Delbrügger et al. (2019) . . . . 16
1.3 Conceptual schematic of a digital twin . . . . . . . . . . . . . . . . . . . . . . . 18
2.1 Schéma du modèle CRM-DYNO inspiré de Mansikka et al. (2019) . . . . . . . 22

2.2 Modèle WMC inspiré de Pritchett and Feigh (2011) et Mamessier and Feigh
(2013) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.3 Modèle VISUVER inspiré de Fernández-Isabel et al. (2019) . . . . . . . . . . . 26
3.1 Environnement de simulation, contenant la forêt, la zone de dépôt ainsi que

l’excavatrice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2 Comparaison de l’excavatrice forestière à gauche avec l’excavatrice terrestre à
droite fournie par Vortex studio . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.3 Main de préhension simplifiée . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.4 Modules dans l’arborescence des éléments de la simulation . . . . . . . . . . . . 31
3.5 Graphe de connexions du module d’exportation des données . . . . . . . . . . . 32
3.6 Données captées par la simulation ; la vitesse de l’excavatrice, direction de la
vitesse de l’excavatrice, l’angle de la cabine, la distance entre le manche et la
cabine, l’état de la main de préhension et la position des arbres . . . . . . . . . 33
3.7 Types d’observations ; en haut, les données relatives à l’excavatrice sans la main
de préhension, au milieu, les données relatives à l’excavatrice et en bas les
données relatives à l’excavatrice et la forêt . . . . . . . . . . . . . . . . . . . . . 33
3.8 Capture d’écran d’une prise de données avec le simulateur ; en bas, l’invite de
commande indique le pas de temps et les données courant, en bas à gauche, le
label indique l’observation courante, au centre, l’opérateur en train de couper
un arbre est présenté et en haut à droite les contrôles de la manette est affiché 34
3.9 Schéma d’un HMM utilisant des "super observations" représentant une simpli-
fication du travail des opérateurs forestier . . . . . . . . . . . . . . . . . . . . . 36
3.10 Schéma d’un réseau de neurones denses . . . . . . . . . . . . . . . . . . . . . . 37
3.11 Schéma d’un réseau de neurones de convolutions . . . . . . . . . . . . . . . . . 38
3.12 Représentation schématique d’une convolution en 1D . . . . . . . . . . . . . . . 39
3.13 Schéma d’un réseau de neurones récurrents . . . . . . . . . . . . . . . . . . . . 40
3.14 Schéma du GRU inspiré par Zhang et al. (2021) . . . . . . . . . . . . . . . . . . 41
3.15 Schéma du LSTM inspiré par Zhang et al. (2021) . . . . . . . . . . . . . . . . . 42
4.1 Element of the simulation ; (a) the simulated excavator,(b) Native and modified
excavators, (c) simulated environment . . . . . . . . . . . . . . . . . . . . . . . 47
viii
4.2 Data pipeline, starting from the data acquired from the simulator to the states
and observation outputs by the machine learning models. The labeling and
feature engineering is also depicted . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.3 Data captured by the simulation ; excavator speed, excavator speed direction,
cab angle, stick to cab distance, grip hand condition and shaft position . . . . . 50
4.4 The time context of neural network architectures ; the DNN does not capture
the temporal context, the CNN captures the context in slices and the RNN
capture the whole temporal information . . . . . . . . . . . . . . . . . . . . . . 53
4.5 Observation captured by the input layer ; SMO capture information about the
excavator without information about the prehension hand. MO present informa-
tion about the whole excavator and FO present information about the excavator
and the forest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.6 state transition of the complete dataset . . . . . . . . . . . . . . . . . . . . . . 55
4.7 State frequency of the whole dataset . . . . . . . . . . . . . . . . . . . . . . . . 56
4.8 Violin plots representing the distribution of performance for the three DNN
architecture ; (a) with FO , (b) with MO, (c) with SMO . . . . . . . . . . . . . 58
4.9 Violin plots representing the distribution of the performance of three CNN
architecture ; (a) with FO , (b) with MO, (c) with SMO . . . . . . . . . . . . . 60
4.10 Violin plot representing the distribution of the performance of the three RNN
architecture ; (a) with FO, (b) with MO, (c) with SMO . . . . . . . . . . . . . . 62
4.11 Box plot of the temporal analysis with a best fit line of the average accuracy with
DNN-AVGP architecture using FO observations (a) DNN-AVGP 1, (b) DNN-
AVGP 2, (c) DNN-AVGP 3 ; with MO (d) DNN-AVGP 1, (e) DNN-AVGP 2,
(f) DNN-AVGP 3 ; with SMO (g) DNN-AVGP 1, (h) DNN-AVGP 2, (i) DNN-
AVGP 3. The model with FO and MO observation types do not profit from the
temporal context whereas one model with SMO observation type profit from it 65
4.12 Box plot of the temporal analysis with a best fit line of the average accuracy
with CNN architecture using FO observations type (a) CNN 1, (b) CNN 2, (c)
CNN 3 ; with MO (d) CNN 1, (e) CNN 2, (f) CNN 3 ; with SMO (g) CNN 1,
(h) CNN 2, (i) CNN 3. The models with FO observation type do not profit from
the temporal context whereas the models with MO and SMO observation types
profit from the temporal context or are less negatively affected by it . . . . . . 66
4.13 Box plot of the temporal analysis with a best fit line of the average accuracy
with RNN architecture using FO observation type ; with MO (d) RNN 1, (e)
RNN 2, (f) RNN 3 ; with SMO (g) RNN 1, (h) RNN 2, (i) RNN 3. The models
with FO and MO observation types are barely affected by the temporal context
whereas the model with SMO observation type is positively affected by it . . . 67
5.1 Schéma d’un KNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

5.2 La précision en fonction du nombre N de voisins, du jeu de données de tests
selon les observations FO du modèle KNN . . . . . . . . . . . . . . . . . . . . . 71
5.3 La précision en fonction du nombre de voisins, du jeu de données de tests et
selon les observations MO du modèle KNN . . . . . . . . . . . . . . . . . . . . 72
5.4 La précision en fonction du nombre de voisins, du jeu de données de tests selon
les observations SMO du modèle KNN . . . . . . . . . . . . . . . . . . . . . . . 73
5.5 Exemple d’un arbre de décision produit par sklearn (Buitinck et al., 2013) . . . 74
5.6 La précision en fonction du nombre de conditions maximales, du jeu de données
de tests et d’entraînements, selon les observations FO pour un arbre de décisions 76
ix
de tests et d’entraînements, selon les observations SMO pour un arbre de décisions 77
de tests et d’entraînements, selon les observations MO pour un arbre de décisions 78
5.9 Schéma d’un SVM avec un noyau . . . . . . . . . . . . . . . . . . . . . . . . . . 79
de tests et d’entraînements, selon les observations FO pour un SVM ayant un
noyau polynomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
de tests et d’entraînements, selon les observations MO pour un SVM ayant un
de tests et d’entraînements, selon les observations SMO pour un SVM ayant un
A.1 Vitesse de la machine au fils du temps . . . . . . . . . . . . . . . . . . . . . . . 88

A.2 Angle de la cabine de la machine au fils du temps . . . . . . . . . . . . . . . . . 89
A.3 Vitesse angulaire de la cabine de la machine au fils du temps . . . . . . . . . . 89
A.4 Direction de la vitesse de la machine au fils du temps . . . . . . . . . . . . . . . 90
A.5 État de la main de préhension au fils du temps . . . . . . . . . . . . . . . . . . 90
A.6 Extension du manche au fils du temps . . . . . . . . . . . . . . . . . . . . . . . 91
A.7 La distance entre l’arbre 1,2,3...10 en ordre alphanumérique et la cabine au fils
du temps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
B.1 Graphe de connections du module de contrôle . . . . . . . . . . . . . . . . . . . 95

B.2 Graphe de connections du module de physique des arbres . . . . . . . . . . . . 95
B.3 Graphe de connections du module de visualisation . . . . . . . . . . . . . . . . 96
C.1 La précision en fonction du noyau pour le test en haut et l’entraînement en bas

avec FO pour SVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
avec MO pour SVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
avec SMO pour SVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
x
Liste des codes
B.1 Schema du fichier JSON des données provenant du simulateur . . . . . . . . 93

B.2 Schema des fichier JSON du libelage des action de l’operateur . . . . . . . . 94
xi
Liste des abréviations
CNN : Convolutional neural network (Réseau de neurone de convolution)
DNN : Dense neural network (Réseau de neurone dense)
DNN-AVG : Dense neural network with an average pooling layer (Réseau de neurone dense
avec une couche de moyennement)
HMM : Hidden Markov model (Modèle de Markov caché)
RNN : Recurrent neural network (Réseau de neurones récurrents)
LSTM : Long short-term memory (Longue mémoire à court terme)
GRU : Gated recurrent unit (Unité récurrente fermée)
DT : Digital twin (Jumeau numérique)
AI : Artificial intelligence (Intelligence artificielle)
CRM-DYMO : Crew Resources Management-DYnamic MOdel (Modèle dynamique de ges-

tion des ressources de l’équipage)
WMC : Work model that computes (Modèle computationnel de travail )
VISUVER : VISUal VERifying (Modèle de verification visuel )
CAO : Conception assistée par ordinateur
KNN : K nearest neighbors (K plus proche voisin)
SVM : Support vector machine (Machine à vecteurs de support)
xii
Je dédicace ce mémoire à ma
mère pour tous les sacrifices
qu’elle a fait pour moi et mes
frères Patrice et Théo
xiii
Je m’étois ici particulièrement
arrêté à faire voir que s’il y avoit
de telles machines qui eussent les
organes et la figure extérieure
d’un singe ou de quelque autre
animal sans raison, nous
n’aurions aucun moyen pour
reconnoître qu’elles ne seraient
pas en tout de même nature que
ces animaux ; au lieu que s’il y en
avoit qui eussent la ressemblance
de nos corps, et imitassent autant
nos actions que moralement il
seroit possible [d’y reconnoître la
différence]
René Descartes, Discours de la

méthode ; Cinquième partie
xiv
Remerciements
Je tiens à remercier tous ceux qui m’ont accompagné matériellement, intellectuellement, émo-
tionnellement et financièrement tout au long de la réalisation de cette maîtrise.
Je tiens particulièrement à remercier mon directeur de recherche Thierry Eude et mon co-
directeur Luc LeBel. Je tiens également à remercier le professeur Phillipe Giguère qui m’a
particulièrement aidé tout au long de cette maîtrise.
Je tiens également à remercier l’auxiliaire de recherche Nicolas Garneau qui m’a aidé dans le
développement des modèles d’intelligence artificielle.
xv
Avant-propos
Ce travail intitulé « Jumeau numérique (digital twin) pour la formation et le suivi de perfor-
mance d’opérateurs de machineries lourdes » est réalisé afin d’obtenir le diplôme de maîtrise
en Informatique (MSc.) de l’Université Laval. Il a été effectué sous la direction de M. Thierry
Eude et la codirection de M. Luc LeBel au sein du Consortium de recherche FORAC.
Il est rédigé suivant le principe d’insertion par article, présentant deux articles de journaux
et trois chapitres afin d’ajouter de la cohésion au mémoire et d’ajouter des savoirs qui n’ont
pas pu être intégrés dans les articles. Je suis l’auteur principal des articles et j’ai effectué les
expériences, les travaux, la recherche et l’analyse reliée à ceux-ci. Ils ont été coécrits avec mon
directeur de maitrise, M. Thierry Eude, mon codirecteur M. Luc LeBel et le membre du comité
d’encadrement, M. Philippe Giguère.
L’article « Towards a digital twin to improve the training and performance of forestry ope-
rators » va être soumis dans le journal « International Journal of Forest Engineering » et est
présenté tel qu’il est prévu d’être soumis dans ce mémoire.
L’article « Temporal context analysis of machine learning model for a digital twin of forest
operators » va être soumis dans le journal « Forest » de MDPI et subira quelques modifications
avant sa soumission au journal.
xvi
Introduction
L’industrie 4.0 est un concept d’importance pour les entreprises modernes. Ce terme est né
d’un projet du gouvernement allemand, afin de promouvoir l’informatisation de l’industrie ma-
nufacturière (Sung, 2018). Ce concept est vaste et difficile à définir. Pour sa compréhension,
Vanysek (2016) propose un nom alternatif « l’internet des objets et services ». À partir de
cette caractérisation, il suggère que l’objectif de l’industrie 4.0 est de s’introduire dans toutes
les dimensions de la production, afin de pouvoir dynamiquement réguler la performance, d’of-
frir plus de personnalisation des produits et services, voire plus encore. Il définit six grands
principes de design de l’industrie 4.0, soit l’interopérabilité entre les systèmes, la capacité de
visualisation, la décentralisation des systèmes, la capacité d’opération en temps réel, la créa-
tion d’applications orientées sur les besoins et la modularité. Hermann et al. (2015) estimaient
que l’introduction de l’industrie 4.0 contribuerait à une augmentation du PIB de 78 milliards
d’Euros en Allemagne d’ici 2025.
L’industrie forestière pourrait grandement bénéficier des promesses et réalisations de l’indus-

trie 4.0, particulièrement celle du Canada. En effet en 2018, l’industrie forestière canadienne
générait 1,9 milliard de dollars en revenus pour les gouvernements des provinces et territoires
(Gouvernement du Canada, 2020). Elle contribuait également à 23,7 milliards de dollars en
PIB et employait environ 205 000 personnes, dont environ 12 000 membres des Premières
Nations (Gouvernement du Canada, 2020).
L’avènement de l’industrie 4.0 dans la foresterie, aussi nommée foresterie 4.0, a déjà com-
mencé à être documenté et théorisée. Ainsi, les technologies de la foresterie 4.0 peuvent être
divisées en trois thèmes (Feng and Audy, 2020), soit l’organisation de la forêt, comme pour
l’inventaire forestier et pour la gestion des feux, l’organisation des opérations forestières, pour
la planification d’opérations de coupes ou de reboisement par exemple et pour l’organisation
du transport, comme la construction de routes forestières et la planification du transport du
bois. La création de la foresterie 4.0 implique, donc, plusieurs technologies. Cependant, ce mé-
moire va se concentrer seulement sur le jumeau numérique (souvent, référencé sous son nom
anglophone de « digital twin ») afin d’assister des opérateurs forestiers lors de leur travail. Le
concept de jumeau numérique sera brièvement défini en premier lieu, puis détaillé au chapitre
1.
Un jumeau numérique est une évolution des systèmes cyber-physiques qui reproduit sa contre-
partie physique associée de manière à ce que le système numérique équivaille au système
physique en tout temps. Ce qui implique que le changement opéré de manière informatique
sur l’entité numérique se répercute physiquement sur l’entité physique à l’aide d’activateurs,
comme un piston. De même, un changement sur l’entité physique se répercute sur l’entité
numérique à l’aide des capteurs et des outils logiciels qui interprètent l’information.
L’objectif de ce mémoire est de faire les premiers pas dans la création d’un jumeau numérique
1
d’un système opérateur-machine, qui optimise la production forestière, en conseillant des opé-
rateurs de manière personnalisés. Le jumeau dans ce mémoire se concentre sur le problème de
représentation des actions et intention de l’opérateur à partir de données brutes de la machine.
De ce fait, le jumeau est capable de représenter à la fois l’état de la machine, l’état de l’opé-
rateur ainsi que la relation entre l’opérateur, la machine et l’environnement. Pour qualifier un
système de jumeau numérique opérateur-machine, il ne suffit pas de seulement caractériser les
acteurs machine et opérateur et cela pour deux raisons. La première raison se trouve dans sa
définition même, en effet, un jumeau numérique doit reproduire sa contrepartie physique. La
simple reproduction des états de la machine et de l’opérateur n’est pas suffisante pour que
le jumeau soit capable de représenter complètement les actions effectuées par les opérateurs,
car ces actions ont une signification qui dépasse le simple mouvement. Ainsi, les actions ont
une intentionnalité et sont conceptualisées d’une manière particulière par les opérateurs afin
d’atteindre un objectif complexe dans un environnement difficile. Le jumeau numérique doit
avoir des outils nécessaires pour comprendre et conceptualiser ses actions et non pas seulement
les décrire. La deuxième raison est l’utilité, en effet, afin de conseiller des opérateurs, il est
nécessaire de s’assurer de la compréhension des recommandations. Or, un jumeau numérique
qui ne sait pas caractériser la relation des acteurs opérateur-machine ainsi que l’environnement
aura de la difficulté à communiquer des conseils de manière simple et efficace, ce qui est une
habilité primordiale dans un travail demandant une bonne représentation spatiale.
Compte tenu du fait que la problématique de donner des conseils à des opérateurs forestiers
est complexe, une revue littérature a été réalisée. De cette revue, il ressort le constat selon
lequel peu de publications s’attardent sur la création de jumeaux numériques d’êtres humains
ou sur des applications d’assistances d’opérateurs de véhicule (Fuller et al., 2020; Liu et al.,
2021b). D’après Fuller et al. (2020), en 2020, les plus grands domaines de la recherche du
jumeau numérique sont le manufacturier (66%), le domaine médical (15 %) et les villes intel-
ligentes (19%). Malgré le fait qu’il y a peu de contributions dans le domaine de l’assistance
d’opérateur de machinerie lourde, il est tout de même possible de trouver des informations
utiles pour le design de ce type de jumeau numérique. Il a aussi été constaté qu’un tel jumeau
numérique pourrait se servir et s’inspirer des études et applications en instrumentation de
machine forestière afin de caractériser, l’opérateur et la machine. Quant aux conseils apportés
aux opérateurs, des algorithmes et méthodes ont déjà été élaborés afin d’optimiser plusieurs di-
mensions du travail des opérateurs (Song and Sharf, 2020; Lijewski et al., 2017; Heinonen and
Pukkala, 2007; Flisberg et al., 2021; Fan et al., 2013). La partie expérimentale de ce mémoire
s’est concentrée sur la traduction des états de la machine, en actions effectuées par l’opérateur,
car la littérature ne s’est pas attardée sur ce point qui nous semble un aspect fondamental
dans la création de ce jumeau numérique. Trouver la solution à ce problème permet au jumeau
numérique d’avoir une représentation des informations proches de la manière selon laquelle les
opérateurs conceptualisent leur travail. De plus, la résolution de ce problème permet de trans-
former les résultats de simulations en des conseils bien communiqués et formulés de manière
2
unifiée. Le prototype d’un jumeau numérique d’un opérateur effectuant son travail à l’aide
d’une excavatrice forestière a été créé, ceci en utilisant le logiciel de simulation de véhicule
Vortex Studio (cmlabs, 2021). Le prototype a permis d’obtenir les données nécessaires dans
l’élaboration d’un algorithme qui permet de résoudre le problème de traduction des données
fournies par les capteurs de l’excavatrice en actions effectuées par un opérateur. Des adapta-
tions du logiciel ont été nécessaires et sont détaillées dans le chapitre 3. Avec ce prototype, des
prises de données ont été effectuées en commandant la simulation à l’aide d’une manette de
jeu vidéo. Ces prises de données ont permis de créer une base de données de positions de divers
composants de l’excavatrice, en fonction du temps. Ces données ont été par la suite libellées
manuellement. De cette manière la base de données est bonifiée, en une base de données des
positions des membres de l’excavatrice et de l’action effectuée par l’opérateur dans le temps.
L’étude de l’algorithme de conversion des données brutes de l’opérateur en actions effectuées
par celui-ci s’est concentrée sur l’analyse de l’ajout du contexte temporel, d’informations sur
l’environnement et sur la machine, ceci par rapport à la précision des résultats.
Ce mémoire est divisé en cinq chapitres dans lesquels le chapitre 1 est un article de revue
littérature. Le chapitre 2 présente l’analyse des comportements des travailleurs spécialisés. Le
chapitre 3, quant à lui, porte sur la méthodologie expérimentale et le prototype du jumeau
numérique. Le chapitre 4 est un article sur l’analyse des impacts de l’ajout d’informations
temporelles sur des algorithmes d’intelligence artificielle. Le dernier chapitre, chapitre 5, élargit
le champ d’études des modèles utilisés. Un récapitulatif des connaissances acquises au cours
de cette maîtrise conclut ce mémoire.
3
Chapitre 1
Towards a digital twin to improve the

training and performance of forestry
operators
L’article intitulé « Towards a digital twin to improve the training and performance of forestry
operators » va être soumis au journal « International Journal of Forest Engineering ». La
version qui va être soumise est identique à la version présentée dans ce mémoire.
1.1 Résumé
La numérisation des opérations forestières offre des possibilités d’améliorer la productivité de
plusieurs aspects de la chaîne de valeur forestière. L’opérateur forestier contribue largement à
la chaîne de valeur en manoeuvrant des machines coûteuses et sophistiquées qui maximisent
les rendements, par conséquent, le développement de technologies visant à guider leurs actions
est favorable à l’industrie forestière. Les jumeaux numériques offrent une nouvelle opportu-
nité pour modéliser et optimiser les systèmes complexes, mais adapter le concept de jumeau
numérique à l’exploitation forestière est une question ardue, car les activités humaines sont
difficiles à modéliser et à simuler dans des situations de travail spécialisées. De plus, les études
sur les jumeaux numériques ont rarement mis l’accent sur l’assistance de l’être humain, faisant
du sujet de notre recherche une nouvelle application possible. Cet article présente une revue
de la littérature qui mélange les méthodologies narratives et intégratives pour évaluer la fai-
sabilité d’un jumeau numérique d’un opérateur et sa machine forestière. Comme il existe peu
de rapports sur ce sujet spécifique, nous avons élargi notre recherche en examinant d’autres
domaines tels que la santé, la conception mécanique et l’usine intelligente. De cette étude,
nous concluons que les technologies existantes permettent la création d’un jumeau numérique
opérateur-machine. Nous présentons, également, des recommandations sur l’architecture lo-
gique et de simulation pour ce jumeau numérique.
4
1.2 Abstract
Digitizing forestry operation offers possibilities for better productivity of multiple forest value
chain aspects. The harvest operator contributes largely to the value chain by manoeuvring
expensive and sophisticated machines that maximise outputs, hence, developing technologies
aimed at guiding their actions is profitable. Digital twins offer a new opportunity for model
and optimized complex systems, but adapting the digital twin concept to forest operation is
complex matter because human activities are difficult to model and simulate in specialized
work situations. Additionally, digital twin studies have seldom placed emphasis on human
being and specialized worker assistance, making the topic of our research a possible new
application. This paper presents a literature review that mixes narrative and integrative
methodologies to evaluate the feasibility of an operator’s digital twin in a forest machine.
As there are a few reports on this specific topic, we expanded our investigation by looking
into other fields such as healthcare, mechanical design, and smart factory. From this review
we conclude that the existing technologies would create an operator-machine digital twin.
Furthermore, we present recommendations about the logic and simulation architecture for an
operator-forest machine twin.
1.3 Introduction
Current cyber-physical systems can be used to model the behaviour of their physical coun-
terpart by abstracting them in higher semantical units such as IoT or digital twin devices,
giving rise to the possibility for modelling much more complex systems such as whole factory
assemblies, hospitals, and human behaviour. Many technical and technological advances such
as better calculation capability, better analysis techniques, and more intricate relationships
between devices and their social system are available (Hahanov, 2018).
Machine-operator systems are complex to model because it is difficult to produce a formalism

that represents the complete range of actions said systems can perform and it is challeng-
ing to model the connection between a machine action and an operator action and inten-
tion, especially when considering human factors such as concentration, tiredness, boredom,
and competency. This complexity is further compounded by a non-formalized and unstruc-
tured environment such as a natural forest. Understanding and improving the performance of
operator-machine systems is crucial to maintain and/or reduce forest operation costs. Many
countries, such as Canada, have documented labour shortages in their forest industries (Inc.,
June 2020; Canada); the cost and length of training forest operators are significant (Purfürst,
2010). It is estimated that 40% of productivity variation can be attributed to the operator
(Ovaskainen and Heikkilä, 2007). Here was how Ovaskainen and Heikkilä (2007) explained
this variation between operators:
It is believed that differences originate from the operators cutting techniques,
5
motoric [sic] skills, planning of work, experience, felling order of removable trees,
decision processes at the working location, machine properties and the surrounding
environment.
Instructors noted that experienced operators have an unexplained ability to operate machines.
Manifestations of such abilities are visible in how operators create and execute effective strate-
gies (Ovaskainen et al., 2004), indicating that artificial intelligence (AI) technologies could
help formalise their behaviour, underline behaviour structure, and translate the behaviour
into human languages. This information could help novice operators understand what their
experimented peers do to achieve high performance.
The instrumentation of forestry machinery with GPS, CAN bus, and Lidar sensors is well
documented (Pellegrini et al., 2013; Eriksson and Lindroos, 2014; Häggström and Lindroos,
2016). Few reports on the uses of cyber-physical systems to assist or guide operators in real
time are published, though. A formalism is necessary due to the complexity and uncertainty
associated with human beings, machines, works, and environments (Dhillon, 2009; Purfürst
and Erler, 2011). This is where the digital twin concept seems appealing for forestry operation.
A digital twin is an approach to interpret and organize cyber-physical system data to create a
parallel digital system of a physical entity updated in real time. Conceptually, in the context
of forestry operations, a digital twin can be represented as a closed feedback loop system where
the twin provides its own reference signal, as depicted in Figure 1.1. Two systems constantly
interact: the operator and the machine. The operator commands the machine, which changes
the forest, whereas the machine sends feedback to the operator and impacts how the oper-
ator manoeuvres and modifies the forest (for example, cutting a tree). The forest (i.e., the
environment) returns information to the two systems in response to the operator’s and ma-
chine’s actions. In this context, the digital twin collects data from agents and the surrounding
environment and determines future actions that would optimize production. In its simplest
incarnation, this digital twin solves an optimization problem in real time where agent actions
are variables, the machine, environment, and operator competency are constraints, and the
maximization of harvesting production is the objective function. The best result is forwarded
in the form of advice to the operator via a communication medium. The operator modifies
the system state by controlling the machine; having received this digital twin feedback, the
operator could learn to better internalize the best actions to take. More complex incarnation
of this optimization problem could take into account more constraints, such as tiredness, the
ground wear and more objective such as fuel expenses.
6
Figure 1.1 – Digital twin of a forest machine operator presented as a block diagram
Digital twins are used today’s in diverse applications such as factory replicas, hospitals, and
mechanical systems (Fuller et al., 2020). Though these existing contributions do not include
digital twins of specialized workers, they can inspire the development of an operator-machine
system twin in a forest operation context.
To this end, we investigated ways to model operators using the current knowledges and tech-
nologies, looked for a definition of the digital twin concept (as this concept is relatively new
and oftentimes ill-defined and understood), searched for ways to apply the digital twin con-
cept to a forest operator-machine system, and researched ways to organize multiple complexes
simulations. We have structured our paper around four research questions:
1. Q1: How do we define the digital twin concept and apply it in a forestry operation
context?
2. Q2: How best can a forest operator be modelled in a digital twin context?
3. Q3: What should guide the design of a forest operator’s digital twin?
4. Q4: How should the interconnection of multiple simulations of a forest operator digital
twin be managed?
First, we describe the methodology used to search and analyse the literature. Second, we
provide answers to each of the four research questions. Third, we discuss the main findings
and present a conceptual plan of our recommendations to design the operator-forest machine
twin. Fourth, we conclude by providing the highlights of our findings.
7
1.4 Materials and methods
We applied a methodology based on the narrative literature review centred around our four
research questions and supplemented our methodology with elements of integrative literature
review. Our primary sources of articles were Sofia (Université Laval, 2021; IEEE; Science
Direct). We used combinations of « AND » operator using the following keywords to find the
articles: digital twin, human, machines, human-machine systems, pilots, aviation, training,
forest, harvest operator, forestry digital twin, forestry, forestry operator, autopilot, machin-
ery, human behavior, operator behavior, and human models. Articles were also provided by
FORAC lab experts (FORAC), particularly on the topic of forestry. We retained articles that
matched our research questions. We analysed contributions that we found most relevant to
developing a digital twin in the context of forest operations.
1.5 Responses to the research questions

1.5.1 Q1: How do we define the digital twin concept and apply it in a
forestry operation context?
The digital twin concept has multiple definitions and is prone to misconceptions (Fuller et al.,
2020; Liu et al., 2021a; Melesse et al., 2021). Liu et al. (2021a) describe it this way:
Many research works discussed the connotation, definition of digital twin concept,
independent of industry field. The concept is explained from different perspectives
and each explanation makes sense. However, none of the explanations can be
proved to be better than others. [...] Digital twin is not a specific technology, but
an idea that can be implemented with many advanced technologies.
Defining the digital twin
Fuller et al. (2020) defined two neighboring technologies to help understand the digital twin
concept: the digital model and digital shadow. According to Fuller et al. (2020), the digital
model is a numeric version of a physical system with no automatic exchange of data. The
digital shadow is similar to the digital model; however, an automatic exchange of data is
continually executed from the physical system to the numeric model. This concept resembles
monitoring, but one difference is noted: this concept creates a pseudo-equivalent model for the
physical object and is a layer of abstraction over the monitoring, implying that the software
captures the physical phenomena taking place and does not simply record it.
Consequently, a digital twin is a digital shadow with an automatic exchange of data from
the numeric model to the physical system added. This enables the twin’s capacity to control
the physical object and to represent it in a way to create a pseudo-equivalence between the
numeric model and the physical one. Fuller et al. (2020) also specify that a digital twin does
not need to include a 3D model.
8
Bauer et al. (2019) defined digital twins as “virtual executable models that [are] carefully
consistent with selected properties of its corresponding physical entity or processes in the real
world” and divide their creation into the offline monitoring and reactive control, online control,
predictive control, and proactive control stages. At the offline monitoring and reactive control
stage, the possible scenario and reaction are preconfigured into the digital twin, whereas at the
online control stage, the possible scenario and reaction are preconfigured into the digital twin,
but the configuration can change during run times. Data analysis methods at the predictive
control stage are used to prevent potential disturbance, since the environmental conditions and
scenarios are not fully implanted and the digital twin is initially trained with test data. The
twin must learn from the environment to operate on its own. The proactive control stage is
similar to the predictive control stage, though it is more adaptable than the predictive control
stage because major parts of behaviour can change.
We suggest that the digital twin in the studied context is closer to a digital shadow. We are not
trying to automate a forestry machine but limit ourselves to give advice to the operator who
will modify the system, ergo our digital twin is a system of support and not of control. Based
on the four stages by Bauer et al. (2019), we wish to be closer to the online and predictive
control because the level of flexibility of proactive control is probably not necessary because
the target environment and the task probably do not change enough to necessitate major
changes in the twin’s behaviour. Nonetheless, if the same digital twin instance is used in
multiple forest types or in multiple machine types, the proactive control stage might be more
useful.
1.5.2 Q2: How best can a forest operator be modelled in a digital twin
context?
We specifically address the forestry context in this section by documenting what influences
operator skills, describing how an ontology of forestry work should be created, and exploring
how to acquire operator status data.
Operator skills
Ovaskainen and Heikkilä (2007) described how harvester operators process information by
selecting 40 students and having them undergo psychological tests. Following these tests,
Ovaskainen and Heikkilä (2007) found that perception of details, perception of the whole,
non-visual deduction, and spatial detection were more important than the operator speed and
accuracy, saying that operator competency was linked more to how they enacted actions based
on situational cues than the speed of execution. Speed came later in the learning process.
Purfürst (2010) suggested that harvest machine automation could create boring jobs and de-
crease operator awareness, hence reducing their performance; Häggström and Lindroos (2016)
further elaborated on that topic, adding that operators could lack knowledge because of lesser
9
training or job experience. This could lead to an inability to perform when automation fails,
leading to potential security risk and productivity loss.
Häggström et al. (2015) examined the gaze of operators and showed that they gazed at the
harvester head and forest components 82% of the time. Sixty-four percent of recorded mon-
itor gazes was made only by one operator, indicating an outlier that reduced the percentage
because the study had only six subjects. Owing to the difficulty of defining a gaze at an
object, the device’s accuracy, and automation analyses, it was challenging to analyze operator
gazes. Nonetheless, this study raised concerns about the location and type of human-machine
interface that must be set up to communicate information between the digital twin and the
operator. If a screen is used and the operator doesn’t look at it, the digital twin will become
useless. Other mediums, such as the voice, could be considered. The study also showed that
the gaze could be a key parameter of an operator’s model (for example, measuring awareness
and the expert operators’ gaze pattern (Häggström et al., 2015) or giving an indication for
tiredness).
Work semantic
It is necessary to understand semantics and formalize the problem in a mathematical language

to digitize operator work. One way to analyze the operator is to model it as a state machine.
Selecting the appropriate states is difficult, but research in forestry can provide guidelines.
Standard work elements observed and defined in the time studies literature (Björheden, 1991)
can be transposed into machine states. Parameters can be added to the state from measure-
ments taken by sensors and operator surveys. The digitization of these states does not have an
a priori objectivity, so the boundary of these states must be established and tested to validate
their usefulness.
Data acquisition for the operator’s status
Real-time raw data are needed to characterize the operator-machine system. Three types of
data need to be considered: machine, operator, and environmental.
A simple characteristic of a forest operator’s digital twin is its location. A GPS or data
logger such as MultiDAT/FPDat (Pellegrini et al., 2013; Geomatics) can be used to this
end. FPDat is a commercial system for machine acquisition that also provides analysis about
machine movement and operator activity. The harvester’s internal computer can also provide
information about the machine and its production. StanForD (Skogforsk, 2021) is a non-
official international standard that can be used to formalize these data. More specifically, the
data are in an XML-type file that describe production and information about the machine in
a uniform and organized manner. It is also possible to get information about the movement
of the boom’s machine via a fieldbus (Melander and Ritala, 2020).
10
Using a vibration sensor is the simplest way to know the rate of use of a machine (Pellegrini
et al., 2013) as it provides general information about an operator performing work and the
machine’s idle status. With a MultiDAT/FPDat (Pellegrini et al., 2013; Geomatics), an oper-
ator can key in the kind of activity being performed. But due to the self-declaration nature,
there is a factor of error, since operators may forget to declare an activity or wrongly report
because of organizational or social pressure. Key-ins also increase the operator’s mental load,
contradicting the objective of automatization. Apparatus like the Tobii Glasses (Häggström
et al., 2015) can be used to track operator eye movement to evaluate focus and automate based
on where the operator gazed. For example, wearable devices could be used to obtain more
information about the operator’s physical health (Gahlot et al., 2019). Some concerns about
privacy could be raised because too much information about health and work performance
may be recorded.
The Tobii Glasses can be used to assess the environment surrounding the operator (Häggström
et al., 2015). Wide-angle cameras such as the ultra-wide range GoPro camera (Häggström
et al., 2015) can also be placed on harvesters to gain information about machine surroundings;
Lidar technology can also be used for that purpose (Tremblay et al., 2020).
The type of data described above should suffice for a basic characterization of the operator-
machine system. Measurement uncertainty is important to consider. Providing unreliable
results might diminish operators’ confidence in the system. An important source of uncertainty
seems to be the vision system because of the inherently difficult nature of computer vision,
the complexity of the environment (Häggström et al., 2015), and self-reported data (Pellegrini
et al., 2013).
The data collected by the machine and its on-board sensors can also be complemented with
online services of a digital forest inventory. These services use multiple technologies, such as
on-the-ground measurements and aerial photography (Metsään.fi, 2021), to keep the inventory
up to date and accurate. With such information, it is possible to analyze beforehand and have
a larger view of the situation around the operator (Melesse et al., 2021). Consequently, the
operator-machine digital twin could generate additional data regarding the environment and
operational behaviour, providing an opportunity to feed experimental studies with much-
needed data and making them potentially more accurate (Wood and Wood, 2019).
1.5.3 Q3: What should guide the design of a forest operator’s digital
twin?
Previously, we presented general definition of “digital twins,” but we did not specifically talk
about how a twin should represent its physical counterpart. The architecture of a digital twin
will impact its ability to represent the domain of applications (Ghita et al., 2020) in the same
way that mathematical or software modelling approaches influence the kind of result we can
11
obtain and the complexity of the solution. We can divide a digital twin into three conceptual
modules: model module, simulation module, and digital/physical module (Melesse et al.,
2021). In our application, the model module captures the current state of the operator-machine
system, such as the position of various components and operator health information. The
simulation module reports the desirable state of the system in relation to specific objectives or
targets, whereas the digital/physical module provides a link between the physical and digital
components. The model must provide information about the operator and information about
the machine. This information can be obtained directly via sensors on the operator or on the
machine as seen in the previous section, or indirectly via a theoretical model (Fernández-Isabel
et al., 2019).
The objective of simulations is to advise operators to behave in a way to optimize production

while keeping a high-security standard. Simulations may vary given the particular forest,
organization of work, machine, and current forestry practices, implying that simulations could
change over time and location in relation to the current need (Ghita et al., 2020). Based
on a number of examples from simulation literature, the digital twin could be processed in
many ways: advise an optimal way or sequence to cut trees (Manner et al., 2020); assess how
the operator vehicle is used and devise strategies to minimize fuel usage and terrain damage
(Lijewski et al., 2017; Melander and Ritala, 2020; Flisberg et al., 2021); and provide a realistic
quota of trees to cut (Heinonen and Pukkala, 2007). The coordination of multiple digital twins
may be useful to plan a fleet of operators while considering individual personal strength.
In the following section, we present the general types of architecture for a digital twin and how
they relate to the forestry context. We also analyze architecture of three particular digital twin
applications and document how they can inform the creation of a forest operator’s digital twin.
We denoted the three architectures as follows: a component-based architecture, a process-
based architecture, and an IoT-based architecture. Finally, we analyze the strengths and
weaknesses of these kinds of architecture with the perspective of creating a forest operator’s
digital twin.
General types of digital twin architecture
Ghita et al. (2020) proposed various general types of digital twin architectures. We suggest
that a forest machine twin should be closer to the architecture based on Complex System
Engineering and Advanced Simulation Techniques. The architecture based on Complex System
Engineering is built to manage the needs of stakeholders and feed their requirement to the twin.
The twin then automatically manages the complexity and forwards the desired information
to the right systems. The architecture based on Advanced Simulation Techniques yields a
twin built on existing simulation frameworks. Components from other architectures could
also be present in a machine-operator digital twin. For example, mixed reality could be used
to train forest operators remotely with a realistic environment and their “behavioural profile”
12
(strengths, weaknesses, tendencies) could be transposed into the digital twin software of their
machine when their training has ended. For example, Laaki et al. (2019) described the use of
digital twin to perform remote surgery using VR technologies. Projects to create teleoperated
forestry machines already exist, such as Auto 2 (Skogforsk, 2020). Architectural components
based on cloud services could also be used with services such as Metsään.fi (2021), which
endeavour to create a digital twin of European forests. These components could bilaterally
interact with an operator’s digital twin to provide inward and outward information flow.
Component-based digital twin architecture
Dahmen et al. (2019) used digital twins to power a virtual test bed in a context of mechanical
design. The authors divided their digital twin into assemblies. Assemblies are formed from
model element(s) (they are part of a machine such as a boom, shaft, and tire). Every model
element has multiple perspectives. These set the component property in relationship with
the domain simulation. For example, every component can have multiple variants of them-
selves to control the level of details. Model elements are semantically linked by connection(s).
With these assets, authors created a matrix describing the relationship between the model
component, their perspective, and connection with regard to their domain simulation.
A parallel between the model by Dahmen et al. (2019) and the operator-machine system
can be made. The system can be separated into two assemblies: the operator and machine.
Every important part of the object/subject has its model element. For example, the machine
assembly contains a stick, a rotation system, and a traction system model element, whereas the
operator assembly contains the body sensors, the machine’s vision systems, and the command
systems of the machine’s model elements. These model elements could be sub-assemblies
depending on the level of complexity needed. The operator has parts of the machine in its
assembly because it would be more difficult to directly get some information via bodily sensors
than via the machine command. The objective of advising the operator is more important
than the objective of obtaining a semantic coherence between the physical model and source
of data.
Process-based digital twin architecture
Croatti et al. (2020) proposed a perspective that differed from the previous authors. In
the approach Dahmen et al. (2019), there are digital twins of objects and processes. Their
application context is the management of a trauma care unit. Croatti et al. (2020) are making
digital twins of all relevant assets of care units (for example, patients, monitoring devices,
vehicles, and medical staffs). These twins are linked to process twins: the prehospitalization
twin and the trauma twin. These higher-level twins are responsible for the simulations, for
they represent a task abstracted from the more objective state of the other digital twins. In
so doing, the twin can model a complex process more precisely and completely.
13
Inspired by this model, we can envision the following digital twin for forestry operations.
It uses the components from the proposed previous model but does not encapsulate them
into the highest-level assembly; instead, components are linked with digital twin processes
(for example, a digital twin movement) that would require visual and traction components.
Another example of a process twin would be to create tree extraction digital twins that take
the visual component and stick components.
IoT-based architecture
Gebhard et al. (2020) proposed a way to create a highly decentralized IoT infrastructure. One
of their contributions is a data model called s3I (Smart Systems Service Infrastructure). The
data model is the digital characteristic of a “thing” in an IoT context, which can be a digital
twin or another software. The model is presented in their paper with a class diagram, which
we summarize as follows: A thing is a part of a hierarchical structure of children and parents.
A thing is linked to an object that can have value(s) directly or via endpoint(s). A thing can
also directly access the endpoint(s) of its object(s). We can see that the object has a complex
or a simple sensor or actuator, and a thing has a higher abstraction of these sensors/actuators.
A thing has a name and a location whereas an object does not have these attributes. Higher
structures interact with things and object(s) are used to interact with lower computational
power devices.
Which architecture for the operator-machine twin?
The method proposed by Gebhard et al. (2020) seems appropriate for the forestry context
because the task of a forest operator seems best modelled as a process. It is difficult to define
the operator’s task by specifying the punctual objective state of the operator-machine system.
There is a need of abstraction over the objective observation to encompass the complexity of
work. (By objective state we mean, for example, machine speed and position.) In the second
question, we mentioned that operators manoeuvred their machine by enacting a schema of
actions; to be a reliable copy of this system, the twin must be able to represent itself in the
same way. A process is more fit to represent a schema of actions. We can imagine a flow
of data where after a simulation, the information is propagated from the process twins to
the object/subject twins, for example, an optimization algorithm calculates the optimal path
for cutting a tree, then returned trajectory positions of the members of the excavator to the
object twins, last, a module converts those trajectories to actions in a process twin that enables
results to be communicated easily to the operator. The problem of representation was not
an issue for Dahmen et al. (2019), because their simulations for mechanical design purposes
aimed to get information semantically close to their model component (for example, stress of
a component, speed of a component, and other similar quantities).
The structure proposed by Dahmen et al. (2019) has merit for developing a forest operation
14
twin. Firstly, one part of the system is a machine; therefore, structuring the twins like the
real object will produce a model closer to its physical reality. Secondly, the idea of multiple
perspectives and variance of components provided flexibility to the model to be modified to
encompass new findings and requirements.
The contribution of Gebhard et al. (2020) is helpful in a lower software abstraction, one close
to the material. This model could be the underlying structure of the two other contributions
(Dahmen et al. (2019), Croatti et al. (2020)) by interfacing electronic devices.
1.5.4 Q4: How should the interconnection of multiple simulations of a

forest operator digital twin be managed?
The forest operator digital twin necessitates multiple simulations because their work has mul-
tiple facets. Managing these simulations is a problem because results from simulations can be
antagonistic, independent, or dependent from one another, leading to a possible non-trivial
need to coordinate simulations. An example of such a problem could be as follows: an op-
timization algorithm suggests the optimal order to cut forest trees and a second algorithm
finds the best harvester head trajectory to cut specific trees. The position of the operator’s
engagement in relation to the trees depends on the order of cuts, hence if the order is modi-
fied, the optimal cutting trajectory is modified when we specifically consider the other trees
and the environmental constraints. For the modularity, different methods could be used. For
example, the order of cuts algorithm could use a combinatorial algorithm; the trajectory al-
gorithm could use a machine learning algorithm. If the algorithms are modular, development
and integration will be smoother.
Hierarchical simulations
Delbrügger et al. (2019) discussed a method to manage multiple multidisciplinary simulations

in a manufacturing context. Delbrügger et al. (2019) divided simulations into three categories
that form a hierarchy: human interaction, factory simulations, and process simulations. Hu-
man interaction is at the top of the simulation hierarchy, followed by factory simulations and
process simulations. The highest level communicates their objective to the lower levels and
the lower levels communicate their results to the highest level.
Process simulations fulfill the objective of the two highest levels, for they accomplish special-
ized simulations. The main objective of factory simulations is to create and evaluate scenarios
in relation to the objective provided by the human interaction level. The factory simulations
module forwards the right information to the process simulations in function to its needs,
assembles and analyzes results, and evaluates the combined results based on the objective of
the human interaction level. Factory simulations repeat the process simulation until optimal
parameters are found. The human interaction objective is to facilitate decision-making and
dictate the objective of the simulations.
15
Figure 1.2 – Hierarchical model of simulations inspired from Delbrügger et al. (2019)
Similarly, we can divide the objective of a forest machine operator. For example, the human
interaction level sets a specific quota based on the difficulty of work in function of the number
of working hours, the terrain, and operator experience. Factory simulations create a pool of
different scenarios and score the results returned by process simulations. Scoring is based
on the projected quota and a score of danger in relation to the constraint mentioned by the
human interaction level. Process simulations simulated different work components such as the
order of cuts, harvester head trajectory, log pile organization, and break times. Figure 1.2
depicts this example.
16
Modular simulations
Dahmen et al. (2019) used a scenario library and an algorithm library to manage their twin’s
simulations. The scenario library selects variants (as defined in the “Component-based digital
twins” section presenting the third question), perspectives, and connections for every compo-
nent to provide a model appropriate to the domain of simulation. By domain of simulation,
we mean the scientific discipline used to make calculations (for example, mechanical domain
(stress of component) and a kinetic domain (movement)). The algorithm library module de-
fines the domain of simulation which implies defining the kind of information the component
will send for the simulation (for example, position or speed). This library will use step simu-
lations that will take an algorithm calculating the next step of the phenomena simulated as
an argument. Equation 1.1 (from Dahmen et al. (2019) ) presents the concept:
⃗x(t + dt) = A(S, ⃗x(t),t) (1.1)
where x is the state of the system, S is the scenario library, t is the time, and A is the
algorithm.
Comparing both approaches
Delbrügger et al. (2019) placed emphasis on multiple domain interrelated simulations. Given
the context of their article, they suggested that process simulation will take part in multiple
devices (robot and millage in their paper). They did not propose a mechanism to organize
information from a complex machine and manage multiple simulation scenario with the same
objective. This is where the proposal by Dahmen et al. (2019) can offer a contribution by
providing a mechanism to divide the machine into parts and the simulations into modules.
Concretely, it means selecting the right component and the right kind of information depend-
ing on the domain of simulation. For example, a simulation could need information about
the harvesting head and not about the other components; it could also need more specific
information regarding the acceleration of the stick or its position in relation to the machine.
In this case, a manager would be necessary for this coordination. This simulation could be
used to determine the harvester head’s optimal path. Two approaches could be considered. A
first approach could be to base the actions on a statistical model developed from observations
of expert operators. A second approach could be a determinist approach using a combinatorial
algorithm.
1.6 Discussion
From the answers we provided to all four questions, we propose a conceptual schematic of a
digital twin in Figure 1.3 where the arrows represent the composition of the components. In
17
the schematic the digital twin architecture is divided into three components: physical interface,
simulation, and digital interface.
Figure 1.3 – Conceptual schematic of a digital twin
18
The physical interface component has the responsibility to manage the twin’s embedded pro-
gramming dimension which are, for example, the sensors on the harvesting head. Object(s)
are similar to the contribution in IoT of (Gebhard et al., 2020), composed of sensors and
actuators. Object(s) have the capacity of getting and manipulating information about the
physical system. This component could also handle simulated objects, sensors, and actuators.
The simulation component has the responsibility of managing simulations. The simulations
are divided in a manner similar to the smart factory contribution by (Delbrügger et al., 2019).
The objective simulation is similar to the human interaction, a layer that analyzes the overall
factory performance of the factory but does not handle data visualization. Objective simula-
tion defines the general objective of the simulations (for example, minimize operation time)
and chooses simulation algorithms using the Simulation Manager. The process simulation is
similar to the factory simulations, since it runs multiple domain simulations and provides input
parameters. The result is then forwarded to the objective simulation. The domain simulation
is similar to the process simulation, as it runs a specific algorithm and returns its response to
the process simulation.
The digital twin interface is the main component and orchestrator. Components are the
lowest abstraction of the twins like the model element by (Dahmen et al., 2019). Components
are created from the aggregation of multiple objects. These two blocks have some similarities
because both are higher abstraction of physical devices, though they differ in responsibility. An
object is created to represent an endpoint of physical devices whereas a component represents
a semantic unit to understand the system. An object has the responsibility to interact with
the embedded system whereas the component interacts with the simulations by providing the
right data in the right form. Examples of components include the machine stick, machine
track, and the operator’s vision and heartbeat. A component has multiple perspectives to
represent properties in relation to the domain needed (for example, relative positions and
fuel consumption per unit of movement). A relationship describes the impact a component
has on another. A representation is an alternative way to analyze the system (for example,
transforming machine sensor data to an operator behaviour derived from a forestry time
study and transforming raw images from a vision system to tree position), which is in the
spirit of the process twins presented by (Croatti et al., 2020). The digital twin is the main
block containing component(s), relationship(s), and representation(s). There can be multiple
versions of a component and a relationship. The digital twin uses a model manager to organize
the active version of those components. The digital twin sends the appropriate model and
simulation parameters to the simulation component. When a simulation is done, the result is
taken from the objective simulation. The digital twin uses the advice generator to transform
the result into a signal that will be understood by the operator. This signal is then transmitted
to an operator via an actuator of a component. The digital twin can store/query information
from a database and/or (web) service.
19
Conclusion
The aim of this paper was to explain the often-obscure concept of digital twins and how to
adapt it to the context of advising forest operator. A narrative and integrative literature review
enabled us to identify its key component, such as the structure of the model and organization
of the simulations. We also found examples of applications of the digital twin concept in
the field of manufacturing, healthcare, and mechanical design. However, no documented
application in assistance of specialized workers or forest harvesting was found. Consequently,
we proposed a path towards its application to forestry operator, given its unique and complex
work environment. Assuming that a near-term objective is to guide the operator’s actions
and not control the machine remotely, we suggest that a digital twin for the operator-machine
system would be an entity closer to the digital shadow concept (Fuller et al., 2020). Operators
conceptualized their behaviour into actions, so the skill development process starts by learning
to enact those actions and progressively performing them more rapidly. A semantic or ontology
of actions specific to the forestry domain must be developed. Artificial intelligence (AI) can
be used to create the reasoning needed to convert the machine and operator states into this
semantic/ontology. A mix between a component-based architecture (Dahmen et al., 2019) and
a process-based architecture (Croatti et al., 2020) is suggested to develop the forest operator
digital twin. With this approach, it is easier for the twin to model the current state of the
machine and operator, and model the operator’s corresponding actions. Lastly, we propose to
design the simulations used by the digital twin to advise the operator in a hierarchical and
modular manner and optimize the operator’s and manager’s global objectives while specific
and specialized simulations are executed by the software (Delbrügger et al., 2019).
We conclude that it is currently feasible to create a digital twin of a forest operator. Multiple
research projects have developed algorithms that can be integrated into a forest operator’s
digital twin. However, the most critical step in developing a twin is the creation of algorithms
capable of converting the machine and operator data into knowledge that could be used to
make recommandation to the operator.
20
Chapitre 2
Cadre d’analyse du comportement des

travailleurs spécialisés pour
l’évaluation des compétences
L’évaluation des compétences des opérateurs est une dimension importante et utile pour le
jumeau numérique d’un opérateur forestier. En effet, fournir la capacité de conceptualiser
de manière holistique le travail des opérateurs pourrait servir à l’élaboration de l’« objective
simulation » comme définit à la figure 1.3 du chapitre 1. Le travail des opérateurs est mul-
tidimensionnel. Pour les aider, il faut formaliser les différentes facettes de leur travail et les
interactions entre celles-ci. L’objectif premier d’un tel formalisme est de créer une structure qui
permette d’instaurer la formation en continu et personnalisée, sans l’assistance d’un humain
expert via un jumeau numérique. Ce qui est similaire au service offert par les compagnies
spécialisées dans la formation terrain d’opérateurs forestiers. Cependant, l’approche diffère
dans la mesure où l’expert est remplacé par le jumeau numérique. Le formalisme consiste,
ainsi, à numériser l’expertise et la capacité d’analyse de ces experts. Un exemple représentatif
d’un service d’accompagnement par des experts est celui de la compagnie Forest liaison (Ket-
terling et al., 2022). Les autres objectifs associés au développement d’un jumeau numérique
se rapporte à la coordination des simulations ainsi qu’à la création d’un jumeaux proches de
la réalité de l’opérateur. Compte tenu du fait qu’aucun formalisme n’a été trouvé dans la
littérature scientifique par rapport au domaine forestier, ce mémoire se concentre sur trois
modèles : CRM-DYMO, WMC et VISUVER. Ces modèles ont été choisis parmi d’autres, car
le CRM-DYMO a été conçu suite à la revue de plusieurs modèles d’analyse du comportement,
donc tente à pallier leurs problèmes. Le WMC est beaucoup utilisé dans la planification d’opé-
ration et est hautement modulable et modifiable. Le VISUVER est un modèle qui s’attarde
à la comparaison du comportement de camionneur ce qui est proche de notre problématique.
Donc, ces modèles offrent trois perspectives différentes à l’analyse du comportement ce qui
permet de voir plusieurs perspectives à la résolution de la problématique de ce mémoire. Les
21
modèles seront évalués par rapport au contexte forestier.
2.1 Crew Resources Management-DYnamic MOdel

Le modèle CRM-DYMO proposé par Mansikka et al. (2019) considère que l’avion et son équi-
page sont encapsulés dans une boucle de rétroaction dont l’objectif est d’évaluer la compétence
de l’équipage. Selon ce modèle, quand une problématique se manifeste, comme par exemple une
perturbation, elle est divisée en trois phases : la phase initiale (input), la phase de résolution
(processes) et la phase de l’exécution (output) comme montré à la figure 2.1.
Figure 2.1 – Schéma du modèle CRM-DYNO inspiré de Mansikka et al. (2019)
La phase initiale représente les compétences acquises lors de la formation, telles que les connais-
sances de l’équipage et leur capacité à communiquer. Ces compétences restent constantes, peu
importe l’évènement qui se produit. La phase de résolution, quant à elle, consiste à planifier les
actions nécessaires à la résolution de la problématique. Cette phase prend en compte quatre
axes : la connaissance de la situation présente, le leadership et le travail d’équipe, la capacité
de bien diagnostiquer la situation et la gestion de la charge de travail. La phase d’exécution,
pour sa part, consiste à poser des actions afin de résoudre la problématique, c’est-à-dire à
appliquer les procédures définit dans la phase de résolution.
L’objectif de ce modèle est d’établir le lien de causalité entre les opérations effectuées par
l’avion, les actions de l’équipage, ainsi que leurs compétences. Ces relations sont non triviales,
22
car d’une part, l’aviation est un travail social, qui nécessite de la communication, ainsi que di-
verses connaissances sur les procédures qui peuvent faire la différence entre l’échec et la réussite
d’une mission ou même la vie ou la mort. D’autre part, les procédures et l’analyse de la situa-
tion peuvent être difficiles à cause des interactions complexes entre les composantes de l’avion,
du facteur humain et de l’environnement. Donc, extrapoler une mesure de la compétence de
l’équipage est difficile. En effet, il s’agit de faire le parallèle entre les notions objectives, que
sont les actions de l’équipage et de l’avion, avec une notion plus abstraite et subjective, qu’est
la compétence. Surtout en tenant en compte le biais induit par le contexte d’une situation
particulière. Malgré cette difficulté, la compétence est un des aspects les plus importants dans
la réussite des opérations, car ce paramètre de l’équipage peut être amélioré avec moins de
pression sur les opérateurs que l’ajout de procédures ou d’équipements. De plus, l’augmenta-
tion des compétences est effectuée avant qu’une problématique potentiellement dangereuse ne
se produise. Sans oublier le fait que la compétence influence grandement la façon selon laquelle
l’équipage résout une problématique, réussie sa mission.
Ce modèle est intéressant dans la mesure où il fait le parallèle entre les actions et les com-
pétences des travailleurs. Cependant, il est difficile à appliquer dans le contexte d’un jumeau
numérique des opérateurs forestiers à cause du contexte dans lequel se déroulent les opérations
forestières. Celles-ci sont moins codifiées que celles de l’aviation, ce qui rend plus complexe la
production d’analyses. En effet, on ne peut pas facilement identifier la « procédure » utilisée
ou son alternative. De plus, l’environnement forestier est plus dynamique et les actions effec-
tuées sont plus réactives. De surcroît, ce modèle ne propose pas de solution afin de formaliser le
raisonnement des analyses, ce qui rend difficile l’automatisation du processus. Il est mentionné
par les auteurs que des experts après une problématique, récupèrent des informations sur la
situation et se servent du formalisme pour tirer des conclusions et bonifier les programmes de
formations. Pour conclure par rapport à ce modèle, on remarque que l’aspect communication-
nel et l’urgence d’agir sont moins présents dans le contexte forestier que dans le contexte de
l’aviation, ce qui peut faciliter l’analyse.
2.2 Work Model that Computes

Le modèle WMC proposé par Pritchett and Feigh (2011) est un modèle qui décrit la dynamique
de plusieurs agents qui cherchent à atteindre un objectif dans un environnement définit. Ce
modèle est divisé en quatre parties : les ressources, l’environnement, les actions et les agents.
Les ressources représentent l’état de l’environnement ou une règle que l’agent doit respecter.
L’environnement par ce fait est une agrégation de ressources. L’action, pour sa part, est un
élément atomique du travail effectué par un agent qui peut acquérir ou changer une ressource
et s’organise de façon à créer des stratégies (Mamessier and Feigh, 2013). L’agent, quant à
lui, est un acteur capable de réaliser des actions, il peut être un humain ou une machine,
23
idéalisée ou réaliste. Dans le cas idéalisé, l’agent effectue toujours des actions parfaites, alors
que dans le cas réaliste, l’agent a un modèle mental qui gère l’échec ou la réussite des actions
(Mamessier and Feigh, 2013). Le succès des actions dans le modèle mental varie en fonction de
la concentration de l’agent, de la charge de travail, de la gestion des files d’attente d’actions
et de certains autres paramètres qui rapprochent l’agent virtuel de l’entité réelle. La figure 2.2
schématise une version simplifiée du modèle WMC en rapport avec le sujet de ce mémoire.
Figure 2.2 – Modèle WMC inspiré de Pritchett and Feigh (2011) et Mamessier and Feigh
(2013)
Le modèle WMC fournit une vision holistique des tâches, de l’environnement, des opérateurs
ainsi que des machines. Afin d’accommoder cette vision, il faudrait que les données aient une
faible incertitude et que les outils théoriques soient capables d’interpréter les résultats. Ce qui
peut être difficile dans un environnement forestier en temps réel. Ce type d’environnement est
défavorable, dans la mesure où on y retrouve des roches, des racines, des changements d’élé-
vations et d’autres obstacles notables qui nécessitent un algorithme de vision robuste afin de
gérer correctement les ressources, sans oublier la gestion des arbres debout et les pille d’arbres
coupés. Pour ce qui est des modèles mentaux, les capteurs présentés au chapitre 1 peuvent
aider à caractériser l’opérateur. Cependant, l’interprétation en temps réel des données pour
inférer l’état de l’opérateur pourrait être difficile, dans la mesure où il importe de comprendre
de manière empirique le comportement des opérateurs et ceci selon plusieurs paramètres qui
sont parfois ni mesurés ni mesurables et qui peuvent varier selon les individus. Dans le même
ordre d’idée, Spinelli et al. (2020) mentionnent la difficulté d’évaluer l’intensité du travail des
24
opérateurs forestiers, à partir de la variation du rythme cardiaque. Ils proposent l’utilisation
du formalisme NASA-TLX (NASA, 2020), or celui-ci utilise des informations rapportées par
l’opérateur et non par des données captées automatiquement. Ce qui va à l’encontre du concept
même du jumeau numérique. On peut, donc conclure que le modèle WMC tout comme le mo-
dèle CRM-DYMO ne propose pas une analyse automatique des compétences, cependant, le
modèle WMC, lui, peut être facilement informatisé.
2.3 VISUal VERifying

Le modèle VISUVER proposé par Fernández-Isabel et al. (2019) vise à modéliser le compor-
tement des conducteurs de camions en machines à états. Les états de cette machine sont un
agrégat de vecteurs contenant des valeurs continues qui représentent la vitesse, la pression
appliquée sur les pédales ainsi que la position de la manette de gaz. Les auteurs divisent ce
modèle en quatre modules : séquentialisateur des comportements, générateur de machine à
état, générateur de similitude et visualisateur. La figure 2.3 présente le schéma de ce modèle.
Le module de séquentialisation des comportements permet d’acquérir les données des conduc-
teurs à analyser. Alors que le générateur de machines à états, lui, transforme les données des
comportements en machine à états. En premier lieu, il filtre les données, ensuite, il crée un
vocabulaire qui représente tous les états possibles de la machine et finalement, il crée la ma-
chine à états en associant les données filtrées au vocabulaire créé. Le générateur de similitudes,
quant à lui, permet de comparer le comportement de deux conducteurs en établissant le lien
entre leur machine à états. Pour ce faire, le module convertit les états en chaînes de caractères,
calcul la distance entre les deux chaînes en se servant d’un algorithme de distance comme par
exemple la distance Levenshtein, calcul les zones de similitudes en utilisant un algorithme
à fenêtre coulissante qui détermine si une zone est identique à une autre et finalement, une
métrique de similitude est créée en divisant la longueur de la plus grande zone de caractères
similaires par la longueur de la chaîne de caractères qui représente la machine à état la plus
courte. À la fin, le module de visualisation présente les résultats.
Le modèle VISUVER s’intègre bien dans le contexte du jumeau numérique d’un opérateur
forestier, car les modules sont déjà numérique et ne nécessite que des données objectives prises
par les capteurs sans traitement spécifique lié à son domaine d’application. Par contre, la sim-
plicité des comportements captés par le modèle est peut-être une faiblesse, dans le contexte de
la foresterie. En effet, un camionneur a moins de liberté qu’un opérateur forestier, car l’opéra-
teur d’une machine de récolte n’est pas contraint par une route ni par une signalisation. Il ne
doit pas non plus se rendre d’un point A à un point B, mais doit aussi couper des arbres dans
un certain ordre et de gérer sa pille de coupe afin de maximiser sa production. L’algorithme
de similitude est, donc, peut-être trop faible dans sa forme actuelle pour capter les similitudes
dans un environnement aussi libre que la forêt, sans trop uniformiser les comportements ou
25
Figure 2.3 – Modèle VISUVER inspiré de Fernández-Isabel et al. (2019)
en n’étant pas capable de les capter, ceci dû à des différences environnementales.
2.4 Conclusion
Le modèle CRM-DYMO est le concept qui semble le plus intéressant pour le développement
du jumeau numérique d’un opérateur forestier, dans la mesure où son objectif est d’établir un
lien de causalité entre les compétences des opérateurs et leurs résultats durant la résolution de
problématiques. Cependant, les auteurs du CRM-DYMO ne fournissent pas les propositions
capables de numériser le modèle et de plus, le travail forestier n’est pas aussi codifié que celui
de l’aviation. Il en résulte, donc, qu’on peut imaginer qu’un modèle similaire soit utilisé a
posteriori pour évaluer les opérateurs et créer de nouvelles « bonnes pratiques » ou encore que
sa structure soit utilisée en combinaison avec d’autres modèles.
Le modèle WMC est celui qui prend le plus en compte l’environnement et l’incertitude hu-
maine. Pourtant, il n’est pas certain que, dans un environnement forestier, on puisse être en
mesure d’obtenir les informations environnementales et « mentales » des opérateurs et ceci
de manière automatique, fiable et en temps réel. De plus, ce modèle ne fournit pas un cadre
d’analyse nécessaire pour l’évaluation de la compétence à proprement dit, par contre, il fournit
un cadre qui permet de décrire les opérations dans un langage numérique et formel qui peut
être utilisé à des fins d’évaluation de la compétence.
Le modèle VISUVER est celui qui requière le moins de travail dans l’adaptation au contexte
du jumeau numérique d’un opérateur forestier et ceci par le fait qu’il est déjà numérisé et
fonctionne sans informations relatives à son domaine d’application. Par contre, compte tenu de
la grande liberté d’action des opérateurs, ce modèle pourrait s’avérer difficile dans sa fonction
de comparateur de comportements.
Dans tous ces modèles, l’interprétation du comportement est l’élément manquant pour la
26
juste exploitation de leurs forces. De cet état de fait, on comprend qu’avant d’appliquer ces
méthodes, on devrait développer une façon de faire, propice à l’interprétation judicieuse du
comportement des opérateurs. Les chapitres suivants vont s’attarder à produire un prototype
du jumeau numérique dont la base est une simulation générée par un logiciel spécialisé modifié
afin de satisfaire les besoins de ce projet de recherche et les comportements des opérateurs
sont analysés à l’aide d’algorithme d’apprentissage profond et de HMM. Ces algorithmes sont
utilisés afin de créer ces blocs sémantiques qui pourront être utilisés par des modèles inspirés
par ceux présentés plus haut.
27
Chapitre 3
Méthodologie expérimentale et
prototype du jumeau numérique
À partir des conclusions des chapitres 1 et 2, une expérimentation est conçue afin de prouver le
concept du jumeau numérique d’un opérateur forestier. Le simulateur Vortex Studio (cmlabs,
2021) est utilisé dans le but de créer l’environnement simulé d’une forêt et d’un opérateur.
Comme vu dans le chapitre 1, l’élément à développer dans la création du jumeau numérique
d’un opérateur forestier est l’algorithme qui traduit les états de la machine forestière en actions
de l’opérateur. L’expérimentation dans ce cas de figure s’attarde à trouver une solution à cette
problématique. C’est pour cette raison que le chapitre va parler en premier de la simulation
effectuée, puis les modèles d’intelligence artificielle seront montrés.
3.1 Simulation
Le logiciel Vortex Studio est un simulateur avancé de véhicule qui permet de représenter, en
temps réel, l’interaction des véhicules avec leur environnement (sol, vent, eau, collision). Il a
également la capacité de simuler le travail d’opérateurs en créant des algorithmes qui réalisent
des routines qui imitent les tâches. Il est également possible de commander manuellement
une machine en utilisant une manette ou d’autres périphériques de contrôle. Comme autre
fonctionnalité, il y a la capacité du simulateur d’interagir avec des logiciels externes tels que
les modules qui captent les données provenant de capteurs en temps réel, les logiciels de
modélisation 3D qui créent des véhicules et des environnements, ainsi que les logiciels de
design de jeux vidéo qui rendent la simulation plus ergonomique.
Par ses fonctionnalités, Vortex Studio est approprié pour la création du jumeau numérique, que
se soit pour un prototype ou pour une application industrielle. En effet, il est facile d’utiliser
des modèles professionnels de CAO afin de simuler des machines avec une fidélité similaire
aux modèles 3D utilisés dans les designs des machines de foresterie. Il est également possible
28
de connecter le simulateur à des contrôleurs immersifs comme ceux en forme de cabines, qui
facilitent son utilisation dans un cadre de formation. La possibilité de connexions avec des
logiciels de saisie de données ou avec des sources de données externes permet d’utiliser de
vraies données d’opérations visualisables dans le simulateur. Cette possibilité peut faciliter
l’analyse des comportements des opérateurs avec une meilleure ergonomie qu’une vidéo. Ce
gain d’ergonomie est possible en offrant la possibilité de bouger la caméra, d’ignorer certains
éléments du décor et d’avoir accès à des informations dynamiques comme des vitesses et des
distances. Pour toutes ces raisons, ce logiciel est utilisé pour le prototype.
Vortex Studio n’étant pas un simulateur créé spécifiquement pour faire des simulations d’opé-
rations forestières, il est nécessaire de concevoir une machine et un environnement. L’environ-
nement de simulation présenté à la figure 3.1 contient les composants suivants : l’excavatrice
forestière, 10 arbres et une zone de dépôt.
Figure 3.1 – Environnement de simulation, contenant la forêt, la zone de dépôt ainsi que
l’excavatrice
La forêt simulée n’a aucun changement d’élévation ou de débris et est peuplée d’arbres, re-
présentés par des cylindres créés avec le logiciel FreeCAD (FreeCAD, 2022). La zone de dépôt
est représentée par six cubes (produit avec FreeCAD). N’ayant pas une excavatrice forestière
incluse dans la version étudiante de Vortex Studio, une version simplifiée est créée à partir
d’une excavatrice terrestre, ce qui amène les modifications suivantes : la pelle est retirée et
le panier est remplacé par une main de préhension simplifiée (produite avec FreeCAD). Les
figures 3.2 et 3.3 présentent les modifications de l’excavatrice et les fichiers de la simulation
sont disponibles sur gitlab (Tam, 2022f,d).
L’adaptation du simulateur en jumeau numérique a aussi nécessité la programmation de
29
Figure 3.2 – Comparaison de l’excavatrice forestière à gauche avec l’excavatrice terrestre à
droite fournie par Vortex studio
Figure 3.3 – Main de préhension simplifiée
quelques modules afin de modifier le comportement du logiciel. Les modules créés sont les
suivants : un module de contrôle de l’excavatrice, un module qui gère la physique des arbres,
un module qui exporte les données et un module d’ingénierie des données. Ces modules sont
programmés dans les langages de programmation python et rust, les codes se retrouvent sur
gitlab (Tam, 2022d,c). Les modules s’intègrent comme n’importe quel composant de la simu-
lation (ils sont représentés par des icônes d’un rouleau où est inscrit "py3"). Un graphe de
connexions permet de lier la sortie et l’entrée d’un module à des propriétés des composants
de la simulation. Ces éléments du simulateur sont présentés aux figures 3.4 et 3.5. D’autres
images relatives au développement du simulateur sont disponibles à l’annexe B.
30
Figure 3.4 – Modules dans l’arborescence des éléments de la simulation
Le module de contrôle permet de faire la connexion entre la position et la vitesse de certains

éléments de l’excavatrice, aux boutons d’une manette de jeux vidéo. Pour bouger l’excavatrice,
le module étend le code fourni par Vortex Studio en convertissant les commandes de la pelle
en celle de la main de préhension et en ajoutant un contrôle de rotation pour la main. La
main de préhension a une commande en position binaire, ouverte, fermée, et une commande
en vitesse sur l’axe de rotation de la main afin de faciliter le dépôt d’arbre. La plupart des
autres commandes de l’excavatrice sont également en vitesse.
Un module de gestion de la physique des arbres est nécessaire, car bien que Vortex Studio
gère de façon automatique la physique des éléments de la simulation, il est difficile de ne pas
faire tomber les arbres "comme des dominos" en essayant d’en agripper un. Pour éviter que
cela se produise, un module transforme les arbres en éléments statiques lorsque la main de
préhension est ouverte. De cette façon, il n’est pas possible de faire tomber les arbres par
accident en essayant de prendre un arbre. De plus, quand la main de préhension est fermée
il est possible de déplacer l’arbre agrippé. Cette simplification du comportement n’a pas nui
à la simulation, car d’une part, on suppose que l’excavatrice est capable de soulever l’arbre
sans problème et d’autre part, une fois l’arbre dans la zone de dépôt, la physique n’a pas
d’importance, car la gestion des piles a été ignorée.
31
Figure 3.5 – Graphe de connexions du module d’exportation des données
Le module d’exportation des données s’occupe d’enregistrer, à chaque seconde :

— la vitesse de l’excavatrice
— la direction de la vitesse de l’excavatrice
— l’angle de la cabine
— la vitesse de rotation de la cabine
— la distance entre le manche et la cabine et la position des 10 arbres
comme présentée à la figure 3.6. Les données de la simulation sont sauvegardées dans un fichier
JSON, selon le schéma présenté dans le code B.1 de l’annexe B.
Le module d’ingénierie des données formate les données de façon à ce qu’elles soient exploitées
par un algorithme d’intelligence artificielle. Ces données formatées constituent les observations
qui sont les données d’entrée des modèles mathématiques comme présentés à la section 3.2.
La valeur de ces observations, lorsqu’il s’agit de positions, est relative à l’emplacement de la
cabine de l’opérateur. Toutes les valeurs sont constituées en calculant la moyenne des valeurs
entre deux pas d’acquisition, ce qui représente deux secondes. Il est à noter que plusieurs types
d’observations peuvent être créés. Trois d’entre elles ont été retenues, afin d’évaluer le type et
le nombre de capteurs présent sur la machine, ceci en tenant compte de leur influence sur les
32
Figure 3.6 – Données captées par la simulation ; la vitesse de l’excavatrice, direction de la
vitesse de l’excavatrice, l’angle de la cabine, la distance entre le manche et la cabine, l’état de
la main de préhension et la position des arbres
résultats. Ces observations sont présentées à la figure 3.7. Le premier type d’observation, en
partant du haut, considère que la machine n’a que des capteurs relatifs à la position et à la
vitesse de ses membres, ceci à l’exception du manche. Le second type d’observation possède
des capteurs pour le manche en plus des autres capteurs du premier type. Le troisième type
d’observation a un système de vision capable de déterminer la position de tous les arbres de
l’environnement et possède les capteurs des deux autres types d’observations.
Figure 3.7 – Types d’observations ; en haut, les données relatives à l’excavatrice sans la main
de préhension, au milieu, les données relatives à l’excavatrice et en bas les données relatives à
l’excavatrice et la forêt
Le module d’ingénierie des données peut être intégré au simulateur afin de fournir l’information
visuelle sur les états et les observations ainsi que de les afficher sur l’écran de l’usager. De plus, il
peut créer des bases de données des observations associées aux actions de l’opérateur en format
JSON.
33
Figure 3.8 – Capture d’écran d’une prise de données avec le simulateur ; en bas, l’invite de
commande indique le pas de temps et les données courant, en bas à gauche, le label indique
l’observation courante, au centre, l’opérateur en train de couper un arbre est présenté et en
haut à droite les contrôles de la manette est affiché
Les prises de données consistent à conduire l’excavatrice, à saisir des arbres et à les mettre
dans la zone de dépôt, en utilisant le simulateur et en enregistrant les essais dans des fichiers
vidéos MP4. Par la suite, les enregistrements sont visionnés et les actions annotées de façon
à ce que chaque plage de temps ait une action assignée suivant le schéma JSON présenté au
code B.2. Afin d’associer le bon pas de temps aux bonnes actions, l’invite de commande affiche
le pas de temps courant comme vu sur la capture d’écran de la figure 3.8. Ces actions sont
présentées au tableau 3.1.
3.2 Modèles d’intelligences artificielles

L’objectif des modèles d’intelligences artificielles proposés est de convertir les observations
basées sur les données provenant du simulateur en action (ou état) de l’opérateur et ceci en se
servant des données libellées manuellement par l’auteur. De prime abord, quatre modèles sont
considérés : le modèle de Markov à états cachés, les réseaux de neurones denses, les réseaux de
neurones à convolutions et les réseaux de neurones récurrents. Les sections suivantes présentent
ces modèles.
3.2.1 Modèle de Markov à états cachés

Le modèle de Markov à états cachés (HMM) décrit la probabilité de transition des états
d’un système pour lequel ils ne sont pas directement accessibles. Le système a accès à des
observations O qui lorsque perçues indiquent qu’il est probable que le système soit dans un
34
Table 3.1 – Actions que peuvent effectuer les opérateurs
TP Transporter l’arbre à la pile (transport a tree to the pile)
TRP Faire une rotation afin de transporter l’arbre à la pile (transport a tree by
rotating it into the pile )
DP Déposer l’arbre dans la pile (drop the tree into the pile)
ADP Descendre la main de préhension jusqu’à la pile (adjust the position of the
arm to drop the tree into the pile)
RMP Ramener la main de préhension en position de coupe (return the arm into
position to grab another tree)
HA Ajustement horizontal de la main de préhension (horizontal rotation of the
cabin to grab a tree)
VA Ajustement vertical de la main de préhension (vertical rotation of the arm
to grab a tree)
GT Prise d’un arbre (grab a tree)
MTT Déplacement de l’excavatrice vers un arbre (move toward a tree)
MT Déplacement de l’excavatrice pour la saisie d’un arbre ( move to grab a
tree)
RS Rotation de l’excavatrice sur elle-même ( rotation on oneself )
ID Immobilisation de l’excavatrice (idle)
MHT Mouvement de la main de préhension vers un arbre (moved hand toward a
tree)
RT Rotation de l’excavatrice afin de couper un arbre (rotate hand toward a tree
)
RTC Déplacement de l’arbre en direction de la cabine (retract tree toward the
cabin)
MABP Reculer l’excavatrice afin de mieux se positionner pour couper l’arbre (move
away from a tree for better positioning)
ATT Ajustement de la main de préhension afin de mieux transporter l’arbre
(adjust the tree for better transportation)
RHT Ajustement de la main de préhension en profondeur ( retract hand to grab
a tree)
certain état. Un HMM est composé d’une matrice de transition A qui caractérise la probabilité
selon laquelle il y a une transition d’un état à un autre, d’une matrice d’émission B qui
caractérise la probabilité selon laquelle une observation implique que le système soit dans un
état et d’un vecteur d’état initial π qui définit le premier état du système.
Dans cette problématique, les états sont les actions A de l’opérateur et les observations O les
données transformées, produites par le simulateur. Les observations de l’opérateur sont multi-
dimensionnelles. Dans le contexte d’un HMM, il est cependant toujours possible de convertir un
problème multidimensionnel en un problème unidimensionnel. Pour ce faire, on peut créer des
"super variables"(Russell and Norvig, 2009) en combinant toutes les dimensions en une seule
variable et en énumérant les possibilités qui en résultent. La figure 3.9 présente un exemple
simplifié dans lequel on retrouve un système à deux états et trois "super observations" pos-
sibles. Les flèches représentent A, c’est-à-dire, la probabilité de la transition des états. Les
35
lignes pointillées représentent B, c’est-à-dire, la probabilité qu’une observation implique un
état.
Figure 3.9 – Schéma d’un HMM utilisant des "super observations" représentant une simpli-
fication du travail des opérateurs forestier
3.2.2 Réseaux de neurones denses

Le modèle de réseaux de neurones denses (DNN) peut résoudre des problèmes de prédiction
tels que la classification ou la régression. Dans le cas qui nous concerne, la résolution du
problème consiste à effectuer la conversion des observations de l’opérateur O en actions A.
La classification s’effectue à l’aide d’un assemblage de perceptrons, formant une structure
mathématique non linéaire. Le perceptron est défini par les deux équations suivantes :
H = σ(OW 1 + b1 ) (3.1)
C = HW 2 + b2 (3.2)
où O est le tenseur d’entrée (les observations dans le problème), W est le tenseur de poids, b
est le tenseur de biais, H est le tenseur caché, C est le tenseur de sortie et σ est la fonction
d’activation non linéaire.
Pour résoudre un problème, le perceptron doit optimiser les valeurs des tenseurs W et b avec
l’algorithme de rétropropagation du gradient (Zhang et al., 2021), afin de minimiser l’erreur
de prédiction. L’assemblage de perceptrons qu’est le DNN est composé de plusieurs couches.
Chacune de ces couches contient plusieurs perceptrons connectés aux perceptrons de la couche
36
suivante. La couche d’entrée recueille les observations O. La couche de « batch norm » (Ioffe
and Szegedy, 2015), normalise les observations de la couche d’entrée de façon à ce que la
moyenne soit de 0 et la variance de 1. La couche cachée exécute les calculs du réseau. La
couche de « dropoup » nullifie la valeur des neurones selon une certaine probabilité, ce qui
stabilise les entraînements (Hinton et al., 2012). La couche de sortie envoie les actions sous la
forme d’un vecteur ayant la taille du nombre d’action possible. La figure 3.10 schématise le
modèle.
Figure 3.10 – Schéma d’un réseau de neurones denses
3.2.3 Réseaux de neurones de convolutions

Le modèle de réseaux de neurones de convolutions (CNN) 1D peut être utilisé afin de faire de
la classification de séquences temporelles (Kim, 2014; Cui et al., 2016; van Kuppevelt et al.,
2020). L’architecture de ce réseau est également basée sur le principe du perceptron comme
celle du DNN. Par contre, entre la couche de "batch norm" et la couche cachée, une couche
de convolution et une couche de "max pooling" sont insérées afin de faire le traitement de
l’information temporelle, comme vu à la figure 3.11.
La couche de convolution effectue une opération du même nom, schématisée à la figure 3.12.
Cette opération consiste à faire progresser un noyau qui est un tenseur W , dont les valeurs
sont apprises par le réseau, sur un autre tenseur O qui est l’entrée du réseau. Ce qui se traduit
37
Figure 3.11 – Schéma d’un réseau de neurones de convolutions
par l’équation suivante :
Cin
X
oi+1 = bi + wij × oij ∀Cout (3.3)
j=0
où Cin est le nombre de canaux en entrée et Cout le nombre de canaux en sortie. Cin est définie
par le nombre de composantes (par exemple la vitesse de l’excavatrice et la vitesse angulaire
de la cabine) du tenseur d’entrée alors que Cout est un hyper-paramètre qui caractérise le
nombre de neurones sortant de la convolution. La résultante de cette opération est calculée en
faisant la somme des multiplications des éléments du noyau et de la plage de l’entrée, qui est
dans la même zone que le noyau, comme présenté dans l’équation 3.3.
Le "max pooling", quant à lui, consiste à sélectionner pour chaque canal, la valeur maximale.
Pour ce réseau, l’opération est faite de manière telle que la sortie du "max pooling" soit en
38
Figure 3.12 – Représentation schématique d’une convolution en 1D
une dimension.
3.2.4 Réseaux de neurones récurrents

Le modèle réseau de neurones récurrents (RNN) est une architecture d’apprentissage profond
avec un mécanisme de mémoire qui sert à faire de la prédiction et de la classification de série
temporelle. Cette architecture de réseaux de neurones prend en entrée les observations O, qui
sont par la suite transmises à une couche dans soit une couche de « long short-term memory »
(LSTM) (Hochreiter and Schmidhuber, 1997) ou de « gated recurrent unit » GRU (Cho et al.,
2014) qui sont des types de RNN. La sortie de cette couche traverse les couches cachées et
une couche de sortie. Le LSTM et le GRU sont les mécanismes de mémoire du réseau, c’est-
à-dire qu’ils gèrent la capacité du réseau à prendre en compte les caractéristiques des données
précédemment entrées. Une schématisation du réseau est vue à la figure 3.13.
Le LSTM et le GRU ont une architecture et des performances souvent similaires. Par contre, le
GRU est plus rapide dans l’exécution des calculs (Chung et al., 2014). Le GRU est schématisé
à la figure 3.14 et le LSTM à la figure 3.15. Le GRU est caractérisé par deux portes, la porte
de réinitialisation R et la porte de mise à jour Z. La porte de réinitialisation caractérise la
portion des états cachés précédents qui doivent être oubliés. Elle se caractérise comme suit :
Ri = σ(Oi Wor + Hi−1 Whr + br ) (3.4)
La porte de mise à jour, pour sa part, gère la portion de l’observation courante à prendre en
compte. Elle se caractérise comme suit :
Zi = σ(Oi Woz + Hi−1 Whz + bz ) (3.5)
39
Figure 3.13 – Schéma d’un réseau de neurones récurrents
Les équations 3.4 et 3.5 qui définissent ces deux portes sont très similaire, malgré leurs dif-
férentes fonctions. En effet, elles considèrent l’observation courante Oi ainsi que l’observation
précédente Hi et utilisent une fonction d’activation σ. Ces équations se différencient par leurs
poids W et leurs biais b. La définition de l’état caché du prochain pas de temps nécessite un
état candidat H̃ caractérisé par la porte de réinitialisation et une fonction d’activation tanh.
Ce qui se traduit mathématiquement comme suit :
H̃i = tanh(Oi Woh + (Ri ⊙ Hi−1 )Whh + bz ) (3.6)
Avec les deux portes, ainsi que l’état candidat, on peut définir l’état caché du prochain pas de
temps dans l’équation 3.7. Ce qui résulte à l’équation suivante :
Hi = Zi ⊙ Hi−1 + (1 − Zi ) ⊙ H̃i ) (3.7)
Le LSTM est caractérisé par trois portes, la porte d’entrée E, la porte d’oubli F et la porte
40
Figure 3.14 – Schéma du GRU inspiré par Zhang et al. (2021)
de sortie S. Ces portes sont définies par les équations suivantes :
Ei = σ(Oi Woe + Hi−1 Whe + be ) (3.8)
Fi = σ(Oi Wof + Hi−1 Whf + bf ) (3.9)
Si = σ(Oi Wos + Hi−1 Whs + bs ) (3.10)
La porte d’entrée décide du moment où le réseau doit prendre en compte une nouvelle donnée,
alors que la porte d’oubli, pour sa part, a pour fonction de déterminer si le réseau doit oublier
sa mémoire, la porte de sortie, quant à elle, sert à définir la sortie du réseau.
Contrairement au GRU, le LSTM gère sa mémoire avec un second signal C. Cette mémoire
prend en compte les données de la porte d’entrée et de la porte d’oubli, modulées par la
mémoire candidate courante. La mémoire candidate C̃, pour sa part, est construite à partir de
la donnée en entrée O, ainsi que de l’état caché précédent Hi−1 . Ce qui est définit aux deux
équations suivantes :
C̃i = tanh(Oi Woc + Hi−1 Whc + bc ) (3.11)
Ci = Fi ⊙ Ci−1 + Ii ⊙ C̃i (3.12)
41
L’état caché suivant Hi , qui constitue la sortie du réseau, est la combinaison entre la mémoire
C et l’observation courante O. Ce qui se traduit par l’équation suivante :
Hi = Oi ⊙ tanh(Ci ) (3.13)
Figure 3.15 – Schéma du LSTM inspiré par Zhang et al. (2021)
42
3.3 Conclusion
Ce chapitre a présenté la manière dont le simulateur Vortex Studio a été bonifié afin de ser-
vir de prototype de jumeau numérique d’opérateur forestier dans un environnement simplifié.
Le chapitre a également montré, les différents modèles d’apprentissage machine qui ont été
expérimentés pour la résolution du problème de conversion des données brutes d’exploitation
en action ou intention de l’opérateur, soit le HMM, le DNN, le CNN et le RNN. Le chapitre
suivant va montrer les résultats des expériences réalisées par rapport à la précision des algo-
rithmes présentés plus haut en s’attardant sur l’influence de la gestion de l’aspect temporel
des données.
43
Chapitre 4
Temporal context analysis of machine

learning model for digital twin of
forest operator
L’article intitulé « Temporal context analysis of machine learning model for a digital twin
of forest operators » va être soumis dans le journal « Forest » de MDPI et subira quelques
modifications avant sa soumission au journal
4.1 Résumé
Le jumeau numérique est un sujet d’étude relativement nouveau. Les applications actuelles
sont principalement axées sur le thème de la fabrication mécanique, de la santé et des villes in-
telligentes. Cet article propose une application pour l’assistance des opérateurs d’excavatrices
forestières qui peuvent être classés comme travailleurs de machinerie spécialisés. Le problème
spécifique que cet article tente de résoudre est la transformation d’observations objectives de
la machine telles que la vitesse ou la position des arbres en actions telles que "se déplacer vers
un arbre" ou "saisir un arbre". De cette façon, le jumeau numérique devrait être capable de
capturer le comportement de l’opérateur d’une manière plus proche de la façon dont les opéra-
teurs pensent, au lieu de capturer uniquement l’état de la machine. L’article a trois objectifs.
Le premier est de créer un prototype de cet algorithme. Le deuxième est d’évaluer l’influence
du contexte temporel sur la précision des modèles. Le troisième est d’évaluer l’impact de la
quantité d’informations envoyées au modèle sur la précision du modèle. Pour ce faire, un pro-
totype de jumeau numérique et un jeu de données associant observations machine et actions
opérateur ont été créés. Le contexte temporel des données a été ajouté ou soustrait, puis intro-
duit dans un DNN, un CNN et un RNN. Une analyse empirique a été utilisée pour évaluer les
résultats. Ce processus a été réalisé avec trois types d’observations contenant des informations
différentes sur la forêt et la machine. Il a été constaté que le contexte temporel réduit les
44
performances des DNN et des CNN avec l’observation la plus complète ; cependant, cela n’af-
fecte pas les performances des RNN de manière significative. Il a également été montré qu’en
utilisant des informations concernant uniquement la pelle de l’excavatrice, la performance du
modèle n’a pas une réduction drastique. De plus dans ces circonstances, l’ajout du contexte
temporel peut augmenter les performances des modèles.
4.2 Abstract
The digital twin is a relatively new subject of study. Current applications are mainly focused on
the subject of mechanical manufacturing, health and smart cities. We propose an application
to forest excavator operators support which can be classified as specialized machinery workers.
The specific problem we address is the transformation of objective machine observations such
as the speed or position of trees into actions such as "moving to a tree" or "grabbing a
tree". This way, the digital twin should be able to capture operator behavior in a way that is
closer to how operators think, instead of just capturing machine states. The article has three
objectives. The first is to create a prototype of this algorithm. The second is to evaluate the
influence of the temporal context on the accuracy of the models. The third is to assess the
impact of the amount of information sent to the model on the accuracy of the model. To
do this, a digital twin prototype and a dataset combining machine observations and operator
actions were created. The temporal context of the data was added or subtracted, then fed
into a DNN, CNN, and RNN. Empirical analysis was used to assess the results. This process
was carried out with three types of observations containing different information about the
forest and the machine. Temporal context has been found to reduce the performance of DNNs
and CNNs with the most complete observation; however, this does not affect the performance
of RNNs significantly. It was also shown that by using information about the shovel of the
excavator only, the performance of the model is not diminishing drastically. Moreover, in
these circumstances, the addition of the temporal context can increase the performances of
the models.
4.3 Introduction
The concept of Digital twin (DT) has been studied in recent years (Melesse et al., 2021;
Fuller et al., 2020; Liu et al., 2021b). It consists in the creation of a parallel digital copy
of a physical object, using the information provided by sensors and actuators. The copy is
supposed to be equivalent to the related physical entities in a way that modifications of the
state of the digital entity has to generate equivalent changes into the physical counterpart and
the reverse relationship must also be possible (Fuller et al., 2020; Bauer et al., 2019). This
concept only concerns the structure of the model and the simulations of the physical entity in
the software. Therefore the designer has to adapt to their specific application to maintain a
45
strong connection between the digital and physical entities Liu et al. (2021b). The DT can be
structured in multiple ways (Melesse et al., 2021; Ghita et al., 2020). They can be structured
into physical components (Dahmen et al., 2019) or into combination of physical components
and processes (Croatti et al., 2020; Delbrügger et al., 2019). In this paper, the focus is on a
process twin because we are trying to model the behavior and work of the operators and not
reproduce the state of the machine.
To create a strong connection between our proposed DT and the operator, we suggest the
use of artificial intelligence (AI). AI can structure and model the behavior of forest operators,
whereas human operators have difficulties to express the behavior they exhibit to be efficient
(Ovaskainen et al., 2004). Also, the efficiency at their task is strongly linked to their ability
to plan and recognize schemas of actions (Ovaskainen et al., 2004). With this state of af-
fairs, artificial intelligence could be used to capture the underline structure of their behavior
and translated it into simple predefined actions that operators could easily understand and
enact. AI could also be used to translate results from optimization algorithms into an easily
understandable language for the operator. In this paper we endeavor to create an AI model
to transform objective sensor measurements from the machine into the actions of the operator
and to evaluate the influence of the temporal context to the accuracy of the model. We adapted
a simulator to generate data of a simplified version of forest operations. These data were then
fed into a machine learning model. We evaluate three of them: Dense Neural Network (DNN),
Convolutional Neural Network (CNN) and Recurrent Neural Network (RNN). We chose these
three approaches because they manage the temporal information differently for reasons that
will be elaborated further in the Section 4.5. The influence of the temporal context on the
model is an important parameter to analyze, because our intuitive assumption is that it is
an important parameter to identify operators’ actions. Indeed, we expect operators to base
their future actions on their previous ones. Furthermore, we supposed that it is difficult to
characterize the action of an operator only using a snapshot of the current operation state,
because the actions of the operators are not naturally discrete. However, modeling the data
in the form of a time series increases the complexity of the problem, because when using a
sequence of data the model not only has to be able to classify the entry of the input vector
into classes but also has to take into account the previous entries in their order of appearance
(Xing et al., 2010). Hence why determining if the problem needs to be considered as a time
series and which hypothesis is reasonable is a worthwhile endeavor. We also tried multiple
input data type to evaluate the influence of the number and type of sensors to be set on a
machine on the accuracy of the models.
The paper starts by presenting the methodology and the DT prototype. After, the mathe-
matical models are presented. Then, the dataset and the results are presented. After that,
the results and the analysis of the temporal context is discussed. Last, we conclude the paper
with a retrospective of the results. In the spirit of open research, all our codes and data are
46
open source (Tam, 2022a).
4.4 Methodology
In this section the methodology is presented. First, the data acquisition procedure using the
DT prototype is shown then the methodology of the temporal context analysis is described.
4.4.1 Data acquisition

A DT has two main modules: physical and digital. The physical module provides the ground
truth of the dual entity created by the DT. For our study, we used the simulator Vortex Studio
student version (cmlabs, 2021) to provide a simulated physical module. We created a simplified
version of a forest excavator (Tam, 2022f,d) by modifying the excavator natively provided by
Vortex Studio student version. We also created a simplified forest environment with 10 trees
and 6 boxes representing the drop-off area. These simulated elements are depicted in Figure
4.1. With the simulator, the agent can drive, cut (grab) trees and drop them in the drop-off
area.
(a) (b) (c)
Figure 4.1 – Element of the simulation; (a) the simulated excavator,(b) Native and modified
excavators, (c) simulated environment
The data fed to the models was produced by one of the authors who commanded the simulator
using a game controller. He executed a sequence of actions mimicking the work of a forest
operator. A video recording of the screen caption was made for every trial. It was later used to
label the actions of the virtual operator. We created 18 labels for the actions of the operators,
presented in Table 4.1.
47
Table 4.1 – Action of the operators
Label Description
TP transport a tree to the pile
TRP transport a tree by rotating it into the pile
DP drop the tree into the pile
ADP adjust the position of the arm to drop the tree into the pile
RMP return the arm into a mobile position
HA horizontal adjustment of the cabin to grab a tree
VA vertical adjustment of the arm to grab a tree
GT grab a tree
MTT move toward a tree
MT move to grab a tree
RS rotation on oneself
ID idle
MHT moved hand toward a tree
RT rotate hand toward a tree
RTC retract tree toward the cabin
MABP move away from a tree for better positioning
ATT adjust the tree for better transportation
RH retract hand to grab a tree
We used the pipeline depicted in Figure 4.2 to generate data to train our models. The simu-
lator outputs raw data and a recording of the session is used to label state for training data
(Tam, 2022e). The raw data is transformed into an observation via an observation generator
algorithm. This algorithm gives the possibility to use different representations to feed a model
(Tam, 2022c). The observation is then used with the labeled state (if necessary) to feed the
machine learning model. The dimensions an observation can have are, the speed of the excava-
tor, the direction of the speed, the cabin rotation speed, the cabin angle, the distance between
the stick and the cabin, the state of the hand of prehension (open or close) and information
about the proximity of trees (Figure 4.3). The machine learning model will output a state or
an observation (Tam, 2022b).
48
Figure 4.2 – Data pipeline, starting from the data acquired from the simulator to the states
and observation outputs by the machine learning models. The labeling and feature engineering
is also depicted
49
Figure 4.3 – Data captured by the simulation; excavator speed, excavator speed direction, cab angle, stick to cab distance, grip hand
condition and shaft position
50
4.4.2 Temporal context analysis
The following steps were done to analyze the temporal context.
1. The software named Ray Tune (Liaw et al., 2018) with the search algorithm provided
by the python library ax (Bakshy et al., 2018) is used to explore a wide range of hyper-
parameters. The search produced 50 candidates that are evaluated in the following
steps.
2. Three of the best hyper-parameter sets were selected. The selection process took a
particular attention to select three sets that have meaningful differences, such as in the
depth of the network, and large difference of hidden features. An analysis of the variance
of the accuracy was then produced, as proposed by van den Berg et al. (2016), to take into
account the stochastic nature of the training process of a neural network. 100 training
iteration of each hyper-parameter set was done. The initial weight for every iteration
was randomized, the training and testing set was randomly shuffled, and test-train split
of 20% was used.
3. We modulated the temporal information sent to the model and repeated each instance
10 times to produce statistical data.
4. We repeated steps 1 to 3, but with different observations types.
4.5 Mathematical models

4.5.1 Hidden Markov Model
The first model tested was a hidden Markov model (HMM). This model is used to represent
the transition in time between states S where the agent only has direct access to observations
O, hence why the states are called hidden. It operates under the Markov assumption, which
means that the transition process is memoryless (Russell and Norvig, 2009). This model is
usually employed on one-dimensional discrete state and observations. If the observations of
the problem are multidimensional, the observations can be reduced into one dimension by
combining them (Russell and Norvig, 2009). An HMM with N state and M observations is
defined by three parameters, denoted by a set λ: the matrix of transition A which denote
the probability of transition from one state to another. The emission matrix B represents the
probability that the presence of an observation implies a specific state. The initial state vector
π represent the probability that the system starts with a specific state. There are three basic
problems that an HMM can solve (Rabiner, 1989):
1. Finding the optimal λ parameters of the HMM
2. Computing the likelihood of a sequence of observations
3. Finding the most likely state sequence given a sequence of observations
51
The first basic problem must always be solved because it is the training phase of the model.
The second basic problem in relation to our context can be interpreted as giving advice, based
on a previous operator behavior. The third basic problem can be interpreted as the translation
of the observations of the machine into the behavior of the operator.
To use the HMM, we created one dimensional discretized observations by combining all the
dimensions of our observation into a single "megavariable"(Russell and Norvig, 2009), and
enumerating all the possibilities. The problem with this approach is the exponential number
of observations needed to train the model due to the impossibility to decouple the relationship
between the dimensions of observations. Also, the transformation from continuous values to
discrete ones using step functions with arbitrary parameters imposed a classification of the
observations that may or may not be valid. A possible solution proposed in the literature is
to transform the B matrix into a probability density (Nguyen, 2016; Martino et al., 2020).
We decided to use deep learning approaches due to the confidence we had to produce usable
result. Indeed, deep learning approaches are very flexible don’t require hypothesis about the
transition of state.
4.5.2 Neural Network

We used three architectures that capture differently the temporal aspect of forest operations.
Figure 4.4 present how the models capture the temporal context. The first architecture is
a DNN, which does not capture the temporal aspect of forest operations. The second is
a CNN that can capture a defined temporal region of operations. Finally, the third is an
RNN which capture explicitly the whole temporal progression with a memory mechanism.
We also designed a DNN with an average pooling (DNN-AVGP) to evaluate the effect of
adding temporal context to a simple DNN. The input of every model is a vector representing
observation(s), as depicted in Figure 4.5 (or a matrix for time sequences). The first input vector
contains all the possible dimension observation, which we denote forest observation (FO). The
second contains all the information about the machine; we denote it machine observation
(MO). The last observation, also contains information about the machine but omit information
in relation to the arm of the excavator, we denote simple machine observation (SMO). The
intuition behind these observations is in relation to the spatial information provided to the
network. FO gives access to the whole spatial environment, which implies that a good and
reliable vision system is installed in a real machine. MO cues the network about the spatial
information due to the state of the hand of prehension and the extension of the excavator stick;
it also implies a particular instrumentation of a real machine. SMO has no spatial information
about the forest. Moreover, the sensors required are quite simple such as GPS, rotary position
sensors and speed sensors. The output of a network is a state at the current time interval.
We used a ReLU activation function for all our models and a cross entropy loss function.
52
Figure 4.4 – The time context of neural network architectures; the DNN does not capture the
temporal context, the CNN captures the context in slices and the RNN capture the whole
temporal information
Figure 4.5 – Observation captured by the input layer; SMO capture information about the
excavator without information about the prehension hand. MO present information about the
whole excavator and FO present information about the excavator and the forest
Dense Neural Network
The architecture of our DNN is arranged in four types of layers: The input layer, the batch
norm layer Ioffe and Szegedy (2015) , the hidden layers, the dropout layer Hinton et al. (2012)
and the output layer. The input layer captures the operator observations O. The batch norm
layer normalized each feature of a batch with a means of 0 and a variance of 1. This layer
gives the possibility to train with higher learning rate and sometime render non-necessary a
dropout layer. The dropout layer Hinton et al. (2012) randomly set values of the network to
0 for stabilizing the training and avoid over fitting. The DNN-AVGP simply adds, before the
input layer, an average pooling layer, and takes a tensor of observations O with fixed length
which represents multiple time steps of operation as input.
53
Convolutional Neural Network
The architecture of our CNN is arranged in the same way as Kim (2014) proposed. The layers
are as follows: The input layer which takes the same input as in the DNN-AVGP, a batch
norm layer, a convolution layer, a max pooling layer, a hidden layer, a dropout layer, the
output layer, and a Softmax layer.
Recurrent Neural Network
We experimented with two architectures of RNN: the long short-term memory (LSTM) and
the gated recurrent units (GRU) as presented by Zhang et al. (2021). We also added a dropout
layer at the end of the network. Which means that the layers are: The input layer which takes
a tensor of observations, the RNN layer (LSTM or GRU) with dropout layers placed between
RNN cells, the hidden layers and the output layer.
4.6 Results
4.6.1 Data acquisition
We have labeled 68 test runs with a total of 7710 observations and their associated state.
The test average run had a duration of 113 observations. Figure 4.6 depicts the transition
from one state to the other. We can see that the matrix has a high transition ratio into
the diagonal, which is expected because we capture the observations at every second and the
states are sticky. Also, the matrix is not symmetric which indicate an order or phases into the
tree cutting process. Last, we can see that actions such as RH, AA, or DP do not have a lot
of options for transition. On the contrary, actions like RA, ID or RT, have more transition
options, which indicate that some transitions are more predictable than others. Figure 4.7
presents the frequency of each state. We can see that the actions are not uniformly distributed.
54
Figure 4.6 – state transition of the complete dataset
55
Figure 4.7 – State frequency of the whole dataset
4.6.2 Neural Network

Dense Neural Network
The three architectures selected are denoted DNN 1 to 3 with their associated observation
type. Table 4.2 presents the hyper-parameters of these networks and the associated accuracy
with 100 training operations where the incertitude is the standard deviation of the distribution.
The hyper-parameters are the following: number of hidden features (NHF), number of hidden
layers (NHL), the presence of a batch norm layer (BNL), the dropout percentage (DP) and
the learning rate (LR). We can observe that with fairly similar hyper-parameters the FO
observation type tends to provide better results than the MO observation type. As for the
SMO observation type, their results are quite lower and their hyper-parameter are also more
distinct than the two other observations. Figure 4.8 depicted violin plots of accuracy of each
model for each observation type (FO, MO, SMO). We can observe that the majority of the
distribution are skewed to the upper values and the distribution of the results of MO and
SMO have long tails which indicate a lack of robustness into the network.
56
Table 4.2 – DNN hyper-parameters
Label NHF NHL BNL DP LR Accuracy
Forest observation (FO)
DNN-FO 1 3609 2 No 1 × 10−5 7 × 10−6 0.522 ± 0.008
DNN-FO 2 6443 1 Yes 0 2 × 10−4 0.61 ± 0.01
DNN-FO 3 4175 5 Yes 0 7 × 10−6 0.580 ± 0.008
Machine observation (MO)
DNN-MO 1 4652 3 Yes 0.07 2 × 10−4 0.450 ± 0.008
DNN-MO 2 4664 1 Yes 1 × 10−5 2 × 10−4 0.47 ± 0.01
DNN-MO 3 6423 2 Yes 0.09 1 × 10−5 0.483 ± 0.006
simple machine observation (SMO)
DNN-SMO 1 1937 5 Yes 0.1 3 × 10−3 0.420 ± 0.007
DNN-SMO 2 100 4 Yes 0.06 5 × 10−3 0.399 ± 0.006
DNN-SMO 3 2140 1 Yes 0.1 3 × 10−4 0.386 ± 0.005
57
(a) (b) (c)
Figure 4.8 – Violin plots representing the distribution of performance for the three DNN architecture; (a) with FO , (b) with MO, (c)
with SMO
58
Convolutional Neural Network
The three architectures selected are denoted CNN 1, CNN 2 and CNN 3 for each observation
type. Table 4.3 presents the three hyper-parameters set of each observation types, the same
hyper-parameter as the DNN is depicted with the addition of the number of convolution
channels (NCC), the length of the observation input (LO) and the kernel size (KS). Similar
that with the DNNs, but with lower accuracy, the FO and MO results have similar accuracy
whereas the SMO results are lower. For the three observation types, the hyper-parameters
are quite different. Figure 4.9 represents violin plots of performance the selected models. The
distributions are more centered than the ones of the DNNs. We can also witness the results
have less of a tendency to have long tails which indicate that the models are more robust.
Also, the CNN 2 of FO have a long tail and also a "long head" and CNN 3 of SMO have also
a "long head" which is a phenomenon not observed with the DNNs.
Table 4.3 – CNN hyper-parameters

Label NHF NHL BNL NCC LO KS DP LR Accuracy
CNN-FO 1 4603 5 Yes 5541 9 9 0.02 9 × 10−6 0.465 ± 0.007
CNN-FO 2 1849 0 Yes 2566 14 1 0.08 3 × 10−5 0.481 ± 0.005
CNN-FO 3 946 1 No 5125 3 1 0.06 3 × 10−5 0.485 ± 0.008
CNN-MO 1 4292 5 Yes 751 6 6 0.02 2 × 10−5 0.45 ± 0.01
CNN-MO 2 550 0 Yes 1667 13 4 0.11 1 × 10−5 0.462 ± 0.006
CNN-MO 3 5907 0 Yes 6851 5 5 0.43 3 × 10−6 0.390 ± 0.002
Simple machine observation (SMO)
CNN-SMO 1 3701 3 Yes 3978 5 3 0.4 1 × 10−4 0.303 ± 0.003
CNN-SMO 2 1608 3 No 6498 3 3 0.2 7 × 10−6 0.375 ± 0.002
CNN-SMO 3 3726 1 No 3011 15 1 0.3 1 × 10−3 0.200 ± 0.003
59
(a) (b) (c)
Figure 4.9 – Violin plots representing the distribution of the performance of three CNN architecture; (a) with FO , (b) with MO, (c) with
SMO
60
Recurrent Neural Network
The three architectures selected are denoted RNN 1, RNN 2 and RNN 3 for each observation
type. Table 4.4 presents the hyper-parameter sets and the Figure 4.10 presents the violin
plots of the accuracies. The same hyper-parameter elements as the DNN are depicted with
the addition of the number of prediction layer (NPL), the type of RNN (RNNT) which are
either an LSTM or a GRU and the dropout probabilities between the RNN (DPR). The
distributions are different from the two other models, indeed, RNNs with MO and SMO have
pretty flat distributions and some distributions are bi modal with a dominant mode. The table
shows that most of the best results were not produced using multiple RNN cells, also the two
identical hyperparameters in MO and SMO produced the best results from the 50 candidates
with a similar distribution shape but lower accuracy.
Table 4.4 – RNN hyper-parameters

Label NHF NHL NPL RNNT DPR LR Accuracy
RNN-FO 1 4691 3 1 GRU - 2 × 10−5 0.562 ± 0.003
RNN-FO 2 4647 2 1 GRU - 3 × 10−5 0.541 ± 0.005
RNN-FO 3 4711 1 1 GRU - 6 × 10−5 0.533 ± 0.007
RNN-MO 1 1299 1 2 LSTM 0.06 3 × 10−3 0.487 ± 0.004
RNN-MO 2 2220 4 1 LSTM - 9 × 10−6 0.531 ± 0.005
RNN-MO 3 926 1 1 GRU - 2 × 10−3 0.44 ± 0.01
Simple machine observation (SMO)
RNN-SMO 1 2220 4 1 LSTM - 9 × 10−6 0.462 ± 0.005
RNN-SMO 2 1022 2 1 LSTM - 2 × 10−3 0.453 ± 0.004
RNN-SMO 3 926 1 1 GRU - 2 × 10−3 0.381 ± 0.009
61
(a) (b) (c)
Figure 4.10 – Violin plot representing the distribution of the performance of the three RNN architecture; (a) with FO, (b) with MO, (c)
with SMO
62
4.7 Discussion
This section discusses the results of the modulation of the temporal data send to the models.
As stated in Section 4.4, for each hyper-parameter set presented in the Section 4.6, we calculate
the accuracy of the model starting with one observation send to the model to 15 consecutive
observations sent. We can evaluate the influence of the temporal context by tracing best
fit lines in which the slope represents the evolution of the accuracy by addition of slices of
observations.
The results of the DNN with FO observation type shows that the temporal context can affect
the accuracy negatively. From the best fit line depicted in the Figure 4.11, we obtain slopes
of respectively −0.9%, −1.5% and −1.3%. Almost the same phenomenon is observed with
the CNN: the slopes of the best fit line as depicted in the Figure 4.12 are respectively −0.6%,
−0.5% and −1.3%. This indicates a negative correlation between length of sequence and
performance for the DNN and the CNN. A different behavior is observed with the RNN.
Indeed, we see that the addition of temporal information barely changed the accuracy of the
model: the slopes of the best fit line as depicted in the Figure 4.13 are −0.1%, −0.1% and 0%
and stabilized at the accuracies of the test with 100 iterations.
The results with MO observation type are somewhat similar to those with FO: the three
selected DNNs have slopes of −0.6%, −0.4% and −0.5%, the CNNs have slopes of −0.2%,
−0.2% and 0.3% and the RNNs have slopes of 0%, 0.3% and −0.4%. The DNNs and CNNs still
lose accuracy with the addition of the temporal context. However, with the selected models
it is lower than with FO. Interestingly, the CNNs even have a model that profits from the
temporal context. As for the RNN there is one set that increases the accuracy, another that
maintains it, and the last one seems to be an outlier that decreased it. If we look at Figure
4.10 we can witness that the distribution of RNN-MO 3 shows a wide range of accuracy. The
network likely performs between approximately 35% and 50%, which implies that the network
might not be good at generalizations. This behavior might be a factor that influenced the
accuracy negatively when the temporal context is added because the dominant mode has a
lower accuracy and the test has only 10 iterations.
The results of SMO observation type are different from those with FO. With the DNN, the
temporal context has either a small negative impact or a positive impact on the accuracy.
Indeed, the slopes of the best fit line are −0.2%, 0.2% and −0.3%. Again, almost the same
behavior is exhibited by CNN, the slopes of the best fit lines are 0.1%, −0.2% and −0.4%.
The RNN exhibits a different behavior. The addition of the temporal context either increased
the accuracy or maintains it as the slope of the best fit lines are 0.6%, 0.3% and 0%.
From these results we can claim that the actions of cutting trees do not need a temporal context
to be classified, provided that the observation is rich enough. For instance, FO observation
types might form a representation that is memoryless. This would explain why the DNNs
63
and CNNs were not able to benefit from additional temporal information, even considering
the incertitude of the tests with 100 iterations. Also, the RNNs with FO observation types
are not much affected by the temporal context. The memory mechanism of these networks
seems to only learn to forget the temporal context, instead of learning to retain the context.
There could be two probable reasons for this phenomenon. The first one is that the addition
of the temporal context might create noise that cannot be captured by the networks. The
second reason might be that the networks overfit more easily with the addition of the temporal
context. Even if our results do not align with our first intuition that the temporal context
would be of importance, our results can be explained. Firstly, one can examine that the more
information the network was provided, the better the networks tend to perform. Secondly,
we can explain conceptually the result even if we cannot easily understand the reasoning of a
neural network. Indeed, even though some methods are been developed to analyze the decision
process of neural networks (Ge et al., 2021; Selvaraju et al., 2017; Hinton et al., 2015) we can
analyze the dataset in light of the results to try to understand the reasoning of the models.
Given that the results of FO almost fully characterize the agent and the environment of the
simulations and that the movements executed are fairly different depending on the actions
executed, we can suppose that the network does not need multiple observations to classify
the actions. As for MO, it seems to be less positively affected by the temporal context,
because the network might still be able to perceive the environment (which is the position
of the trees) via the signal of the hand of prehension. Indeed, when the signal is true, the
excavator almost certainly has a tree into its grip, which narrows down the possible actions
the operator is currently executing. A model with SMO observations can only rely on the
speed of the elements of the excavator to classify the actions of the operators, which does not
inform as much, hence why the temporal context might help to differentiate between actions.
For example, if the speed of the excavator is steady and non-null for a period of time, the
operator might be moving toward a tree. On the other hand, if the angular speed is non-null
and the speed is null for a period of time the operator might be adjusting the position of its
harvester head to grab a tree. We can see that the decision criteria become fuzzier because
we do not have variables that are strong determinants.
64
(a) (b) (c)
(d) (e) (f)
(g) (h) (i)
Figure 4.11 – Box plot of the temporal analysis with a best fit line of the average accuracy
with DNN-AVGP architecture using FO observations (a) DNN-AVGP 1, (b) DNN-AVGP 2,
(c) DNN-AVGP 3; with MO (d) DNN-AVGP 1, (e) DNN-AVGP 2, (f) DNN-AVGP 3; with
SMO (g) DNN-AVGP 1, (h) DNN-AVGP 2, (i) DNN-AVGP 3. The model with FO and
MO observation types do not profit from the temporal context whereas one model with SMO
observation type profit from it
65
(a) (b) (c)
(d) (e) (f)
(g) (h) (i)
with CNN architecture using FO observations type (a) CNN 1, (b) CNN 2, (c) CNN 3; with
MO (d) CNN 1, (e) CNN 2, (f) CNN 3; with SMO (g) CNN 1, (h) CNN 2, (i) CNN 3. The
models with FO observation type do not profit from the temporal context whereas the models
with MO and SMO observation types profit from the temporal context or are less negatively
affected by it
66
(a) (b) (c)
(d) (e) (f)
(g) (h) (i)
with RNN architecture using FO observation type; with MO (d) RNN 1, (e) RNN 2, (f) RNN
3; with SMO (g) RNN 1, (h) RNN 2, (i) RNN 3. The models with FO and MO observation
types are barely affected by the temporal context whereas the model with SMO observation
type is positively affected by it
67
4.8 Conclusion
The objective of this paper was to explore the use of AI to translate data from sensors of
a forest operator machine to actions executed by operators in a DT context. The second
objective was to evaluate the effect of the temporal context to the accuracy of those models.
We used a simulator to create a virtual forest operation environment and provided data. We
showed that with our simulated data, the temporal context does not increase the accuracy, and
that it can even be reduced significantly for DNNs and CNNs. As for the RNNs the temporal
context barely affects the accuracy. When reducing the dimension of the input vector of our
models then the temporal context can be used for increasing the accuracy. This indicates that
we can still have reliable prediction at lower cost of equipment and that algorithmic power
can compensate a bit for the lack of input features into the data. To further our experiments
we could try other machine learning models such has support vector machines, K-nearest
neighbors and decision trees since the temporal context doesn’t have a large impact to the
accuracy.
68
Chapitre 5
Traduction d’observations en actions

des opérateurs à l’aide de modèles
d’intelligences artificielles autres que
l’apprentissage profond
Au chapitre 4, on a vu qu’il serait intéressant d’expérimenter d’autres algorithmes d’intelli-

gence machine. En effet, le contexte temporel ne semble pas jouer un rôle important dans la
détermination des actions des opérateurs, à partir des observations de types FO ce qui ouvre
la porte-a des modèles plus simple. Ce chapitre évalue des modèles d’intelligence artificielle,
qui ne sont pas de la famille de l’apprentissage profond, dans le but de déterminer si ceux-ci
peuvent résoudre le problème de traduction des observations en actions des opérateurs. Ces
modèles sont intéressants à investiguer, d’une part, parce qu’ils sont plus faciles et rapides à
entraîner que les modèles d’apprentissages profonds. D’autre part, parce qu’il est plus simple
de comprendre le raisonnement de la prise de décision de ces modèles que de ceux des ré-
seaux de neurones. Les modèles évalués dans ce chapitre sont les suivants : le modèle de N
plus proches voisins, le modèle d’arbre de décisions et le modèle de machine à vecteurs de
supports.
Afin de déterminer lequel de ces modèles offre la meilleure précision, une recherche d’hyper-
paramètres est effectuée avec une séparation des données tests et d’entraînements de 20%.
L’hyper-paramètre le plus significatif a été progressivement changé en effectuant 100 itéra-
tions sur chaque candidat tout en distribuant aléatoirement le jeu de données de tests et d’en-
traînements. Finalement, un graphique de la progression de ces hyper-paramètres est tracé,
afin d’évaluer les impacts et de déterminer les meilleurs hyper-paramètres. Dans ce chapitre,
les différents modèles et résultats des recherches d’hyper-paramètres sont présentés, puis le
chapitre est clos par une discussion.
69
5.1 K plus proche voisin
Le modèle K plus proche voisin ou "K nearest neighbor" en anglais (KNN) consiste à placer
dans un plan multidimensionnel les observations libellées qui représentent les actions de l’opé-
rateur. Ce modèle est non paramétrique, ce qui signifie qu’il ne nécessite pas d’entraînement.
Quand une nouvelle observation est présentée au modèle, ce modèle trouve les N observations
les plus proches et classifie l’observation selon un vote de l’action la plus représentée. Une
schématisation du modèle est présentée à la figure 5.1. Pour déterminer les N observations les
plus proches, une fonction de distance est sélectionné.
Figure 5.1 – Schéma d’un KNN
Selon la recherche en grille effectuée, la distance de Manhattan offre les meilleurs résultats.
Pour ce qui est du nombre de voisins N avec les observations de type FO, son impact est
présenté à la figure 5.2. On y observe que pour un seul voisin, on obtient une précision de
0.4751 ± 0.0001, où l’incertitude est l’écart type de la distribution. La courbe a atteint son pic
de performance à N = 11 voisins, avec une précision de 0.5101±0.0001. On arrive à un résultat
similaire avec l’observation de type MO présentée à la figure 5.3, à la différence que le pic de
performance de 0.50143 ± 0.0002 est à N = 17 voisins, mais avec une perte de performance
moins accentuée par la suite. Le début de courbe a une précision de 0.4601 ± 0.0001. Pour ce
qui est de ceux avec les observations de type SMO, présentées à la figure 5.4, les valeurs de
précisions sont significativement plus faibles que celui du modèle avec FO et MO. La meilleure
précision, 0.3475 ± 0.0001, est obtenue avec N = 41 voisins. De plus, ce modèle commence
avec une performance de 0.3215 ± 0.0001 et augmente jusqu’à la fin de la courbe. On remarque
que pour les trois types d’observation le nombre de voisins N n’a pas une grande influence sur
la précision des résultats, le plus grand écart est de 4%.
70
Figure 5.2 – La précision en fonction du nombre N de voisins, du jeu de données de tests selon les observations FO du modèle KNN
71
Figure 5.3 – La précision en fonction du nombre de voisins, du jeu de données de tests et selon les observations MO du modèle KNN
72
Figure 5.4 – La précision en fonction du nombre de voisins, du jeu de données de tests selon les observations SMO du modèle KNN
73
5.2 Arbre de décisions
Le modèle d’arbre de décisions permet de créer un graphe de condition qui permet la classi-
fication de données. Ses conditions ainsi que sa structure sont déterminées par l’algorithme
CART (Breiman et al., 2017) qui se sert de l’index de GINI G pour séparer les noeuds qui
représentent un sous-ensemble d’observations respectant une série de contraintes. L’index de
GINI est une mesure de la dispersion d’une distribution. Il se définit comme suit :
n
X
G=1− p2i = 1 − p2non − p2oui , (5.1)
i=0
où p représente la probabilité de l’occurrence d’une composante, n le nombre de possibilités

et p se divise en deux poui et pnon . L’algorithme CART procède au calcul de l’index de GINI
de chacune des composantes (par exemple la vitesse de l’excavatrice et l’angle de la cabine.)
Lorsqu’il s’agit de valeurs continues, ces valeurs sont ordonnées de manière décroissante et la
moyenne entre les paires de valeurs successives est calculée. Pour ce type de valeurs, les index
de GINI sont produits en évaluant les données ayant une valeur plus faible que les moyennes
calculées. Le jeu de données est ensuite divisé en deux selon la composante qui a le plus faible
index de GINI. La partie respectant la condition va d’un côté et la partie ne la respectant pas
va de l’autre. Ainsi, les branches qui font la liaison de ces nouveaux noeuds sont associées à
la condition relative au plus bas index de GINI. Cette opération continue jusqu’à ce qu’il ne
soit plus possible de séparer le jeu de données, ou lorsque le nombre de conditions maximales
est atteint. La figure 5.5 schématise un arbre de décision produit à l’aide de sklearn (Buitinck
et al., 2013).
Figure 5.5 – Exemple d’un arbre de décision produit par sklearn (Buitinck et al., 2013)
Pour les trois types d’observations présentées aux figures 5.6, 5.8 et 5.7, on voit la même
tendance, soit une augmentation qui semble exponentiel des résultats, jusqu’à l’atteinte d’un
plateau. Ce qui est le résultat attendu, car l’hyperparamètre modifié représente le nombre
maximal de conditions, ainsi, le modèle n’est pas obligé d’exploiter son maximum ou encore,
74
les conditions ajoutées deviennent inutiles. Les courbes d’entraînements suivent à peu près
les mêmes profiles que leur contrepartie de tests, tout en ayant des valeurs plus élevées et
des sommets plus éloignés. La précision maximale atteinte avec FO est de 0.7250 ± 0.0001
avec une possibilité de 29 conditions, celle en MO est de 0.6836 ± 0.0001 avec une possibilité
de 10 conditions et celle de SMO de 0.5754 ± 0.0001 avec une possibilité de 14 conditions.
En analysant les graphes produits par ces modèles, on remarque que pour FO et MO, la
condition des noeuds racines est relative à l’état de la main de préhension (ouverte, fermée)
alors que celle de SMO, est relative à la vitesse angulaire de la cabine. De plus, avec une seule
condition, on obtient des résultats significativement élevés, proche de 30%, pour les trois types
d’observation (FO, MO et SMO). Ceci renforce l’hypothèse du chapitre 4, que le statut de la
main de préhension pourrait être un paramètre très discriminant.
75
Figure 5.6 – La précision en fonction du nombre de conditions maximales, du jeu de données de tests et d’entraînements, selon les
observations FO pour un arbre de décisions
76
observations SMO pour un arbre de décisions
77
observations MO pour un arbre de décisions
78
5.3 Machine à vecteurs de support
Pour séparer les données à des fins de classification, le modèle SVM définit des hyperplans
qui délimitent les régions d’observations O associés à des actions des opérateurs. Comme
ces régions ne sont pas linéaires, un noyau est utilisé afin de rendre les limites de ces zones
plus flexibles (Russell and Norvig, 2009), ce qui est schématisé à la figure 5.9. L’entraîne-
ment consiste à définir les paramètres de ces hyperplans de manière à ce que les zones de
délimitations des actions soient représentatives des données d’entraînements, en définissant
un problème d’optimisation (Russell and Norvig, 2009). Les noyaux h utilisés dans l’expé-
rience sont : le noyau linéaire, le noyau polynomial, le noyau rbf et le noyau sigmoïde, qui se
retrouvent aux équations suivantes :
n−1
X
h(O) = oi × oi+1 (5.2)
i=0
n−1
X
h(O) = 1 + (oi × oi+1 )d (5.3)
i=0
n−1
X
h(O) = exp(−γ (oi − o2i+1 )) (5.4)
i=0
h(O) = tanh(γαO + c) (5.5)
Figure 5.9 – Schéma d’un SVM avec un noyau
Pour les modèles SVM, les résultats utilisant un noyau autre que celui polynomial sont beau-
coup plus faible, comme le montre les figures C.1, C.2 et C.3 dans l’annexe C. C’est pour
79
cette raison que l’analyse s’attarde uniquement sur les modèles ayant un noyau polynomial.
Pour la figure 5.10 avec les observations de type FO, au sommet de la courbe des résultats, se
retrouve un polynôme de degré 14 avec une précision 0.6932 ± 0.0001. Il y a augmentation de
la précision jusqu’à l’atteinte du sommet, suivi d’un faible plateau à 18 degrés et une chute
jusqu’à la fin de la courbe. Pour la figure 5.11 qui montre les observations MO, on obtient
la meilleure performance avec un noyau de 49 degrés pour une précision de 0.5322 ± 0.0001.
Cette courbe a un comportement différent de celui de FO, car elle continue d’augmenter la
précisons du modèle jusqu’à la fin de sa course et ralenti vers les 30 degrés. Pour le SVM avec
les observations SMO présentées à la figure 5.12, on remarque que la performance continue
d’augmenter de façon linéaire, jusqu’à la fin à 49 degrés. Par contre, les performances sont
moins élevées que celles avec MO et ceci avec un pic à 0.2835 ± 0.0001. En conclusion, on re-
marque qu’avec des polynômes de degré 0, on est capable, avec tous les types d’observations,
d’obtenir une précision autour de 20%. Notons aussi que la forme des courbes d’entraînements
est similaire à celle de tests, tout en ayant des valeurs plus élevées.
80
observations FO pour un SVM ayant un noyau polynomial
81
observations MO pour un SVM ayant un noyau polynomial
82
observations SMO pour un SVM ayant un noyau polynomial
83
5.4 Discussion
Le modèle d’arbre de décision qui se sert des observations FO est le meilleur modèle, dans la
mesure où il obtient les meilleurs résultats en test, est capable d’avoir une meilleure perfor-
mance que le DNN présenté au chapitre précédent et de plus, avec celui-ci, il est plus simple
d’interpréter les résultats qu’avec les autres modèles. Il est intéressant d’analyser la façon dont
les modèles classifient les actions. En effet, le KNN cherche des observations similaires afin de
classifier l’action. Pour sa part, le SVM crée des frontières de décision afin de déterminer l’ac-
tion relative à l’observation. L’arbre de décision, quant à lui, cherche des conditions relatives
à plusieurs composantes des observations, afin de classifier les actions. Il en résulte que l’arbre
de décision semble être formalisé de manière plus proche de la façon dont l’opérateur concep-
tualise ses actions, que les autres modèles. Cette manière de formaliser crée un effet miroir de
la manière dont les travailleurs cherchent des indices dans l’environnement afin d’exécuter des
schémas d’actions (Ovaskainen and Heikkilä, 2007). L’arbre de décision semble plus propice
à reproduire ce genre de raisonnement, en établissant un graphe de conditions, alors que les
deux autres modèles prennent des décisions selon une métrique de similitude d’observations.
Toutefois, le SVM a des résultats proches de celui de l’arbre de décision, pour ce qui est des
observations FO avec un écart de 3%. Par contre, avec MO l’écart est de 15% et de 29% pour
SMO, ce qui montre que la diminution de l’information envoyée aux modèles affecte plus le
SVM. Les résultats des meilleurs modèles selon le type d’observation est présenté au tableau
5.1 avec comme référence le résultat si la prédiction est effectuée aléatoirement.
Un plus grand ensemble d’actions, une plus grande quantité de données, un environnement
plus réaliste et un opérateur expérimenté aux commandes du simulateur pourraient pousser
les modèles d’apprentissages profonds, à mieux performer que l’arbre de décisions, connu, pour
être peu robuste (James et al., 2013). Bien que ce manque de robustesse ne soit pas observé,
il n’en demeure pas moins qu’il pourrait se manifester en se servant de données bonifiées.
84
Table 5.1 – Meilleur résultats des modèles présentés au chapitre 4 et 5
Modèle Meilleur résultat
Prédictions aléatoires 19.6 %
Arbre de décisions 72.5%
SVM 69.3%
DNN 61.0%
RNN 56.2%
KNN 51.0%
CNN 48.5%
SVM 53.2%
RNN 53.1%
KNN 50.1%
DNN 48.3%
CNN 46.2%
Simple Machine observation (SMO)
RNN 45.3%
DNN 42.0%
CNN 37.5%
KNN 34.8%
SVM 28.3%
5.5 Conclusion
Ce chapitre a présenté trois modèles d’intelligence artificielle : le modèle de N plus proches
voisins, le modèle d’arbre de décisions et le modèle de machine à vecteurs de supports. Ces
modèles ont été choisis, car il a été montré au chapitre précédent que l’aspect temporel n’avait
pas une grande influence sur la performance et que de surcroît ces modèles sont plus simples
à entrainer et faciles à interpréter. L’expérience a consisté à faire une recherche d’hyper-
paramètre afin de déterminer les meilleurs modèles. Il a été montré que le modèle d’arbre de
décision avec les observations de type FO fournisse la meilleure performance, suivi de près par
le SVM. Avec les autres types d’observation, l’arbre décision obtenait de loin les meilleures
performances en plus d’être le plus facile à interpréter. Par contre, comme le modèle d’arbre de
décision est connu pour être peu robuste, il est possible qu’avec une simulation plus complexe
que ce modèle ne soit pas le plus performant et que le modèle DNN ou RNN du chapitre 4
soit plus performant.
85
Conclusion
L’objectif de ce mémoire était de créer un jumeau numérique d’un système opérateur-machine,

ce qui fut possible sous la forme d’un prototype. Ce prototype fut créé en adaptant le logiciel
de simulation Vortex Studio (cmlabs, 2021) à l’aide de modules afin de répondre au besoin
d’un environnement d’exploitation forestier simplifié et d’acquisition de données. Afin de faire
les premiers pas dans la compréhension des intentions et actions des opérateurs des modèles
d’apprentissage machine qui se servent des données d’exploitation ont été évalué. Ce jumeau
numérique dans son aboutissement permettrait de bonifier les programmes de formation ou
d’assister les travailleurs dans leurs tâches. Cette assistance aiderait les opérateurs à être plus
productifs et à adopter de bonnes pratiques de travail.
Présentée au chapitre 1, une revue littérature a permis de définir et de documenter ce qu’est

un jumeau numérique, qui est un concept relativement nouveau prompt à plusieurs mauvaises
conceptions. Ce chapitre s’attarde aussi sur les différents types d’architectures de jumeaux
numériques qui peuvent faciliter l’adaptation de ce concept à la foresterie. La revue a également
permis d’analyser la manière selon laquelle les opérations peuvent être caractérisées, ainsi que
le genre de capteurs qui favorise leur modélisation.
Au chapitre 2, des modèles qui analysent les compétences de travailleurs spécialisés ont été
étudiés. Ces modèles permettent que d’une part, les liens soient formalisés entre les différentes
facettes du travail des opérateurs et que, d’autre part, l’analyse de leurs compétences se
fasse de manière automatique dans le but de leur donner des conseils, pour améliorer leurs
performances. Cette revue a montré l’importance de formaliser algorithmiquement, le travail
des opérateurs, afin de bien exploiter les modèles présentés : le CRM-DYMO, le WMC et le
VISUVER.
Le chapitre 3 détaille la création du prototype du jumeau numérique, basé sur le logiciel

Vortex Studio. Ce chapitre présente aussi les premiers modèles d’intelligence artificielle, soit
les modèles HMM, DNN, CNN et RNN. Plus précisément, le chapitre présente l’environnement
virtuel, l’excavatrice créée et la manière dont les prises de données ont été effectuées.
Le chapitre 4 montre les expérimentations et l’analyse des algorithmes d’intelligence artificielle

choisies au chapitre 3. Ces expériences permettent de déterminer l’impact de l’ajout d’infor-
86
mations temporelles, ainsi que le type de capteurs utilisés par l’excavatrice sur la précision des
modèles. Il en résulte qu’avec les observations de types "forest observation", qui consistent à
fournir des informations par rapport à la distance des arbres et aux membres de l’excavatrice,
que l’ajout d’informations temporelles via un DNN-AVG, CNN et RNN ne bénéficient pas aux
modèles. De plus, l’expérience a montré qu’en donnant moins d’informations aux réseaux avec
les observations de types "machine observation" et "simple machine observation" l’information
temporelle peut augmenter les performances sans dépasser celle de type "forest observation".
Au chapitre 5, nous avons exploré l’utilisation de modèles d’intelligence artificielle, qui ne sont
pas de la famille de l’apprentissage profond. Plus précisément, nous avons comparé les perfor-
mances des KNN, des arbres de décision et des SVM sur la tâche de traduire les observations
de l’opérateur en actions. Il en résulte que l’arbre de décision est le modèle ayant les meilleures
performances.
Les différents modèles créés permettent d’envisager l’utilisation de méthodes similaires à celles
présentées au chapitre 2 afin de planifier des stratégies d’opérations ou d’évaluer la perfor-
mance d’opérateurs. Maintenant, ayant une méthode pour créer un langage sémantique du
comportement de l’opérateur, qui peut être traduit de façon automatique, il est plus simple
de comprendre et de communiquer des actions de base, du travail des opérateurs forestiers.
Avec cette méthode, un modèle similaire au Crew Resources Management-DYnamic MOdel
serait capable de définir des procédures. Un modèle similaire au Work model that computes
pourrait définir des actions de base qui vont être les éléments des stratégies plus élaborées qui
définissent de longues périodes d’opération forestière. Un modèle similaire au VISUal VERi-
fying pourrait remplacer les mesures directes de capteurs, par des actions qui vont être les
noeuds de la machine à état et, ainsi, mieux capter les comportements.
La simulation de l’opérateur forestier mériterait d’être plus étoffée, en prenant en compte les
changements d’élévations, en ayant une meilleure physique pour les arbres, en gérant les piles
d’arbres. En bref, en créant une forêt réaliste, pour représenter plus fidèlement des opérations
forestières. De plus, travailler avec un opérateur expérimenté permettrait de créer des jeux de
données plus réalistes et de formuler des actions plus précises.
Au final, ce mémoire a permis de défricher le sujet du jumeau numérique en foresterie en

créant une preuve de concept. Il laisse l’opportunité à de futures expérimentations, de créer des
modèles et simulations qui vont permettre de caractériser de manière réaliste et automatique
le comportement des opérateurs forestiers.
87
Annexe A
Données du simulateur
Jeux de données de toutes les prises effectuée avec le simulateur.
Figure A.1 – Vitesse de la machine au fils du temps
88
Figure A.2 – Angle de la cabine de la machine au fils du temps
Figure A.3 – Vitesse angulaire de la cabine de la machine au fils du temps
89
Figure A.4 – Direction de la vitesse de la machine au fils du temps
Figure A.5 – État de la main de préhension au fils du temps
90
Figure A.6 – Extension du manche au fils du temps
91
(a) (b) (c)
(d) (e) (f)
(g) (h) (i)
(j)
Figure A.7 – La distance entre l’arbre 1,2,3...10 en ordre alphanumérique et la cabine au fils
du temps
92
Annexe B
Images complémentaires relatives au

simulateur
code B.1 – Schema du fichier JSON des données provenant du simulateur

{
" data " : [
{
" step " : int , // data of the step
" tree_ 1 " : [ float ; 3 ] , // position of the tree
" tree_ 2 " : [ float ; 3 ] ,
" tree_ 3 " : [ float ; 3 ] ,
" tree_ 4 " : [ float ; 3 ] ,
" tree_ 5 " : [ float ; 3 ] ,
" tree_ 6 " : [ float ; 3 ] ,
" tree_ 7 " : [ float ; 3 ] ,
" tree_ 8 " : [ float ; 3 ] ,
" tree_ 9 " : [ float ; 3 ] ,
" tree_ 1 0 " : [ float ; 3 ] ,
" position_excavator " : [ float ; 3 ] ,
" position_stick " : [ float ; 3 ] ,
" position_boom " : [ float ; 3 ] ,
" position_hand " : [ float ; 3 ] ,
" position_finger_ 1 " : [ float ; 3 ] ,
" position_finger_ 2 " : [ float ; 3 ] ,
" speed_excavator " : [ float ; 3 ] ,
" angular_speed_chassis " : float ,
" angular_pos_chassis " : float
}
93
...
],
" metadata " : {
" time_interval " : int ,
" unit_of_time " : string ,
" unit_of_distance " : string ,
" unit_of_angle " : string ,
" s t a r t i n g _ t i m e _ o f _ r e c o r d i n g _ u n i x " : float
}
}
code B.2 – Schema des fichier JSON du libelage des action de l’operateur
{
" data " : [
{
" to " : int , // step the behavior starts
" from " : int , // step the behavior and
" state " : State // as defined below
}
...
],
" metadata " : {
" number_of_interval " : int ,
" date_of_labeling " : float
}
}
94
Figure B.1 – Graphe de connections du module de contrôle
Figure B.2 – Graphe de connections du module de physique des arbres
95
Figure B.3 – Graphe de connections du module de visualisation
96
Annexe C
Précision du modèle de vecteur à

support de machine selon différent
noyau
Figure C.1 – La précision en fonction du noyau pour le test en haut et l’entraînement en bas
avec FO pour SVM
97
avec MO pour SVM
avec SMO pour SVM
98
Bibliographie
Eytan Bakshy, Lili Dworkin, Brian Karrer, Konstantin Kashin, Benjamin Letham, Ashwin
Murthy, and Shaun Singh. Ae : A domain-agnostic platform for adaptive experimentation.
2018.
Thomas Bauer, Pablo Oliveira Antonino, and Thomas Kuhn. Towards architecting digital
twin-pervaded systems. page 66–69, 2019. doi : 10.1109/SESoS/WDES.2019.00018.
Rolf Björheden. Basic time concepts for international comparisons of time study reports.
Journal of Forest Engineering, 2(2) :33–39, 1991. doi : 10.1080/08435243.1991.10702626.
URL https://doi.org/10.1080/08435243.1991.10702626.
Leo Breiman, Jerome H. Friedman, Richard A. Olshen, and Charles J. Stone. Classification
And Regression Trees. Routledge, October 2017. doi : 10.1201/9781315139470. URL https:
//doi.org/10.1201/9781315139470.
Lars Buitinck, Gilles Louppe, Mathieu Blondel, Fabian Pedregosa, Andreas Mueller, Olivier
Grisel, Vlad Niculae, Peter Prettenhofer, Alexandre Gramfort, Jaques Grobler, Robert Lay-
ton, Jake VanderPlas, Arnaud Joly, Brian Holt, and Gaël Varoquaux. API design for
machine learning software : experiences from the scikit-learn project. In ECML PKDD
Workshop : Languages for Data Mining and Machine Learning, pages 108–122, 2013.
Statistics Canada. Table 33-10-0301-01 measures taken to overcome skill shortages, by industry
and enterprise size. URL https://www150.statcan.gc.ca/t1/tbl1/en/tv.action?pid=
3310030101.
Kyunghyun Cho, Bart van Merrienboer, Dzmitry Bahdanau, and Yoshua Bengio. On the
properties of neural machine translation : Encoder-decoder approaches, 2014. URL https:
//arxiv.org/abs/1409.1259.
Junyoung Chung, Caglar Gulcehre, KyungHyun Cho, and Yoshua Bengio. Empirical eva-
luation of gated recurrent neural networks on sequence modeling, 2014. URL https:
//arxiv.org/abs/1412.3555.
cmlabs. Vortex studio. https://www.cm-labs.com/vortex-studio/, 2021. [Online ; accessed

2022-01-05].
Angelo Croatti, Matteo Gabellini, Sara Montagna, and Alessandro Ricci. On the Integration
of Agents and Digital Twins in Healthcare. JOURNAL OF MEDICAL SYSTEMS, 44(9),
AUG 4 2020. ISSN 0148-5598. doi : {10.1007/s10916-020-01623-5}.
Zhicheng Cui, Wenlin Chen, and Yixin Chen. Multi-scale convolutional neural networks for
time series classification, 2016.
99
Ulrich Dahmen, Tobias Osterloh, and J. Rossmann. Operational modeling for digital twins
using the formal simulation model configuration framework. International journal of simu-
lation : systems, science & technology, 12 2019. doi : 10.5013/IJSSST.a.20.06.07.
Tim Delbrügger, Matthias Meißner, Andreas Wirtz, Dirk Biermann, J.M.A. Myrzik,
J. Rossmann, and Petra Wiederkehr. Multi-level simulation concept for multidisciplinary
analysis and optimization of production systems. The International Journal of Advanced
Manufacturing Technology, 103, 08 2019. doi : 10.1007/s00170-019-03722-1. URL https:
//www.researchgate.net/publication/333090470_Multi-level_simulation_concept_
for_multidisciplinary_analysis_and_optimization_of_production_systems.
B. Dhillon. Human Reliability, Error, and Human Factors in Engineering Maintenance. 2009.
URL https://www-taylorfrancis-com.acces.bibl.ulaval.ca/books/9780429075476.
Mattias Eriksson and Ola Lindroos. Productivity of harvesters and forwarders in ctl opera-
tions in northern sweden based on large follow-up datasets. International Journal of Forest
Engineering, 25, 09 2014. doi : 10.1080/14942119.2014.974309.
Jing Fan, Tianyang Dong, Xinxin Guan, and Ying Tang. A rapid simulation system for decision
making in intelligent forest management. IEEE Intelligent Systems, 28(5) :2–9, Sep. 2013.
ISSN 1941-1294. doi : 10.1109/MIS.2014.1.
Yan Feng and Jean-François Audy. Forestry 4.0 : a framework for the forest supply chain
toward industry 4.0. Gestão & Produção, 27(4), 2020. doi : 10.1590/0104-530x5677-20.
URL https://doi.org/10.1590/0104-530x5677-20.
Alberto Fernández-Isabel, Paulo Peixoto, Isaac Martín de Diego, Cristina Conde, and Enrique
Cabello. Combining dynamic finite state machines and text-based similarities to represent
human behavior. Engineering Applications of Artificial Intelligence, 85 :504 – 516, 2019.
ISSN 0952-1976. doi : 10.1016/j.engappai.2019.07.006. URL http://www.sciencedirect.
com/science/article/pii/S0952197619301708.
Patrik Flisberg, Mikael Rönnqvist, Erik Willén, Mikael Frisk, and Gustav Friberg. Spa-
tial optimization of ground-based primary extraction routes using the bestway decision
support system. Canadian Journal of Forest Research, 51(5) :675–691, 2021. doi :
10.1139/cjfr-2020-0238. URL https://doi.org/10.1139/cjfr-2020-0238.
FORAC. Forac. https://www.forac.ulaval.ca/.
FreeCAD. Freecad, 2022. URL https://www.freecadweb.org/.
A. Fuller, Z. Fan, C. Day, and C. Barlow. Digital twin : Enabling technologies, challenges
and open research. IEEE Access, 8 :108952–108971, 2020. ISSN 2169-3536. doi : 10.1109/
ACCESS.2020.2998358.
100
S. Gahlot, S. R. N. Reddy, and D. Kumar. Review of smart health monitoring approaches
with survey analysis and proposed framework. IEEE Internet of Things Journal, 6(2) :
2116–2127, April 2019. ISSN 2327-4662. doi : 10.1109/JIOT.2018.2872389.
Yunhao Ge, Yao Xiao, Zhi Xu, Meng Zheng, Srikrishna Karanam, Terrence Chen, Laurent
Itti, and Ziyan Wu. A peek into the reasoning of neural networks : Interpreting with
structural visual concepts. In 2021 IEEE/CVF Conference on Computer Vision and Pattern
Recognition (CVPR), pages 2195–2204, 2021. doi : 10.1109/CVPR46437.2021.00223.
Marlene Gebhard, Michael Schluse, Martin Hoppen, and J. Rossmann. Annals of Scientific
Society for Assembly, Handling and Industrial Robotics, chapter A multi-domain networ-
king infrastructure enabling the situation-specific choreography of decentralized things,
pages 127–137. 07 2020. ISBN 978-3-662-61754-0. doi : 10.1007/978-3-662-61755-7_12.
URL https://www.researchgate.net/publication/343086693_A_multi-domain_
networking_infrastructure_enabling_the_situation-specific_choreography_of_
decentralized_things.
Lim Geomatics. Lim geomatics and fpinnovations fpdat ii and fptrak. URL https://www.
limgeomatics.com/fpsuite/.
Mezzour Ghita, Benhadou Siham, and Medromi Hicham. Digital twins development architec-
tures and deployment technologies : Moroccan use case. International Journal of Advanced
Computer Science and Applications, 11(2) :468–478, 2020. doi : 10.14569/IJACSA.2020.
0110260. URL http://dx.doi.org/10.14569/IJACSA.2020.0110260.
Gouvernement du Canada. How does the forest sector contribute to canada’s economy ?,
Dec 2020. URL https://www.nrcan.gc.ca/our-natural-resources/forests-forestry/
state-canadas-forests-report/forest-industry-contribute/16517.
Vladimir Hahanov. Cyber physical computing for iot-driven services, 2018. URL
https://search.ebscohost.com/login.aspx?direct=true&scope=site&db=nlebk&
db=nlabk&AN=1698961.
Tero Heinonen and Timo Pukkala. The use of cellular automaton approach in forest planning.
Canadian Journal of Forest Research, 37(11) :2188–2200, 2007. doi : 10.1139/X07-073. URL
https://doi.org/10.1139/X07-073.
Mario Hermann, Tobias Pentek, and Boris Otto. Design principles for industrie 4.0 scenarios :
A literature review. 01 2015. doi : 10.13140/RG.2.2.29269.22248.
Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network,
2015. URL https://arxiv.org/abs/1503.02531.
101
Geoffrey E. Hinton, Nitish Srivastava, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhut-
dinov. Improving neural networks by preventing co-adaptation of feature detectors. CoRR,
abs/1207.0580, 2012. URL http://arxiv.org/abs/1207.0580.
Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural Comput., 9(8) :
1735–1780, nov 1997. ISSN 0899-7667. doi : 10.1162/neco.1997.9.8.1735. URL https:
//doi.org/10.1162/neco.1997.9.8.1735.
Carola Häggström and Ola Lindroos. Human, technology, organization and environment –
a human factors perspective on performance in forest harvesting. International Journal
of Forest Engineering, 27(2) :67–78, 2016. doi : 10.1080/14942119.2016.1170495. URL
https://doi.org/10.1080/14942119.2016.1170495.
Carola Häggström, Martin Englund, and Ola Lindroos. Examining the gaze behaviors of
harvester operators : an eye-tracking study. International Journal of Forest Engineering, 26
(2) :96–113, 2015. doi : 10.1080/14942119.2015.1075793. URL https://doi.org/10.1080/
14942119.2015.1075793.
IEEE. IEEE. https://ieeexplore.ieee.org/Xplore/home.jsp.
Bramm Research Inc. 2020 canadian contractor survey -final report-. Technical report, June
2020.
Sergey Ioffe and Christian Szegedy. Batch normalization : Accelerating deep network training
by reducing internal covariate shift. CoRR, abs/1502.03167, 2015. URL http://arxiv.
org/abs/1502.03167.
Gareth James, Daniela Witten, Trevor Hastie, and Robert Tibshirani. Tree-based methods.
In Springer Texts in Statistics, Springer texts in statistics, pages 303–335. Springer New
York, New York, NY, 2013.
Jim Ketterling, Cory Coneybeare, Joel Taylor, and Afrequip. Home, Jan 2022. URL https:
//forestliaison.com/.
Yoon Kim. Convolutional neural networks for sentence classification, 2014.
H. Laaki, Y. Miche, and K. Tammi. Prototyping a digital twin for real time remote control
over mobile networks : Application of remote surgery. IEEE Access, 7 :20325–20336, 2019.
ISSN 2169-3536. doi : 10.1109/ACCESS.2019.2897018.
Richard Liaw, Eric Liang, Robert Nishihara, Philipp Moritz, Joseph E Gonzalez, and Ion
Stoica. Tune : A research platform for distributed model selection and training. arXiv
preprint arXiv :1807.05118, 2018.
102
Piotr Lijewski, Jerzy Merkisz, Paweł Fuć, Andrzej Ziółkowski, Łukasz Rymaniak, and Wła-
dysław Kusiak. Fuel consumption and exhaust emissions in the process of mechanized
timber extraction and transport. European Journal of Forest Research, 136(1) :153–160,
Feb 2017. ISSN 1612-4677. doi : 10.1007/s10342-016-1015-2. URL https://doi.org/10.
1007/s10342-016-1015-2.
Mengnan Liu, Shuiliang Fang, Huiyue Dong, and Cunzhi Xu. Review of digital twin about
concepts, technologies, and industrial applications. Journal of Manufacturing Systems,
58 :346–361, 2021a. ISSN 0278-6125. doi : https://doi.org/10.1016/j.jmsy.2020.06.017.
URL https://www.sciencedirect.com/science/article/pii/S0278612520301072. Di-
gital Twin towards Smart Manufacturing and Industry 4.0.
Zhenyu Liu, Hui Liu, Weiqiang Jia, Donghao Zhang, and Jianrong Tan. A multi-head neu-
ral network with unsymmetrical constraints for remaining useful life prediction. Advanced
Engineering Informatics, 50, 2021b. ISSN 1474-0346. doi : 10.1016/j.aei.2021.101396. URL
https://doi.org/10.1016/j.aei.2021.101396.
Sebastien Mamessier and Karen Feigh. Simulating the impact of mental models on human
automation interaction in aviation. In Vincent G. Duffy, editor, Digital Human Modeling and
Applications in Health, Safety, Ergonomics, and Risk Management. Healthcare and Safety
of the Environment and Transport, pages 61–69, Berlin, Heidelberg, 2013. Springer Berlin
Heidelberg. ISBN 978-3-642-39173-6.
Jussi Manner, Simon Berg, Martin Englund, Back Tomas Ersson, and Anders Mörk. Innova-
tive productivity improvements in forest operations : a comparative study of the assortment
grapple using a machine simulator. Journal of Forest Science, 66(No. 11) :443–451, Novem-
ber 2020. doi : 10.17221/104/2020-jfs. URL https://doi.org/10.17221/104/2020-jfs.
Heikki Mansikka, Don Harris, and Kai Virtanen. Pilot competencies as components of a
dynamic human-machine system. Human Factors and Ergonomics in Manufacturing &
Service Industries, 29(6) :466–477, 2019. doi : 10.1002/hfm.20809.
Andrea Martino, Giuseppina Guatteri, and Anna Maria Paganoni. Hidden markov models for
multivariate functional data. Statistics and Probability Letters, 167, 2020. ISSN 0167-7152.
doi : 10.1016/j.spl.2020.108917. URL https://doi.org/10.1016/j.spl.2020.108917.
Lari Melander and Risto Ritala. Separating the impact of work environment and machine
operation on harvester performance. European Journal of Forest Research, 139(6) :1029–
1043, Dec 2020. ISSN 1612-4677. doi : 10.1007/s10342-020-01304-5. URL https://doi.
org/10.1007/s10342-020-01304-5.
Tsega Y. Melesse, Valentina Di Pasquale, and Stefano Riemma. Digital twin models in in-
dustrial operations : State-of-the-art and future research directions. IET Collaborative In-
103
telligent Manufacturing, 3(1) :37–47, 2021. doi : https://doi.org/10.1049/cim2.12010. URL
https://ietresearch.onlinelibrary.wiley.com/doi/abs/10.1049/cim2.12010.
Metsään.fi. Forest inventory program in finland. https://storymaps.arcgis.com/stories/

19ae99f8f3594fde82dc7a9be4a89335, May 2021.
NASA. Tlx @ nasa ames - home, 2020. URL https://humansystems.arc.nasa.gov/groups/

TLX/.
Loc Nguyen. Continuous observation hidden markov model. Revista Kasmera, 44 :65–149, 06
2016.
Heikki Ovaskainen and Maria Heikkilä. Visuospatial cognitive abilities in cut-to-length

single-grip timber harvester work. International Journal of Industrial Ergonomics, 37
(9) :771 – 780, 2007. ISSN 0169-8141. doi : 10.1016/j.ergon.2007.06.004. URL http:
//www.sciencedirect.com/science/article/pii/S0169814107001114.
Heikki Ovaskainen, Jori Uusitalo, and Kari Väätäinen. Characteristics and significance of a
harvester operators’ working technique in thinnings. International Journal of Forest Engi-
neering, 15(2) :67–77, 2004. doi : 10.1080/14942119.2004.10702498.
Marco Pellegrini, Pierre Ackerman, and Raffaele Cavalli. On-board computing in forest ma-
chinery as a tool to improve skidding operations in south african softwood sawtimber
operations. Southern Forests : a Journal of Forest Science, 75(2) :89–96, 2013. doi :
10.2989/20702620.2013.785107.
A. R. Pritchett and K. M. Feigh. Simulating first-principles models of situated human per-

formance. In 2011 IEEE International Multi-Disciplinary Conference on Cognitive Methods
in Situation Awareness and Decision Support (CogSIMA), pages 144–151, Feb 2011. doi :
10.1109/COGSIMA.2011.5753433.
F. Thomas Purfürst and Jörn Erler. The human influence on productivity in harves-
ter operations. International Journal of Forest Engineering, 22(2) :15–22, 2011. doi :
10.1080/14942119.2011.10702606.
Thomas Purfürst. Learning curves of harvester operators. Croatian Journal of Forest Engi-
neering, 32, 12 2010.
L. R. Rabiner. A tutorial on hidden markov models and selected applications in speech

recognition. Proceedings of the IEEE, 77(2) :257–286, 1989. ISSN 0018-9219. 257.
Stuart Russell and Peter Norvig. Artificial intelligence. Pearson, Upper Saddle River, NJ, 3
edition, December 2009.
Science Direct. Science direct. https://www.sciencedirect.com/.
104
Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi
Parikh, and Dhruv Batra. Grad-cam : Visual explanations from deep networks via gradient-
based localization. In 2017 IEEE International Conference on Computer Vision (ICCV),
pages 618–626, 2017. doi : 10.1109/ICCV.2017.74.
Skogforsk. Auto 2 : Regulatory framework for autonomous terrain transports,

2020. URL https://www.skogforsk.se/cd_20201208152248/contentassets/
9e2eb00addfa40aaa393aa100de0d253/arbetsrapport-1062-2020.pdf.
Skogforsk. Stanford, 2021. URL https://www.skogforsk.se/english/projects/stanford/.
Jiazhi Song and Inna Sharf. Time optimal motion planning with zmp stability constraint for
timber manipulation. In 2020 IEEE International Conference on Robotics and Automation
(ICRA), pages 4934–4940, May 2020. doi : 10.1109/ICRA40945.2020.9196836.
Raffaele Spinelli, Natascia Magagnotti, and Eric R. Labelle. The effect of new silvicultural
trends on mental workload of harvester operators. Croatian journal of forest engineering, 41
(2) :177–190, April 2020. doi : 10.5552/crojfe.2020.747. URL https://doi.org/10.5552/
crojfe.2020.747.
Tae Kyung Sung. Industry 4.0 : A Korea perspective. Technological Forecasting and Social
Change, 132 :40–45, July 2018. doi : 10.1016/j.techfore.2017.11.005. URL https://doi.
org/10.1016/j.techfore.2017.11.005.
Bryan-Elliott Tam. forestry operator digital twin. https://gitlab.com/

forestry-operator-digital-twin, 2022a.
Bryan-Elliott Tam. AI model. https://gitlab.com/forestry-operator-digital-twin/

notebook, 2022b.
Bryan-Elliott Tam. Operator advisor. https://gitlab.com/

forestry-operator-digital-twin/operator-advisor, 2022c.
Bryan-Elliott Tam. Operator twin. https://gitlab.com/

forestry-operator-digital-twin/simulator, 2022d.
Bryan-Elliott Tam. Raw data. https://gitlab.com/forestry-operator-digital-twin/

data, 2022e.
Bryan-Elliott Tam. Simulator. https://gitlab.com/forestry-operator-digital-twin/

simulator, 2022f.
Jean-François Tremblay, Martin Béland, Richard Gagnon, François Pomerleau, and Philippe
Giguère. Automatic three-dimensional mapping for tree diameter measurements in inventory
operations. Journal of Field Robotics, 37(8) :1328–1346, 2020. doi : https://doi.org/10.1002/
rob.21980. URL https://onlinelibrary.wiley.com/doi/abs/10.1002/rob.21980.
105
Université Laval. Sofian. https://ulaval.on.worldcat.org/discovery?lang=fr, 2021.
Ewout van den Berg, Bhuvana Ramabhadran, and Michael Picheny. Training variance and
performance evaluation of neural networks in speech. CoRR, abs/1606.04521, 2016. URL
http://arxiv.org/abs/1606.04521.
D. van Kuppevelt, C. Meijer, F. Huber, A. van der Ploeg, S. Georgievska, and V.T. van
Hees. Mcfly : Automated deep learning on time series. SoftwareX, 12 :100548, 2020.
ISSN 2352-7110. doi : https://doi.org/10.1016/j.softx.2020.100548. URL https://www.
sciencedirect.com/science/article/pii/S2352711019300202.
P. Vanysek. From the editor : Industry 4.0. Interface magazine, 25(2) :3–4, January 2016.
doi : 10.1149/2.001162if. URL https://doi.org/10.1149/2.001162if.
Samantha M.W. Wood and Justin N. Wood. Using automation to combat the replication
crisis : A case study from controlled-rearing studies of newborn chicks. Infant Behavior and
Development, 57 :101329, 2019. ISSN 0163-6383. doi : 10.1016/j.infbeh.2019.101329. URL
http://www.sciencedirect.com/science/article/pii/S0163638318301437.
Zhengzheng Xing, Jian Pei, and Eamonn Keogh. A brief survey on sequence classification.
SIGKDD Explor. Newsl., 12(1) :40–48, nov 2010. ISSN 1931-0145. doi : 10.1145/1882471.
1882478. URL https://doi.org/10.1145/1882471.1882478.
Aston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smola. Dive into deep learning.
arXiv preprint arXiv :2106.11342, 2021. URL https://d2l.ai/.
106

Jumeau Numérique (Digital Twin) Pour La Formation Et Le Suivi de Performance D'opérateurs de Machineries Lourdes

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Jumeau Numérique (Digital Twin) Pour La Formation Et Le Suivi de Performance D'opérateurs de Machineries Lourdes

Transféré par

Droits d'auteur :

Formats disponibles

Jumeau numérique (digital twin) pour la formation et le

suivi de performance d'opérateurs de machineries

Maîtrise en informatique - avec mémoire

© Bryan-Elliott Tam, 2022

Sous la direction de:

Thierry Eude, directeur de recherche

Table des matières iv

Liste des tableaux vii

Liste des figures viii

Liste des codes xi

Liste des abréviations xii

2 Cadre d’analyse du comportement des travailleurs spécialisés par rap-

3 Méthodologie expérimentale et prototype du jumeau numérique 28

4 Temporal context analysis of machine learning model for digital twin

B Images complémentaires relatives au simulateur 93

C Précision du modèle de vecteur à support de machine selon différent

3.1 Actions que peuvent effectuer les opérateurs . . . . . . . . . . . . . . . . . . . . 35

4.1 Action of the operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

5.1 Meilleur résultats des modèles présentés au chapitre 4 et 5 . . . . . . . . . . . . 85

1.1 Digital twin of a forest machine operator presented as a block diagram . . . . . 7

2.1 Schéma du modèle CRM-DYNO inspiré de Mansikka et al. (2019) . . . . . . . 22

3.1 Environnement de simulation, contenant la forêt, la zone de dépôt ainsi que

5.1 Schéma d’un KNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

A.1 Vitesse de la machine au fils du temps . . . . . . . . . . . . . . . . . . . . . . . 88

B.1 Graphe de connections du module de contrôle . . . . . . . . . . . . . . . . . . . 95

C.1 La précision en fonction du noyau pour le test en haut et l’entraînement en bas

B.1 Schema du fichier JSON des données provenant du simulateur . . . . . . . . 93

DNN : Dense neural network (Réseau de neurone dense)

HMM : Hidden Markov model (Modèle de Markov caché)

RNN : Recurrent neural network (Réseau de neurones récurrents)

LSTM : Long short-term memory (Longue mémoire à court terme)

GRU : Gated recurrent unit (Unité récurrente fermée)

DT : Digital twin (Jumeau numérique)

AI : Artificial intelligence (Intelligence artificielle)

CRM-DYMO : Crew Resources Management-DYnamic MOdel (Modèle dynamique de ges-

WMC : Work model that computes (Modèle computationnel de travail )

VISUVER : VISUal VERifying (Modèle de verification visuel )

CAO : Conception assistée par ordinateur

KNN : K nearest neighbors (K plus proche voisin)

SVM : Support vector machine (Machine à vecteurs de support)

René Descartes, Discours de la

L’industrie forestière pourrait grandement bénéficier des promesses et réalisations de l’indus-

Towards a digital twin to improve the

Machine-operator systems are complex to model because it is difficult to produce a formalism

It is believed that differences originate from the operators cutting techniques,

1.5 Responses to the research questions

Defining the digital twin

It is necessary to understand semantics and formalize the problem in a mathematical language

Data acquisition for the operator’s status

The objective of simulations is to advise operators to behave in a way to optimize production

General types of digital twin architecture

Component-based digital twin architecture

Process-based digital twin architecture

Which architecture for the operator-machine twin?

1.5.4 Q4: How should the interconnection of multiple simulations of a

Delbrügger et al. (2019) discussed a method to manage multiple multidisciplinary simulations

⃗x(t + dt) = A(S, ⃗x(t),t) (1.1)

Comparing both approaches

Figure 1.3 – Conceptual schematic of a digital twin

Cadre d’analyse du comportement des

2.1 Crew Resources Management-DYnamic MOdel

Figure 2.1 – Schéma du modèle CRM-DYNO inspiré de Mansikka et al. (2019)

2.2 Work Model that Computes