Les approches récursifs

I. L'algorithme des moindres carrés récursifs

L'algorithme des moindres carrés récursifs (Recursive Least Squares - RLS) est une méthode
qui permet d'ajuster un modèle aux données de manière récursive, c'est-à-dire en mettant à jour
les paramètres du modèle à chaque nouvelle observation. Cette approche est souvent utilisée
dans le contexte de l'identification de systèmes.
Considérons un modèle linéaire de la forme :
y=Xβ+ε
Où:
-y est le vecteur des observations,
- X est la matrice des caractéristiques,
- β est le vecteur des coefficients du modèle,
- ε est le vecteur des erreurs.
L'objectif est de minimiser la somme des carrés des erreurs, c'est-à-dire de résoudre le problème
des moindres carrés :
min ‖y - Xβ‖ 22
L'algorithme des moindres carrés récursifs met à jour les coefficients du modèle à chaque
nouvelle observation. Voici les étapes de l'algorithme RLS :

1. Initialisation
Initialisez les paramètres du modèle, y compris les coefficients β et la matrice de covariance
P.
𝛽0= 0
𝑃0 = 𝜆−1I
Où λ est un paramètre de régularisation et I est la matrice identité.
2. Mise à jour récursive
- Pour chaque nouvelle observation 𝑥𝑛+1 𝑒𝑡 𝑦𝑛+1 , calculez les gains 𝐾𝑛+1 et mettez à jour les
coefficients 𝛽et la matrice de covariance P selon les formules suivantes :
𝑇
𝑘𝑛+1 = 𝑃𝑛 𝑥𝑛+1 /(1 + 𝑥𝑛+1 𝑃𝑛 𝑥𝑛+1 )
𝑇
𝛽𝑛+1 = 𝛽𝑛 + 𝐾𝑛+1 /(𝑦𝑛+1 − 𝑥𝑛+1 𝛽𝑛 )
𝑇
𝑃𝑛+1 = (𝑃𝑛 − 𝑘𝑛+1 𝑥𝑛+1 𝑃𝑛 )/λ
 où 𝐾𝑛+1 est le gain de Kalman, 𝑃𝑛+1est la matrice de covariance mise à jour, et λ est un
paramètre de régularisation.
3. Prédiction :
Utilisez le modèle mis à jour pour effectuer des prédictions sur de nouvelles observations.
4. Répétition
Répétez les étapes 2 et 3 pour chaque nouvelle observation.
L'algorithme des moindres carrés récursifs est particulièrement utile dans les applications où
les données sont générées séquentiellement, comme dans le suivi en temps réel ou
l'identification en ligne de systèmes dynamiques. Il permet d'ajuster le modèle de manière
efficace à mesure que de nouvelles observations deviennent disponibles.

II. L'algorithme du gradient

L'algorithme du gradient est souvent utilisé pour l'optimisation, y compris dans le contexte de
l'identification de systèmes. Lorsqu'il s'agit d'identification de systèmes, l'objectif est souvent
de trouver les paramètres du modèle qui minimisent une fonction de coût, généralement basée
sur la différence entre les sorties du modèle et les observations réelles.
Voici comment peut appliquer l'algorithme du gradient de manière récursive dans le contexte
de l'identification de systèmes.
Supposons un modèle paramétrique de la forme :
y = f(x;θ) + ε
où :
- y est la sortie du système,
- x est le vecteur d'entrée,
- θ est le vecteur des paramètres du modèle,
- ε est le terme d'erreur.
L'objectif est de minimiser une fonction de coût J(θ) qui mesure la différence entre les sorties
prédites par le modèle et les observations réelles.
L'algorithme du gradient consiste à mettre à jour itérativement les paramètres du modèle dans
la direction opposée au gradient de la fonction de coût. La mise à jour des paramètres est
effectuée selon la formule :
𝜃𝑛+1 = 𝜃𝑛 -𝛼∇ J(𝜃𝑛 )
où :
- 𝜃𝑛+1 sont les nouveaux paramètres,
- 𝜃𝑛 sont les anciens paramètres,
- 𝛼 est le taux d'apprentissage,
- ∇ J(𝜃𝑛 )est le gradient de la fonction de coût par rapport aux paramètres.
La mise à jour récursive peut être effectuée à chaque nouvelle observation. À chaque étape, le
gradient est calculé en fonction de la nouvelle observation, et les paramètres sont ajustés en
conséquence.
Il est important de noter que le choix du taux d'apprentissage (\( \alpha \)) est crucial. Un taux
d'apprentissage trop élevé peut entraîner une divergence, tandis qu'un taux d'apprentissage trop
faible peut ralentir la convergence. Il peut également être nécessaire d'ajuster le modèle pour
prendre en compte des caractéristiques spécifiques du système que vous identifiez.

Conclusion
En résumé, l'algorithme du gradient peut être utilisé de manière récursive pour ajuster les
paramètres d'un modèle dans le contexte de l'identification de systèmes. La principale mise à
jour des paramètres est basée sur le gradient de la fonction de coût par rapport aux paramètres
du modèle. L'algorithme des moindres carrés récursifs est particulièrement utile dans les
applications où les données sont générées séquentiellement, comme dans le suivi en temps réel
ou l'identification en ligne de systèmes dynamiques. Il permet d'ajuster le modèle de manière
efficace à mesure que de nouvelles observations deviennent disponibles.