Machine Translated by Google

Apprentissage par renforcement avec MATLAB

Pr Rifat Sipahi
Pr Mohammad Dehghani
Sahil Belsare
Machine Translated by Google

Apprentissage par renforcement avec MATLAB

Bienvenue dans l'apprentissage par renforcement avec les modules MATLABÿ! Ces directives fourniront des détails
sur la configuration et l'accès au logiciel requis pour ce laboratoire. Parallèlement à cela, une liste de ressources
utiles, de documentations et de formations MATLAB en ligne est fournie pour perfectionner vos compétences
MATLAB. Veuillez parcourir ce document pour comprendre la structure du laboratoire.

Table des matières

Comprendre la structure du laboratoire .................................................. .................................................. ......... ......

Documentation ................................................ ...... .................................................. ... ..............................

Série Laboratoire .................................................. .................................................. ......... .............................................

Page 1 sur 6
Machine Translated by Google
`

Apprentissage par renforcement avec MATLAB

Comprendre la structure du laboratoire

Cette section donne un aperçu général de la structure du laboratoire. Il est divisé en 4 étapes. Chaque étape est
construite au-dessus de la précédente. À l'étape 1, nous commençons par apprendre les concepts RL en codant
manuellement le problème RL. Plus tard, nous verrons comment la même chose peut être faite en utilisant les
fonctions disponibles dans la boîte à outils MathWorks RL. Dans l'étape 2, nous traitons des environnements
complexes et apprenons comment les agents de Deep Learning sont modélisés et formés. De plus, nous voyons
comment créer un environnement personnalisé dans MATLAB. Essentiellement, nous développons un Gym
comme l'environnement de notre problème. L'étape 3 nous présente Simulink. Nous développons des
environnements à l'aide de blocs Simulink RL. L'étape 4 nous amène à des environnements supplémentaires de
problèmes de génie mécanique et industriel, que nous allons construire en utilisant les concepts enseignés précédemment.

Page 2 sur 6
Machine Translated by Google
`

Apprentissage par renforcement avec MATLAB

modules:

organiser module Taper Commentaire

MDP simple avec Qlearning manuel Ouvrez le fichier Template_MDP_MATLAB

agents Module de classe l'environnement d'abord

1 MDP simple avec MATLAB Q-learning Class Module Ouvrez d'abord le fichier MDP_Train_MATLAB
Gridworld avec SARSA mission
Formuler MDP pour des problèmes donnés mission

Gridworld stochastique avec DQN Module de classe Ouvrir le fichier StochasticGridworld

Explication
Limites des agents tabulaires Doc
deux

Cart-Pôle personnalisé avec DQN Module de classe Ouvrez le fichier CartPole_DQN

Devoir - Explorer l'application de formation RL
Tracer des courbes de récompense avec différents epp,
valeurs gamma et q initiales mission

3 Contrôler le modèle thermique d'une maison

à l'aide d'un agent DDPG Module de classe Ouvrez le fichier ddpg_live(new)

robot marcheur Module de classe Ouvrir le fichier rlWalkingBipedRobot

4
Gestion de portefeuille Module de classe Ouvrir le fichier Gestion de portefeuille

Documentation

1. Introduction

Une brève information sur les fonctionnalités disponibles dans la boîte à outils MathWorks RL peut être trouvée
en visitant la page d'accueil de la boîte à outils RL (Lien).

2. Documentation de la boîte à outils RL

Les documents mentionnés ci-dessous seront référencés tout au long des modules. Veuillez visiter ce lien pour en
savoir plus sur la liste des fonctions de la boîte à outils RL.

Assurez-vous également de télécharger les fichiers PDF.

3. Autres ressources disponibles

Le tableau ci-dessous vous fournit une liste de formations en ligne accessibles sur le site Web de MathWorks. Les formations
sont accessibles une fois que vous avez créé un compte en utilisant vos informations d'identification universitaires. Veuillez
visiter ce lien ou contacter votre TA si vous avez des questions concernant ce processus.

Page 3 sur 6
Machine Translated by Google
`

Apprentissage par renforcement avec MATLAB

cours La description lien

MATLAB Fundamentals Introduction à l'analyse de données, à la visualisation, lien

Modélisation et programmation
Aucune expérience MATLAB préalable requise.

Apprentissage par renforcement Introduction à l'apprentissage par renforcement lien

bretelle

Prérequis – Fondamentaux MATLAB

Simulink Onramp Créez, modifiez et simulez des modèles dans Simulink. lien

Prérequis – Fondamentaux MATLAB

Apprentissage en profondeur Introduction interactive aux méthodes pratiques d'apprentissage en lien

profondeur pour la reconnaissance d'images

Prérequis – Fondamentaux MATLAB

apprentissage en profondeur avec Théorie et pratique de la construction de réseaux de lien

MATLAB neurones profonds avec des données d'images et de séquences réelles.

Prérequis – MATLAB Fundamentals et Deel Learning Onramp

Laboratoire Série

Le flux de processus

Avant de commencer les travaux pratiques, commençons par comprendre la structure du code. La figure ci-dessous explique
brièvement les étapes de la formulation d'un problème RL dans MATLAB. Chaque étape est accompagnée d'un certain ensemble de
tâches. Au fur et à mesure que vous parcourez les codes de laboratoire, vous constaterez que chaque laboratoire est divisé dans la section
mentionnée dans la figure.

ÿ L'ossature
Chaque module suit une structure basée sur les problèmes. Cela signifie que chaque problème RL est
enseigné dans la structure suivante.

Page 4 sur 6
Machine Translated by Google
`

Apprentissage par renforcement avec MATLAB

Figure 1 : flux de processus pour développer un code de problème RL

ÿ Modules d'enseignement par étapes

• Garantit que les étudiants ayant peu ou pas d'expérience en RL ou MATLAB peuvent résoudre le RL de base
problèmes.
• Augmentation linéaire du niveau de difficulté en termes d'exposition aux concepts RL et MATLAB
fonction boîte à outils.

• Cela garantit une visibilité et une compréhension claires du fonctionnement des concepts et de la boîte à outils
sont construits les uns sur les autres.

ÿ Couvre une gamme d'environnements et d'agents disponibles dans MATLAB et Simulink.

• Le module couvre les environnements prédéfinis et personnalisés [MATLAB + Simulink] ainsi que
avec les agents Tabular et Deep RL
• Se concentre spécifiquement sur les environnements de génie mécanique et industriel.

ÿ Applications de conception

• Outre l'utilisation de la boîte à outils d'apprentissage RL, les modules couvrent l'utilisation de l'application de conception

d'apprentissage par renforcement et de l'application de conception d'apprentissage par renforcement profond.

Page 5 sur 6
Machine Translated by Google
`

Apprentissage par renforcement avec MATLAB

ÿMatériel pédagogique supplémentaire

• En plus des codes de script en direct, les modules seraient soutenus par du matériel pédagogique
connexe, expliquant les étapes suivies, les fonctions utilisées et les affectations.
• En parallèle, nous avons également mis en place un guide qui éclaire sur la préparation de l'enseignement de la RV
modules.

Pour conclure, ces séries de modules facilitent une gamme d'étudiants du premier cycle au niveau des cycles
supérieurs, ce qui le rend plus accessible. Un matériel pédagogique complet qui enseigne systématiquement
une variété de concepts et de fonctions disponibles dans la boîte à outils RL.
Et surtout, expose les étudiants à utiliser RL pour les problèmes mécaniques et industriels

Page 6 sur 6