TP DE MACHINE LEARNING

1. Rechercher et citer toutes les fonctions de récompense qui existent ainsi que leurs fonctionnements
(Formule + Explications)
2. Lister toutes les fonctions de perte qui existent pour la classification et la régression ainsi que leurs
fonctionnements (Formule + Explications)
Réponse [1]

1. Fonction de récompense de réussite: Cette fonction de récompense est utilisée pour indiquer si une
tâche spécifique a été accomplie ou non. Elle est souvent utilisée pour les tâches de type "but" ou "buts
multiples".
Formule: r = 1 si la tâche est
accomplie, r = 0 sinon
2. Fonction de récompense de pénalité: Cette fonction de récompense est utilisée pour pénaliser les
actions qui ne sont pas désirées ou qui sont dangereuses.
Formule: r = -1 si une action non
désirée est effectuée, r = 0 sinon
3. Fonction de récompense de récompense cumulée : Elle est utilisée pour indiquer les actions qui mènent
à un état désiré à long terme. Elle cumule les récompenses à chaque étape jusqu'à ce que la tâche soit
accomplie.
Formule: r = 2(r_t) où r_t est la récompense obtenue à l'étape t.
4. Fonction de récompense de distance : Cette fonction de récompense est utilisée pour indiquer la
distance entre l'état actuel et l'état désiré. Elle peut être utilisée pour les tâches de navigation ou de
planification.
Formule: r = -d(s,s*) où d(s,s*) est la distance entre l'état actuel s et l'état désiré s*
5. Fonction de récompense de temps : Cette fonction de récompense est utilisée pour indiquer le temps
passé pour atteindre un état désiré. Elle peut être utilisée pour les tâches de temps critique ou de
performance.
Formule: r = -t où t est le temps passé pour atteindre l'état désiré
6. Fonction de récompense de cout
: Cette fonction de récompense est utilisée pour indiquer le coût (par exemple, en termes d'énergie ou
de ressources) associé à une action. Elle peut être utilisée pour les tâches de planification ou de
contrôle de coût.
Formule: r = -c où c est le coût associé à l'action
7. Fonction de récompense de confiance : Cette fonction de récompense est utilisée pour indiquer la
confiance d'un agent dans ses décisions. Elle peut être utilisée pour les tâches de prise de décision
incertaine.
Formule: r = conf(a) où conf(a)
est la confiance de l'agent dans l’action a.
8. Fonction de récompense de préférence: Cette fonction de récompense est utilisée pour indiquer les
préférences d'un agent pour différents états ou actions. Elle peut être utilisée pour les tâches de prise
de décision subjective.
Formule: r = pref (s) où pref (s) est la préférence de l'agent pour l'état s
Réponse [2]

1. Fonction de perte de sigmoid

cross-entropy : Cette fonction de perte est utilisée pour les problèmes de classification binaire. Elle mesure
l'écart entre les prédictions de l'algorithme et les étiquettes réelles.
Formule: L = (y * log(p) + (1-y) *
log(1-p)) où y est l'étiquette réelle
(0 ou 1), p est la probabilité prédite par l'algorithme pour l'étiquette positive
2. Fonction de perte de softmax
cross-entropy : Cette fonction de perte est utilisée pour les problèmes de classification multi-classes. Elle mesure
l'écart entre les prédictions de l'algorithme et les étiquettes réelles.
les prédictions de l'algorithme et les étiquettes réelles.
Formule: L = -_y_i * log (p_i) ù y iest la i-ème étiquette réelle (une variable indicatrice), p_i est la i-ème
probabilité prédite par l'algorithme pour la i-ème classe
3. Fonction de perte de mean square error (MSE) : Cette fonction de perte est utilisée pour les problèmes de
régression. Elle mesure la moyenne des erreurs au carré entre les prédictions de l'algorithme et les valeurs
réelles.
Formule: L = 1/N * [(y_¡ - p_i)^2 où y_i est la valeur réelle, p_i est la valeur prédite pour l'i-ème échantillon, N est
le nombre d'échantillons
les prédictions de l'algorithme et les étiquettes réelles.
Formule: L = -_y_i * log (p_i) ù y iest la i-ème étiquette réelle (une variable indicatrice), p_i est la i-ème
probabilité prédite par l'algorithme pour la i-ème classe
4. Fonction de perte de mean absolute error (MAE) : Cette fonction de perte est similaire à la
MSE, mais elle mesure la moyenne des erreurs absolues entre les prédictions de l'algorithme et les valeurs
réelles.
Formule: L = 1/N * Lly_i - p_il où y_i est la valeur réelle, p_i est la valeur prédite pour l'i-ème échantillon, N est le
nombre d'échantillons
5. Fonction de perte de hinge loss :
Cette fonction de perte est utilisée pour les problèmes de classification linéairement
séparable. Elle mesure l'écart entre les prédictions de
l'algorithme et les étiquettes réelles.
6. Fonction de perte de log-cosh :
Cette fonction de perte est similaire à la MSE, mais elle utilise la fonction cosh (hyperbole cosinus) pour calculer
l'erreur. Elle peut être utilisée pour les problèmes de régression.
Formule: L = log (cosh (p-y)) où y est la valeur réelle, p est la valeur prédite pour l'i-ème échantillon
7. Fonction de perte de cross-
entropy : Cette fonction de perte est utilisée pour les problèmes de classification multi-classes. Elle mesure la
distance entre la
distribtion de probabilité prédite et la distribution de probabilité réelle.
Formule: L = -_y_i * log (p_i) où y i est la i-ème étiquette réelle, p i est la i-ème probabilité prédite par l'algorithme
pour la i-ème classe
8. Fonction de perte de KL
divergence : Cette fonction de perte est similaire à la cross-entropy, mais elle mesure la divergence de Kullback-
Leibler
entre la distribtion de probabilité prédite et la distribution de probabilité réelle. Elle est souvent utilisée pour les
problèmes de classification et de traitement de
données catégorielles.
Formule: L = Ly_i * log(y_i / p_i)
où y_i est la i-ème étiquette réelle, p_i est la i-ème probabilité prédite par l'algorithme pour la i-ème classe