Mardi 09 février

TD 2: Le système de récompense
Partie 1

Le système de récompense est une base neurobiologie de l’apprentissage. Il augmente la

fréquence d’apparition de comportements suivis de la présentation d’un stimulus= renforcement
positif

L’approche béhavioriste (Thorndike, Watson, Skinner)

Le comportement résulte d’un apprentissage. L’apprentissage se met en place par des
associations entre stimuli et réponses par des renforcements positifs ou négatifs (loi de l’effet).

2 grand types d’apprentissages: le conditionnement « classique » (de Pavlov ou de type I) et le

conditionnement « opérant » (Skinner ou de type II)

Le conditionnement classique
Développé par Pavlov au XIXème-XXème siècle. La réaction est automatique et involontaire.
Apprendre est juste une réponse « réflexe » de l’organisme. Apprendre est juste une réponse (R) à
un stimulus (S)

Le conditionnement opérant
Développé par Skinner au XXème siècle. Tout apprentissage repose sur:

- le renforcement: conséquence d’un comportement qui rend plus probable que le

comportement soit reproduit de nouveau

- La punition: conséquence d’un comportement qui rend moins probable que le comportement
soit reproduit de nouveau.

Pour l’étudier on utilise la Skinner box.

Thorndike (1874-1949)
La puzzle box de Thorndike a été utilisé pour mettre en évidence l’apprentissage par essai-erreur
chez le chat. Loi de l’effet:

- une connexion est renforcée ou affaiblie par l’effet de ses conséquences

- Si la connexion situation-récompense est suivie d’un état de satisfaction du sujet elle est
renforcée

- Si elle est suivie d’un état non satisfaisant elle est affaiblie

Bases neurobiologiques de la récompense

3 composantes du système de récompense:

- affective: plaisir provoqué par les « récompenses » (perception hédonique)

- Cognitive: apprentissage des associations (conditionnement)

- Motivationnelle: propension à rechercher la « récompense » (« drive »)

Spencer (1880): 2 systèmes motivationnels:

- plaisir: associé à la « beneception », événements contribuant à la survie de l’organisme=

conduites d’approche ou de consommation

- douleur: associé à la nociception, événements aux conséquences indésirables pour

l’organisme= fuite, échappement, évitement

On trouve donc:

- les récompenses primaires: satisfaction de besoin vitaux (se nourrir, se protéger, se reproduire)

- Les récompenses secondaires: stimuli associés aux récompenses primaires (conditionnement)

Olds et Milner (1953): découverte des « centres du plaisir ». Conditionnement de préférence de

place (cage avec 2 « pièces » neutres). Avant l’expérience les rats passent à peut près le même
temps dans les 2 compartiments. On place des électrodes dans l’aire septale des rats.
Stimulation électrique spécifique dans un des compartiments. On observe que les rats passaient
plus de temps dans le compartiment ou ils avaient reçu la stimulation= les rats ont apprécié cette
stimulation

Etude de 1954: utilisation d’autostimulations électriques dans l’aire septale ou septum. Cage de
Skinner. Dès que la rat appuie sur le levier, stimulation électrique, on fait varier l’intensité de la
stimulation selon les jours. Le premier jour le rat n’appuie quasiment pas sur le levier. Le 2ème un
peu plus. Le 3ème jour est la journée ou la stimulation est la plus forte, le nombre de pression
augmente plus vite, mais à la fin de la journée on arrête entièrement la stimulation, le rat va alors
stopper ses pressions. 4ème jour, on reprend la stimulation donc le comportement reprend
comme avant, on ré-arrête la situation, idem le comportement s’arrête. Même constatation le
5ème jour.

Olds et Milner postulent que les territoires cérébraux qui donnent lieu au phénomène
d’autostimulation (ou à la préférence de place) sont normalement impliqués dans les effets
plaisants des « récompenses » naturelles (nourriture, eau, sexe). Ces découvertes sont à l’origine
de nombreux travaux sur ce que l’on appelle le circuit de la récompense.

Quelles sont les structures impliquées dans le circuit de la récompense?

Ensemble de structures reliées par un faisceau de fibre. Formation réticulée, Cortex préfrontal

Toues les structures identifiées dans ce système font partie d’un seul faisceau, le faisceau médian
du télencéphale (mésencéphalique) ou encore appelé faisceau du cerveau antérieur, faisceau de
la récompense (Laborit) ou MFB (medial forerbrain bundle). Ce faisceau comprend plusieurs
faisceaux essentiellement dopaminergiques.

Le système dopaminergique mésocorticolimbique

Voie nigrostriée: substance noire=> putamen-pallidum (controle des mouvements)

Voie méso-cortico-limbique: ATV=> striatum ventral ou accumbens, amygdale et hippocampe

Rappel sur les ganglions de la base= noyaux gris centraux

Ils comportement: le noyau caudé, le putamen et le globus pallidus (interne et externe)
Groupement des ganglions de la base:

- le striatum: noyau caudé+ putamen

- Le noyau lenticulaire: putamen+ globus pallidus

Malgré qu’elles ne fassent pas partie de ganglions de la base, ces structures leurs sont très reliés
fonctionnellement: la substance noire, le noyau subthalamique et le thalamus. Noyaux importants
à proximité:

- le noyaux accumbens

- Le noyau de Meynert

La voie méso-cortico-limbique
Elle regroupe la voie mésocorticale (vers le cortex préfrontal) et la voie mésolithique

L’aire tegmentale ventrale (ATV)

C’est un groupe de neurone du mésencéphale. Il reçoit de l’information de plusieurs autres
régions qui l’informent du niveau de satisfaction des besoins fondamentaux. L’ATV transmet
ensuite cette information au noyau accumbens (partie du striatum ventral). L’ATV est aussi sous
l’influence des endorphines (récepteurs cibles des drogues opiacées ou la morphine…)

Noyau accumbens (ou Nac): groupe de neurones dans la partie ventrale du télencéphale. Il a un
rôle stratégique, à l’interface entre le système limbique (émotions) et le système des ganglions de
la base (comportement):

1- lieu de convergence des signaux en provenance de l’amygdale et du cortex préfrontal, du tronc

cérébral

2- modulation des effecteurs que sont les circuits moteur des ganglions de la base et
l’hypothalamus, effecteur homéostasique et végétatif.

Septum= aire septale.

Implication dans les comportements de préservation de l’espèce (copulation) Chez le rat:
stimulation de l’aire septale= manifestation sexuelle surtout chez les mâles, auto stimulation
répétitive jusqu’a l’épuisement

Chez l’humain: stimulation= ressenti de plaisir à connotation sexuelle mais pas de véritable
orgasme.

Le faisceau médian du télencéphale compte aussi le cortex préfrontal, l’amygdale, l’hippocampe

et l’hypothalamus.

Amygdale: aide à évaluer si une expérience est plaisante ou non, et si elle doit être reproduite ou
éviter

Hippocampe: participe à l’enregistrement des souvenirs associés à une expérience

Hypothalamus: réactions physiologiques

Cortex pré-frontal: modulation du comportement en fonction des expériences émotionnelles

passées et présentes

Partie 2

Implication de la dopamine
- Est ce que l’aire tegmentale ventrale est nécessaire au comportement d’auto-stimulation?

On va léser l’ATV chez les rats et faire une expérience d’auto-stimulation dans une cage de
Skinner (levier= stimulation dans l’ATV). Un pré-test sans lésion. Puis lésion chimique de l’ATV,
soit ipsilatéral ou controlatéral à la stimulation. On a testé à 3,9 et 18 jours après la lésion.
Résultats:

- en pré test, le nombre d’appui est d’autant plus important que l’intensité de la stimulation est
grande= comportement d’auto stimulation

- En post test, en lésion controlatérale, le nombre d’appui ne diffère pas de la condition pré test=
comportement d’autostimulation lorsque l’ATV non lésée est stimulée

- En post test, en lésion ipsilatérale, le nombre d’appui sur le levier est inférieur à celui observé
en pré test= pas d’auto stimulation.

= la stimulation électrique de l’ATV induit un comportement d’auto-stimulation, qui agit comme un

agent renforçateur. Les neurones dopaminergiques de l’ATV sont bien impliqués dans le
comportement d’auto stimulation

-Est ce que les neurones de l’aire tegmentale ventrale modifient leur activité lors d’un

conditionnement opérant?

On enregistre électrophysiologiquement l’ATV chez le singe (Schultz, 1997) en leur faisant réaliser
un conditionnement répondant.

1er graphique: le singe reçoit une récompense sans activité à coté, augmentation de la
fréquence des décharges des neurones de l’ATV. En dehors de tâches comportementales, la
récompense active les neurones dopaminergiques de l’ATV

2ème graphique: conditionnement répondant. Stimulus suivi d’une récompense,

augmentation de la fréquence de décharge suite au stimulus conditionnel (l’activité de l’ATP est
augmentée au signal de l’administration de la récompense) mais l’activité des neurones n’est pas
modifié par la présentation de la récompense. Ici c’est la perspective du jus de pomme qui prend
la valeur de la récompense

3ème graphique: condition d’extinction, on présente le stimulus sans récompense. Le

stimulus provoque toujours une augmentation de la décharge des neurones, l’absence de
récompense provoque une réduction de la décharge neuronale, elle correspondrait à une absence
de retour d’info vers ces neurones (quand la récompense est obtenue, l’hypothalamus surtout
latéral, enverrait un message aux neurones dopaminergiques de l’ATV de son état de satisfaction,
l’absence de retour entrainement la baisse d’activité de ces neurones)

- Est ce que l’auto stimulation modifie les taux de dopamine dans le cerveau?

Dosage de dopamine et de ses métabolites dans le noyau accumbens pendant une auto-
stimulation. L’auto-stimulation induit une augmentation de la libération de dopamine (et
métabolites) dans le noyau accumbens pour toutes les fréquences de stimulation. Pas de
changement dans la sécrétion de glutamate= la stimulation agit spécifiquement sur le système
dopaminergique

- Est ce que l’action de la dopamine est importante dans le renforcement?

Utilisation d’agonistes et d’antagonistes (Pimozide) de la dopamine. Lorsqu’on inactive les

récepteurs à la dopamine, perte du comportement d’auto stimulation

Ce qu’a montré le film

Aspect compulsif des appuis. Le renforcement électrique est plus prégnant qu’un renforcement
de type boisson ou alimentation= attention aux dérives!

Health dans les années 60-70: envisage de « guérir » l’homosexualité grâce à la stimulation
électrique cérébrale. Cette auto stimulation s’installe sans jamais atteindre un sentiment de
satiété, on voit l’apparition d’une notion d’addiction.

Chez l’humain
Le noyaux accumbens est activé lorsqu’une récompense est attendue= composante hédonique.
Le cortex préfrontal est activé par la vision d’un objet de plaisir, lors d’une « récompense »=
composante cognitive

Chez des personnes non musiciennes, l’écoute de musique classique induit l’activation de l’ATV
et du noyau accumben. La musique serait donc une source de plaisir.

Auto-injection de drogue dans l’ATV: l’injection d’opiacé provoquait de l’auto stimulation. La

fréquence des appuis sur le levier diminue à l’extinction de l’injection. Elle ré-augmente lorsqu’on
ré-injecte= les opiacés agissent sur les neurones de l’ATV et donc sur le système de récompense.

L’addiction implique le système dopaminergique en induisant une désadaptation du sytème de

récompense. La dopamine est quasiment impactée par toutes les drogues. C’est le système
méso-cortico-limbique qui est impliqué dans l’effet renforçateur des drogues.

 Mode d’action des drogues sur le système dopaminergique

Amphétamine

Cocaine

Alcool

Alcool, opiacés

Alcool, opiacés: réduisent la capacité inhibitrice des neurones GABAergiques

Amphétamines: stimulent la libération de dopamine dans la fente synaptique

Cocaine: inhibe la re capture de la dopamine

Nicotine: inhibe la dégradation de la dopamine dans l’aire tegmentale ventrale

La stimulation chronique de ce système aboutit à une réponse homéostasique: le système est

« downregulated »: le système adapte son activité et fonctionne de façon anormalement basse et
il faut de plus en plus de drogues pour obtenir l’effet désiré. Cette réponse adaptative se traduit
par un phénomène de tolérance.

Si on stoppe la drogue chez les animaux « drogués », on constate une diminution de la sécrétion
de dopamine dans l’accumbens, et par conséquent le syndrome de sevrage qui accompagne
l’arrêt de la drogue est accompagné par un puissant phénomène de manque pour la drogue.

Partie 3: Exercice

Les taux de dopamine ont été dosés dans le noyau accumbens et dans le noyau caudé chez des
rats, après injection de morphine et consommation d’alcool. Différentes quantités de morphine et
d’éthanol ont été étudiées. Les graphiques ci dessous représentent les variations des taux de
dopamine dans le noyau accumbens (panel du haut) et dans le noyau caudé (panels de droite)

1) Décrire l’évolution du taux de dopamine dans chacun des conditions

2) Interpréter les résultats en utilisant vos connaissances