5945851-1 Psicologia Conexionista Antonio Roque Aula 7

Modelos Conexionistas para Aprendizagem Associativa

Baseado no artigo de reviso de Vogel, Castro e Saavedra, Brain Res. Bull., 63:173-202, 2004.

O principal paradigma experimental para o estudo dos mecanismos de aprendizagem

o chamado condicionamento clssico ou pavloviano. Nesse paradigma, um estmulo
neutro do ponto de vista comportamental, o estmulo condicionado (EC ou CS, da
sigla em ingls para conditioned stimulus), pareado repetidamente com um estmulo
biologicamente significante, o estmulo incondicionado (EI ou US, da sigla em ingls
para unconditioned stimulus). Um exemplo de CS um tom sonoro e um exemplo de
US uma poro de comida. Aps o pareamento repetido, o CS passa a eliciar uma
resposta observvel, a chamada resposta condicionada (RC ou CR, da sigla em ingls
para conditioned response), que similar resposta para o US (chamada de resposta
no-condicionada, RN ou UR da sigla em ingls para unconditioned response). Um
exemplo de UR a salivao do animal ao ver a comida (veja a figura abaixo).

1
 5945851-1 Psicologia Conexionista Antonio Roque Aula 7

A partir dos anos 30 do sculo passado, modelos quantitativos para condicionamento,

expressos em linguagem matemtica, tm sido propostos, acompanhando a evoluo
dos estudos experimentais e tericos sobre aprendizagem associativa.

Considera-se que a primeira teoria quantitativa para aprendizagem associativa foi

desenvolvida por Hull em uma srie de artigos e livros publicados entre 1939 e 1952
(veja a aula 2). O modelo matemtico elaborado por Hull est centrado nas
associaes entre estmulos e respostas (CS CR) e na idia de que aprendizagem
fruto de relaes entre estmulos e motivaes (drives).

Segundo Hull, a associao entre um estmulo (CS) e uma resposta (CR) formada
quando a ocorrncia da resposta na presena do estmulo seguida por uma reduo
na motivao (drive reduction) que, no caso do condicionamento pavloviano,
provocada pelo reforo fornecido pelo US.

Na teoria de Hull, um CS produz um trao de memria de curta durao, de

intensidade varivel com o tempo, que ativa associaes excitatrias ou inibitrias
com mltiplas respostas. As associaes excitatrias seguidas pela apresentao de
um US satisfatrio so fortificadas, enquanto que as outras no. Para Hull (1950),
qualquer trao de memria de um CS pode se associar com a CR, independentemente
das associaes desta com outros estmulos condicionados.

O modelo terico de Hull envolve muitas equaes, mas uma de particular interesse
a que diz respeito associao excitatria entre um CS e um CR. Segundo Hull, uma
fora de associao excitatria se estabelece entre um CS e um CR ao longo de
ensaios reforados repetidos. A variao da fora de associao entre o CR e um dado
CS (indicado por CSi aqui) a cada ensaio reforado expressa pela equao:

Vi = (M Vi ). (1)

2
 5945851-1 Psicologia Conexionista Antonio Roque Aula 7

Nesta equao, Vi a fora da associao do CSi com o CR, M o mximo valor que
uma fora de associao com o CR pode atingir e um parmetro que determina a
taxa de variao de Vi (chamado de taxa de aprendizado).

Segundo a equao (1), a variao em Vi torna-se cada vez menor medida que o
nmero de ensaios reforados aumenta (pois Vi se aproxima de M, reduzindo o
tamanho do incremento). Alguns autores chamam esse tipo de comportamento de
relao de acelerao negativa entre Vi e o nmero de repeties reforadas.

Uma hiptese subjacente equao (1) a de que qualquer estmulo que tenha uma
representao interna ativa no momento da ocorrncia do reforo fornecido pelo US
sofre um incremento na sua fora de associao com o CR, independentemente dos
outros estmulos presentes no mesmo momento. Esta hiptese foi chamada de
hiptese da continuidade na poca de Hull.

Vrios resultados experimentais sobre condicionamento envolvendo a apresentao

de mais de um CS realizados entre as dcadas de 60 e 70 do sculo passado
demonstram que a hiptese da continuidade no correta. Esses experimentos
indicam que a associao de um CS com o CR depende das associaes dos outros
CSs com o CR.

Exemplos desses experimentos so os feitos pelo psiclogo estadunidense Leon

Kamin (1927 ) entre 1968 e 1969. Esses experimentos demonstram que uma
associao no formada com um dado CS se outro CS for mais informativo, um
efeito que foi chamado de bloqueio.

Por exemplo, em um desses experimentos um grupo de animais passou por 16

ensaios em que um CS (rudo) era seguido pelo US (choque) enquanto que os animais
do grupo controle passaram por 8 ensaios em que recebiam dois CSs (rudo e luz)
antes do choque.
3
 5945851-1 Psicologia Conexionista Antonio Roque Aula 7

Posteriormente, os animais do primeiro grupo foram submetidos a uma situao igual

do grupo controle em que rudo e luz foram apresentados antes do choque por 8
ensaios.

Aps esses ensaios, Kamin submeteu os animais dos dois grupos a testes em que eles
eram submetidos separadamente a luz ou a rudo. Os resultados de Kamin mostraram
que os animais do grupo controle apresentavam a RC (reduo de atividade,
indicativa de condicionamento de medo) tanto para o rudo como para a luz, mas os
animais do primeiro grupo apresentavam a RC apenas para o rudo e no para a luz.

A interpretao de Kamin para esse experimento a de que o rudo j havia sido

estabelecido como um previsor confivel do choque para os animais do primeiro
grupo, de maneira que a informao fornecida pela luz na segunda parte do
experimento era redundante. Portanto, apenas o rudo estabeleceu uma associao
forte com o CR, mas no a luz. Esse experimento contraria a hiptese da
continuidade porque os dois grupos de animais foram submetidos exatamente ao
mesmo nmero de pareamentos da luz (8) com o choque.

O bloqueio um caso tpico do que se chama de fenmeno de competio entre

estmulos, pois a associao de um dado CS com o US depende do grau com que o
CS prev a ocorrncia do US e isso parece depender do grau com que outros CSs
prevem o mesmo US.

A teoria para condicionamento pavloviano de maior sucesso at o momento, capaz de

explicar o fenmeno de bloqueio e muitos outros fenmenos de competio entre
estmulos, foi a proposta pelos psiclogos estadunidenses Robert Rescorla (1940 ) e
Allan Wagner (1934 ) em 1972 (veja a entrada sobre o modelo de Rescorla-Wagner
na Scholarpedia, escrito pelo prprio Rescorla, em
http://www.scholarpedia.org/article/Rescorla-Wagner_model).

4
 5945851-1 Psicologia Conexionista Antonio Roque Aula 7

Segundo Rescorla e Wagner (1972):

Os organismos s aprendem quando os eventos violam as suas expectativas. Quando

um complexo de estmulos ocorre, certas expectativas so construdas sobre os
eventos que se seguem a ele; as expectativas iniciadas pelo complexo e seus
estmulos componentes s so modificadas quando os eventos consequentes no
concordam com a expectativa composta.

O modelo de Rescorla-Wagner possui trs conceitos quantitativos bsicos:

1. O primeiro a fora de associao, Vi, entre o CSi e o US. Esta grandeza
controla o valor do condicionamento exibido pelo CSi.
2. O segundo o nvel mximo, , que a fora de associao com o US pode
atingir. O modelo considera que depende do US, de maneira que USs mais
fortes podem sustentar associaes mais fortes.
3. O terceiro a taxa de aprendizagem, , que determina a rapidez com que a
fora de associao Vi entre o CSi e o US atinge o valor mximo . O
parmetro chamado de associabilidade ou salincia do CSi.

Segundo o modelo de Rescorla-Wagner, a cada repetio de um ensaio de associao

com um US em que mais de um CS podem estar presentes, a fora de associao do
CSi com o US muda conforme a regra:

Vi = i V j .
j{CSs presentes} (2)

A expresso acima chamada de regra de aprendizado de Rescorla-Wagner. Ela

diz que a fora de associao entre o CSi e o US aumenta (a uma taxa i) quando a
soma total das foras de associao dos estmulos presentes no ensaio for menor que
o nvel mximo e que ela diminui (a uma taxa i) quando a soma total das foras de
associao dos estmulos presentes no ensaio for maior que o nvel mximo .
5
 5945851-1 Psicologia Conexionista Antonio Roque Aula 7

A regra de aprendizado de Rescorla-Wagner fundamentalmente diferente da regra

de aprendizado do modelo de Hull dada pela equao (1). Na equao (1), a variao
da fora de associao Vi depende apenas do seu valor atual. J na equao (2), a
variao da fora de associao Vi depende do valor agregado das foras de
associao de todos os CSs presentes naquele ensaio.

Para ajudar a entender a equao (2), veja a figura abaixo.

Segundo a regra de Rescorla-Wagner, o fenmeno do bloqueio de Kamin pode ser

entendido da seguinte maneira. Quando apenas rudo (CS1) apresentado ao animal,
seguido pelo choque, por vrios ensaios repetidos, a sua fora de associao V1 com o
choque cresce bastante (pois a discrepncia entre e V1 o nico CS presente tem
um valor inicial grande). Posteriormente, quando os estmulos luz (CS2) e rudo (CS1)
so apresentados conjuntamente, seguidos por choque, por vrios ensaios repetidos, a
fora de associao da luz com o choque V2 no cresce tanto, pois a discrepncia
entre e (V1 + V2) o valor agregado das foras de associao dos dois estmulos
pequena. Desta forma, quando apenas luz (CS2) for apresentada ao animal em um
teste posterior esta, por ter uma fora de associao pequena, no eliciar a resposta
comportamental ao choque.

6
 5945851-1 Psicologia Conexionista Antonio Roque Aula 7

Um fato curioso, que s foi notado (pelo menos publicamente) pelos cientistas da
computao estadunidenses Richard Sutton e Andrew Barto em um artigo de 19881,
que a regra de aprendizado de Rescorla-Wagner essencialmente idntica regra
delta de Widrow-Hoff estudada na aula passada.

Para constatar isso, observem a figura abaixo.

Observem tambm as equaes para as duas regras:

i = d
j j xi
x
(regra de Widrow-Hoff)
j{entradas presentes}

Vi = i V j

j{CSs presentes} (regra de Rescorla-Wagner)

A correspondncia entre elas feita tomando-se i = Vi; d = quando o US est

presente e d = 0 quando ela no est; e xi = 1 se o CSi estiver presente e xi = 0 se o
CSi no estiver presente.

1
Sutton, R. S. and Barto, A. G., Toward a modern theory of adaptive networks: expectation and prediction.
Psychological Review, 88: 135-170, 1988.
7
 5945851-1 Psicologia Conexionista Antonio Roque Aula 7

A tabela abaixo mostra as correspondncias.

Rescorla-Wagner Widrow-Hoff

Ensaio Tempo

CSi xi

Vi wi

US Professor

Segundo Sutton e Barto, em seu artigo de 1988:

surpreendente que esses dois modelos sejam, de fato, idnticos, pois eles foram
construdos com propsitos bem diferentes. A regra de Widrow-Hoff foi formulada
como um algoritmo para resolver sistemas de equaes lineares e a sua teoria trata
de propriedades de convergncia. A teoria no apenas no discute efeitos do
contexto dos estmulos, como a sua existncia [do contexto] puramente incidental.
A teoria de Rescorla-Wagner foi proposta para descrever de forma compacta uma
ampla variedade de efeitos observados em experimentos sobre aprendizado de
animais. Que ela tambm fornea um importante algoritmo com forte conexo com
reas muito teis da matmtica aplicada algo fortuito. Sentimos que a confluncia
dos fatos matemticos e empricos representados pelo que devemos chamar de regra
de Rescorla-Wagner/Widrow-Hoff pode ter considervel significncia para o
entendimento do aprendizado associativo.

8
 5945851-1 Psicologia Conexionista Antonio Roque Aula 7

A regra de Rescorla-Wagner/Widrow-Hoff, como Sutton e Barto sugerem que ela

seja chamada, pode modelar o condicionamento pavloviano. A figura abaixo ilustra
isso.

Ela tambm consegue modelar o efeito blocking de Kamin (veja a figura abaixo).

9
 5945851-1 Psicologia Conexionista Antonio Roque Aula 7

Segundo Vogel et al. (2004; ver referncia no incio desta aula),

O modelo de Rescorla-Wagner o mais influente e bem sucedido modelo para

condicionamento pavloviano. Ele d conta de todos os fenmenos simples de
condicionamento pavloviano, incluindo efeitos de seleo de estmulos, alm de
antecipar resultados de muitos estudos que foram feitos para test-lo. claro que o
modelo possui vrias limitaes que estimularam a produo de novas teorias
durante os ltimos 32 anos. De fato, a histria das teorias de aprendizado aps 1972
pode ser contada, em parte, como a das tentativas de tericos subsequentes em
superar as limitaes desse modelo.

Um modelo alternativo para o fenmeno de competio entre estmulos foi

apresentado pelo psiclogo ingls Nicholas Mackintosh (1935 ) em 1975. Nesse
modelo, ao invs de considerar que os estmulos competem entre si pelo nvel
mximo de associao com o US (uma propriedade que depende apenas do US),
considera-se que os CSs competem entre si pela ateno do organismo a cada um
deles (uma propriedade que depende dos CSs). Pode-se dizer que o modelo de
Mackintosh assume que o animal presta mais ateno ao CS que melhor preditor do
reforo e ignora os CSs que so preditores pobres do reforo. Por causa disso, o
modelo de Mackintosh chamado de atencional.

Para implementar a sua hiptese, o modelo de Mackintosh faz com que, quando
vrios CSs esto presentes, o CS que relativamente o melhor previsor do US tenha a
sua associabilidade i aumentada enquanto que os demais CSs tm suas
associabilidades diminuidas. Formalmente, durante um ensaio em que um conjunto
de CSs est presente a associabilidade i do CSi aumenta se a magnitude da
discrepncia entre a sua fora de associao e o nvel mximo de associao com o
US, | Vi|, for menor que | jiVj|, onde a somatria sobre j neste termo cobre
todas as foras de associao dos estmulos presentes com exceo do CSi. Por outro
lado, a associabilidade i diminui se | Vi| | jiVj|.
10
 5945851-1 Psicologia Conexionista Antonio Roque Aula 7

A magnitude do aumento ou diminuio de i proporcional diferena entre | Vi|

e | jiVj|. Para calcular a variao da fora de associao do CSi, Mackintosh usa a
mesma regra do modelo de Hull da equao (1).

Um terceiro modelo para competio entre estmulos foi proposto pelos psiclogos
ingleses John Pearce e Geoffrey Hall em 1980. No modelo de Pearce-Hall, a ateno
a um estmulo s necessria enquanto o animal est aprendendo sobre sua
significncia, mas depois que o aprendizado atinge um estado estacionrio ela no
mais necessria. Segundo eles, a associabilidade do estmulo CSi em em dado ensaio
n dada por:

in = n 1 V j
n 1
,
(3)
j CSs presentes
no ensaio n -1

ou seja, a associabilidade do estmulo i no n-simo ensaio determinada pela

magnitude da discrepncia entre o nvel mximo e a soma total das foras de
associao dos estmulos presentes no ltimo ensaio anterior em que o estmulo i
esteve presente. Segundo essa regra, a associabilidade de um estmulo ser grande
quando ele tiver sido apresentado com um US inesperado e ser pequena quando ele
tiver sido apresentado com um US esperado. No primeiro caso a magnitude da
discrepncia na equao (3) ter um valor alto e, no segundo caso, ela ter um valor
baixo.

Segundo um artigo de reviso escrito por Pearce e Bouton em 20012, h evidncias

experimentais que suportam tanto o modelo de Mackintosh como o de Pearce-Hall. A
concluso deles a de que deve haver mais de um mecanismo capaz de alterar a
associabilidade de um estmulo e que mecanismos diferentes devem ser governados
por princpios diferentes, da a existncia de modelos diferentes.

2
Pearce, J. M. and Bouton, M. E., Theories of associative learning in animals. Ann. Rev. Psychol., 52:111-139, 2001.
11
 5945851-1 Psicologia Conexionista Antonio Roque Aula 7

Os modelos de Hull, Rescorla-Wagner, Mackintosh e Pearce-Hall podem ser

classificados como modelos de ensaios, no sentido de que eles descrevem
mudanas nas foras de associao apenas durante ensaios experimentais, mas no
entre ensaios.

Um modelo conexionista genrico para implementar as regras de aprendizado de

Hebb, Hull, Rescorla-Wagner, Mackintosh, Pearce-Hall ou qualquer outra que possa
ser proposta e investigar as consequncias dessas regras o mostrado na figura a
seguir.

Por exemplo, imaginemos uma situao em que haja apenas um estmulo no-
condicionado (vamos tom-lo como o estmulo mais esquerda no desenho acima).
Vamos supor que quando este US ocorre, e = 1. Vamos tambm supor que o peso da
sinapse feita por este US sobre o neurnio de resposta tem valor fixo W = 1. Vamos
considerar que o neurnio de resposta linear com limiar igual a 0,5. No caso em
que o US ocorre conjuntamente com um CS (por exemplo, o mais acima no desenho
acima) e em que os pesos sinpticos ij so inicialmente todos nulos, teremos uma
situao como a representada na figura abaixo (a figura tem o mesmo layout da figura
acima).

12
 5945851-1 Psicologia Conexionista Antonio Roque Aula 7

US
CS 1 0 0 0

1 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0

1 0 0 0 Ativao ui
1 0 0 0 Sada Si

Vamos supor que os pesos so modificveis pela regra de Rescorla-Wagner/Widrow-

Hoff,

i = i j x j xi quando US = 1
j

i = i 0 j x j xi quando US = 0
.
j
Vamos fazer i = = 0,2 e = 1.

Portanto, aps o primeiro ensaio de pareamento US CS1 como mostrado acima, os

pesos so modificados para a configurao mostrada abaixo.

US
CS 1 0 0 0

1 0,2 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0

13
 5945851-1 Psicologia Conexionista Antonio Roque Aula 7

O segundo ensaio de pareamento entre US CS1 produz ento a seguinte situao.

US
CS 1 0 0 0

1 0,2 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0

1,2 0 0 0 Ativao ui
1,2 0 0 0 Sada Si

E a nova configurao de pesos a seguinte:

US
CS 1 0 0 0

1 0,36 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0

Aps mais um ensaio de pareamento US CS1, a configurao de pesos fica:

US
CS 1 0 0 0

1 0,49 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0

14
 5945851-1 Psicologia Conexionista Antonio Roque Aula 7

E aps o quarto ensaio de pareamento US CS1 a configurao de pesos :

US
CS 1 0 0 0

1 0,59 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0

Se agora o CS1 for apresentado sozinho, sem pareamento com o US, teremos:
US
CS 0 0 0 0

1 0,59 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0

0,59 0 0 0 Ativao ui
0,59 0 0 0 Sada Si

Faa como exerccio o que acontece quando o CS1 apresentado repetidas vezes sem
a ocorrncia do US (extino) e o que acontece quando, a partir da situao acima,
apresenta-se o CS2 pareado com o CS1 e o US (efeito blocking).

15