Avaliação aleatorizada

do início ao fim
Como escolhas dos pares afetam
decisões financeiras?
Leonardo Bursztyn
Professor da Universidade de Chicago
Pesquisador afiliado do J-PAL
Objetivos da aula

• Conhecer a avaliação de impacto aleatorizada do início ao fim

• Traçar paralelo com a teoria abordada ao longo das aulas

anteriores, reconhecendo a prática de cada uma das etapas
de uma avaliação

2
Estrutura

I. Por que avaliar impacto?

II. Como aleatorizar, tamanho amostral e poder

III. Aspectos operacionais e desafios

IV. Medição

V. Uso da evidência
I. Por que avaliar impacto?

II. Como aleatorizar, tamanho amostral e poder

III. Aspectos operacionais e desafios

IV. Medição

V. Uso da evidência
 Contexto
• Entre 2006 e 2011, parcela da
população com acesso a
serviços bancários no Brasil
cresceu de 50% para 62%
• Mais pessoas tem acesso ao
sistema bancário, mas fatores
que determinam decisões
financeiras ainda são pouco
conhecidos
• Em muitos casos, escolha de
pessoas próximas – famílias,
amigos ou outras pessoas
próximas – influenciam decisões
mais que o conhecimento sobre
produtos financeiros oferecidos
Fonte: Caixa Econômica Federal 5
Contexto: efeito dos pares em decisões financeiras

Canais que podem influenciar tomada de decisões financeiras:

• Aprendizado social: quando alguém decide comprar um produto
financeiro depois que alguém próximo expressa o desejo de comprar o
mesmo produto
• Utilidade social: quando alguém acredita que pode obter benefícios de
um produto financeiro porque alguém próximo possui este produto

6
Por que avaliar impacto?

Existem vários motivos pelos quais estamos interessados em avaliar um

programa

1. Melhorar o programa

2. Tornar o gasto público mais eficiente

3. Gerar conhecimento sobre políticas públicas e programas sociais

7
Responder perguntas de relevância geral

Gerar bens públicos, contribuindo para o conhecimento em ciências sociais

e econômicas

• Produz conhecimento sobre mecanismos e efeitos de uma intervenção

• Serve de base para inovações e novos enfoques, com potencial para

replicações e ganhos de escala

8
Pergunta da avaliação

Problema: Pesquisadores têm dificuldade em dissociar o efeito do aprendizado

social e da utilidade social, o que é importante para entender como ocorre a
tomada de decisão individual no mercado financeiro

Pergunta da avaliação: Qual é o impacto que a influência de pessoas

próximas causa na tomada de decisões financeiras no Brasil?
• Quais são os mecanismos pelos quais a influência de pessoas próximas
determina decisões financeiras?

9
I. Por que avaliar impacto?

II. Como aleatorizar, tamanho amostral e poder

III. Aspectos operacionais e desafios

IV. Medição

V. Uso da evidência
Intervenção: novo produto financeiro
• Novo produto financeiro de risco criado para esta avaliação: combinação
entre fundo mútuo e letra de crédito imobiliário

• Validade de um ano

• Melhores termos do que notas de crédito imobiliário já oferecidas para

garantir demanda

• Investimento mínimo de R$ 1.000 (contra R$ 10.000 de produtos similares), o

que torna o produto atrativo para investidores individuais

• Oferta limitada para o produto (oferecido somente na primeira ligação

telefônica para o cliente) para garantir aleatorização 11
Amostra para a avaliação

Informação sobre
150 pares de investidores conexões sociais já
financeiros com estava disponível por
conexões sociais meio de referências de
comprovadas clientes no passado

• O tamanho da amostra foi limitado pelo número de pares de clientes que

foram identificados previamente como tendo relações sociais
• Outro fator para o tamanho limitado da amostra foi a disponibilidade da
corretora em comprometer tempo para a avaliação. A corretora
concordou em contatar 300 clientes
• Em média, amostra era formada por maioria de homens, com idades entre
34 e 38 anos e renda de R$ 4.000
• 52% dos clientes tinham conexões com amigos; 48% com familiares
12
Aleatorização

Três rodadas de aleatorização:

Sorteio 1 determina, entre cada par de

investidores, qual vai ser investidor 1 e qual
vai ser investidor 2

Sorteio 2 determina se investidor 1 pode

fazer o investimento no produto financeiro

Sorteio 3 se investidor 2 será informado

sobre escolha do investidor 1 e qual foi o
resultado do sorteio 2
14
Desenho da avaliação
Produto financeiro
é oferecido a Pode efetuar Investidor 2
investidor 1 compra? informado?

B: Aprendizado
Informado
social
Quer Não pode
150 pares comprar efetuar
de produto compra
investidores Não A: Sem
financeiros Informado informação
com
conexões Não quer
Pode efetuar
sociais comprar
compra
produto C: Aprendizado +
Informado
utilidade social
1 2

Definir investidores 1 e 2 15
Premissas
Sobre o ativo financeiro:
• O produto financeiro oferecido para a avaliação é atrativo para investidores
• Não existe outro mercado para o produto financeiro oferecido

Sobre a amostra:
• Nível de conhecimento dos investidores sobre mercado financeiro é
heterogêneo e influencia decisões
• Investidores têm relações sociais (com familiares ou amigos) estabelecidas

Sobre a intervenção:
• Informação repassada a investidores sobre produto e decisão de pares é
exata e confiável
16
 Desejos de diferentes grupos de Investidor 2
(B e C) de comprar ativo
são comparadas com grupo de controle
(Condição A) para entender efeito de decisão
dos pares sobre decisões financeiras

17
Comparação entre Investidores 2 sobre desejo de compra

C: Aprendizado +
utilidade social - A: Sem
informação = Efeito do
aprendizado +
utilidade social

B: Aprendizado
social - A: Sem
informação = Efeito do
aprendizado social

C: Aprendizado +
utilidade social - B: Aprendizado
social = Efeito do utilidade
social

18
I. Por que avaliar impacto?

II. Teoria da Mudança

III. Como aleatorizar, tamanho amostral e poder

IV. Aspectos operacionais e desafios

V. Medição

VI. Uso da evidência

Aspectos operacionais
Protocolo para oferecer novo produto financeiro a investidores

• Intervenção foi realizada entre janeiro e abril de 2012 no Brasil

• Sorteio para definir os 150 pares de “Investidor 1” e de “Investidor 2”

• Ligações para oferecer ativo seguiam script de ligações usuais a investidores

20
Aspectos operacionais
Protocolo para oferecer novo produto financeiro a investidores

• Corretora de investimentos ligou para Investidores 1 para oferecer novo ativo:

1) Descrição em detalhe do novo produto financeiro
2) Alerta de que oferta para produto era limitada e seria feito sorteio
3) Pergunta se investidor 1 estaria interessado no produto

• No mesmo dia, corretora de investimentos ligou para Investidores 2 para

oferecer novo ativo com mesmo script: descrição do produto, alerta de oferta
limitada e aferição de interesse

21
Ameaças à validade interna
• Risco de que Investidor 2 possa comprar produto oferecido, e repassá-lo
ao Investidor 1

• Funcionários da corretora podem ter feito esforços diferentes para vender

o produto financeiro aos diferentes grupos de investidores

22
Ameaças à validade externa
Existem outros tipos de aprendizado social que a avaliação ignora,
como:
1) Informação obtida depois da compra de um produto por uma
pessoa próxima
2) Mudança de comportamento de uma pessoa próxima após
adquirir produto

Estudo usou amostra de investidores com relações sociais muito

próximas (família e amigos), mas resultados podem ser diferentes entre
amostra com relações menos próximas (como colegas de trabalho)

23
I. Por que avaliar impacto?

II. Como aleatorizar, tamanho amostral e poder

III. Aspectos operacionais e desafios

IV. Medição

V. Uso da evidência
Medição
Questionário pós-intervenção

Dois objetivos:
1) Medir nível de sofisticação de conhecimento sobre finanças dos investidores

2) Entender processo de tomada de decisão sobre compra de Investidor 2

25
 Medição
Questionário pós-intervenção
• Para medir a sofisticação do conhecimento dos investidores, foram
entrevistados Investidores 2 nas condições A e B e Investidores 1
associados a eles
• Ao observar que uma pessoa próxima comprou o produto, um
investidor com maior sofisticação financeira (e, assim, com uma
avaliação mais precisa sobre a qualidade do produto) pode
colocar menos peso na informação de seu par
• Perguntas:
- Foi solicitado que os próprios investidores avaliassem seu conhecimento
sobre finanças
- Foram aplicadas questões objetivas para medir conhecimento financeiro

26
Medição

Questionário pós-intervenção
• Para medir processo de decisão de Investidores 2
- Perguntou-se a todos os Investidores 2 (tratamento e controle) sobre
sorteio para determinar se compra do produto seria possível ou não
- Perguntou-se aos grupos de tratamento sobre informação sobre decisão
dos pares (Investidor 1) e resultado da loteria para eles, bem como se
informação era confiável
- Perguntou-se ao grupo de tratamento B se decisão de comprar ou não o
produto financeiro se relacionou com o fato de par ter perdido sorteio
- Perguntou-se ao grupo de tratamento C se fato de par ter adquirido
produto afetou a decisão de também comprar o produto

27
Medição
Potenciais problemas do questionário
1) Investidores podem ter respondido questionário pós-intervenção de modo a
agradar funcionários da corretora

2) Questões para entender processo de tomada de decisão de Investidores 2 não

eram abertas, mas direcionadas para os mecanismos de interesse

28
I. Por que avaliar impacto?

II. Como aleatorizar, tamanho amostral e poder

III. Aspectos operacionais e desafios

IV. Medição

V. Uso da evidência
 Quais foram os efeitos da divulgação de
informação sobre decisão do Investidor 1
na tomada de decisão do Investidor 2?

30
 Desejo de
Produto financeiro
compra
é oferecido a Pode efetuar Investidor 2
investidor 1 Investidor 2
compra? informado?

B: Aprendizado
Informado
social
Quer Não pode
150 pares 71%
comprar efetuar
de produto compra
investidores Não A: Sem
financeiros Informado informação
com
conexões Não quer 42%
Pode efetuar
sociais comprar
compra
produto Informado C: Aprendizado +
utilidade social
1 2
93%

Definir investidor 1 e 2 31
Comparação entre Investidores 2 sobre desejo de compra

C: Aprendizado +
utilidade social - A: Sem
informação = Efeito do
aprendizado +
utilidade social
93% 42%
51 pp***

B: Aprendizado
social - A: Sem
informação
42%
= Efeito do
aprendizado social
71% 29 pp**

C: Aprendizado +
utilidade social
- B: Aprendizado
social = Efeito do utilidade
social
93% 71% 22 pp**

32
Efeitos do aprendizado social

Mudança de opinião
• 67% dos Investidores 2 disseram que mudaram sua opinião sobre a qualidade do
produto financeiro após seus pares decidirem comprá-lo

Heterogeneidade do efeito do aprendizado social dependendo do grau de

conhecimento sobre finanças
• Influência do aprendizado social é maior entre grupo de Investidores 1 que tem maior
conhecimento sobre finanças, e entre grupo de Investidores 2 que tem menor
conhecimento sobre o mercado financeiro

33
Efeitos da utilidade social

Resultados mostram que dois mecanismos são importantes:

Comparação de retorno
• 60% dos Investidores 2 que responderam ao questionário disseram que desejar o
mesmo retorno financeiro de seu par é um fator significativo na decisão de comprar
produto
• 32% dos Investidores 2 que responderam ao questionário disseram que o medo de
não ter o mesmo retorno que seu par é um fator significativo para a decisão

Desejo por “consumo em conjunto”

• 42% disseram que conversar sobre o produto com a pessoa próxima é um fator
significativo para a compra

34
Em resumo
• Aprendizado social e utilidade social influenciam decisões financeiras

• Aprendizado social tem maior efeito entre investidores que têm menos
conhecimento sobre o mercado financeiro

• O fato de pessoa próxima possuir um produto (utilidade social) tem efeito ainda
maior sobre decisão financeira que apenas informação sobre produto

35
 Por que estes resultados são
relevantes para políticas públicas?

36
Conclusões
• Informação sobre produtos financeiros
podem contribuir para decisões mais
informadas de investidores,
especialmente aqueles com pouco
conhecimento, reduzindo
instabilidade no mercado financeiro

• Porém, só informação não é suficiente

para reduzir comportamento de
manada, já que investidores levam em
conta de maneira significativa se uma
pessoa próxima possui ou não o
produto para a tomada de decisão
Fonte: Caixa Econômica Federal

37
Uso de evidência sobre influência de pares no
comportamento em outras áreas
Saúde
Promoção de comportamento
saudável é afetada tanto pela
adoção de hábitos/produtos por
pessoas próximas (aprendizado
social) como pelo uso de fato desses
produtos por pares (utilidade social)
Tecnologia
Adoção de novas tecnologias se
distingue entre aprender sobre novos
assuntos por meio de pessoas próximas
(aprendizado social) e o desejo de
adotar tecnologias após alguém
próximo usá-las (utilidade social)
38