CAUSALIDADE

Avaliao de Programas Sociais,

Modelos Experimentais, Modelos Quaseexperimentais, Estudos Naturalistas

Causalidade e Avaliao
Nota Tcnica MOVE 01/2011
Com esta Nota Tcnica, primeira de 2011, a Move inaugura um mecanismo
voltado a contribuir com prticas e debates capazes de influenciar o fortalecimento
organizacional nos campos social e ambiental brasileiro. As Notas tero nfase
tanto terica quanto prtica e, em ambos os casos, sero construdas visando
partilhar saberes e vivncias da equipe Move em planejamento, avaliao e gesto
do conhecimento. Publicadas periodicamente pela Move, sero seguidas de convites
para que clientes, parceiros, pesquisadores e outros interessados repercutam seus
contedos em suas prprias redes de colaborao.
Nesta edio, procuramos fazer um recorte do tema Causalidade na Avaliao de
Programas e Polticas Sociais. Em tempos nos quais as organizaes tm procurado
maneiras de melhor compreender as consequncias ou impactos de suas intervenes
na sociedade, importa abrir espaos para ampliar nossas compreenses sobre
Causalidade, incluindo suas implicaes paradigmticas, tico-polticas e instrumentais.
Para alcanar alguns elementos desta desafiadora investigao, separamos nesta Nota
alguns contedos a partir do debate Causalidade e Avaliao, realizada no lanamento
da Move, em Maro de 2011, no Hub So Paulo. Esperamos que as questes que
balizaram este encontro ecoem em nossos leitores e nutram dilogos que desde j
queremos fortalecer com cada um de vocs.

2
2

Modelos causais: algumas consideraes

O olhar para a questo da Causalidade em Avaliao de Programas e Polticas Sociais
vai tanto nos exigir estudos no campo da epistemologia, da histria e da filosofia
das cincias, quanto no campo pragmtico da ao cotidiana, sejamos gestores ou
pesquisadores. Ao redor deste tema, o debate tende a ser caloroso e palco de
posies radicais entre os defensores de diferentes abordagens, com distines claras
entre as perspectivas qualitativas e quantitativas, ao ponto da expresso guerra ser
cunhada para definir as disputas neste campo.
No centro nervoso deste processo encontra-se a perspectiva, defendida pelas
correntes quantitativistas, de que apenas o modelo experimental, caracterizado
pelo uso de grupos controle para comparar populaes, seria capaz de observar
efetivamente as produes geradas por uma interveno na realidade social
(projeto ou programa).
Os momentos de trgua e aproximao entre as distintas formas de conceber e
responder a questes de causalidade so, eventualmente, quebrados por novas
situaes capazes de esquentar o j quente caldeiro. Em 2003, uma deciso
do governo dos Estados Unidos de contratar apenas estudos que contemplem
abordagens experimentais para a avaliao de programas federais provocou fortes
debates e manifestaes pblicas entre os membros da American Evaluation Association.
Para fortalecer o movimento de orientao experimental pode-se tambm destacar
a ao da Three Impact Evaluation, que investe milhes de dlares anualmente para
premiar avaliaes realizadas na perspectiva experimental. Em 2009, a mesma 3IE
publicara a Carta do Cairo, na qual a perspectiva experimental para os estudos
avaliativos era defendida histericamente.
No cenrio brasileiro, no se pode afirmar o reconhecimento de uma orquestrao
em torno da primazia dos modelos experimentais, ainda que parte da poltica de
avaliao do Ministrio da Educao, bem como as correntes economtricas na
avaliao em sade, educao e assistncia social, simbolizem opes metodolgicas
merecedoras das nossas atenes e crticas. No sem razo a ascenso deste
pensamento. No cotidiano das organizaes, possvel que cada leitor j tenha
se deparado com uma pergunta como a que recentemente fez a diretora de

3
3

uma fundao fluminense: Tudo bem, eu fiz um projeto e eu quero fazer avaliao
de resultados. Agora como vou saber se os resultados que voc vai apresentar so
consequncia do meu projeto, resultados da minha ao?
A pergunta feita pela Diretora explicita a busca em estabelecer uma relao de
causalidade entre as aes e projetos desenvolvidos pela organizao e os resultados
obtidos. Para que frutifique a discusso sobre o tema Causalidade, portanto, seria
prudente favorecer espaos em que possamos pensar no sentido de perguntas como
essas na vida organizacional, bem como nas maneiras como as cincias tm procurado
respond-las. neste sentido que caber problematizar as direes polticas e
metodolgicas possveis para se aproximar e compreender a realidade.
Para trazer elementos ao estudo da questo, pode-se partir do reconhecimento de
alguns traos (ou condies) tomados como pontos de sustentao para responder
ao imperativo da Causalidade nas perspectivas do paradigma positivista. Como ponto
de partida, h que reconhecer a gigantesca vontade de controlar os resultados das
aes humanas sobre a realidade, no j conhecido tema do domnio da civilizao
sobre a natureza. Por isso mesmo, reconhecer o esforo das cincias clssicas para
transformar toda a experincia humana em experimento cientfico, virada radical
na relao entre homem e realidade, como bem observa Bonda (2001), em texto
primoroso.
Neste lugar de experimento, as cincias positivistas iro sustentar a premissa de que
o cientista ser aquele capaz de observar e reconhecer (ou determinar) que A a
causa de B (A B), e que a intensificao de A, ou sua supresso, determinar uma
variao proporcional, e matematicamente determinvel, de B ( A B) ou ( A
B). O determinismo manifesta-se aqui em um pensamento unvoco, supondo
condies experimentais em que A a interveno do pesquisador e B a sua
hiptese (aposta).
Desta leitura untada na cincia do Sculo XVI, monumental ruptura com o
obscurantismo a guiar a organizao da sociedade ao longo da Idade Mdia - digase de passagem, emigramos para uma leitura que em certa medida procurava
relativizar o determinismo anteriormente citado. A leitura probabilstica dos eventos
procurava anunciar aquilo que muitos cientistas passaram a chamar de ps-positivismo.
Neste paradigma, assume-se que no se pode ao certo saber o que causou B. Ao

4
4

mesmo tempo, se aposta na ideia de que a presena de A influencia a apario ou o

comportamento de B; ou melhor, aumenta a probabilidade do surgimento de B.
Foi Stuart Mill, filsofo e economista ingls, em seu System of Logic, de 1843, que
apresentou as concepes radiculares dos estudos experimentais, ou seja, os
estudos que procuram operar no mbito do experimento prtico, as concepes
epistemolgicas sustentadas no seio do positivismo . Apresentando o Mtodo da
Diferena, Mill afirma que um fenmeno particular pode ocorrer em apenas uma
nica instncia (espacial-temporal), na qual existe um tipo de varivel exclusiva a esta
ocorrncia. Segundo Mill, para estabelecer Causalidade, trs pressupostos seriam
ento necessrios em complemento exclusividade da instncia: (a) a precedncia
temporal da causa sobre o efeito (A ocorre antes de B); (b) a existncia de uma
relao entre ambas (B varia em proporo a A); (c) todas as outras possveis causas
do efeito B podem ser descartadas ou refutadas. Como se pode perceber, Mill
apostava na covariao entre causa e efeito, na direo linear entre causa e efeito e na
eliminao de hipteses alternativas.
Nessa direo, seria necessrio descartar todas as outras hipteses explicativas ou
candidatas a explicar a realidade. Mill funda uma ideia de que a causa nunca pode
ser comprovada diretamente, apelando a que a nica maneira de inferir a relao
de causa e efeito a refutao das explicaes alternativas. Com base nessa ideia
de cincia, a lgica experimental passa a sustentar trs requisitos bsicos para definir
um estudo no campo social: (i) a introduo da causa (varivel independente) pelo
pesquisador; (ii) o controle da situao experimental, para evitar interferncias de
outros fenmenos alm dos pesquisados; (c) a designao aleatria das unidades para
o grupo experimental e para o grupo controle1 .
no sentido da sustentao destas premissas que se pode afirmar que a aplicao
prtica de modelos experimentais em avaliaes de prticas sociais encontra diversas
limitaes objetivas, ora ticas (na definio de um grupo como controle), tcnicas
(no isolamento das variveis) e financeiras (o grande investimento necessrio para
sustentar o mtodo). Quando essas limitaes so somadas a outras concepes
de cincia, menos deterministas, emergem os modelos quase-experimentais.
1
Por grupo tratamento entende-se aquele que recebe a interveno (tratamento); grupo controle
aquele que, idealmente, assemelha-se ao grupo tratamento em todas as suas caractersticas exceo de
uma: no recebe o tratamento.

5
5

Diferenciados dos tradicionais, tornaram-se caminhos centrais para a avaliao de

programas e polticas sociais, como mostra a Figura 01. Antes, contudo, de tratar
dessas alternativas, dois recortes de casos podem enriquecer a reflexo.
Caso 1: um projeto estimula assentados de reforma agrria a reflorestarem seus lotes e
manejarem os recursos naturais com tcnicas conservacionistas em um cenrio que circunda um
parque nacional brasileiro. A avaliao, iniciada quando o projeto j tinha muitos anos, buscou
levantar informaes (quantitativas e qualitativas) com os produtores rurais que participaram do
projeto (tratamento), bem como com aqueles que no participaram (comparao) e que viviam
nos mesmos lotes e, idealmente, eram vizinhos aos que tinham se envolvido com a iniciativa. As
informaes obtidas com os dois grupos foram contextualizadas e comparadas para apoiar a
compreenso sobre o mrito do projeto que estava sendo avaliado.
Caso 2: uma avaliao busca conhecer os resultados de um projeto que atua junto a uma
populao de jovens de baixa renda e atua orientado para concepes de cidadania por meio de
aes no contra-turno escolar. Para participar deste projeto foi necessrio passar por um processo
de seleo, uma vez que as vagas eram limitadas. No momento de fazer a avaliao o grupo
de jovens selecionados (tratamento) foi comparado com um grupo de jovens no selecionados
(controle), mas que se inscreveram para participar do curso. Este critrio foi adotado para
fortalecer a similaridade de perfil entre os dois grupos.

Quanto aos modelos quase-experimentais, Campbell (1963) a reunir argumentos

que colocam em cheque a validade dos modelos experimentais, propondo alternativas
quase-experimentais. Bamberger et all (2006) oferecem uma boa compilao deste
modelos, como resumido na Figura 01. Vale notar que, na concepo dos autores, os
modelos so apresentados em ordem crescente de rigorosidade.

6
6

Grupos

Tratamento
Controle

Antes

Tratamento
Controle
Tratamento

Durante

Depois

Modelos
Quase-experimentais

01

02

03

Controle

Tratamento

Controle
Tratamento

04

05

Controle

Tratamento
06
Controle
Tratamento
07
Controle
Figura 01. Sete alternativas para modelos quase-experimentais.

7
7

Em concluso, os modelos experimentais tm enfrentado crticas consistentes que

precisam ser observadas com ateno. A primeira sua pretensa concepo de que
o nico modelo capaz de determinar a relao causal em uma situao social. Um
exemplo disso sua apropriao do termo Gold Standard, atribudo aos estudos
onde todos os requisitos para um desenho causal so seguidos. Conforme menciona
Patton (2009), apoderar-se do critrio mximo e assumi-lo como vivel apenas em
suas prprias condies e lgica de operao sequestrar uma concepo de mundo
onde o ouro s cabe a quem atua dentro dos limites desta perspectiva. Do ponto
de vista tcnico, garantir as condies experimentais, o que significa evitar o atrito,
contaminao e outros problemas aqui no abordados, tarefa impossvel.
II. Outras trilhas: o naturalismo cientfico e a diluio das causalidades

Se um paradigma um sistema de crenas acompanhado de mtodos particulares

de conhecer a realidade, como nos alerta Khun (2006), pode ser importante nos
abrirmos ideia de que parte significativa de nossas experimentaes cotidianas
podem estar inscritas num ou noutro paradigma, campo no qual se pratica certa
forma de produo de saberes, certos valores e mtodos; campos nos quais temos
colegas colaboradores, bem como grupos com os quais reconhecemos profundas
divergncias.
Quando reconhecemos a existncia de paradigmas diferentes, compreendemos
tambm o quanto os mesmos so fruto da histria da humanidade, de inmeros
movimentos na cultura humana que implicam saber e poder, conquistas e rupturas.
Neste sentido, sustentamos a importncia de no tomar o paradigma do outro,
como hooligans tomam o torcedor da equipe adversria: um inimigo a ser subjugado
e eliminado. Reconhecer os paradigmas que atravessam nosso cotidiano exige
disposio para encarar o contraditrio, as falhas e os limites de qualquer instrumental
que se pretenda leitor da realidade.
Tratemos ento daquilo que chamamos aqui, em livre traduo, do paradigma
naturalista ou do naturalismo cientfico. Em primeiro lugar, prope-se uma mudana
na linguagem. Novas palavras podem significar aberturas para enxergar a realidade e
compreend-la tambm de forma nova. Novos conceitos so necessrios para evitar
velhas armadilhas.

8
8

Para alm da mudana no vocabulrio, importa sustentar que no cabe ao naturalismo

cientfico tratar das relaes entre os corpos e eventos pela via da Causalidade, do
Determinismo ou da Probabilidade. Em busca de outras formulaes, tomemos
o Quadro a seguir como o anncio de um conjunto de axiomas que traam uma
importante linha divisria entre o Positivismo e o Naturalismo Cientfico. Reparemos
as inflexes da linguagem e dos pontos para os quais olhamos.
Axiomas

Positivismo lgico

Naturalismo Cientfico

Natureza da Realidade

nica, tangvel e objetiva,

fragmentvel pelo cientista

Mltiplas porque construdas

pelos sujeitos, holsticas

Relao entre o Sujeito e o

Objeto do Saber

Relao de independncia,
de dualismo; relao
instrumental

Interativos, inseparveis e
interdependentes

Idia de generalizao dos

dados da pesquisa

Possvel por meio do

experimento correto,
independentemente do
Tempo e do Espao

Relativa a recortes
especficos de contextos
temporais, espaciais e
culturais

Causalidade

Causas reais sempre

precedem os efeitos ou so
ao menos simultneas a eles

Influncias mtuas e
simultneas entre as coisas,
as realidades, os sujeitos, as
fantasias

Valores

O pesquisador e o mtodo Valores so fronteiras dentro

so neutros e no implicam dos quais os sujeitos operam.
No h neutralidade, mas
um lugar onde figura e
escolhas e consequncias.
importa certo juzo de valor

Figura 02. Divergncias entre o Positivismo e o Naturalismo.

9
9

Ao lado destes axiomas, haver uma srie de implicaes ticas, polticas e

tecnolgicas na orientao dos estudos naturalistas. Entre elas, a condio de que a
experincia cientfica seja realizada em cenrios naturais (da sua nomenclatura), o
que pressupe proximidade, aculturamento, encontro e processo relacional entre
pesquisador e pesquisado, aqui tratados, ambos, como sujeitos da pesquisa ou da
interveno. Percebamos a diferena entre ao experimento cientfico positivo, e a
experincia cientfica natural, para alm de semntica.
Outra condio a ideia de que no naturalismo cientfico, o instrumento humano,
que o pesquisador interage, percebe, se vincula e escolhe; ele vive e atravessado pela
experincia da pesquisa. Entra em cena, portanto, o conhecimento tcito, a confiana,
a censura, as expectativas dos sujeitos que se encontram. E no seriam essas uma srie
de mudanas bastante significativas?
Sustentados pelo mtodo qualitativo, com nfase no discurso e na interpretao, na
memria e na prospeco, os estudos naturalistas trabalharo com amostragem intencional
(no probabilstica), com a anlise indutiva de dados (como sustenta o vasto campo da
Grounded Theory), com a emergncia de desenhos, imagens, insights, com a singularidade
de cada caso e, sobretudo, com a ideia de que a pesquisa alcana resultados que em si
mesmos precisam ser objeto de negociao entre diversos sujeitos, propondo que o ato
de pesquisa crie arenas nas quais a produo de um saber seja matria prima para novas
rodadas de implicao, conflitos, negociaes, decises e novas perguntas.
neste sentido dinmico e experiencial que os estudos naturalistas no operam com
os mesmos padres das cincias positivas, inmeras vezes utilizados inadequadamente
para criticar a suposta frouxido naturalista. No se reivindica no Naturalismo Cientfico
a validade externa dos resultados (Generalizao), validade interna dos dados
(Confiabilidade) e da tcnica (Replicabilidade), bem como a objetividade do mtodo
(Neutralidade). Navega-se no campo da Reflexividade (um pesquisador que observa,
experimenta e reconstri o que v), da Implicao (que explicita seus supostos e valores),
da Triangulao (diferentes fontes e tcnicas para acessar a realidade deem suas mltiplas
dimenses), da Comparao (o dilogo entre os padres emergentes em diferentes
cenrios e estudos), entre outros. Em sntese, trata-se de uma permanente construo de
Confirmabilidade (o objeto se reconhece na pesquisa e as diferentes tcnicas encontram
traos comuns) e de Credibilidade fiados por valores democrticos a guiar a presena
do pesquisador junto aos outros.

10
10

Interessa ainda pensar o conceito Influncia. Navegando em outra trilha epistmica,

o conceito Influncia emerge em alternativa Causalidade. Parte-se de outras
leituras nas relaes entre os eventos A e B, no mais apontados como Causa e
Efeito. Reconhece-se algo alm de A produzindo B. A influencia B que influencia A.
Mais ainda, outras variveis, C, D, E, n, ocupam papis to relevantes quanto A, na
influncia de B, e a percepo destes fenmenos tanto possvel quanto limitada.
A premissa da verdade como aproximao, como percepo, como construo
parcial, sustenta fortemente esta corrente. As ideias de sinergia, bloqueio, apoio,
obstruo, impedimento e permisso, operam de maneira relativa entre os eventos,
implicam uma leitura complexa da dana das variveis, no mais sustentadas de forma
atomizada, no mais tomadas pela primazia da determinao unvoca e pela leitura
totalitria da causalidade mecnica.
Tendo a Influncia como operadora nas relaes entre eventos, possvel que
afrouxamento as fantasias de controle das causas e variveis, sem desistir de
compreender ou adotar posies de que qualquer coisa serve ou de que tanto faz.
O desejo de produzir explicaes sobre a realidade continua vlido, mas explicaes
no causais. Pensar a explicao mais como emergncia de um entendimento,
compreenso forjada na mistura entre o pesquisador e seu objeto.
Mais ainda, medida que se reconhece que os atos de pesquisa e de avaliao so
intervenes em um dado organismo social, encaramos tambm a experincia do ato
avaliativo como gesto que influi no organismo e que dele recebe influncia. Vejamos
que nos distanciamos da posio de experimento neutro sustentado pelo positivismo,
para apostar num ato avaliativo duplamente potente: como ato de encontro entre
sujeitos na interveno e ato de investigao da realidade.
Enquanto os modelos hegemnicos se apoiam no trinmio previso-controle-aferio,
a trilha naturalista vai pensar a interveno como entendimento emergente na relao
entre pesquisador e pesquisado, entre consultor e cliente.
Pressupondo uma posio em que o pesquisador respeita a realidade da qual se
aproxima, trs sero os princpios a sustentar esta prtica: (a) o reconhecimento da
atividade primordial do organismo, refutando a aspereza e presuno do conceito de

11
11

Marco Zero12 ; (b) a escolha de dirigir a interveno no sentido de permitir, favorecer,

ativar, autorizar, facilitar a emergncia de saberes, a circulao de poderes, os novos
arranjos; (c) o cuidado de dirigir a interveno a diluir, mascarar e contornar aquilo
que bloqueia e constrange o processo de desenvolvimento do organismo.
Trata-se de uma interveno que deseja que haja descobertas, encontros, rearranjos,
e que tem, ao mesmo tempo, noo da sua falibilidade e limites. Aposta numa direo
sabendo que ao intervir em um organismo esse ato mergulha numa dinmica, numa
cultura, numa trama discursiva que tender a capturar nosso ato para dele fazer algo;
algumas vezes, algo bem diferente daquilo que a se imaginou.
Implica tratar a avaliao como algo que quer conhecer as conseqncias, as
influncias das nossas prticas, das prticas das organizaes, na realidade que se quer
modificar. Nesse sentido, ainda que as avaliaes estejam pautadas em padres de
qualidade, como aqueles da American Evaluation Association, (a utilidade, a viabilidade,
a preciso e a tica), o naturalismo cientfico nos convida a nos manter atentos para
quo orgnica nossa prtica de avaliao consegue ser. Em fim, um conjunto de
escolhas entre posies diferentes, para as quais temos liberdade de navegar.

2
Marco Zero um suposto ponto de incio de um Projeto que antecede a interveno, ponto no
qual nada relacionado aos resultados esperados existiria, ponto a partir do qual toda a lgica da medio
passa a se estruturar.

12
12

Referncias bibliogrficas
Bonda, Jorge Larrosa. Notas sobre a experincia e o saber de experincia.
Conferncia proferida no I Seminrio Internacional de Educao de Campinas,
traduzida e publicada, em julho de 2001, por Leituras SME; Textos-subsdios ao
trabalho pedaggico das unidades da Rede Municipal de Educao de Campinas/
FUMEC. UNICAMP, Departamento de Lingstica, 2001.
Campbell, Donald T. & Stanley, Julian C. Experimental and quasi-experimental designs
for research. Chicago: Rand McNelly, 1963.
Cano, Incio. Introduo a avaliao de programas sociais. So Paulo. Ed. FGV; 2002.
Khun, Thomaz. A estrutura das revolues cientficas. 9 edio. So Paulo: Editora
Perspectiva; 2006.
Guba, Egon & Lincoln, Yvona. Naturalistic Inquiry. Thousand Oaks/ London: Sage
Publications. 1985.
Guba EG, Lincoln YS. Paradigmatic controversies, contradictions, and emerging
confluences. In: Denszin N, Lincoln YS editors. Handbook of qualitative research. 2nd
ed. Thousand Oaks: Sage Publication; 2000. p. 163-88.
Bamberger M, Rugh J, Mabry, L. Real World Evaluation. Thousand Oaks/London: Sage
Publications, 2006.
Alkin, Marvin C. Evaluation Roots Tracing Theorists Views and Influences. Thousand
Oaks/London: Sage Publications, 2004.
Donaldson S, Patton M, G, Fetterman D, Scriven M. The 2009 Claremont Debates: The
promise and Pitfalls of Utilization-Focused and Empowerment Evaluation. Journal of
Multidisciplinary Evaluation.Volume 6, No 13, 2010.

13
13

EQUIPE EXECUTIVA
Daniel Brando
Diretor Executivo

Rogrio Silva
Diretor de Pesquisa e Desenvolvimento

Anna Lvia Solon Arida

Coordenadora de Projetos

Ana Carolina Moraes

Assistente Administrativo

CONTATO
Telefone
+55 (11) 3868-4093
move@movesocial.com.br
facebook/movesocial