Tendncias no estudo

sobre avaliao de polticas pblicas1

Marta T. S. Arretche

RESUMO
O artigo define o que se entende por avaliao de polticas pblicas, distinguindo
trs modalidades clssicas de avaliao: eficincia, eficcia e efetividade. Defende que
a avaliao um instrumento democrtico de controle sobre os governos e justifica a
necessidade de avaliaes independentes.
Palavras-chave: avaliao, polticas pblicas, democracia

ABSTRACT
This paper defines the understanding of public policies evaluation, distinguishing
three classic types of evaluation: efficiency, efficacy and effectiveness. It defends that
evaluation is an instrument of democratic control over governments and it justifies
the need for independent evaluations.
Keywords: evaluation, public policies, democracy

INTRODUO

Para melhor precisar o contedo desta pequena contribuio, necessrio inicialmente

distinguir o que se entende por avaliao de uma dada poltica pblica, distinguindo-a de
outras modalidades de avaliao: a avaliao poltica e a anlise de polticas pblicas.
certo que qualquer forma de avaliao envolve necessariamente um julgamento,
vale dizer, trata-se precipuamente de atribuir um valor, uma medida de aprovao ou
desaprovao a uma poltica ou programa pblico particular, de analis-la a partir de uma
certa concepo de justia (explcita ou implcita). Neste sentido, no existe possibilidade
de que qualquer modalidade de avaliao ou anlise de polticas pblicas possa ser apenas
instrumental, tcnica ou neutra. Nesta perspectiva, qualquer linha de abordagem das
polticas pblicas supe, de parte do analista, um conjunto de princpios cuja demonstrao
, no limite, impossvel, dado que corresponde a opes valorativas pessoais. Neste sentido,
o uso adequado dos instrumentos de anlise e avaliao so fundamentais para que no se
confunda opes pessoais com resultados de pesquisa.
Cada uma das distintas abordagens avaliativas acima mencionadas supe distintos
1
Publicado anteriormente em: RICO, Elizabeth Melo (org.) (1998). Avaliao de Polticas Sociais: Uma Questo
em Debate. So Paulo, Cortez.

126 Terceiro Milnio: Revista Crtica de Sociologia e Poltica Ano i n 01 Julho a Dezembro/2013
 instrumentos de operao e, por conseqncia, abordagens e concluses de diferente

MARTA T. S. ARRETCHE
natureza.
Me explico: por avaliao poltica, entende-se a anlise e elucidao do critrio
ou critrios que fundamentam determinada poltica: as razes que a tornam prefervel a
qualquer outra (Figueiredo & Figueiredo, 1986: 2). Neste sentido, a avaliao poltica
pode ressaltar, quer o carter poltico do processo decisrio que implicou na adoo de uma
dada poltica, quer os valores e critrios polticos nela identificveis. A avaliao poltica
nesta perspectiva prescinde do exame da operacionalidade concreta ou da implementao
do programa sob anlise. Ela examina os pressupostos e fundamentos polticos de um
determinado curso de ao pblica, independentemente de sua engenharia institucional e
de seus resultados provveis.
Por anlise de polticas pblicas, entende-se o exame da engenharia institucional e
dos traos constitutivos dos programas. Qualquer poltica pblica pode ser formulada e
implementada de diversos modos. Digamos, as possibilidades de desenho institucional de
uma poltica nacional de sade, por exemplo, so as mais diversas do ponto de vista das
formas de relao entre setor pblico e setor privado, das formas de financiamento, das
modalidades de prestao de servios, etc. A anlise de polticas pblicas busca reconstituir
estas diversas caractersticas, de forma a apreend-las em um todo coerente e compreensvel.
Ou melhor dizendo, de forma a dar sentido e entendimento ao carter errtico da ao
pblica2.
Ainda que a anlise de uma dada poltica pblica possa atribuir a um determinado
desenho institucional alguns resultados provveis, somente a avaliao desta poltica poder
atribuir uma relao de causalidade entre um programa x e um resultado y. Por exemplo,
ainda que se possa esperar que a cobrana de consultas mdicas tenda a excluir a populao
mais pobre do acesso a servios mdicos com base no exame do desenho institucional de uma
dada poltica de sade, apenas um estudo de avaliao poder afirmar com relativa segurana
quais parcelas da populao foram efetivamente excludas e qual o impacto desta medida
nas condies de sade da populao. Ou, ainda que se afirme, segundo uma determinada
concepo de justia e de eficincia, que a proviso privada de servios mais eficiente que
a proviso pblica, somente a avaliao de programas efetivamente implementados poder
estabelecer uma relao causal entre uma determinada modalidade de poltica pblica e o
sucesso ou fracasso na realizao de seus propsitos, ou ainda entre esta poltica e um dado
resultado ou impacto sobre a situao social prvia sua implementao.
Neste sentido, portanto, a particularidade da avaliao de polticas pblicas consiste
na adoo de mtodos e tcnicas de pesquisa que permitam estabelecer uma relao de

2
Na verdade, a ao pblica caracterizada por incoerncias, ambigidades e incertezas em todos os estgios
e em todos os momentos. Qualquer poltica pblica em grande parte um esforo de coordenao de foras
centrfugas que operam no interior da prpria mquina estatal e na sociedade. A formulao de polticas
com muita freqncia marcada pelo fato de que os decisores no sabem exatamente o que eles querem, nem o
resultado possvel das polticas formuladas, bem como pelo fato de que as polticas adotadas so o resultado de
um processo de negociao no qual o desenho original de um programa substancialmente modificado (Jobert
& Muller, 1987).

Terceiro Milnio: Revista Crtica de Sociologia e Poltica Ano i n 01 Julho a Dezembro/2013 127
 causalidade entre um programa x e um resultado y, ou ainda, que, na ausncia do programa
TENDNCIAS NO ESTUDO SOBRE AVALIAO DE POLTICAS PBLICAS

x, no teramos o resultado y (Figueiredo & Figueiredo, 1986).

Feitas estas distines, tratarei aqui exclusivamente de fazer alguns simples
comentrios sobre as tendncias de avaliao de polticas pblicas, mais particularmente
das polticas sociais.

ALGUMAS TENDNCIAS DE AVALIAO DE POLTICAS PBLICAS

A literatura de avaliao de polticas pblicas costuma distingui-las em termos de

sua efetividade, eficcia e eficincia, distino esta que basicamente um recurso analtico
destinado a separar aspectos distintos dos objetivos e por conseqncia, da abordagem e dos
mtodos e tcnicas de avaliao.

SOBRE A AVALIAO DE EFETIVIDADE

Por avaliao de efetividade, entende-se o exame da relao entre a implementao

de um determinado programa e seus impactos e/ou resultados, isto , seu sucesso ou
fracasso em termos de uma efetiva mudana nas condies sociais prvias da vida das
populaes atingidas pelo programa sob avaliao (Figueiredo & Figueiredo, 1986).
precisamente na avaliao de efetividade que a distino entre avaliao e anlise torna-se
mais clara e necessria, devido necessidade j mencionada de demonstrar que os resultados
encontrados na realidade social esto causalmente relacionados quela poltica particular.
E, adicionalmente, da necessidade de distinguir entre os produtos de uma poltica e seus
resultados.
Por exemplo, um programa de vacinao pode ser muito bem sucedido, como
veremos mais adiante, em termos de sua eficcia, vale dizer, da possibilidade de efetivamente
atingir uma quantidade satisfatria de suas metas de vacinao, por exemplo, vacinar x
crianas em um prazo dado. Neste sentido, o programa foi bem sucedido do ponto de vista
da efetiva produo de determinado produtos. Isto no significa necessariamente que o
programa seja bem sucedido do ponto de vista dos resultados dele esperados, vale dizer, da
possibilidade de efetivamente reduzir a incidncia da doena que se propunha a erradicar
ou a diminuir substancialmente num horizonte x de tempo.
Da mesma forma, espera-se que programas de saneamento bsico tenham impacto
sobre as condies de sade da populao. Ora, uma coisa abastecer a populao com
sistemas de gua e esgoto e, neste sentido, fornecer produtos como torneiras de gua e
sistemas de eliminao de dejetos. Outra coisa bastante distinta a qualidade deste servio
e, mais distinta ainda, seu impacto sobre as condies de sade da populao.
Nas avaliaes de efetividade, a maior dificuldade metodolgica no consiste em
distinguir produtos de resultados. De fato, a principal dificuldade metodolgica consiste
precisamente em demonstrar que os resultados encontrados (sejam eles no sentido do
sucesso ou do fracasso) esto causalmente relacionados aos produtos oferecidos por uma

128 Terceiro Milnio: Revista Crtica de Sociologia e Poltica Ano i n 01 Julho a Dezembro/2013
 dada poltica sob anlise. Por esta razo, estudos confiveis sobre efetividade dos programas

MARTA T. S. ARRETCHE
so muito difceis, e mesmo raros.
E isto por vrias razes, que vo desde as aparentemente mais simples, que dizem
respeito obteno de informaes sobre os programas e sobre as populaes analisadas,
at as metodologicamente mais complicadas, que dizem respeito possibilidade de isolar
a interferncia das variveis intervenientes em qualquer sistema aberto prprio da anlise
social3, passando pelas dificuldades operacionais, que dizem respeito aos custos financeiros
e organizativos envolvidos em pesquisas de campo.
Na verdade, a tradio brasileira em polticas pblicas (se que podemos afirmar
que j exista entre ns uma tradio nesta rea) bastante pobre em termos de estudos de
avaliao da efetividade das polticas. certo que o critrio da efetividade das polticas tem
estado presente em boa parte das anlises. Na medida em que este critrio est fortemente
relacionado a determinados ideais de igualdade e justia social e, por esta razo, expectativa
de que as polticas implementadas reduzam os brutais ndices de pobreza, desigualdade e
excluso social existentes entre ns, a correlao entre polticas e seus parcos resultados tem
estado presente no discurso analtico das polticas pblicas.
Tais anlises no tem implicado, contudo, em significativos avanos do ponto de
vista da avaliao das polticas, devido -- repito -- dificuldade em estabelecer a relao
de causalidade j mencionada. De fato, boa parte das anlises atribuem inefetividade
das polticas sociais brasileiras a persistncia da aguda condio de abandono, pobreza e
desproteo de nossa populao pobre.
Ora, menos que resultado de avaliaes precisas, estas concluses so resultado da
correlao entre ndices de pobreza e oferta de servios sociais. Se quisermos examinar os
resultados das polticas sociais no Brasil apenas com base em correlaes, podemos afirmar
exatamente o oposto do que as anlises correntes atestam: nas regies mais pobres do
pas (do Norte e Nordeste rural), so apenas as redes pblicas de servios de educao e
sade que, com toda a precariedade possvel e imaginvel, oferecem alguma modalidade
de proteo s populaes pobres (Draibe & Arretche, 1995). Neste sentido, o Sistema
de Proteo Social Brasileiro seria efetivo em sua capacidade de garantir nveis mnimos
de proteo populao pobre. Na verdade, apenas rigorosas avaliaes de efetividade
poderiam responder a esta questo.

SOBRE A AVALIAO DA EFICCIA

Por avaliao de eficcia, entende-se a avaliao da relao entre os objetivos e

instrumentos explcitos de um dado programa e seus resultados efetivos (Figueiredo &
Figueiredo, 1986). Esta avaliao pode ser feita entre, por exemplo, as metas propostas e as
metas alcanadas pelo programa ou entre os instrumentos previstos para sua implementao
e aqueles efetivamente empregados.
3
Para uma apresentao de diferentes mtodos e tcnicas de avaliao de programas, ver Deleau; Nioche; Penz;
Ponsard, 1986 e Cohen & Franco, 1988.

Terceiro Milnio: Revista Crtica de Sociologia e Poltica Ano i n 01 Julho a Dezembro/2013 129
 A avaliao de eficcia seguramente a mais usualmente aplicada nas avaliaes correntes
TENDNCIAS NO ESTUDO SOBRE AVALIAO DE POLTICAS PBLICAS

de polticas pblicas. Isto porque ela certamente aquela mais factvel e menos custosa de
ser realizada. Na verdade, o avaliador estabelece uma equao entre metas anunciadas por
um programa e, com base nas informaes disponveis, as relaciona s metas alcanadas e,
deste modo, conclui pelo sucesso ou fracasso da poltica. Neste tipo de avaliao, a maior
dificuldade consiste na obteno e confiabilidade das informaes obtidas.
Em menor medida, mas tambm usualmente aplicada a avaliao da relao entre
os instrumentos previstos para implementao de uma poltica e aqueles efetivamente
empregados. Na maior parte das vezes, esta avaliao consiste no exame da processualidade
concreta e da adequao e coerncia dos meios e instrumentos utilizados durante a vigncia
de um determinado programa.
Neste caso tambm, a maior dificuldade consiste na obteno e veracidade das
informaes acerca do funcionamento concreto do programa sob anlise. Contudo, este
tipo de avaliao exige pesquisas de campo capazes de aferir e reconstituir o processo de
implantao e/ou implementao da poltica sob anlise.

SOBRE A AVALIAO DE EFICINCIA

Por avaliao de eficincia, entende-se a avaliao da relao entre o esforo

empregado na implementao de uma dada poltica e os resultados alcanados (Figueiredo
e Figueiredo, 1986).
Penso que a avaliao da eficincia possivelmente hoje a mais necessria e a mais
urgente de ser desenvolvida. E, na verdade, tem sido feito um grande esforo de sofisticao
dos mtodos de avaliao de eficincia nos anos mais recentes. Isto tem ocorrido sob o
impulso de vrios fatores.
Em primeiro lugar, porque a escassez de recursos pblicos exige maior racionalizao
do gasto. Na verdade, sob o impacto da crise fiscal do Estado, medidas e programas de
racionalizao da ao pblica tm buscado aumentar o volume de recursos efetivamente
disponveis sem aumentar o volume de arrecadao e/ou sem aumentar rubricas de
gasto. Por exemplo, um dos objetivos mais importantes do Programa Comunidade
Solidria consiste na melhoria da gesto de programas pr-existentes, tornando mais
eficiente a prestao de servios, sem aumentar substancialmente rubricas anteriores
de gasto. Independentemente da avaliao poltica que se possa fazer desta opo de
poltica de combate pobreza, ela revela uma tendncia de racionalizao do gasto em
que o elemento eficincia ganha preponderncia. Na mesma direo, as mudanas
introduzidas a partir de 1989 na gesto do FGTS indicam um esforo de racionalizao
da gesto dos recursos, de modo a elevar a arrecadao efetiva de recursos, sem aumentar
alquotas de cobrana da contribuio e sem criar novas fontes de obteno de recursos
(Arretche, 1994). Em outras palavras, limites para a obteno de recursos com base na
criao de novas fontes de arrecadao, bem como um crescente estreitamento de suas
fontes tradicionais, tm induzido a inovaes no campo da racionalizao da gesto

130 Terceiro Milnio: Revista Crtica de Sociologia e Poltica Ano i n 01 Julho a Dezembro/2013
 e do gasto pblicos, vale dizer, no terreno especfico da eficincia, medidas estas que

MARTA T. S. ARRETCHE
demandam estudos de avaliao.
Em segundo lugar, os estudos de avaliao da eficincia tornam-se cada vez mais
necessrios no Brasil porque, paralelamente escassez de recursos pblicos, os universos
populacionais a ser cobertos pelos programas sociais so de enormes propores. Quando
um programa de merenda escolar deve alimentar diariamente 32 milhes de crianas,
por exemplo, a eficincia do gasto se impe, dado que, vista negativamente, a ineficincia
implica a virtual impossibilidade de oferta desta fonte bsica de alimentao a um exrcito
de crianas dela dependentes.
Mas, finalmente e de modo algum menos importante, as avaliaes de eficincia,
embora bastante negligenciadas, impem-se porque a eficincia um objetivo democrtico.
Na verdade, ao dispor de recursos pblicos e ao implementar polticas pblicas, o governo
est gastando um dinheiro que no seu; ao faz-lo, o governo est gastando o dinheiro do
contribuinte. Ora, a probidade, competncia e eficincia no uso de recursos publicamente
apropriados constituem , em regimes democrticos, uma das condies para a confiana
pblica (public confidente) no Estado e nas instituies democrticas. O desperdcio de
recursos, a corrupo ou a incapacidade governamental so, na verdade, entraves utilizao
de recursos publicamente geridos para finalidades efetivamente pblicas (Cohen, 1995:40)
Isto no significa que o critrio de eficincia no setor pblico seja o mesmo da
eficincia do setor privado, vale dizer, uma mera equao entre custos os mais reduzidos
possveis e resultados os melhores (mensurveis) possveis. Evidentemente, o o conceito
de eficincia no setor pblico distinto daquele do setor privado. Por exemplo, dado o
objetivo de reduo de desigualdades, justifica-se uma poltica de subsdios, o que no
est de acordo com uma concepo de eficincia que busca apenas minimizar custos. No
entanto, este instrumento no elimina a necessidade de aplicar uma poltica de subsdios
com o maior grau de eficincia possvel, eliminando custos desnecessrios e no condizentes
com o princpio da eqidade.

DA AVALIAO COMO INSTRUMENTO DEMOCRTICO

A avaliao teoricamente uma das etapas de uma poltica. De acordo com os manuais
de anlise e avaliao de polticas pblicas, a avaliao deveria ser uma etapa posterior
implementao das polticas e programas, destinada a influenciar sua reformulao, seja
durante sua implementao, seja posteriormente.
Ora, ns todos sabemos que, em sociedades em que o mercado eleitoral tem peso,
o impacto social de uma poltica tende a ter menor peso no processo decisrio que seu
impacto sobre a opinio pblica ou seu impacto eleitoral. Em outras palavras, a avaliao
da eficincia, eficcia e efetividade das polticas tende a ser apenas um dos elementos -- e
possivelmente de muito menor importncia -- na deciso pela adoo, reformulao ou
supresso de um programa pblico, dado que as razes do mercado eleitoral tm forte
influncia no processo decisrio.

Terceiro Milnio: Revista Crtica de Sociologia e Poltica Ano i n 01 Julho a Dezembro/2013 131
 Uma viso precipitadamente negativa desta tendncia (que um dado da
TENDNCIAS NO ESTUDO SOBRE AVALIAO DE POLTICAS PBLICAS

vida real) poderia concluir pela irrelevncia da realizao de estudos de avaliao. Na

verdade, diferentemente, a produo e divulgao de avaliaes, tal como demonstrado
mais acima, disponibilizam instrumentos que capacitam o eleitorado a exercer o
princpio democrtico de controle sobre a eficincia da ao dos governos: a idia de
que desperdiar recursos pblicos (dinheiro que do contribuinte) eleitoralmente
negativo. Neste sentido, a produo e divulgao de avaliaes rigorosas, tecnicamente
bem feitas, permitem o exerccio de um importante direito democrtico: o controle
sobre as aes de governo.
Portanto, a criao e fortalecimento de instituies e agncias independentes capazes
de produzir estudos confiveis de avaliao de polticas pblicas crescentemente uma
necessidade para o bom governo. Seja para a opinio pblica e o eleitorado, a fim de que
estes possam exercer um controle democrtico sobre o uso de seus recursos; seja para o
prprio governante, interessado em controlar agncias estatais executoras de polticas,
agncias estas que tendem a ter autonomia em relao s diretrizes governamentais.
DA NECESSIDADE DE AVALIAES INDEPENDENTES

Porque destinadas a exercer controle sobre as aes pblicas, seja dos cidados sobre
o governo, seja do governo sobre si mesmo, as avaliaes precisam ser realizadas por rgos
independentes.
Normalmente, as equipes governamentais encarregadas da execuo de uma poltica
fazem avaliaes. Estas consistem freqentemente em relatrios de acompanhamento,
nos quais se descrevem as aes desenvolvidas no curso de implementao do programa
em questo. muito difcil (embora obviamente no inteiramente impossvel) que tais
avaliaes possam ser isentas. Isto , h uma srie de incentivos para que tais avaliaes
concluam pelo sucesso do programa ou, pelo menos, que tendam a minimizar seus
elementos de fracasso. Estas razes vo desde a manuteno dos prprios empregos at o
interesse das burocracias em aumentar suas margens de poder e de gasto. Por estas razes,
mais difcil que tais avaliaes tenham em geral valor avaliativo, ainda que possam ser
bons instrumentos de pesquisa para estudos de avaliao, mais particularmente avaliaes
de eficcia.
Em outras palavras, a veracidade e utilidade dos estudos advm em grande parte
de seu rigor metodolgico e da necessidade de no obter resultados avaliativos os mais
confiveis possveis, seja para a anlise do sucesso ou do fracasso de uma dada poltica.
Como espero ter demonstrado, os estudos de avaliao j so em si mesmos muito
difceis. A dificuldade de isolar da realidade variveis efetivamente relevantes; a incerteza
sobre os reais objetivos da poltica avaliada (dada a necessidade de distinguir entre objetivos
explcitos e implcitos); as dificuldades de obteno e adequao das informaes; as
dificuldades tcnicas para estabelecer relaes de causalidade entre programas e seus
resultados, as dificuldades para obteno dos recursos financeiros necessrios realizao
de confiveis; todos estes fatores tornam os estudos de avaliao de muito difcil execuo.

132 Terceiro Milnio: Revista Crtica de Sociologia e Poltica Ano i n 01 Julho a Dezembro/2013
 Se a estes fatores acrescenta-se o part-pris do avaliador, aumenta exponencialmente a

MARTA T. S. ARRETCHE
possibilidade de comprometimento dos resultados da avaliao.
Isto no significa que, em pesquisas de avaliao, a neutralidade administrativa e a
tecnicalidade isenta sejam possveis e, que, portanto, a avaliao se caracterize pela ausncia
de valores, tais como justia social, eficincia, reduo de custos, etc. Significa apenas que
instituies independentes tm maiores condies e incentivos para, com base em critrios
valorativos explcitos e objetivos definidos, montar instrumentos adequados para responder
questo da relao entre os polticas, seus processos e seus resultados, que so condies
necessrias ao bom governo.

REFERNCIAS BIBLIOGRFICAS

ARRETCHE, Marta Teresa da Silva. (1994). Polticas de Habitao para Baixa Renda e de
Saneamento Bsico. Relatrio Final. Subprojeto Canais de Acesso aos Fundos Pblicos na rea
Social, da pesquisa Balano e Perspectivas do Federalismo Fiscal no Brasil. IESP/FUNDAP.
COHEN, Joshua & ROGERS, Joel. (1993). Associations and Democracy. London/New York, Verso.
COHEN, E. & FRANCO, R. (1988). Evaluacin de Proyectos Sociales. Buenos Aires, GEL.
DELEAU, M.; NIOCHE, J.P.; PENZ,P. et PONSARD, R. (1986). Evaluer les Politiques Publiques:
mthodes, dontologie, organisation. La Documentation Franaise, Paris.
DRAIBE, Snia Miriam & ARRETCHE, Marta T. S (coord). (1995). Politicas Sociales y Programas
de Combate a la Pobreza en Brasil. In: RACZYNSKI, Dagmar (ed.). Estrategias para Combatir la
Pobreza en America Latina: Programas, Instituciones y Recursos. Santiago, BID/CIEPLAN.
FIGUEIREDO, Marcus Faria & FIGUEIREDO, Argelina Maria Cheibub. (1986). Avaliao
Poltica e Avaliao de Polticas: Um Quadro de Referncia Terica. In: Textos IDESP, n. 15, mimeo.
JOBERT, Bruno & MULLER, Pierre. (1987). Ltat en Action. Politiques Publiques et Corporatismes.
Paris, PUF.
LAMOUNIER, Bolivar. Anlise de Polticas Pblicas: Quadro Terico-Metodolgico de Referncia.
Mimeo.

Marta Arretche
Doutora em Cincias Sociais pela Universidade Estadual de Campinas, possui ps-doutorado
no Departamento de Cincia Poltica do Massachussets Institute of Technology (EUA).
professora livre-docente do Departamento de Cincia Poltica da Universidade de So Paulo,
diretora do Centro de Estudos da Metrpole, Pesquisadora do CNPq e editora da Brazilian
Political Science Review.

Terceiro Milnio: Revista Crtica de Sociologia e Poltica Ano i n 01 Julho a Dezembro/2013 133