Sistema de

Monitoramento
e Avaliao de
Programas Sociais:
revisitando mitos
e recolocando
premissas para sua
maior efetividade
na gesto
Paulo de Martino Jannuzzi1

1 Professor da escola nacional de Cincias estatsticas do iBGe, colaborador da escola na-

cional de Administrao Pblica e pesquisador do CnPq no projeto PQ informao estatstica
e sistemas de monitoramento e avaliao de Polticas e programas sociais no Brasil e Amrica
latina. Atualmente Secretrio de Avaliao e Gesto de informao do Ministrio de Desen-

4
volvimento Social e Combate Fome. As opinies aqui expressas so refletem o posicionamen-
to da Secretaria e do Ministrio na temtica e so de exclusiva responsabilidade do autor.
Resumo
Este texto traz alguns elementos conceituais, metodolgicos e poltico-institu-
cionais acerca da estruturao de Sistemas de Monitoramento e Avaliao (SM&A).
Sem se pretender exaustivo, o texto traz discusso questes importantes que,
se por um lado evidenciam a relevncia de tais sistemas especializados, por outro
relativizam alguns mitos arraigados na rea. Procura-se mostrar que boa parte do
sucesso em garantir que gestores
e tcnicos se interessem e usem de Abstract
fato a informao e conhecimento This text brings some conceptual , methodolo-
produzidos acerca das Polticas e gical, political and institutional aspects on
Programas depende da adequao Monitoring and Evaluation Systems ( M&AS) struc-
do desenho do SM&A aos prop- turing . Without being exhaustive , the text brings
sitos e necessidades de seus po- important issues to discuss , showing the rele-
tenciais usurios. A natureza das vance of such specialized systems , and criticizing
perguntas respondidas pelo siste- some entrenched myths in the area. It is shown
ma e a escolha dos instrumentos that much of the success in ensuring that mana-
determinam, de partida, o envolvi- gers and professionals get interested and actu-
mento e o interesse de gestores e ally use the information and knowledge produced
tcnicos no uso dos seus produtos. depends on the design of the MA&S to answer the
Advoga-se que esforos continu- needs and demands of their potential users . The
ados de capacitao bsica acerca questions answered by the tools - monitoring
dos programas, de seus objetivos, indicators , implementation research , results and
de suas atividades e de seus pontos impact surveys - determine the involvement and
crticos so tambm fundamentais interest of managers and technicians in the use
no s para o sucesso da operao of its products . It is advocated that continued
das polticas e seus programas efforts of basic training on program objectives,
como para o uso instrumental das their activities and their critical points are also
informaes e conhecimento pro- fundamental not only to the success of program
duzidos. operations but also to improve instrumental use
of the information and knowledge produced.

Palavras-chave:
Sistema de Monitoramento; Sistemas de Avaliao; Polticas pblicas; Programas
sociais; Instrumentos.
R evista B rasileira de M onitoramento e A valiao | N mero 5 | J aneiro -J unho de 2013
Sistema de Monitoramento e Avaliao de Programas Sociais: revisitando mitos e recolocando premissas para sua maior
efetividade na gesto
5
 Introduo
O desenho e a operao de programas p-
blicos em pases com o volume de recursos,
complexidade operativa federativa e inters-
setorial da ao governamental e profissio-
nalizao do setor pblico, como o caso do
Brasil, envolvem um esforo expressivo de
compilao, levantamento e organizao de
dados e informao de diferentes naturezas,
para propsitos diversos. Afinal, informao
abrangente, sistematizada e atualizada cons-
titui insumo bsico para a formulao de uma
estratgia de superao ou mitigao de uma de Contas da Unio em 20103, parece haver
problemtica social especfica, para o plane-
jamento de um arranjo operativo que permita
coloc-la em ao, para articular e coordenar
o conjunto escolhido de agentes pblicos,
de instituies privadas ou do terceiro setor,
para monitorar o curso das atividades plane-
jadas, avaliar os resultados e esforos empre-
endidos, enfim, para a tomada de deciso tc-
nico-poltica em qualquer momento do ciclo
de vida ou maturao do programa2.
Nesse contexto, de amplo escopo e cobertu-
ra das Polticas Sociais, fundamental que se
disponha de sistemticas estruturadas na Ad-
ministrao Pblica para produzir informao cidos, e efetivamente apoiado em um exame
e conhecimento especfico para programas
e no apenas sobre programas , assim como
ter estratgias adequadas de disseminar e
fazer chegar o insumo requerido e custo-
mizado ao gestor estratgico e ao operador
do programa na ponta. Na forma de um de-
partamento de estatsticas, de um Ncleo de
Informao Estratgica, um Observatrio, um
Instituto de Pesquisa Aplicada ou ainda uma
unidade de monitoramento e avaliao de
6 programas governamentais, o setor pblico
federal e estadual brasileiro vem se estrutu-
rando para responder s demandas de cres-
cente complexidade de informao e conhe-
cimento requeridos para a gesto de Polticas
e programas sociais.
Em que pesem as consideraes crticas e as
lacunas apontadas em um levantamento acer-
ca das prticas e sistemticas de produo e
organizao de informao na Administra-
o Pblica Federal, realizado pelo Tribunal
um movimento inequvoco e significativo de
estruturao de processos de compilao e
levantamento de dados necessrios gesto
de programas nos ministrios, secretarias es-
taduais e governos municipais de maior por-
te populacional no pas.
Talvez ainda sejam pouco disseminadas ou
conhecidas tais prticas para gesto, monito-
ramento e avaliao empregadas por diversos
Ministrios e organizaes pblicas. Contudo
uma anlise desse processo, menos calcado
na presena ou no de normas, regulamentos
e outros institutos burocrticos j estabele-
mais cuidadoso das prticas internas e intrn-
secas de formulao, gesto e avaliao de
programas pblicos, baseado em evidncias
concretas como a existncia de diagnsticos
setoriais, sistemas de informao e relatrios
de gesto elaborados, tal anlise revelar
que existem, certamente, reflexo crtica e
conhecimento especializado no processo de
desenho e gesto de Polticas Pblicas no
pas. No poderia ser diferente, tal a comple-
xidade da operao das Polticas e do nvel
tcnico de gestores federais no pas, como
reconhecida por diferentes instituies inter-
nacionais4.
revelador nesse sentido, como j apontado
anteriormente em Jannuzzi , o esforo no uso
5 cial, as produes do Instituto Nacional de Es-
de dados de pesquisas do IBGE na elabora-
o de diagnsticos de programas, na intro-
duo de sistemas informatizados de gesto,
na organizao de registros de programas em
plataformas de minerao de dados (tambm
chamados de plataformas de Business Inteli-
gence), a construo de indicadores de mo-
nitoramento, de painis situacionais, mapas
estratgicos e encomendas regulares de pes-
quisas de avaliao, configurando, em vrias
situaes, em graus diversos de maturidade,
o que se denomina na literatura de Polticas
Pblicas como Sistemas de Monitoramento
e Avaliao de Polticas e Programas (SM&A).
Tambm sintomtica do avano do proces-
so de institucionalizao de SM&A no Brasil, a
publicao de relatrios de avaliao de Po-
lticas setoriais e de programas, como Sade
no Brasil, do Ministrio da Sade, Cadernos
de Estudos Desenvolvimento Social em De-
bate, do Ministrio do Desenvolvimento So-
tudos e Pesquisas Educacionais, alm das j
mais conhecidas publicaes do IPEA e IBGE,
como os boletins Polticas Sociais: acompa-
nhamento e anlise e Sntese de Indicado-
res Sociais, entre outras. Por fim, outras evi-
dncias desse processo consubstanciam-se
na estruturao de sistemas informacionais,
aplicativos e rotinas de produo de dados
para monitoramento e gesto de programas
em diversas organizaes pblicas, tal como
se pode verificar em palestras e seminrios
no pas, embora ainda no devidamente do-
cumentadas na literatura da rea6.
De modo a contribuir para o entendimento do
papel, das finalidades e processos de trabalho
dessas unidades de produo e disseminao

2 JANNUZZI, 2011a.

3 BRASIL, 2010

4 Vale citar, entre outros, o reconhecimento do Programa Bolsa Famlia (PBF) e do Programa de Aquisio de Alimentos (PAA)
como experincias exitosas pelo Banco Mundial, Programa das Naes Unidas para o Desenvolvimento e Organizao Mundial
de Alimentos, despertando grande interesse de cooperao tcnica por diferentes pases.

5 JANNUZZI, 2011b

6 Este nmero da Revista Brasileira de Monitoramento e Avaliao procura preencher parte dessa lacuna, ao trazer Relatos de
vrios de sistemas e aplicativos usados atualmente pelos Ministrios no pas, apresentados no Seminrio Gesto da Informao
e Monitoramento de Polticas Sociais, organizado pela ENAP no final de 2012.

R evista B rasileira de M onitoramento e A valiao | N mero 5 | J aneiro -J unho de 2013

Sistema de Monitoramento e Avaliao de Programas Sociais: revisitando mitos e recolocando premissas para sua maior efetividade
na gesto
7
 de conhecimento e informao, procura-se
oferecer neste texto alguns elementos con-
ceituais, metodolgicos e poltico-institucio-
nais acerca da estruturao de SM&A. Sem se
pretender exaustivo, o texto traz discusso
questes importantes que, se por um lado
evidenciam a relevncia de tais sistemas es-
pecializados, por outro, relativizam alguns mi-
tos arraigados em algumas instituies aca-
dmicas, organismos multilaterais, setores do
Controle Pblico e da sociedade relativos
suposta misso iluminista e legitimidade
tecnocrtica que tais sistemas trazem para o
processo de gesto de polticas pblicas no
Brasil e suposta incompetncia gerencial,
falta de transparncia e resistncia a pro-
cessos avaliativos e a mudanas da Adminis-
trao Pblica brasileira.
Procura-se mostrar que uma boa parte do
sucesso em garantir que gestores e tcnicos
se interessem e usem de fato a informao e
conhecimento produzido acerca das Polticas
e Programas depende da adequao do dese-
nho do SM&A aos propsitos e necessidades
de seus potenciais usurios. A natureza das
perguntas respondidas pelo sistema, a esco-
lha dos instrumentos indicadores de moni-
toramento, pesquisas de implementao, de
avaliao de resultados e impactos determi-
nam, de partida, o envolvimento e o interesse
de gestores e tcnicos no uso dos seus produ-
tos. Ademais, procura-se advogar que esforos
continuados de capacitao bsica acerca dos
programas, de seus objetivos, de suas ativida-
des e de seus pontos crticos so tambm fun-
damentais no s para o sucesso da operao
das polticas e seus programas como para o
uso instrumental das informaes e conheci-
8 mento produzido no mbito dos SM&A.
Sistemas de
Monitoramento e
Avaliao: definio
operacional e tipologias
Sistemas de Monitoramento e Avaliao de
Polticas e Programas (SM&A) tm recebido
definies conceituais diversas na literatura
especializada, mais abrangentes ou mais ope-
racionais, como evidenciam os textos de Ma-
cDavid e Hawthorne (2006), Mackay (2007),
Owen (2007) e Cunill e Ospina (2008). Em um
sentido lato, pode-se conceituar SM&A como o
conjunto de atividades articuladas, sistem-
ticas e tecnicamente orientadas de registro,
produo, organizao, acompanhamento e
anlise crtica de informaes resultantes da
Gesto de Polticas Pblicas, para identifica-
o de demandas sociais, desenho, seleo,
implementao e avaliao de solues para
essas, com a finalidade de subsidiar a tomada
de deciso de tcnicos e gestores envolvidos
nas diferentes etapas do ciclo de vida ou ma-
turao das Polticas e de seus Programas.
Trata-se, pois, de um conjunto de atividades
inerentes ao gerenciamento das Polticas
Pblicas, voltadas sistematizao de infor-
mao com rigor tcnico acerca dos aspec-
tos considerados crticos para o sucesso dos
programas, como seu contexto de operao,
dimensionamento e caracterizao dos pbli-
cos-alvo, da qualidade de seus produtos, ser-
vios, benefcios e entregas, dos resultados e
impactos dos programas sobre os segmentos
populacionais visados e sobre a sociedade
em geral. Esta definio procura caracterizar
SM&A como parte de sistemas mais amplos
de gesto de Polticas e Programas, aos quais
se articulam, recebendo deles demandas de
dados necessrios ao processo e retroalimen-
tando-os com oferta de informao e conhe-
cimento customizado.
Em uma definio mais sucinta, baseada nas
semelhanas com os modelos voltados sis-
tematizao de informao para Cincia e
Tecnologia, pode-se descrever SM&A como
o conjunto de processos articulados de le-
vantamento, organizao e disseminao de
informao e conhecimento para o ciclo de
gesto de polticas e programas pblicos, di-
rigidos a subsidiar o aprimoramento de seu
desenho e sua gesto, garantir mais transpa-
rncia da ao governamental ou, ainda, pro-
ver evidncias do mrito e da efetividade de
polticas e programas.
Estas definies deixam claro que, alm de
prover informao para anlise das entre-
gas de produtos e servios e para correo
de eventuais falhas da ao governamental,
os sistemas de M&A tambm se destinam a
produzir conhecimento sobre os impactos
das polticas e programas, bem como seus
custos de produo. Sistemas de M&A se-
riam tambm, pela definio, mecanismos
importantes para garantir mais transparncia
da forma de utilizao dos recursos pblicos
e para subsidiar decises sobre o mrito e a
relevncia das polticas e programas na repar-
tio oramentria.
De certa forma, embora se complementem,
essas finalidades bsicas de um SM&A in-
formao para aprimoramento de programas,
R evista B rasileira de M onitoramento
Sistema de Monitoramento e Avaliao de Programas Sociais: revisitando mitos e recolocando premissas para sua maior efetividade
na gesto
transparncia pblica ou avaliao de mrito
oramentrio disputam os focos avaliativos,
os recursos humanos disponveis e definem
em boa medida os mtodos e tcnicas esco-
lhidos para desenvolvimento dos trabalhos.
Naturalmente, a finalidade principal, o foco
avaliativo e, por consequncia, o uso efeti-
vo dos produtos de um SM&A por parte de
seus usurios depende de onde tal sistema
est sediado: se em um ministrio setorial ou
uma agncia voltada formulao e operao
de programas sociais, os esforos de estrutu-
rao de instrumentos de monitoramento e
pesquisas de avaliao orientam-se em le-
vantar evidncias para aperfeioamento con-
tnuo de suas aes e seus resultados; se o
SM&A est sediado em um rgo de Controle
Pblico ou do Parlamento, o foco avaliativo
volta-se a produzir e organizar informaes
sobre impactos das polticas e dos programas
pblicos para a sociedade; se se trata de um
SM&A dentro de um rgo responsvel pela
gesto oramentria e/ou planejamento de
mdio prazo, natural que os processos e as
atividades orientem-se na produo de estu-
dos de custo-efetividade e impactos dos pro-
gramas pblicos para orientar a alocao e a
disputa dos recursos pblicos disponveis.
Ter clareza do foco avaliativo do SM&A fator
fundamental para garantir o sucesso no uso
efetivo da informao e do conhecimento
que ele aporta para seus usurios tcnicos
envolvidos na operao das polticas e pro-
gramas, sociedade, parlamentares ou gesto-
res oramentrios. Esse foco orienta mais cla-
e A valiao | N mero 5 | J aneiro -J unho de 2013
9
 ramente as perguntas a serem respondidas
do SM&A e, por consequncia, determina a
escolha dos instrumentos e mtodos a serem
empregados para produzir a informao e o
conhecimento relevantes e teis ao usurio
almejado.
Uma das tipologias mais usuais de SM&A
aquela que os diferencia entre os mais vol-
tados implementao e os orientados a re-
sultados de programas. No primeiro caso, os
sistemas se prestam a fazer o seguimento e
avaliar como se executa um projeto, programa
ou poltica, sem nfase no xito ou fracasso.
No outro caso, o sistema oferece informao
sobre as consequncias e efeitos reais das
aes de governo . 7
Os SM&A podem abarcar a integralidade das
aes de governo, algumas reas setoriais ou
um conjunto seletivo de projetos prioritrios.
Dependendo de onde esto sediados Minis-
trio da Fazenda, Ministrio do Planejamento,
Ministrios setoriais, Assessoria da Presidn-
cia, rgo de Controle Externo e da cultu-
ra existente em M&A na organizao, estes
sistemas podem dispor de um conjunto mais
amplo ou restrito de ferramentas e produtos:
Mapas Estratgicos, Balanos de Gesto, Sis-
temas Informatizados, Indicadores de Desem-
penho, Indicadores de Polticas e Programas,
Painis Situacionais ou Pesquisas de Avalia-
o, entre outros.
Os SM&A podem tambm ser diferenciados
segundo a abrangncia conceitual e progra-
mtica de seus objetos constituintes: podem
ter abrangncia mais macro, quando se re-
ferem a Polticas ou Estratgias de Governo;
10
meso, quando voltados ao acompanhamento
gerencial e analtico de programas e/ou or-
ganizaes; ou at mesmo microambiental,
quando a nfase avaliativa recai sobre indi-
vduos, processos ou produtos muito espec-
ficos8.
Quando se referem a Polticas ou Estratgias
de Governo, configuram o que se entende por
sistemas de macromonitoramento da ao
governamental, sistemas de informao es-
tratgica ou Mapas Estratgicos, baseados,
em geral, em conjuntos selecionados de indi-
cadores-chave, isto , medidas que resumem
os impactos de um grupo complexo de aes
e atividades articuladas, que sinalizam a evo-
luo de dimenses consideradas prioritrias
ou finalsticas ou, ainda, permitem acompa-
nhar fatores considerados como crticos para
o sucesso das Polticas ou do Governo. O con-
junto de indicadores acompanhado cobre um
amplo escopo temtico, mas com baixa pro-
fundidade analtica, j que tais macrossiste-
mas de M&A se destinam ao monitoramento
mais gerencial dos projetos priorizados (para
fazer acontecer) e/ou da captao do impac-
to agregado das aes governamentais (para
prestar contas do Governo sociedade).
Estes macrossistemas de M&A valem-se, em
geral, de informao mais sinttica e peri-
dica proveniente de outros sistemas de in-
formao no governo como aqueles que
administram dados oramentrios, execuo
fsico-financeira mas tambm de dados
informados por gestores de projetos consi-
derados estratgicos para gesto. Parte dos
indicadores de impactos das Polticas acaba
sendo construda, na falta de fontes mais re-
gulares e especficas, a partir das Estatsticas
Pblicas produzidas pelo IBGE e por outros
rgos. Em geral, em tais sistemas, os indi-
cadores no precisam estar computados no
nvel mais granular da informao, como mu-
nicpios, escolas, unidade de atendimento de
sade etc.
Sistemas de M&A de mesoalcance correspon-
dem queles que permitem avaliar de modo
mais especfico e peridico a evoluo das
aes, suas atividades, seus projetos, as en-
tregas dos programas. Esses mesossistemas
de M&A apoiam-se intensamente em dados
e informaes geradas no mbito da execu-
o das aes e dos provimentos de produtos
e servios. Para isso, os painis ou sistemas
de indicadores de monitoramento devem
se valer dos dados continuamente atualiza-
dos nos cadastros e registros administrados
pelos gestores e operadores envolvidos nos
programas, no detalhamento territorial mais
especfico possvel. Devem estar interliga-
dos aos sistemas informatizados de gesto
do programa, no qual so registrados atendi-
mentos prestados, informaes dos agentes
que o operam, caractersticas dos benefici-
7 OSPINA e CUNILL, 2007
8 OWEN, 2007; CUNILL; OSPINA, 2008
R evista B rasileira de M onitoramento
Sistema de Monitoramento e Avaliao de Programas Sociais: revisitando mitos e recolocando premissas para sua maior efetividade
na gesto
rios, processos intermedirios, que produ-
ziro os efeitos idealizados pelo programa.
Tambm podem se valer de pesquisas levan-
tadas pelos institutos nacionais de estatsti-
cas e cadastros pblicos. Sistemas de M&A
de mesoalcance podem dispor, alm disso, de
procedimentos de coleta de informao mais
especfica, por meio de pesquisas de campo
de natureza qualitativa ou quantitativa, ne-
cessrias ao entendimento e correo dos
desvios e das falhas eventualmente detecta-
das ou necessrias para poder captar efeitos
e externalidades potencialmente geradas pe-
los programas.
Sistemas de M&A de microalcance so aque-
les em que a nfase avaliativa recai sobre
indivduos, processos, servios ou produtos
especficos de polticas e programas. Depen-
dendo do objeto de anlise, materializam-se
como sistemas de avaliao de desempenho
de equipes, segundo metas definidas ou as-
pectos atitudinais, ou por meio de processos
de coleta de informao sobre satisfao de
usurios quanto aos servios oferecidos, ou
ainda, por avaliaes de produtos realizadas
por painel de especialistas.
e A valiao | N mero 5 | J aneiro -J unho de 2013
11
 Instrumentos de
M&A: diversidade de
abordagens diante
da complexidade das
demandas de informao
e conhecimento para os
Programas
Programas pblicos so sistemas complexos,
operados em geral por meio de arranjos fe-
derativos, envolvendo diversos processos de
trabalho e atividades para que os recursos
oramentrios alocados produzam resulta-
dos para os pblicos-alvo definidos e gerem
impactos para a sociedade. Dependendo da
rea setorial da Poltica Social, dos recursos
oramentrios, da escala de cobertura e com-
plexidade do desenho do programa, milhares
ou centenas de milhares de agentes partici-
pam das atividades de gesto, preparao e
entrega efetiva de produtos, servios e bene-
fcios para a populao.
Alm disso, como bem coloca Arretche , os9
programas passam por mudanas significati-
vas em seu desenho e mesmo em seus objeti-
vos em seu perodo de implantao e ao lon-
go de sua operao cotidiana. Programas no
so processos estticos, mas dinmicos, ao
contrrio do que pressupe um certo tecno-
cratismo ingnuo ainda presente em parcelas
da Administrao Pblica e dos centros de
pesquisa. Se fato que as atividades de pla-
nejamento e desenho do modelo lgico dos
programas so fundamentais para que obte-
nham sucesso, a capacidade de antecipao
de problemas de implementao restrita,
frente aos arranjos operacionais existentes e
12 a juventude de vrios dos programas pbli-
cos no pas. Conhecer melhor a configurao,
os objetivos explcitos e tcitos, o arranjo
operacional e a complexidade de implemen-
tao dos programas em um contexto fede-
rativo , pois, requisito fundamental para que
a informao e o conhecimento produzidos
tenham maior aplicabilidade para o aperfei-
oamento da Poltica e do programa pblico.
Assim, SM&A orientados a subsidiar a gesto
e o aprimoramento de programas em minist-
rios setoriais e agncias pblicas no podem
estar apoiados na produo de to somente
pesquisas primrias para levantamento de
diagnsticos ou avaliao de resultados e
impactos. Tais sistemas devem articular, em
diferentes nveis de complexidade, a depen-
der do estgio de maturidade do programa
ou da demanda especfica necessria ges-
to, a organizao de dados sobre processos
e atividades desenvolvidas, a construo de
sistemas ou painis de indicadores de mo-
nitoramento, a realizao de pesquisas para
investigar aspectos especficos da execuo
dos programas ou ainda a elaborao de es-
tudos e meta-avaliaes com base em mate-
rial emprico ou bibliogrfico j disponvel.
O fato que Monitoramento e Avaliao so
processos analticos organicamente articula-
dos, que se complementam no tempo, com
o propsito de subsidiar o gestor pblico de
informaes mais sintticas e tempestivas
sobre a operao do programa resumidas
em painis ou sistemas de indicadores de
monitoramento e informaes mais analti-
cas sobre o funcionamento desse, levantadas
nas pesquisas de avaliao. Tal como term-
metros, os indicadores de monitoramento
podem apontar sinais de normalidade ou
febre em pontos crticos do desenho ope-
racional de programas, orientando tcnicos
e gestores a tomarem decises cabveis de
correo, e at mesmo contratarem pesquisas
de avaliao ou exames clnicos, na me-
tfora adotada para investigar as causas e
a persistncia da febre, isto , do problema
identificado10.
Como bem definiram Garcia (2001) e Rua
(2004), monitoramento constitui um processo
sistemtico e contnuo de acompanhamento
de uma poltica, programa ou projeto, base-
ado em um conjunto restrito mas significati-
vo de informaes, que permite uma rpida
avaliao situacional e uma identificao de
fragilidades na execuo, com o objetivo de
subsidiar a interveno oportuna e a correo
tempestiva para atingimento de seus resulta-
dos e impactos. Sistemas de monitoramento
efetivos partem de modelos lgicos de inter-
veno que retratam, de fato, o desenho do
programa, a partir do qual se podem selecio-
nar indicadores-chave com os dados gerados
na operao e atividades do prprio progra-
ma, em seus sistemas de gesto. Em geral,
tais indicadores tendem a refletir os insumos,
processos e produtos gerados no mbito do
desenho programtico, com grande detalha-
mento geogrfico e tempestividade, mas po-
dem tambm aportar informaes sobre os
efeitos gerais do programa, conjugados com
9 ARRETCHE, 2006
10 JANNUZZI, 2011a
R evista B rasileira de M onitoramento
Sistema de Monitoramento e Avaliao de Programas Sociais: revisitando mitos e recolocando premissas para sua maior efetividade
na gesto
os dos demais programas que atuam sobre
uma mesma problemtica de interveno.
Um bom conjunto de indicadores de mo-
nitoramento deve conseguir responder s
questes avaliativas bsicas, tais como: se os
recursos financeiros e humanos esto sendo
alocados, se os processos intermedirios de
contratao de servios e adeso de agentes
envolvidos na operao dos programas es-
to ocorrendo no tempo e amplitude neces-
srios, se os produtos, servios e benefcios
esto chegando ao pblico-alvo desejado e
sociedade em geral. Boas escolhas de indi-
cadores-chave, com detalhamento geogrfico
ou sociodemogrfico adequado, podem cons-
tituir-se em informaes de grande utilidade
para uso efetivo e cotidiano dos tcnicos e
gestores. Os indicadores de monitoramento,
organizados segundo painis com a devida es-
trutura, configuram um recurso metodolgico
para filmar as atividades, programas e aes
promovidas pelo setor pblico, assim como a
mudana social impactada pelos mesmos.
Supondo que a cadeia lgica de interveno
do programa seja, em verdade, articulada e
factvel, os indicadores de monitoramento
permitem antecipar, ainda que com imper-
feies, as tendncias e os desvios indese-
jveis na execuo dos programas. Se forem
indicadores especficos para retratar aes de
e A valiao | N mero 5 | J aneiro -J unho de 2013
13
 maior relevncia em um programa - nvel de
desnutrio crnica de crianas, por exemplo
-, se forem computados com periodicidade
adequada e referenciados territorialmente
segundo tipologias analticas consistentes
indicadores semestrais, para municpios
com maior e menor grau de estruturao dos
servios de sade, por exemplo -, pode-se
inclusive inferir relaes associativas ainda
que no estritamente causais - entre as inter-
venes programticas e seus possveis efei-
tos . Os indicadores se prestam mesmo em
11
situaes em que, tendo sido tomadas deci-
ses cruciais para a correo dos problemas,
os desvios persistem: nesse caso, os indica-
dores de monitoramento podem no ser as
melhores escolhas de processos-chave, ou o
desenho programtico apresenta problemas
estruturais, para o que necessrio especifi-
car uma pesquisa de avaliao que investigue
com mais detalhes o que est se passando
com o programa.
Avaliao de programas tem recebido as mais
diferentes definies na literatura especiali-
zada, das mais gerais que se referem ao que
aqui se conceitua como Sistemas de Monito-
ramento e Avaliao s mais restritas que
a identificam somente com um tipo particular
de investigao emprica: avaliaes de im-
pacto experimental ou quasi-experimental.
Baseado em Rossi et al 12
e procurando ga-
rantir uma definio abreviada, porm con-
sistente com o marco conceitual de SM&A
exposto, conceitua-se aqui como avaliao
de programas como sendo uma investigao
tcnica fundamentada nas diferentes estra-
tgias metodolgicas da Pesquisa Social para
produzir informao e conhecimento para
14 seu desenho ex-ante, implementao e va-
lidao ex-post, com a finalidade de garantir
o cumprimento dos objetivos do programa.
No apenas uma investigao com mtodos
validados cientificamente para analisar dife-
rentes aspectos de um programa o que se
constituiria em uma investigao de cunho
acadmico , mas uma anlise pragmtica de
caractersticas essenciais do contexto, pbli-
cos-alvo, desenho, implementao, custos de
operao, resultados de curto prazo, impac-
tos sociais e de mais longo prazo de um pro-
grama, enfim, insumos acerca do programa
que contribuam para seu aperfeioamento e
a consecuo de seus objetivos. No sentido
aqui definido, pesquisa de avaliao- e no
avaliao - o termo mais apropriado a se
empregar.
As pesquisas de avaliao podem ser mais
estruturadas, como as enquetes quantitativas
com marco amostral probabilstico ou inten-
cional (mais rpidas e menos custosas). Podem
ser menos estruturadas e de cunho qualitativo,
como grupos de discusso ou entrevistas em
profundidade, dirigidas a tcnicos da ponta
(street-level bureaucrats) e aos beneficirios
dos programas, de modo a produzirem mais
rapidamente evidncias empricas.
Pesquisas amostrais, com representatividade
nacional, ou pesquisas com delineamento
quasi-experimental certamente so impor-
tantes instrumentos de SM&A de Ministrios
setoriais, mas pelo tempo, recursos e esforos
que estes levantamentos requerem, tm uso
muito mais efetivo para avalio do mrito,
legitimidade e impactos por parte de usu-
rios dos SM&A orientados transparncia
pblica e gesto oramentria. Para legiti-
mao da prioridade poltica conferida a de-
terminadas questes sociais, para prestao
de contas para a sociedade e para orientar a
disputa dos recursos, sempre escassos, do or-
amento pblico, as pesquisas quantitativas
com amostras probabilsticas, como as reali-
zadas pelas agncias nacionais de estatstica,
e as pesquisas de avaliao de impacto com
grupos controle e de beneficirios forne-
cem evidncias importantes para adequao
do desenho dos programas pblicos, da co-
bertura destes, dos pblicos atendidos, dos
resultados e impactos diferenciais e atribu-
veis ao programa em questo. So insumos
importantes, porm no os nicos, pois a
deciso de manter, modificar e descontinuar
uma Poltica ou um programa no meramen-
te tcnica, mas sobretudo poltica, por suas
implicaes em termos de impactos na vida
das pessoas atendidas e dos arranjos institu-
cionais construdos para oper-las.
Essas pesquisas de larga cobertura ou de
grande complexidade metodolgica e ope-
racional, como as de impacto com desenho
quasi-experimental, podem se justificar no
incio da operao de uma Poltica e um pro-
11 o que se denominou em JANNUZZI (2011b) de Monitoramento Analtico, em contraponto ao monitoramento gerencial ou
de metas.
12 ROSSI et al, 2004
13 ROSSI et al, 2004
14 WORTHERN et al, 2004
15 JANNUZZI, 2011b
R evista B rasileira de M onitoramento
Sistema de Monitoramento e Avaliao de Programas Sociais: revisitando mitos e recolocando premissas para sua maior efetividade
na gesto
grama, para identificar a situao social antes
da produo de seus supostos resultados e
impactos junto sociedade. Sua replicao,
contudo, deveria aguardar o momento ade-
quado, depois que os problemas de imple-
mentao de programas j foram identifica-
dos e sanados13. Do contrrio, pode-se chegar
concluso um tanto bvia e antecipada
de que os resultados e impactos so mnimos
ou no existem, gerando descrena no gover-
no sobre o mrito da Poltica ou do programa
e, para o gestor e o tcnico envolvidos, des-
confiana na utilidade das pesquisas e dos
produtos do SM&A.
O fato que, em que pese o prestgio con-
ferido por determinadas comunidades acad-
micas, as pesquisas de avaliao quasi-expe-
rimental no se constituem no mtodo mais
legtimo, cientfico ou, ainda, o padro-ouro
de avaliao de programas, nem deveriam
disputar a centralidade dos SM&A14. H diver-
sos conflitos ticos e restries operacionais
em sua efetiva realizao, j extensamente
apontadas na literatura internacional15. Insis-
tir que pesquisas dessa natureza consistem
e A valiao | N mero 5 | J aneiro -J unho de 2013
15
 no cerne do SM&A de Ministrios setoriais
um equvoco, o qual tem contribudo para
o descrdito e ceticismo dos instrumento de
M&A junto a tcnicos e gestores que, genui-
namente, buscam insumos para aprimorar
suas aes.
No caso do Ministrio de Desenvolvimento
Social e Combate Fome (MDS), oportuno
registrar que as pesquisas de Avaliao de
Impacto do Bolsa Famlia (AIBF), realizadas em
2005 e 2009, cumpriram papel importante
na legitimao tcnica e poltica do programa
junto a diferentes pblicos, dentro e fora da
burocracia pblica, no Brasil e no exterior. Em
um contexto de forte oposio de segmentos
da imprensa e da classe mdia com relao ao
programa desde sua criao at o presente
-, as edies da pesquisa trouxeram evidn-
cias robustas dos efeitos positivos do Bolsa
Famlia na frequncia escolar e vacinao das
crianas, na reduo do trabalho infantil e
empoderamento das mulheres beneficirias.
Outros estudos avaliativos, com outras bases
de dados ou estratgias qualitativas - anlise
de cartas de beneficirios, inclusive soma-
ram evidncias adicionais igualmente impor-
tantes, vale tambm registrar.
A necessidade de aportar informaes mais
especficas e instrumentais para o aprimora-
mento das aes de superao da pobreza,
no contexto de implementao do Plano Bra-
sil Sem Misria a partir de 2011, acabaram
por conduzir o MDS a desenhar uma outra
estratgia de investigao. Decidiu-se reali-
zar uma pesquisa com desenho longitudinal
para acompanhamento de famlias em ex-
16
trema pobreza em que, mais importante que
avaliar efeitos marginais especficos do pro-
grama em termos de aspectos educacionais,
nutricionais e condies de vida - aspectos
que j tm sido investigados e respondidos
por diversas outras pesquisas -, se pudesse
entender a volatilidade dos rendimentos
dessas famlias, suas dificuldades de aces-
so a servios e a oportunidades de incluso
produtiva16. Novas agendas de formulao
de polticas requerem novas necessidades
de informao e conhecimento, ainda que
ao custo de descontinuidade de sries his-
tricas e de projetos de investigao que
dispunham de forte legitimidade tcnica e
poltica no passado.
O cotidiano da gesto de programas requer
pacotes de informao e conhecimento muito
alm do que o produzido por tais pesquisas.
Mais do que produzir evidncias para uma su-
posta legitimao tcnica ou inovao re-
volucionria do programa pretendida pelas
avaliaes de impacto, necessrio dispor
de informaes que possam contribuir para
o aprimoramento contnuo ou a inovao in-
cremental da ao pblica. Meta-avaliaes,
compilaes de estudos avaliativos, anlises
com bases de dados secundrias, integrao
de informaes de diferentes registros ad-
ministrativos com variveis-chave comuns
como a do Cadastro nico com Censo Escolar,
Sistema de Vigilncia Alimentar e Nutricional
ou Relao Anual de Informaes Sociais, por
exemplo17- constituem certamente estrat-
gias adequadas ao tempo requerido da deci-
so pblica, a custos muito inferiores ao de
pesquisas.
To importante quanto dispor-se de uma es-
tratgia de produo de estudos avaliativos
apoiada em registros administrativos, cadas-
tros pblicos e base de dados de sistemas
informatizados de gesto de programa es-
tabelecer parceria com instituies produ-
toras de estatsticas pblicas e estatsticas
setoriais. preciso garantir sustentabilidade
institucional na produo de informaes
para monitoramento e avaliao, para que
as descontinuidades administrativas e even-
tuais cortes oramentrios no interrompam
o ciclo de produo de conhecimento para
aprimoramento das polticas e programas.
IBGE e INEP, no caso brasileiro, so duas ins-
tituies de reconhecida competncia na
produo de levantamentos primrios e que
devem ser sensibilizadas acerca das temti-
cas de interesse de um SMA setorial. O MDS,
por exemplo, tem se preocupado no s em
sensibilizar o IBGE com relao aos seus te-
mas como efetivamente financiado levanta-
mentos especficos, no previstos no plano
anual de pesquisas regulares da instituio.
So exemplos nesse sentido o financiamento
16 Vide descrio da Pesquisa Painel de Pobreza na edio anterior dessa revista.
17 Vide Estudo Avaliativo sobre Desnutrio Infantil realizado com Cadastro nico e Sisvan em www.mds.gov.br/sagi -> pesqui-
sas de avaliao -> pesquisas por ano -> 2013.
R evista B rasileira de M onitoramento
Sistema de Monitoramento e Avaliao de Programas Sociais: revisitando mitos e recolocando premissas para sua maior efetividade
na gesto
do questionrio suplementar de Assistncia
Social na Pesquisa de Informaes Bsicas
Municipais em 2005, 2009 e 2013; o apoio
criao da Pesquisa de Informaes Bsicas
Estaduais em 2013, com suplemento de As-
sistncia Social; o financiamento dos questio-
nrios suplementares na Pesquisa Nacional
por Amostra de Domiclios - Transferncia de
Renda e Trabalho Infantil em 2006, Seguran-
a Alimentar e Nutricional em 2004, 2009 e
2013; o contrato para realizao da Pesquisa
de Entidades Assistenciais em 2006 e 2012.
Enfim, sem negar a importncia das evidn-
cias empricas com o grau de representativi-
dade, rigor tcnico e profundidade analtica
proporcionadas pelas grandes pesquisas
amostrais e de impacto para gestores e tc-
nicos envolvidos com a implementao de
programas, o fato que a complexidade da
realidade social e da operao dos programas
tem mostrado a necessidade de abordagens
metodolgicas mais eclticas para responder
s necessidades de informao de gestores
na administrao e deciso quanto aos pro-
gramas sociais.
e A valiao | N mero 5 | J aneiro -J unho de 2013
17
 SM&A devem produzir
informao ftica
revelante e consistente,
no informao
exaustiva nem sujeita
a ser apropriada como
factide
Diante da complexidade operacional das
Polticas e dos programas, a inovao e in-
corporao de mudanas no desenho e na
operao por meio dos instrumentos de mo-
nitoramento e pelas pesquisas de avaliao
depende muito da utilidade percebida e das
estratgias adotadas para disseminao das
informaes e de conhecimento para cada
agente envolvido na cadeia lgica de inter-
veno programtica, do nvel mais operacio-
nal- na ponta ou ao nvel da rua - ao gestor
mais estratgico- como Ministros de pastas
sociais. Alm de clareza do foco avaliativo
e das escolhas adequadas de metodologias
para responder s questes mais urgentes
, para que um SM&A aporte informao e
conhecimento til para aprimoramento de
programas, imprescindvel a participao
de tcnicos e gestores na elaborao dos ins-
trumentos.
Se equipes externas podem garantir maior in-
dependncia tcnica quanto conduo do
estudo avaliativo do programa, se, de fato,
so competentes, idneas e comprometidas
com uma viso multidisciplinar de avaliao
de programas pblicos- fato que a credibi-
lidade e apropriao dos resultados junto
s equipes de gestores e tcnicos de progra-
mas depende do nvel de envolvimento dos
18 mesmos no processo avaliativo. Equipes in-
ternas detm, em geral, conhecimento sobre
os problemas e as dificuldades mais premen-
tes que afetam os programas pblicos, mas
precisam de apoio tcnico de consultores
especializados e pesquisas de avaliao para
entender suas causas e estratgias de reso-
luo. Tambm na organizao de bases de
dados extrados de programas e no desenvol-
vimento de painis de indicadores de moni-
toramento, os arranjos mistos, com equipe de
tcnicos de programas e consultores exter-
nos especializados, podem elaborar produtos
com maior utilidade e confiabilidade para os
usurios de SM&A. Com equipes mistas, ga-
rante-se a sinergia entre conhecimento inter-
no de gesto e especialidade tcnica trazida
de fora, gerando produtos com maior poten-
cialidade de uso, no apenas pela adequao
s demandas mais relevantes como tambm
pela legitimidade conferida pelo envolvimen-
to inicial dos agentes internos ao programa.
No possvel, por certo, terceirizar ou exter-
nalizar complementamente a produo de
conhecimento, sob o risco de obteno de
material muito genrico e pouco aderente s
necessidades mais sofisticadas de gesto de
programas no pas.
Vale observar, o mercado profissional de
avaliao est muito longe de ser perfei-
to no Brasil ou em diversos outros pases.
A contratao de pesquisas de campo ou
de estudos avaliativos com base em dados
secundrios requer esforos de especifica-
o de projeto no triviais, assim como de
acompanhamento dos trabalhos desenvolvi-
dos, para que os resultados entregues sejam
consistentes e, de fato, teis para a gesto.
preciso reconhecer que a expanso da de-
manda de avaliaes de programas sociais e
sua contratao pelo governo no foi acom-
panhada no mesmo ritmo pela qualificao
geral de empresas privadas de consultoria
ou mesmo grupos de pesquisa vinculados
s universidades. Este mercado provedor de
pesquisas ainda muito heterogneo, com
forte presena de empresas de pesquisa de
mercado, de opinio pblica ou ainda grupos
de pesquisadores com boa formao acad-
mica, mas pouco conhecimento da realidade
de operao de programas pblicos.
Nesse quadro, necessrio, pois, acompanha-
mento muito intensivo pela equipe tcnica
interna que contratou a pesquisa ou o estu-
do avaliativo, seja para orientar em situaes
particulares imprevistas, seja para supervisio-
nar o cumprimento dos requisitos tcnicos
exigidos, como bem o descrevem Pinto et al18.
Tambm fato que nem todas as empresas
esto acostumadas ou mesmo preparadas,
em vrios casos, a verem seus procedimentos
tcnicos revisados, questionados e validados
por equipes internas. Lamentavelmente, nes-
se contexto, equipes de SM&A acabam gas-
tando enorme tempo na gesto de contratos
de pesquisa e no na produo de conheci-
mento das mesmas.
As modalidades de contratao vigentes tam-
bm no permitem garantir ao gestor pblico
estabelecer parmetros adequados para se-
leo de instituies e empresas com efeti-
18 Pinto et al, 2013
R evista B rasileira de M onitoramento
Sistema de Monitoramento e Avaliao de Programas Sociais: revisitando mitos e recolocando premissas para sua maior efetividade
na gesto
va experincia e equipes multidisciplinares,
sem incorrer em risco de conduzir processos
de contratao muito extensos ou de ques-
tionamentos sobre supostas restries
competitividade. A bacharelizao da ges-
to pblica tem criado insegurana jurdica
crescente juntos aos gestores, com restries
crescentes nos mecanismos de contratao
de objetos complexos como estudos e pes-
quisas, que permitiriam acelerar a inovao
na gesto. Pesquisas sociais, sobretudo aque-
las voltadas avaliao de programas, so
mais complexas que os abordados em pes-
quisas de mercado ou pesquisas acadmi-
cas, requerendo resultados mais robustos e
especficos, j que orientam decises crticas
acerca do desenho, resultados e mritos das
aes de governo. Diferentemente de pesqui-
sas de opinio ou de mercado, os custos de
pesquisa de campo para produzir evidncias
robustas para programas podem variar mui-
to em funo da necessidade de arrolamento
prvio de domiclios ou de contratao de en-
trevistadores mais especializados.
Credibilidade quanto aos resultados e le-
gitimidade do processo avaliativo junto s
equipes internas envolvidas na gesto de
programas so dois valores que devem ser
perseguidos conjuntamente. Certamente
que, pior do que no dispor de informao
para tomada de deciso, pautar as esco-
lhas tcnico-polticas com base em estudos
e A valiao | N mero 5 | J aneiro -J unho de 2013
19
 e conhecimento com vieses operacionais de
levantamento ou escopo analtico limitado. Em
algumas situaes, talvez seja prefervel no
ter avaliao alguma a dispor de uma pesqui-
sa ou estudo mal formulado, mal conduzido ou
contratado de forma precipitada. Como bem j
registrou Worthern et al (2004), a produo de
pesquisas com resultados ambguos ou de cre-
dibilidade questionvel acerca do desempenho
escolar de estudantes nos EUA nos anos 1960
certamente no contribuiu para um debate pro-
dutivo acerca das necessidades da reforma da
poltica educacional naquele pas poca. Ao
contrrio, atrasou a adoo de medidas impor-
tantes para superao dos problemas.
Pesquisas mal conduzidas ou interpretaes
descuidadas de resultados de estudos avalia-
tivos levam, em ambientes de acirrada dispu-
ta poltica e de baixa capacidade interpretati-
va por parte dos interlocutores e da mdia,
produo de factoides que conspiram contra
o aprimoramento da ao pblica. Indica-
dores e ndices sociais so particularmente
sujeitos ao risco de embasarem factoides,
pela suposta simplicidade com que dimen-
sionam ou representam constructos sociais
complexos. Matrias que, invariavelmente,
todo ano so publicadas a partir do ndice
de Desenvolvimento Humano analisado em
detalhe em outro artigo, mais frente - so
paradigmticas nesse sentido, ao banalizar
conceitos complexos e caros Poltica Social
- como Desenvovimento Humano e Bem-
-estar social - que o indicador sugere avaliar
pelo nome que carrega.
Indicadores de percepo subjetiva de Fe-
licidade Bruta, de Satisfao com Servios
20
Pblicos, dos Principais Problemas Nacionais,
de Segurana Pessoal, de Insegurana Ali-
mentar, por exemplo - tambm esto sujeitos
a interpretaes falaciosas, de um lado ou de
outro, para avaliao positiva ou negativa de
um aspecto particular de um programa p-
blico. Certamente, indicadores de percepo
aportam informao relevante sociedade e
ao gestor pblico. Polticas pblicas devem
prover solues concretas para problemas
vivenciados pela populao. Insatisfao ou
satisfao com a vida ou servios pblicos
so informaes relevantes, ainda que no
as nicas, nem as mais instrumentalizadoras,
para orientar a ao pblica. Indicadores de
expectativas de consumo, de investimento,
de cenrio poltico - tm impactos concretos
na economia, por exemplo. Da mesma forma,
acompanhar qual o principal problema apon-
tado pela populao insumo para entender
problemas de comunicao social, ou mesmo,
de operao da poltica e de programas.
Mas o fato que a lgica interpretativa dos
indicadores subjetivos bem mais complexa
do que sugerem o senso comum e a aparen-
te simplicidade do nome dos indicadores.
Como explicar que, em pesquisas de opinio,
a sensao de insegurana pessoal em bair-
ros de periferia , em geral, mais baixa que
em bairros de classe mdia? Como explicar
que, em pesquisas de satisfao, os servios
pblicos tendem a ser melhor avaliados pela
populao de renda mais baixa, para as quais
as dificuldades de acesso so potencialmente
maiores? Como explicar que mesmo famlias
com elevado padro de renda revelam algum
nvel de insegurana alimentar, em pesquisas
em que se aplicam os quesitos de percepo
 objetivada - de segurana de acesso e con-
sumo de alimentos?
Naturalizao dos problemas vivenciados
continuamente, experincias de vida e pa-
dres diferenciados de referncia valorativa,
fatores conjunturais, formas de abordagem e
de formulao das perguntas nas entrevistas
so alguns dos aspectos que interferem nos
resultados das pesquisas de opinio e nos
quesitos de percepo subjetiva, j ampla-
mente documentados na literatura especiali-
zada de Pesquisa Social.
Como as agncias estatsticas, os SM&A de-
vem se apoiar nos princpios norteadores e
em boas prticas na produo dos indicado-
res e pesquisas, para garantir robustez, cre-
dibilidade e consistncia metodolgica das
informaes e conhecimento aportado para
as polticas e programas. Para produzir fatos,
no factoides. Fatos que podem ser, em uma
perspectiva pooperiana, falseveis median-
te outros quadros de referncia conceitual e
metodolgica usados. No factoides, que re-
sistem a qualquer argumentao mais racio-
nal e menos apaixonada.
No basta produzir;
preciso disseminar a
informao de forma
adequada
A formulao, avaliao e gesto de polticas
e programas requerem, como qualquer outra
R evista B rasileira de M onitoramento
Sistema de Monitoramento e Avaliao de Programas Sociais: revisitando mitos e recolocando premissas para sua maior efetividade
na gesto
atividade desempenhada em organizaes
humanas, esforos de formao e capacita-
o de tcnicos e gestores envolvidos nos
nveis decisrios mais amplos e na prestao
de servios na ponta. O fato que parte signi-
ficativa do insucesso de programas pblicos
ou da ausncia de impacto da ao governa-
mental captada nas pesquisas de avaliao
consequncia das dificuldades de manter
programas de formao continuada das equi-
pes envolvidas na produo das polticas p-
blicas e de oferecer, no momento requerido,
as capacitaes necessrias para introduo
de novos servios e aes nos programas p-
blicos criados.
No h dvida de que os efeitos dos progra-
mas pblicos seriam certamente maiores se
os agentes envolvidos em sua operao co-
nhecessem melhor seus objetivos, o desenho
lgico e atividades relacionadas, o papel de
cada instituio e agente no processo, as ca-
ractersticas do pblico-alvo etc. Embora pre-
vistos no desenho lgico de novos programas
sociais, os cursos e os arranjos operativos de
capacitao podem no estar plenamente
preparados com material didtico, documen-
tos normativos, salas de aula e equipe de pro-
fessores para formar o conjunto de mltiplos
agentes envolvidos. Em algumas situaes,
nem mesmo os tcnicos-alunos das capaci-
taes foram contratados ou informados do
processo. H certamente muito por ser feito
na formao de recursos humanos envolvi-
dos na prestao de servios e na gesto de
programas pblicos, questo que transcende
e A valiao | N mero 5 | J aneiro -J unho de 2013
21
 o escopo deste texto, mas que precisa ser
objeto de preocupao de organismos multi-
laterais com a mesma nfase que atribuem
disseminao de mtodos e tcnicas de pla-
nejamento e avaliao de programas e proje-
tos sociais. Liderana e Comunicao, tica e
Atendimento ao Pblico so temas de capaci-
tao continuada to ou mais importantes na
formao de tcnicos e gestores que Gesto
de Projetos, Elaborao de Diagnsticos ou
Mtodos de Pesquisa de Avaliao.
Estratgias de disseminao e capacita-
o em contedos em M&A so atividades
importantes para potencializar o uso bem
informado dos produtos e pesquisas do
SM&A, especialmente aqueles desenhados
para aportar conhecimento direcionado
melhoria incremental de programas pbli-
cos. Como ocorre com a Informao em Ci-
ncia, Tecnologia e Inovao, a Informao
em Polticas Pblicas complexa, reque-
rendo conhecimentos no triviais para sua
compreenso. Indicadores como Taxa de
Mortalidade Infantil ou Taxa de Extrema Po-
breza Monetria fazem parte do vocabul-
rio tcnico da comunidade de avaliadores e
pesquisadores acadmicos envolvidos com
a avaliao de programas sociais, mas no
necessariamente dos gestores e tcnicos
encarregados da gesto. Da mesma forma,
relatrios de pesquisas de avaliao e seus
resultados tambm podem ser compreendi-
dos de forma diferenciada entre avaliado-
res e equipe tcnica do programa.
Se o conhecimento produzido em M&A al-
meja alcanar plateias mais abrangentes,
preciso tornar os produtos desenvolvidos
22
relatrios, indicadores, estudos avaliativos
compreensveis e atrativos para os dife-
rentes pblicos usurios. No basta colocar
disposio pblica na Internet as planilhas
de dados e os indicadores de programas e os
extensos relatrios de pesquisas de avalia-
o realizados. Produo de dados no gera
demanda por conhecimento. necessrio
desenvolver produtos customizados para
os diferentes pblicos de tcnicos e gesto-
res que se almeja atingir, adequando forma-
to, contedo e complexidade aos mesmos.
Deve-se investir na disseminao dos resul-
tados na forma de palestras presenciais ou
gravadas em multimdia, para exibio em um
Portal especfico, que rena todo o material
relacionado s pesquisas de avaliao, com
recursos de consulta. H uma srie de apli-
cativos que funcionam em plataformas na
Internet com muitos recursos visuais, intera-
tividade e possibilidades de vnculos a outros
documentos. Sumrios executivos de pesqui-
sas de avaliao, fichas tcnicas de poucas
pginas (one page papers) com os resultados
essenciais, alm de grficos, mapas e relat-
rios descritivos com esses elementos, podem
ter repercusso e atratividade maior que ta-
belas, painis de indicadores ou publicaes
volumosas, com contedos impenetrveis
para aqueles sem formao especializada
na temtica tratada. Resultados de modelos
economtricos elaborados com dados de
pesquisas de avaliao constituem um dos
materiais frequentemente apresentados,
mas com baixa capacidade de difuso entre
pblicos no iniciados. No seria possvel
tornar tais resultados mais palpveis e con-
cretos para tcnicos e gestores que querem
aprender mais acerca dos programas?
O esforo de elaborao de produtos de dis-
seminao eletrnica com contedos em
M&A pode ter maior repercusso no gestor
estratgico e nos tcnicos da ponta do pro-
grama se houver, contudo, preocupao com
a formao continuada dos mesmos, em cur-
sos presenciais ou a distncia. H sempre uma
parcela de tcnicos e gestores mais interes-
sados em aprofundar seus conhecimentos na
rea de M&A, muitas vezes no encontrando
nas universidades e centros de pesquisa as
respostas para suas demandas mais especfi-
cas de conhecimento aplicado no campo. Um
programa de formao em M&A para tcnicos
e gestores de programas, com o objetivo de
desenvolver competncias e habilidades na
rea, para entender melhor os instrumentos
de monitoramento, as pesquisas de avalia-
o e o uso das informaes e conhecimen-
tos em suas prprias atividades, deveria ser
organizado a partir dos processos bsicos do
Ciclo de Polticas e Programas . Assim como
19
cursos de Qualificao Profissional precisam
ser adequados ao nvel de formao e expe-
rincia dos trabalhadores inscritos, o mes-
mo se aplica no campo na disseminao de
contedos sobre Monitoramento e Avaliao.
Palestras, publicaes e cursos precisam ser
customizados para os diferentes pblicos en-
volvidos, buscando trazer aspectos mais re-
levantes dos estudos avaliativos que possam
ser do interesse desses e que estejam sob sua
governabilidade.
19 Veja nesse sentido o Ciclo de Formao em Indicadores, Monitoramento e Avaliao promovido pela SAGI/MDS e CEGOV/
UFRGS.
R evista B rasileira de M onitoramento
Sistema de Monitoramento e Avaliao de Programas Sociais: revisitando mitos e recolocando premissas para sua maior efetividade
na gesto
Consideraes finais
A produo de informao e conhecimento
sobre (e para) polticas e programas pbli-
cos vem crescendo de forma muito rpida e
consistente nas universidades, centros de
pesquisas, agncias multilaterais e tambm
dentro da prpria Administrao Pblica. Pro-
gramas no campo da Educao e Sade Pbli-
ca, programas de transferncia de renda e aes
de combate violncia so alguns dos objetos
de investigao recorrente e atual da pesquisa
aplicada em polticas pblicas em diversas ins-
tituies, mobilizando muitos pesquisadores
das Cincias Sociais Aplicadas e outros profis-
sionais do campo de Monitoramento e Avalia-
o, como tm revelado as revistas acadmicas
e congressos dedicados ao tema.
Mas, em que pese a vasta produo de evi-
dncias empricas e de estudos avaliativos
abrangentes e rigorosos sobre essas polticas
e programas, parece haver ainda a necessida-
de de esforos adicionais para que tal conhe-
cimento possa ser aproveitado de modo mais
efetivo e cotidiano para aprimoramento do
desenho e de processos operacionais da ao
pblica, pelos diversos agentes responsveis
pela sua execuo. Isto , ainda que se tenha
acumulado um rico acervo sobre Polticas p-
blicas no pas, a produo de informaes e
conhecimento customizados ou aplicados
para uso mais imediato e efetivo no dese-
e A valiao | N mero 5 | J aneiro -J unho de 2013
23
 nho, gesto e aprimoramento de Programas
um desafio ainda no plenamente trilhado. Se
no primeiro caso a produo de informao formatizados de gesto ou das inmeras pla-
e conhecimento sobre polticas e programas
pode prescindir de contatos mais diretos com
tcnicos e gestores envolvidos na formulao
e operao dos programas, no segundo caso
a produo para polticas e programas re- o de pesquisas para diagnosticar os pro-
quer identificao de demandas mais espec-
ficas de questes e problemas a investigar, o
que requer estreita colaborao e intercm-
bio entre instituies governamentais e cen-
tros de pesquisa.
O argumento desenvolvido nesse texto que
a possibilidade de inovao nos programas
pblicos pelo uso efetivo dos instrumentos
de monitoramento e pesquisas de avaliao
parece depender menos da completude, so-
fisticao e rigor tcnico dos mesmos e mais
da clareza e objetividade com que respon-
dem s necessidades especficas de tcni-
cos e gestores nas dificuldades cotidianas
para operao do programa. Sem negar a im-
portncia de dispor de pesquisas e estudos
avaliativos elaborados segundo as tcnicas
mais adequadas e robustas, o fato que, se
as questes investigadas no responderem
s demandas mais cruciais de informao na
perspectiva dos agentes envolvidos, as evi-
dncias levantadas e sistematizadas nos Sis-
temas de Monitoramento e Avaliao acabam
tendo uso potencialmente menor por quem
mais deveria se interessar.
Em contexto de escassez de recursos huma-
nos e financeiros, SM&A voltados ao aprimo-
ramento de programas deveriam estar foca-
dos principalmente a responder s demandas
24
da gesto e implementao dos programas,
valendo-se da estruturao de bases centra-
lizadas de dados, extrados dos sistemas in-
nilhas de controle de gestores, da construo
de painis de indicadores de monitoramento
de pontos crticos e processos-chave do de-
senho lgico dos programas e da especifica-
blemas e as dificuldades de implementao.
Alm disso, em situaes de poucos recursos
e tempo exguo, pode ser mais produtivo e
til para as equipes envolvidas na gesto de
programas disporem de estudos avaliativos
realizados com dados secundrios, revises
de estudos e publicaes internacionais e
meta-avaliaes de programas similares j
existentes em outros pases.
A informao e o conhecimento produzidos
nesses ambientes so complexos e no assi-
milados facilmente pelos diferentes gestores e
tcnicos envolvidos nas polticas e programas,
pelos nveis diferenciados de formao tcni-
ca, experincia profissional e conhecimento
das polticas e programas. No basta produzir
um relatrio extenso de pesquisa ou dispor
de um aplicativo informacional com mltiplas
funcionalidades na Internet para que os envol-
vidos na gesto das polticas e dos programas
pblicos possam prontamente ler e apreender
os aspectos relevantes para aprimorar sua atu-
ao. To importante quanto produzir infor-
mao desenvolver esforos para que essa
alcance seus pblicos potenciais, no formato e
no suporte que potencializem seu uso.
Por fim e no menos importante: por todo o
exposto anteriormente, a efetividade de um
SM&A no pode ser medida pelo nmero de
sugestes e recomendaes aportadas nas
pesquisas e estudos avaliativos. Em primeiro
lugar, SM&A setoriais no constituem rotinas
de auditoria operacional de programas, com
finalidade e mandato para impor recomen-
daes a serem seguidas por gestores e tc-
nicos de programas. Assumir tal postura em
uma SM&A setorial o primeiro passo para
sua perda de legimitidade junto aos parceiros
potenciais dentro do ministrio em que ele
se situa. Em segundo lugar, SM&A produzem
muito mais que pesquisas e supostas reco-
mendaes: produzem informao e conhe-
cimento que, desde que devidamente estru-
turados e disseminados, podem e devem ser
usados para interferir cotidianamente na ao
do gestor estratgico e do tcnico na ponta.
Como contabilizar tal uso de informao por
parte do usurio, sobretudo no contexto de
forte utilizao de aplicativos informatizados
e disponibilizao pblica pela Internet?
Mas, fundamentalmente, a principal limitao
do uso de uma mtrica percentual de reco-
mendaes e sugestes adotadas nos progra-
mas como evidenciao da efetividade de
um SM&A que ela se baseia em um pressu-
posto de linearidade positivista do processo
de produo de polticas pblicas. Programas
pblicos no so, como j observado nesse
texto, projetos sociais, com um objetivo espe-
cfico bem delimitado, cobrindo um volume
restrito de beneficirios/usurios, operado
por voluntrios ou tcnicos contratados se-
gundo perfis profissionais com competncias
e habilidades j previamente adquiridas e
aderentes ao que se espera do projeto. Con-
R evista B rasileira de M onitoramento
Sistema de Monitoramento e Avaliao de Programas Sociais: revisitando mitos e recolocando premissas para sua maior efetividade
na gesto
texto poltico-institucional, escala, complexi-
dade e arranjos de implementao diferen-
ciam muito os programas pblicos, mesmo
os criados e operados na escala municipal,
de intervenes sociais mais especficas. Pela
amplitude da cobertura, pelo contexto fede-
rativo de gesto e operao das polticas e
programas sociais, a introduo de inovaes,
redesenho de processos, descontinuidade de
atividades, contratao de novos agentes e
servios tpicas recomendaes derivadas
de avaliaes de implementao - cumprem
um calendrio que deve compatibilizar a
agenda de prioridades de correo de pro-
blemas com as janelas de oportunidades de
mudanas, sem o risco de interrupo das
atividades para a sociedade. Poltica pblica
no campo para experincias voluntaristas,
to ao gosto de certo tecnocratismo ingnuo
que acometem certos crculos tcnicos na
rea. Como bem coloca Cejudo (2010,p.93):
Sabemos ya que las polticas pblicas no
ocurren en el vaco. Distintos enfoques
de anlisis explican cmo el proceso de
polticas pblicas est influido por nu-
meros factores que le dan forma y con-
tenido. Entendemos que, lejos de ser
una simple decisin racional basada en
la identificacin de problemas, la revi-
sin exhaustiva de alternativas, la deci-
sin informada y la implementacin sin
restricciones, cada poltica pblica est
moldeadas por la instituciones, el en-
torno organizacional, el marco legal, las
condiciones polticas y econmicas, y los
valores sociales en juego.
e A valiao | N mero 5 | J aneiro -J unho de 2013
25
 Como sistematizado no Quadro 1, formula-
dores de polticas, gerentes e tcnicos de
programas, nos escritrios centrais de Plane-
jamento e Gesto ou nos postos de servios
distribudos pelas cidades, no necessitam de
dados, pesquisas e conhecimento exaustivo
sobre seus programas, mas informao clara,
relevante, consistente, organizada segundo
os aspectos operacionais, geogrficos e o n-
vel decisrio pertinente, na tempestividade
requerida, com custos de produo adequa-
dos, e que, sobretudo, respondam s ques-
tes atinentes ao estgio em que se encontra
o programa em seu ciclo de vida.

Quadro 1: Algumas premissas quanto estruturao de SM&A

Formuladores de polticas e gestores de programas, nos escritrios de planejamento ou de

implementao, no necessitam de Informao e Conhecimento Exaustivo, mas de informao
relevante, consistente, compreensveis e ao tempo para sua apropriao na deciso para as
diferentes etapas do ciclo de um programa;
Informao e Conhecimento devem ser sistematizados em suportes adequados documen-
tos, snteses, portais, produtos multimdia e customizados para diferentes tipos de usurios
no governo federal, estadual, municipal e nos equipamentos;
Informao deve ser disponibilizada segundo padres aceitveis de validade e confiabili-
dade. Pior que no ter informao, dispor de informao equivocada, com pretenso selo de
qualidade.
Informao til aquela que contribui para aprimoramento da Poltica ou programa, apon-
tando os problemas, os desafios ou os avanos. Informao superficial ou inconsistente criam
factoides que, em nada, contribuem para melhoria da ao governamental;
No existe conhecimento neutro ou acima de qualquer suspeita. Dados e fatos produzidos
em estudos avaliativos so falseveis, como qualquer evidncia tcnica e cientfica;
Informao e Conhecimento devem ser produzidos a partir de uma perspectiva multimto-
dos e triangulao de sujeitos. No h mtodo ou tcnica padro-ouro de coleta de dados ou
de avaliao de programas. Problemas e programas complexos requerem abordagens integra-
das de monitoramento e avaliao;
Organizao de dados, computao de indicadores de monitoramento, realizao de pes-
quisas de campo, elaborao de estudos com dados secundrios, compilao de estudos em
meta-avaliaes so diferentes produtos de um SM&A, respondendo a diferentes estgios de
maturidade de um programa;
Informao para o Ciclo de Gesto de Polticas e Programas complexa e requer esforo
intenso de Capacitao e Formao. O que evidente para um gestor na esfera federal pode
no ser para um operador na ponta em um municpio;
A apropriao da Informao e Conhecimento na Poltica ou no programa no tarefa trivial,
guiada por um voluntarismo tecnocrtico, mas por juzo adequado de oportunidade, convenincia
e poder poltico.

26
Referncias Bibliogrficas
BRASIL. TRIBUNAL DE CONTAS DA UNIO. Rela- MACKAY,K. How to build M&E Systems to support
trio de levantamento dos sistemas de monitora- better government. Washington, Banco Mundial,
mento e avaliao dos rgos da administrao 2007.
direta do poder executivo. Braslia, 2010.
MCDAVID, J. HAWTHORN.L. Program Evaluation
CEJUDO, G. Discurso y Polticas Pblicas: el en- and Performance Measurement: An Introduc-
foque constructivista. In: MERINO,M; CEJUDO,G. tion to Practice. Thousand Oaks: Sage, 2006.
Problemas, decisones y soluciones: enfoques de
OWEN, J.M. Program evaluation: forms and ap-
poltica pblica. Mxico: FCE/CIDE, 2010, p.93.
proaches. New York, Guilford Press, 2007.
CUNILL GRAU,N.; OSPINA BOZZI,S. Fortaleci-
PINTO,A. et al. Pesquisas de Avaliao e Estu-
miento de los sistemas de monitoreo y evalu-
dos Avaliativos para o Plano Brasil Sem Misria
acion en America Latina. Washington, Banco
e Programas do MDS Balano de 2011 a maio
Mundial/CLAD, 2008.
de 2013 e Agenda 2013 a 2014. Estudo Tcnico
GARCIA, R. C. Subsdios para organizar avalia- SAGI 09. Braslia, 2013.
es da Ao Governamental. Textos para dis-
ROSSI,P.H. et al. Evaluation: a systematic appro-
cusso, Braslia, n. 776: IPEA, 2001.
ach. Thousand Oaks: Sage, 2004.
JANNUZZI,P.M. Avaliao de programas sociais
RUA, M.G. A avaliao no ciclo da gesto pblica.
no Brasil: repensando prticas e metodologias
Apostila do curso de Especializao em polti-
das pesquisas avaliativas. Planejamento e Pol-
cas pblicas da Educao com nfase em mo-
ticas Pblicas, Braslia, v.36, p.251-275, 2011a.
nitoramento e Avaliao MPA. ENAP. MIMEO,
JANNUZZI,P.M. Monitoramento analtico como fer- 2004.
ramenta para aprimoramento da gesto de progra-
WORTHERN, B.R. et al. Avaliao de programas:
mas sociais. Revista Brasileira de Monitoramento e
concepes e prticas. So Paulo: EdUsp;Ed.
Avaliao, Braslia, v.1, n.1, p.38-66, 2011b.
Gente, 2004

R evista B rasileira de M onitoramento e A valiao | N mero 5 | J aneiro -J unho de 2013

Sistema de Monitoramento e Avaliao de Programas Sociais: revisitando mitos e recolocando premissas para sua maior efetividade
na gesto
27