Vous êtes sur la page 1sur 12

ENAP

Curso de Formao de Multiplicadores


Subprojeto 1: Formao de Multiplicadores e de Gerentes Sociais que atuam na Proteo Social no Contributiva e Constituio da Rede Descentralizada de Capacitao

Monitoramento e avaliao de programas sociais principais desafios


Jeni Vaitsman

Monitoramento e avaliao de programas sociais principais desafios


Jeni Vaitsman

Introduo
Neste texto, abordam-se a avaliao e o monitoramento de servios e programas sociais na perspectiva de sua operao local. Inicialmente, procura-se esclarecer diferenas entre avaliao e monitoramento, de um lado, e atividades de controle, de outro. Em seguida, discutem-se as vrias dimenses que podem ter os estudos de avaliao e o monitoramento, bem como o uso de indicadores como instrumento de gesto. Na seqncia, levantam-se alguns pontos que se colocam como desafios para as gerncias locais na implementao de um sistema de avaliao e monitoramento, em que os trs nveis de governo devem articular-se de forma sistmica, mesmo possuindo cada um necessidades especficas. 1 Avaliao, monitoramento e controle comum certa confuso entre, de um lado, avaliao e monitoramento e, de outro, controle. No entanto, enquanto o foco das atividades de controle a legalidade dos atos da administrao pblica, o foco das atividades de avaliao e monitoramento a qualidade da gesto. Estas prticas so comuns aos distintos campos de atuao das polticas pblicas. As prticas de controle dizem respeito ao cumprimento das normas e dos procedimentos legais e adequados na administrao pblica, ao cumprimento de metas e execuo de programas e oramentos. Pertencem ao controle a auditoria, que visa corrigir desperdcios, improbidade, negligncia e omisso, verificando a aplicao de recursos pblicos segundo critrios tcnicos, operacionais ou legais, e a fiscalizao, que verifica se o objeto dos programas de governo existe e corresponde s especificaes estabelecidas, se h correspondncia entre execuo e produtos especificados. Por outro lado, o objetivo mais geral tanto da avaliao quanto do monitoramento a produo de informao qualificada e sistematizada sobre programas, polticas, aes, servios, a fim de subsidiar tomadas de decises de gestores e gerentes. Como componentes do processo de gesto, a utilizao da avaliao e do monitoramento pode promover ajustes ou mudanas para melhorar o desempenho de um programa e alcanar os objetivos e metas previstos. Embora complementares
2

para a gesto de polticas e programas, a avaliao e o monitoramento so atividades distintas, como se ver a seguir.

2 Avaliao A avaliao uma categoria de estudo que pode focalizar diferentes aspectos de um programa, poltica ou servio, como relevncia, eficincia, efetividade, resultados, impactos. Seu objetivo melhorar a qualidade dos processos de implementao ou verificar seus resultados, dando tambm subsdios para o planejamento, a programao e a tomada de decises futuras. Para garantir maior iseno, as avaliaes devem ser executadas por instituies externas, com pesquisas que procuram responder a perguntas especficas, propor medidas de correo e orientar os tomadores de deciso, gestores e demais atores envolvidos no processo de formulao e implementao. Os estudos de avaliao podem ter como objeto as seguintes dimenses (DRAIBE, 2001): a) processos: estudos sobre os pontos que favorecem ou dificultam os processos de implementao da poltica ou do programa, a includos seus desenho, suas dimenses organizacionais e institucionais. Os resultados das avaliaes de processos podem ser mais facilmente utilizados por gestores e gerentes, que podem tomar providncias em relao a achados e recomendaes pertinentes. b) resultados, que englobam: - desempenho: refere-se aos produtos definidos pelas metas do programa; - impacto: mudanas na situao dos beneficirios, provocadas diretamente pelo programa. As avaliaes de impacto procuram, por meio de desenhos quase-experimentais, comparar dois grupos similares da populao, medindo as diferenas observadas entre eles, decorrentes da exposio e da no-exposio a um programa. - efeitos: outros resultados do programa, sociais ou institucionais, esperados ou no, que se acabam produzindo em decorrncia dele. A escolha dos desenhos de estudos de avaliao e, conseqentemente, dos mtodos depender das perguntas a que se quer responder, dos recursos e das fontes de dados disponveis e do tempo em que se quer obter os resultados. Quanto maior
3

a abrangncia, a representatividade, a combinao de mtodos, o nmero de estratos de uma amostra, mais demorada e cara ser uma pesquisa. Os estudos de avaliao de impacto baseiam-se em grandes amostras, usam mtodos quantitativos de coleta de dados e modelos estatsticos e economtricos para analis-los. Esses desenhos possuem alta legitimidade na comunidade internacional de avaliao e permitem a realizao de estudos abrangentes, com grandes amostras populacionais. No entanto, so pesquisas mais caras e demoram mais tempo at produzir resultados para os tomadores de deciso, formuladores e gestores de nveis hierrquicos mais altos. Por outro lado, as avaliaes de processos ou de desempenho podem ser muito importantes para a resoluo de problemas de gesto e a melhoria do programa. Tanto em estudos de processos quanto de desempenho, os desenhos e mtodos adaptam-se ao contexto, ao problema que se quer pesquisar e abrangncia da pesquisa, freqentemente combinando mtodos quantitativos e qualitativos: surveys com questionrios fechados, entrevistas semi-estruturadas e abertas, observao e outros. Uma vantagem desses estudos que, dependendo de seu escopo, podem ser realizados mais rapidamente, dando resultados e informaes teis para gestores e gerentes, mais diretamente voltados para o contexto local. 3 Monitoramento O monitoramento consiste no acompanhamento contnuo, cotidiano, por parte de gestores e gerentes, do desenvolvimento dos programas e das polticas em relao a seus objetivos e metas. uma funo inerente gesto e gerncia dos programas, devendo ser capaz de prover informaes sobre o programa, permitindo a adoo de medidas corretivas para melhorar sua operacionalizao. Pode referirse tanto a aspectos da estrutura, como por exemplo, execuo fsico-financeira, a equipamentos, quanto a dimenses do processo de implementao e a seus resultados, como as metas atingidas. O monitoramento se faz por meio de indicadores, que so medidas numricas produzidas regularmente, com base em diferentes fontes de dados, que do aos gestores informaes regulares sobre o desempenho dos programas e das polticas, permitindo verificar se objetivos e as metas esto sendo alcanados. O termo monitoramento pode referir-se a dois processos distintos, ainda que interligados. Por um lado, o acompanhamento dos programas, que constitui uma atividade interna da organizao, um procedimento a distncia. Por outro, o monitoramento tambm se refere a processos presenciais, verificaes locais, que acabam constituindo um tipo de pesquisa rpida, qualitativa, pela qual gestores, pesquisadores ou outros agentes podem checar como a implementao est sendo realizada e se est atingindo seus objetivos, alm de identificar os problemas que esto interferindo nas aes, nos processos e na consecuo dos objetivos previstos. Crucial em ambos
4

os processos a regularidade do acompanhamento por meio de indicadores (VAITSMAN; RODRIGUES; PAES-SOUSA, 2006). Prevem-se, pelo menos, quatro etapas para o monitoramento: 1) a coleta regular de dados; 2) o processamento e a transmisso dos dados; 3) a produo de indicadores com base nos dados; 4) o acompanhamento e a anlise dos indicadores. 4 Indicadores Um indicador consiste em um valor usado para medir e acompanhar a evoluo de algum fenmeno ou os resultados de processos sociais. O aumento ou a diminuio desse valor permite verificar as mudanas na condio desse fenmeno. A matria-prima dos indicadores de programas sociais so os dados que expressam caractersticas relevantes de fenmenos que se quer acompanhar, como a renda, a escolaridade e a freqncia escola. A construo de indicadores requer a organizao de bases de dados contendo as informaes consideradas relevantes para medir mudanas ao longo do tempo. A construo de indicadores se faz por meio da seleo de determinadas variveis existentes em bases de dados disponveis. Em seguida, passa-se ao clculo, que depende no apenas da definio conceitual e de sua frmula matemtica, mas tambm do tratamento e da programao dos dados, que podem ser oriundos de diferentes bancos, secretarias e rgos externos e em diferentes formatos. O clculo de indicadores requer a utilizao de ferramentas computacionais para coletar e processar dados e disponibilizar informaes em diversos formatos, de acordo com o tipo de programa a ser monitorado. A definio de indicadores requer muita clareza sobre os objetivos e a lgica de cada programa. Os indicadores devem conseguir expressar os fenmenos que se pretende acompanhar ou as condies mais significativas para o programa. Os dados tambm devem ser produzidos com periodicidade e agregao definidas, para que os indicadores possam ser comparados. Dentre os atributos que devem ter um indicador, destacam-se: a) a validade: capacidade de o indicador medir o fenmeno que se pretende medir; b) a confiabilidade: qualidade dos dados que servem de base para o clculo do indicador; c) a sensibilidade: deve ser sensvel o bastante para captar o atributo que se pretende captar em relao a pessoas ou fenmenos; d) a desagregao: o nvel territorial ao qual se refere o indicador; e) a periodicidade: intervalo de tempo em que o indicador atualizado. Isso depende, por sua vez, da periodicidade com que o dado bruto registrado na base de dados original.
5

Os indicadores de monitoramento podem ser classificados ou agrupados em diferentes categorias, como por exemplo: a) indicadores de estrutura ou insumo: informam a quantidade de recursos, de diversos tipos, como os fsico-financeiros, os de infra-estrutura, os recursos humanos, que so usados para implementar um programa, um servio ou uma ao. Ex.: quantidade de assistentes sociais contratados, quantidades de gerentes treinados, quantidade de microcomputadores comprados e instalados, percentual dos recursos financeiros executados. b) indicadores de processo: informam as etapas ou os passos dados para desenvolver as atividades necessrias ao alcance dos objetivos e das metas previstos. Fornecem informaes sobre a gesto ou o uso dos recursos descritos pelos indicadores de estrutura. Ex.: existncia de parceria com a sociedade civil para implementao de um servio; a cobertura alcanada por determinado programa, com base em sua populao-alvo; recursos executados. c) indicadores de resultados: informam se os objetivos finais do programa foram alcanados, podendo referir-se a: - produtos: medem se metas foram atingidas. Ex.: percentual de beneficirios do Agente Jovem que terminou o ensino mdio; - impactos: medem resultados atribudos exclusivamente interveno promovida pelo programa, pelo servio ou pela ao. Ex.: aumento da renda familiar de beneficirios do Programa Bolsa Famlia (PBF); porcentual de crianas que deixaram o trabalho infantil em decorrncia do Programa de Erradicao do Trabalho Infantil; - efeitos: medem resultados que no haviam sido antecipados, mas foram provocados pelo programa, pelo servio ou pela ao. Ex.: percentual de novas organizaes prestadoras de servio aps a implantao do Programa de Ateno Integral Famlia. Um indicador expressa diferentes dimenses do fenmeno que se quer acompanhar, como: 1) a unidade de referncia: a que o dado se refere? Ex.: beneficirio, famlia, etc.; 2) o nvel de agregao territorial: a que nvel territorial o dado se refere? Ex.: municpio, UF, Brasil; 3) a periodicidade: qual o intervalo de tempo em que o dado gerado e inserido no sistema de informaes? Ex.: mensal, bimestral, anual; 4) a fonte: qual a base de dados que originou o dado recebido? Ex.: Cadnico, SUAS-Web, PNAD-IBGE. Indicadores tambm podem ser produzidos com base em resultados de pesquisas de avaliao, traduzindo condies da dimenso avaliada, como estrutura, processos, resultados, ou outra. Contudo, isso s tem sentido efetivo se a pesquisa for repetida, para se compararem os indicadores no tempo, ou se eles
6

tiverem comparabilidade com outros indicadores, produzidos por outras bases de dados.

5 Avaliao e monitoramento: desafios para a gerncia local Um sistema um conjunto de elementos articulados entre si. Seu funcionamento depende do modo como se d a relao entre seus elementos, sendo que o comportamento de cada um deles afeta todo o conjunto. Um sistema de monitoramento dos programas e servios sociais envolvendo os trs nveis de governo implica a articulao entre as diferentes organizaes e atores responsveis pelas atividades que constituem o objeto do sistema. No caso dos programas do Ministrio do Desenvolvimento Social e Combate Fome (MDS), esta instncia federal possui a atribuio de coordenao do sistema. A descentralizao, dentro de um desenho institucional em que municpios e estados so entes federativos, implicou a transferncia de poder decisrio, competncias e recursos para um conjunto de atividades, entre as quais a elaborao de diagnsticos sociais e o desenvolvimento de atividades de avaliao e monitoramento. No entanto, a maior parte dos 5.564 municpios brasileiros de pequeno porte e com capacidade gerencial e assistencial limitadas, o que restringe suas condies para desenvolver diagnsticos sociais, bem como atividades de avaliao e monitoramento. Ainda assim, o conjunto dos municpios participa do sistema de avaliao e monitoramento dos programas sociais do MDS, possuindo papis e atribuies para seu funcionamento. No que se refere avaliao, como visto, os estudos feitos com esse fim no so necessariamente realizados de forma regular. Alm disso, quando contratados pelo nvel federal, costumam ser desenhados para responder a questes pertinentes s tomadas de deciso de nveis mais altos da hierarquia de formulao das polticas. As pesquisas, ainda que representativas, pois realizadas com base em grandes amostras nacionais, regionais , muitas vezes deixam de fora questes de interesse local, pertinentes a determinados municpios ou territrios. Gerentes locais necessitam de informao, em tempo real, sobre diferentes tipos de problemas, sejam eles as dificuldades de implementao enfrentadas pelos profissionais, sejam eles as vulnerabilidades novas ou antigas em seu territrio. Eles precisam tomar decises rpidas; portanto, so mais pertinentes para a gerncia local, sobretudo nos municpios menores, as avaliaes rpidas e direcionadas a questes de interesse dos servios em seu territrio, com a sua populao-alvo. Por outro lado, as atividades de monitoramento so contnuas e realizadas com o concurso de dados primrios coletados sobre o conjunto de programas e servios nos municpios. Os dados produzidos pelas gerncias locais constituem a matria-prima para a produo de indicadores de monitoramento dos programas e
7

servios. Esses dados no apenas fornecem informaes para a atuao do gerente, mas tambm podem subsidiar avaliaes sobre situaes especficas no municpio. Ao mesmo tempo, ao informarem sobre o municpio, constituem elementos do sistema de monitoramento dos programas e servios do MDS, de abrangncia nacional. Vrios desafios, para o desenvolvimento de atividades de avaliao e monitoramento, colocam-se para as gerncias locais, entre os quais: a) capacidade gerencial As fontes de dados para a produo de informao sobre servios, aes e programas sociais so os sistemas de informao gerenciais, que fornecem os insumos para a elaborao de indicadores de monitoramento. O registro regular e correto de dados no local onde a ao ou o servio so produzidos consiste em um dos ns crticos para a produo de indicadores, sejam eles especficos para a gerncia local, sejam eles gerais para o sistema de monitoramento do MDS. A alimentao regular dos dados uma das condies para a qualidade do sistema de informao. Diante da diversidade dos municpios relativa capacidade gerencial e tecnolgica, h dois desafios interligados a criao e a manuteno dessa capacidade, sobretudo nos municpio menores. Capacidade gerencial e tecnolgica envolve recursos fsicos, financeiros e humanos. No que se refere aos recursos fsico-financeiros, alm do investimento em equipamento, sua operao e manuteno requerem a previso regular de recursos para esse fim. Em relao aos recursos humanos, preciso contratar e capacitar, de forma permanente, profissionais para as vrias atividades que implicam a operao de um sistema de monitoramento e avaliao em nvel local, como a alimentao do sistema de informao, o processamento de dados e a capacidade em analis-los. A utilizao da informao como prtica de rotina um desafio que depende de recursos humanos capacitados e bem informados sobre a realidade local, o que implica a fixao dos recursos humanos no contexto local. A criao de funo especfica para avaliao e monitoramento tambm se coloca como desafio, sobretudo nos municpios de maior porte. b) identificao de especificidades locais A informao fornecida por avaliaes ou por indicadores de monitoramento utilizada da mesma maneira pelos gestores e gerentes dos vrios nveis do sistema. Certamente, h convergncias e similaridades, mas gestores e gerentes federais, estaduais e municipais possuem distintas necessidades. Embora os sistemas locais de avaliao e monitoramento devam articular-se e mesmo integrar-se ao sistema nacional, sob a gesto do MDS, os municpios tm necessidades e demandas especficas. Ainda que se trate de sistemas, um nvel no se reduz ao outro. As atribuies de gestores dos diferentes nveis do sistema de
8

proteo social so distintas, o que significa que suas perguntas nem sempre so as mesmas. Um desafio para as gerncias locais identificar que informao necessita ser gerada para fazer frente a problemas especficos em seu municpio ou territrio. Que tipo de estudos de avaliao so necessrios e possveis sob a responsabilidade local? A diversidade de porte e de capacidade de gesto dos municpios delimita necessidades e possibilidades de estudos de avaliao. Os perfis e indicadores de vulnerabilidade especficos de cada territrio constituem a base para diagnsticos sociais e o planejamento de aes pelos gerentes locais. So estes que tm condies de produzir e analisar informaes em relao s diversas situaes de beneficirios individuais, bem como tomar iniciativas para melhorar o desempenho e a qualidade do atendimento. Alm dos indicadores gerais, que so parte do sistema de monitoramento de abrangncia nacional, um desafio que pode vir a se colocar a definio de indicadores que expressem condies no contempladas pelos indicadores gerais, mas que devem ser acompanhadas, como as relativas aos grupos vulnerveis, aos tipos de vulnerabilidades existentes e prestao de servios locais. Por exemplo, se o Programa de Ateno Integral Famlia (Paif) um eixo articulador da assistncia social e os Cras, sua porta de entrada, importante que o monitoramento local capte informaes sobre as famlias no territrio que permitam intervenes especficas e o acompanhamento mais prximo das mudanas nas condies de vulnerabilidade dessas famlias. Nesse sentido, indicadores de monitoramento j desenvolvidos pelo MDS ou um conjunto de indicadores, como o ndice de Desenvolvimento das Famlias (IDF), poderiam, se necessrio, ser combinados com indicadores especficos para o monitoramento e a avaliao locais. Outro exemplo o PBF, cujo carter intersetorial faz com que o monitoramento e a avaliao de sua gesto e dos resultados das condicionalidades dependam da articulao entre as organizaes de sade, educao e assistncia social em nvel local. Nesse sentido, o monitoramento e a avaliao tanto de processos como de resultados dependem da articulao efetiva entre os nveis e setores de governo. c) articulao/integrao de informao entre os nveis local e central A operao local de um sistema de monitoramento est vinculada existncia de sistemas de informao. Para que a informao produzida em nvel central chegue ao municpio e seja efetivamente utilizada pelos gerentes, preciso tornar as ferramentas e os sistemas do MDS em instrumentos efetivamente usveis pelos gerentes e gestores. Para isso, elas tm de ser amigveis, no redundantes, tornando-se soluo, e no problema para os gerentes. Que ferramentas, sistemas ou mdulos de sistemas de informao geral com variveis e indicadores especficos seriam necessrios na perspectiva da
9

gesto e gerncia locais e que, s vezes, no so contempladas pelos sistemas de informao e indicadores j existentes? Por exemplo, se gerentes necessitam monitorar ou avaliar a ateno prestada por prestadores de servios locais, seria preciso contemplar essa necessidade nos sistemas e ferramentas de informao. d) adeso dos profissionais s atividades de avaliao e monitoramento. A Poltica de Avaliao e Monitoramento do MDS (BRASIL, MDS, 2006) prev que parceiros governamentais e no-governamentais que recebem recursos para financiar programas e aes enviem regularmente dados relativos a esses programas e a essas aes, de forma a subsidiar a construo de indicadores que fazem parte de seu sistema de monitoramento. A adeso dos profissionais envolvidos nas vrias etapas dessa atividade pressupe, em primeiro lugar, que eles conheam os objetivos das atividades em que esto envolvidos e acreditem em sua relevncia. O desconhecimento no apenas do significado, mas tambm da prpria funo avaliao e monitoramento pode produzir resistncia em relao ao papel da avaliao e monitoramento. Qualquer atividade nova exige a adeso das pessoas e resistncias no podem ser superadas apenas hierarquicamente. Um desafio cultural fazer com que a avaliao e monitoramento passem a ser vistos como instrumentos de interesse para a organizao e necessrios para melhorar o processo de trabalho e o desempenho dos programas. O comprometimento dos profissionais existe no apenas em funo das normas ou de valores pessoais, mas do conhecimento que eles tm sobre os objetivos de suas atividades. preciso que as pessoas envolvidas em qualquer atividade saibam o que esto fazendo e para que serve o que esto fazendo. Capacitao e treinamento devem ser estendidos a todos os profissionais envolvidos, e no somente aos nveis superiores. O papel dos gerentes crucial nesse sentido, em sua relao com os vrios nveis hierrquicos da gesto. 6 Consideraes finais A institucionalizao das atividades de avaliao e monitoramento como parte de um sistema nacional enfrenta desafios em seus vrios nveis de implementao, e os atores envolvidos no processo tm distintos graus de governabilidade sobre esses desafios. Procurou-se apontar aqueles desafios sobre os quais a gesto local pode ter maior poder, seja para tomar decises e encaminhar solues, seja para vocalizar as demandas locais nos fruns apropriados. A produo e a anlise de informao qualificada, por meio de um sistema nacional de avaliao e monitoramento, podem, e devem, integrar-se agenda da gesto social como base para o planejamento da expanso e consolidao da rede de servios e programas de proteo social.
10

Referncias bibliogrficas

BRASIL. MDS. Portaria n. 329, de 11 de outubro de 2006. Institui e regulamenta a Poltica de Monitoramento e Avaliao do Ministrio do Desenvolvimento Social e Combate Fome. Braslia. DRAIBE, S. M. Introduo. In: BARREIRA, M. C. R N.; CARVALHO, M. C. B (Orgs.). Tendncias e perspectivas na avaliao de polticas e programas sociais. So Paulo: IEE/PUC-SP, 2001. VAITSMAN, J; RODRIGUES, R. W. S; PAES-SOUSA, R. O sistema de avaliao e monitoramento das polticas e programas sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome.. Braslia: Unesco/ MDS, 2006. (Policy Papers 17)

Referncias bibliogrficas sugeridas sobre:


a) avaliao: COHEN, E.; FRANCO, R. Avaliao: conceito e especificidade. In: COHEN, E.; FRANCO, R. Avaliao de projetos sociais. Petrplis: Vozes, 2007. DRAIBE, S. M. Introduo. In: BARREIRA, M. C. R. N.; CARVALHO, M. C. B (Orgs.). Tendncias e perspectivas na avaliao de polticas e programas sociais. So Paulo: IEE/PUC-SP, 1993. b) avaliao e monitoramento: BRASIL. Ministrio do Desenvolvimento Social e Combate Fome. Portaria sobre a poltica de avaliao e monitoramento do Ministrio do Desenvolvimento Social e Combate Fome, 2006. VAITSMAN, J; RODRIGUES, R. W. S; PAES-SOUSA, R. O sistema de avaliao e monitoramento das polticas e programas sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome. Braslia: Unesco, 2006. (Policy Papers 17) c) indicadores: JANUZZI, P. M. Conceitos Bsicos. In: JANUZZI, P. M. Indicadores sociais no Brasil conceitos, fontes de dados e aplicaes. Campinas: Alnea, 2003.
11

d) implementao: Vaitsman, Jeni. 2006. A integrao entre avaliao e planejamento: desafios polticos e institucionais. In: CONGRESO INTERNACIONAL DEL CLAD SOBRE LA REFORMA DEL ESTADO Y DE LA ADMINISTRACIN PBLICA, 11., 2006. Guatemala: CLAD/Ministrio do Desenvolvimento Social e Combate Fome, 7-10 nov. 2006. Disponvel em: <www.clad.org.ve/siare/biblo/biblo_a.html>. e) estudo de caso: SANTOS, A. F.; QUADROS, R. M.; FERREIRA, J. M. Descentralizacin de la salud pblica y sistemas de informacin en Brasil caso del Municipio de Belo Horizonte Srie Estudios de Caso y Experiencias Relevantes en Gerencia Social en America Latina. Proyecto Conjunto INDES-IDRC. (Estudio de Caso n. 9)

12