AVALIACAO DE PROGRAMAS SOCIAIS NO BRASIL: REPENSANDO PRATICAS E METODOLOGIAS DAS PESQUISAS AVALIATIVAS” Paulo de Martino Jannuzzi” ‘A ampliagéo do escopo e da cobertura da politica social no Brasil, processo este dinamizado a partir da Constituigo Federal de 1988 (CF/88), vern ensejando esforgos crescentes do campo de monitoramento e avaliagao de programas sociais no pats. Contudo, em que pesem tais esforgos de aprimoramento, & preciso reconhecer que a proposi¢ao de sistemas de monitoramento para acompanhar as ages ¢ os programas governamentais e a especificacdo de pesquisas de avaliacao destes iltimos ainda padecem de uma série de dficuldades. sas difculdades no monitoramento e na avaliagdo de programas no Brasil ~ e as frustragées decorrentes disto ~ so consequéncia, em boa medida, de desenvolvé-los seguindo madelos e presctiges muito particulares e padronizados, sem a devida "customizaco” que deveriam ter em fungao do estagio de maturidade dos programas — ou do momento do "ciclo de vida” em que eles se encontram -, ou, ainda, de conduzilos sem uma andlise prévia do grau de avaliabilidade dos programas. Este texto procura, assim, trazer alguma contribuigdo de natureza conceitual e metodolégica para auxiiar na estruturacao de sistemas de monitoramento e na especificacao de pesquisas de avaliagéo, que realmente se prestem ao objetivo de permitir 0 acompanhamento continuo ¢ o aprimoramento efetivo da aco governamental e, portanto, a gestao de programas Como na pesquisa académica, nao existe uma receita Unica, pronta e acabada para responder a qualquer tipo de demanda avaliativa, Frente & complexidade do objeto de estudo, e sem prejuizo do igor metodolégico, é preciso que o estudo de avaliagao seja conduzido com certa maleabilidade ¢ pluralismo metodolégico, tiangulacao de abordagens investigativas e complementaridade de técnicas quantitativas e qualitativas. Ainda que um tanto dbvio, ndo é bem assim que os estudos ‘tém sido conduzidos no Brasil. Palavras-chave: Monitoramento; Avaliacao; Politicas Publicas; Programas Sociais. * Agradeco a0 Conselho Nacional de Deservohimento Cientifica e Tecnolégico (CNPq) pela bolsa de produtividade concedida e aos meus ex-alunas do Curso de Especiaizacio em Avaliacao de Programas na Escola Nacional de Ad- ministragéo Publica (ENAP), Maria Roséngela Machado Siva, Mariana Almeida de Faia Sousa e Leonardo Milhomem Resende, e do Mestrado em Estudos Populacionais e Pesquisas Socials da Escola Nacional de Ciéncias Estatisicas, do Instituto Brasileiro de Geografa e Estatistica (ENCE/BGE), Daniel Siquera e Caroline Constant, pela oportunidade de didlogos e reflexses que me permitiram escrever o presente texto. Uma versao para fins didticos deste artigo foi publicada como Cadernos EIAPP em 2009 pela ENAP. ** brofessor da ENCE do IBGE e pesqusador do CNP, Mestre em AdministracSo Publica pela Escola de Administragéo de Empresas de Sao Paulo, da Fundacao Getulio Vargas de Sao Paulo (EAESP/FGV-SP) e doutor em Demagraia pela Universi- dade Estadual de Campinas (UNICAMP), El paulo annuzri@ibge govbr252 planejamento e politicas piblicas | ppp | n. 36 | jan,jul. 2011 EVALUATION OF SOCIAL PROGRAMS IN BRAZIL: RETHINKING PRACTICES AND RESEARCH METHODOLOGIES The expansion of the scope and coverage of Social Policy in Braz, a process spurred by the Constitution of 1988, have demanded increased efforts in the field of Monitoring and Evaluation of Socal Programs in the country. In spite of these improvement efforts, itis dear that development of monitoring systems to monitor the actions and goverment programs and the spedfication of evaluation research of these programs stil suffer from a number of difficulties, ‘These dificlties in monitoring and evaluating programs in Brazil ~ and the resulting frustrations — are dug, in fist pace, of using very spec models and standardized rules without proper customization that should have done depending on the stage of program maturity - or the moment of "life eye" in which they meet - or evento lead them without prior examination ofthe degree of evaluablity of programs. This paper thus seeks to bring some conceptual and methodological contribution to assist in structuring monitoring systems and in the specification of evaluation research, which really lend to the goal of allowing continuous monitoring and effective government improvement. {As it happens in academic research, there is no single recipe, prompt and ready to respond to any demand evaluative. Due to the complexity of the object of study, without losing the scientific rigor, the evaluation studies should be based on some sort of methodological pluralism, triangulation of research approaches and complementarity of quantitative and qualitative techniques. Although somewhat obvious, is not the case that the studies have been conducted in Brazil. Key-words: Monitoring; Evaluation; Public Policy; Social Programs. EVALUACION DE PROGRAMAS SOCIALES EN BRASIL: CONSIDERACIONES SOBRE LA NECESIDAD DE REPENSAR PRACTICAS Y METODOLOGIIAS DE INVESTIGACION La ampliacin del alcance y la cobertura dela politica social en Brasil, un proceso impulsado por la Constitucién de 1988, han exigido un mayor esfuerzo en el ambito de Seguimiento y Evaluacién de Programas Sociales en el pais.A pesar de estos esfuerzos de mejora, es evidente que la proposicién de sistemas de monitoreo para supervisar las acciones y programas de gobierno y a especificacion de la investigacién evaluativa de estos programas todavia adolecen de una serie de dificultades. Estas dificultades en el seguimiento y evaluacién de los programas en Brasil - y as fustraciones resultantes = son el resultado, en gran parte, del uso de modelos y prescriciones muy especificos y estandatizados, sin adaptacién adecuado que deberia tener en respecto a la etapa de madurez de los programas - 0 el momento del ciclo de vida en la que se encuentran — 0 incluso para condutirlos sin examen previo del grado de evaluabilidad de programas. Este trabajo pretende, pues, traer algtin beneficio de naturaleza conceptual y a metodologia para ayudar en la estructuracion de los sistemas de seguimiento y la espeeificacion de la investigacién evaluativa, que realmente se prestan con el objetivo de permitir el monitoreo y mejora continua de la accién gubernamental Como en la investigacién académica, no hay una receta tnica, rapida y dispuesta a responder a cualquier demanda de evaluacién. Frente a la complejidad del objeto de estudio, in perder el rigor metodolégico, e necesario que la evaluaci6n de programas siga basada en cierta maleabilidad e pluralismo metodolagico, con triangulacién de los enfoques de investigacién e complementariedad de las técnicas cuantitativas y cualitativas. Un tanto obvio, pero no es esto que se practica en la evaluacién de programas en Brasil. Palabras-clave: Seguimiento; Evaluacién; las Politcas Publicas; Programas Sociales,Avaliago de Programas Sociais no Brasil 253 EVALUATION DES PROGRAMMES SOCIAUX AU BRESIL: CONSIDERATIONS SUR LA NECESSITE DE REPENSER LES PRATIQUES ET METHODES DE RECHERCHE Le elargement de la couverture et de le domaine de la politique sociale au Brési, processus qui a avancé depuis la Constitution de 1988, a exigé des efforts accus dans le matiére du suivi et évaluation des programmes sociaux dans le pays. En dépit de ces efforts d'amélioration, il est dlair que la proposition de systémes de suivi les actions et les programmes gouvernementaux et la definition approprié des études d’évaluation de ces programmes souffrent toujours d'un certain nombre de diffcultes Ces dffcutés dans le suivi et évaluation des programmes au Brésil—et ls frustrations résutant —sont le ésultat en grande partie, pour le usage des models et presarpcions trés spécifiques et standardisés, sans adaptation appropriée qui auait do, selon le stade du maturité des programmes -ou le moment du cycle de vie dans laquelle ils se trouvent —ou méme de les conduire sans examen préalable du degré 4 évaluation les programmes. Le présent document tented 'apporter une contribution de nature conceptuelle et méthodologique pour aider a a structuration des systémes de suivi et evaluation, qui se prétent vraiment @ I objectif de permettre une surveillance continue et améliration de 'action gouvernementale Comme dans la recherche scientifique, il n'y a pas de recette unique, rapide et prét a répondre & toute demande d’évaluation. La complexité de l'objet de |'étude demande, sin le manque de rigueur méthodologique, que la evaluacion de programmes compte sur la flexibilté et pluralisme méthodologique, en la triangulation des méthodes de recherche e la complémentarité des techniques quntitatifes e qualtatifes. De toute évidence, pas tout a fait que des études ont été menées au Brésil. Mots-clés: Suivi; Evaluation; Politiques Publiques; Programmes Sociaux 1 INTRODUCAO A ampliagio do escopo e da cobertura da politica social no Brasil, processo este dinamizado a partir da Constituigao Federal de 1988 (CF/88), vem ensejando esforcos crescentes do campo do monitoramento e da avaliagio de programas sociais no pais. Contudo, em que pesem tais esforsos de aprimoramento, é forgoso reconhecer que a proposigao de sistemas de mo- nitoramento para acompanhar as agées ¢ os programas governamentais ¢ a especificacéo de pesquisas de avaliacao destes tiltimos ainda padecem de uma série de dificuldades. Nao é tao comum encontrar, nos gabinetes e nos escritérios de gestores e técnicos do setor publico, especialmente em nivel estadual © nos grandes municipios, sistemas de monitoramento que per- mitam acompanhar, por meio de um conjunto consistente ¢ atualizado de indicadores, a agao governamental, da alocacao do gasto puiblico ao impacto junto aos ptiblicos beneficidrios. Muitos sio os exemplos de pesquisas de avaliagao que, mesmo motivadas por preocupagao legitima e meritéria com a eficdcia ea efetividade do gasto piiblico, revelam, infelizmente, resultados triviais, metodologicamente questiondveis ou com baixa apropriagao para reformulagéo dos programas.58 planejamento e pol as piiblicas | ppp | n. 36 | jan,jul. 2011 Essas dificuldades no monitoramento ¢ na avaliagéo de programas no Brasil — € as frustragdes decorrentes distos — sio consequéncia, em boa medida, de desen- volvé-los seguindo modelos e prescrigdes muito particulares e padronizados, sem a devida “customizagéo” que deveriam ter em fungéo do estégio de maturidade dos programas ~ ou do momento do “ciclo de vida” em que eles se encontram -, ou, ain- da, de conduzi-los sem uma andlise prévia do grau de avaliabilidade dos programas ¢ sem uma compreensio de que essas atividades se integram a processos mais amplos, c igualmente importantes, da gestao de programas, Forcando um pouco o argumento para torné-lo mais claro — ainda que em pre- juizo do teconhecimento do esforco meritério e do trabalho competente observado em diversos setores da administracéo publica brasileira -, 0 fato é que as lacunas de formagio e o pouco dominio de conceitos e técnicas no campo de monitoramento € avaliagio, na comunidade de gestores, acabam trazendo problemas na especificacéo destas atividades no governo. Isso leva as conhecidas frustracées com resultados téo ansiosamente esperados e aos questionamentos sobre a utilidade dos estudos, Explicitando melhor a motivagao para elaboragio deste texto — sob o risco de simplificar demais a natureza e minimizar 0 alcance dos estudos avaliativos conduzidos por pesquisadores nas universidades ¢ nos centros de pesquisa no pais -, a abordagem marcadamente disciplinar da pesquisa aplicada no campo, a sobrevalorizagio de algumas técnicas e modelos especificos de avaliagao e o desco- nhecimento do contexto de operacéo da ago publica e da forma com que os re- sultados dos estudos podem ser usados mais efetivamente pelos gestores também. contribuem para conformasao de tal quadro. Este trabalho procura, assim, contribuir para melhoria na especificago da demanda de instrumentos de monitoramento e pesquisa de avaliagéo por parte da comunidade de gestores piiblicos ¢ na estruturacao dos servicos a serem ofe- recidos pelo universo de pesquisadores académicos e profissionais. Mais preci samente, este texto procura trazer alguma contribuicéo de natureza conceitual ¢ metodolégica para auxiliar na estruturagao de sistemas de monitoramento ¢ na especificacéo de pesquisas de avaliagao, que realmente se prestem ao objetivo de permitir 0 acompanhamento continuo ¢ 0 aprimoramento efetivo da ago gover- namental e, portanto, a gestio de programas. Inicia-se com uma problematizagao atual acerca dos estudos avaliativos no Brasil, passando-se a uma breve exposigéo do ciclo de formulagao e avaliagao de politicas puiblicas ¢ programas, para, ao fim, apresentar aspectos conceituais no campo e discutir como as pesquisas de avaliagao — delineadas segundo as diferen- tes técnicas quantitativas ou qualitativas da pesquisa social - podem e devem ser definidas a partir do estégio de maturidade e das perguntas efetivamente relevan- tes para os gestores e os técnicos.Avaliago de Programas Sociais no Brasil 255 2 MONITORAMENTO E AVALIACAO: UM CAMPO DE ESTUDOS EM FORMACAO NO BRASIL A ccrescente atuagao do Estado brasileiro na promogao de politicas sociais — em especial, a partir da CF/88 — rem sido acompanhada, com alguma defasagem, do aprimoramento da capacidade de formulagio e avaliagao de programas pui- blicos no pais. De modo geral, os estudos de avaliagio de demandas sociais, os diagnésticos propositivos para intervengées especificas, os sistemas de indicado- res de monitoramento e as pesquisas de avaliagao de programas vém se tornan- do mais consistentes e presentes no cotidiano dos gestores puiblicos, ainda que em um ritmo menos veloz que o necessario ¢ de forma bastante desigual pelas esferas de governo ¢ regides do pais. Em que pesem os avancos na capacidade de gestao de programas, ainda so expressivos os contrastes que se podem observar, por exemplo, no acompanhamento dos programas nas dteas da satide e da qua- lificagao profissional, ou entre equipes de gestores do governo federal e técnicos de prefeituras de pequenos municipios no interior do pais. E preciso reconhecer as limitagdes das pesquisas de avaliagio de programas ptiblicos como fontes de informagao para readequagao dos programas existentes ou proposi¢ao de novos. Nas avaliagdes de impacto, as constatacGes empiricas acerca da efetividade dos programas sio, nao raras vezes, ambiguas ou pouco cor Nos casos em que se adotam delineamentos metodoldgicos quasi-experimentais, as condigdes para garantir a validade interna dos estudos acabam por inviabilizar a apropriacao ¢ a generalizagéo dos resultados para avaliagées mais abrangente de programas (WORTHERN et al., 2004). istentes. Varios estudos avaliativos focados no processo de implementagao dos pro- gramas acabam tendo baixo poder de generalizagio devido as lacunas de conhe- cimento sobre as atividades desenvolvidas ¢ 0 papel dos agentes institucionais envolvidos nos programas, seja pelas limitagdes ou pela inexisténcia de sistemas de informagées de monitoramento, seja pelas decisées metodoldgicas quanto a técnicas, amostras ¢ casos investigados, muitas vezes escolhidos mais em fungao dos prazos e dos recursos disponiveis do que pelas perguntas as quais se quer res- ponder. Avaliagdes voltadas 4 andlise da consisténcia tedrica e do desenho légico de programas — que poderiam gerar conhecimento mais generalizavel na area — séo menos frequentes ou, pelo menos, menos conhecidas do que outros tipos de estudos avaliativos no pais Enfim, em que pesem os avangos na érea, ¢ preciso reconhecer que a insatis- facio com os estudos avaliativos ainda é mais frequente do que o desejavel. Como jé revelava Cotta hd mais de dez anos: ‘As metodologias de avaliagio de programas sociais tém sido objeto de severas crticas Basicamente, afirma-se que, na pritica, as avaliagSes nio subsi 1m 0 processo decisério256 planejamento e pol as piiblicas | ppp | n. 36 | jan,jul. 2011 porque seus resultados sio inconclusivos, inoportunos e irrelevantes. Inconclusivos em fungio das préprias limitacées deste tipo de estudo, inoportunos devido 4 morosidade do processo avaliativo e irrelevantes porque nao respondem as demandas informacionais de todos os agentes sociais afetos & intervengéo (COTTA, 1998, p. 118). Situagao semelhante parece ter passado os Estados Unidos nos anos 1970, a julgar pelo relatério do General Accounting Office (GAO), que, mobilizado por demanda do Senado americano em 1974, constatou que as informagées das pesquisas sociais e dos estudos avaliativos financiados com recursos piblicos néo contribufam para o desenho das politicas ptiblicas, pela dispersio e fragmentagio de temas investigados, pela falta de coordenagio e orientacéo do que era de inte- resse governamental investigar, pela dificuldade de acesso ¢ pela compreensio dos relatérios de pesquisas (GAO, 1977). Mesmo mais recentemente, tém-se constatado limitages ¢ problemas nos estudos avaliativos de programas piiblicos nos Estados Unidos, as vezes com desdobramentos até piores que os descritos por Cotta. De fato, como colocam ‘Worthern e¢ al.: De vez em quando, uma “avaliasio” mal concebida ou mal executada produz in- formagées que, no melhor dos casos, seriam enganosas ¢, no pior, absolutamen- te falsas, Embora essas ocorréncias sejam raras, podem causar problemas graves. Como geralmente tem ar de respeitabilidade, essas avaliagées no costumam ser questionadas, ¢ o resultado € que decisées importantes sobre programas e servicos essenciais baseiam-se inadvertidamente em informacées falaciosas (WORTHERN et al, 2004, p. 44) Conspiram para conformasao de tais problemas, entre tantos fatores, a crenga desmesurada na capacidade de antecipacao e na implementagao de programas por parte de técnicos de alto escalio que, a0 nao incorporarem a contribuigéo de agentes envolvidos no trabalho, acabam por desenhar processos e rotinas que desconsideram as distintas realidades de operacio dos programas. Esse tecnocratismo ingénuo inva- riavelmente se esquece das dificuldades de articulac4o e colaboracao dos trés niveis de governo ou de pastas sociais em uma mesma esfera e das diferencas de capacidade de gestao ¢ controle social pais afora, Tio ou mais grave, também desconsidera a heterogeneidade socioeconémica da populagao demandante na formulagio dos pro- gramas, considerando-a como tinico ptiblico-alvo, para o qual se deve disponibilizar um conjunto de servigos, das regides Norte a Sul, do centro 4 periferia das cidades. Assim, com problemas nas fases iniciais do ciclo de gestéo de programas — no re- conhecimento das questées sociais ¢ no desenho das intervengies idcalizadas para mitigé-los -, néo se poderiam esperar resultados, de fato, impactantes Desconhecimento sobre o estagio de avaliabilidade dos programas é outro fator a minar a credibilidade dos instrumentos de monitoramento e avaliagao.Avaliago de Programas Sociais no Brasil 2s) ‘A prematuridade na encomenda de estudos avaliativos de resultados ¢ impactos, quando se sabe que o programa ainda se encontra em fase de implantagio ou com problemas de gestéo, e a antecipagao de avaliagées externas, com natureza mais de auditoria em detrimento de ayaliagées de carater mais formativo, conduzidas internamente e voltadas ao aprimoramento incremental do programa, sao proble- mas mais frequentes do que se poderia esperar, Sao aportados volumes significati vos de recursos em pesquisas de avaliagao, procurando garantir representatividade amostral de resultados em nivel nacional, esquecendo-se de estruturar painéis ‘ou sistemas de indicadores de monitoramento, que — com todas as limitagées de cobertura, mas com a tempestividade devida — permitiriam identificar boa parte dos problemas em tempo de serem corrigidos. Para isso, contribui o estagio ainda incipiente do conhecimento do campo aplicado de monitoramento ¢ avaliagéo de programas no Brasil, seja na estrutura pblica, seja nas universidades ¢ nos centros de pesquisa. Enquanto, nos Estados Unidos e em paises europeus desenvolvidos, a cultura de avaliagao de programas jd se encontra em estégio maduro, depois de mais de trés ou quatro décadas de desenvolvimento, com marcos conceituais abrangentes ¢ testados, profissionais com formacao multidisciplinar ¢ instituigées especializadas, no Brasil, a institu- cionalizagao do campo é bem mais recente. Como comentam Worthern ef al, (2004), a cultura de monitoramento e avaliagéo de programas nos Estados Unidos — assim como os instrumentos de planejamento e programacao orcamentéria — comecou a se fortalecer nos anos 1960 no govern Lyndon Johnson, quando da estruturagéo de varios programas sociais em nivel federal, no contexto do que se denominou Great Society, ¢ da necessidade, portanto, de garantir melhor gestéo dos programas publicos nesse pais. Rossi er al. (2004) identificam esforgos s avaliacéo de programas sociais norte-americanos, j4 a partir da década de 1930, como desdobramento do papel crescente do Estado americano no fi- nanciamento de servigos sociais — respondendo aos efeitos da crise de 1929. a avaliagéo, que se concentrava, inicialmente, nas areas de educacao — so- bretudo na investigacao de programas de alfabetizacao -, satide publica — nas agées de combate 4 mortalidade por doencas infecto-parasitarias — ¢ qualifi- cacao profissional, passa, no pés-guerra, a abranger reas como prevengao da juvenil, planejamento familiar, nutri¢ao, programas habitacionais e desenvolvimento rural tematicos em violénc’ No entanto, nos anos 1960, © campo da avaliagéo de programas passa por um boom, com a ampliagéo dos programas sociais, como jé mencionado, ¢ tam- bém, como lembram Rossi ef al. (2004), com 0 avango ¢ a disseminacio das técnicas aplicadas da pesquisa social, desenvolvidas nas universidades americanas.ae planejamento e pol as piiblicas | ppp | n. 36 | jan,jul. 2011 Ao contrério do que se poderia imaginar, nas décadas seguintes, a énfase na desregulamentagao ¢ descentralizagéo da prestagao de servigos piblicos ¢ no questionamento sobre a pertinéncia ¢ o tamanho dos programas sociais nos go- vernos republicanos conservadores, que assumiram o poder mais tarde, acabou por valorizar a pratica da avaliacéo, ao disseminar a cultura de monitoramento ¢ avaliagao para governos estaduais, municipais e organizagdes nao governamen- tais (ONGs). Afinal, até mesmo um “estado regulador” requer instrumentos de medigo de resultados para acompanhar a prestagao dos servigos financiados com recursos ptiblicos, até para justificar, com alguma base técnica ¢ transparéncia, a descontinuidade de programas sociais “ineficazes” e redirecionar os gastos para outras dreas — como para as despesas militares da Guerra do Vietna, no governo Nixon, e para a defesa militar, no governo Reagan. Respondendo a essas deman- das, comentam os autores que, nos anos 1970, sao estruturados cursos de pés-gra- duagio, de natureza disciplinar e, mais tarde, multidisciplinar, com forte énfase em técnicas de pesquisa — quantitativas e qualitativas -, abrindo a possibilidade para a criacdo de uma comunidade profissional de avaliadores.! No caso brasileiro, atualmente, parte significativa da avaliagéo de progra- mas ptiblicos tem sido realizada por equipes de centros de pesquisa ¢ universi- dades, com boa experiéncia em anilise de macropoliticas, conjuntura social ou projetos de pesquisa académicos, mas, em geral, sem experiéncia na implemer tago real de programas e sem reunir o conhecimento multidisciplinar requerido para abordagem dos problemas complexos em que estes procuram atuar. Nao ha daividas de que, em geral, essas avaliages de programas contam com equipes competentes no emprego das boas praticas da pesquisa social ¢ no uso rigoroso de técnicas quantitativas ¢ qualitativas de coleta e andlise de dados. Como nas pesquisas académicas, é fundamental garantir 0 rigor metodoldgico nos estudos avaliativos, para permitir o conhecimento mais circunstanciado dos problemas ¢ as solugdes idealizadas para mitigé-los e conferir legitimidade técnica-cientifica na avaliagéo da aco governamental. Mas, como jé alertado em um dos primeiros Ver, por exemplo, as publicagSes, os eventos e os sites das associagSes profissionais ou académicas de avaliagio nesses paises, entre os quais: American Evaluation Association — disponivel em: ; Canadian Evalu- ation Society ~ cisponivel em: ; European Evaluation Society — cisponivel em: ; e Societé Francaise d’ Evaluation —disponivel em: 2. De fato, no Brasil, os trabalhos de avallacdo de programas pablicos ¢ seus autores encontram-se disper- 505 pelas principais associacGes cietifcas cisciplinares. A partir dos anos 2000, foram criados espacos mais mmultidisciplinares para discussao e apresentacéo de estudos de avaliacio de politics pibicas; entre eles, a Assoctacao Brasileira de Avaliacéo Educacional ~ disponivel em: ; a Rede Brasileira de Monitoramento e Avaliagao - disponivel em: ; o porta Poiticas Publicas «em Foco ~ aispenivel em: —, mantido pela Fundagao do Desenvalvimento Administrativo (FUNDAP) e pelo Centro Brasileiro de Andlise e Planejamento (CEBRAP); eos sites do Tribunal de Contas da Unio (TCU) ~ cisponivel em: ~ e da Controladoria-Geral da Unido (CGU) ~ dispo- nivel em: , além dos féruns criados pelos programas de pés-graduacao lato e stricto sensu — académicos e profissionais — @ das linhas de pesquisa nesse sentido em programas deste tipo em administracao pablica, economia social, sade coletiva, creito etc.Avaliago de Programas Sociais no Brasil 259 manuais abrangentes de avaliagao de programas no inicio dos anos 1970, pro- gramas sociais so “objetos de pesquisa” inerentemente dificeis de serem tratados, pelo ambiente muitas vezes indspito ¢ pouco colaborativo, pelo contexto politi co menos ou mais favoravel, pela natureza fugidia das perguntas e das questes que sio demandadas ao avaliador responder, pela menor ou maior disponibili dade de dados ¢ pelo tempo ¢ recursos disponiveis para conduzir andlises mais consistentes (WEISS, 1972). Em manuais mais recentes, como os jd citados de Worthern et al. (2004) e Rossi et al. (2004), recomenda-se que os estudos avali- ativos sejam realizados por pesquisadores nao apenas com conhecimento técnico e metodolégico apropriado & temdtica em questo, mas também com experiéncia empirica anterior e, sobretudo, desprendimento para inovar e improvisar nas di- versas circunstancias e dificuldades que insistem em aparecer no cotidiano pratico da drea. Nao é incomum, pois, que estudos avaliativos realizados por “puristas metodolégicos” cheguem a resultados j4 conhecidos do gestor de programas, ou concluam — com ingénua assertividade — acerca da necessidade de descontinui- dade do programa avaliado, pela suposta baixa efetividade apurada, segundo suas escolhas metodolégicas sobre © que investigar e como fazé-lo. 3 0 CICLO DE POLITICAS PUBLICAS E PROGRAMAS Nos manuais clissicos de Ciéneia Politica, 0 processo de formulagéo de politicas piblicas tem sido apresentado recorrentemente pelo ciclo de etapas sucessivas ‘olicy Cycle), com mais ou menos estdgios, como ilustrado na figura 1. Em que Policy Cyele e ilustrado na figura 1. E pesem as criticas de longa data quanto a forma simplificada com que este apre- senta 0 processo politico ¢ sua veracidade empirica, a separagio em etapas se presta aos objetivos de evidenciar, ao longo do processo, énfases diferenciadas no planejamento, na operacéo ou na avaliacéo dos programas. Justifica-se ainda para fins didéticos e para orientar 0 recorte analitico na pesquisa académica na drea (NASCIMENTO, 1991) Nesse modelo, a primeira etapa (definigéo da agenda politica — Agenda- -Setting) corresponde aos miiltiplos caminhos e processos que culminam com o reconhecimento de uma questéo social como problema piblico e da necessidade da ag4o governamental para sua solucio; isto é, a legitimagio desta questio na pauta publica ou na agenda das politicas puiblicas do pais, em determinado mo- mento. A etapa seguinte (formulacéo de politicas e programas — Policy Formula- tion) refere-se aos processos ¢ as atividades relacionados & construgao de possiveis solugées, encaminhamentos ¢ programas para lidar com a questéo recém-legiti- mada na agenda. E preciso, entio, em sequéncia — na tomada de decisio técnica- -politica (Decision Making) -, escolher o rumo a seguir, de ago efetiva ou nio, decidindo-se por uma ou algumas das alternativas formuladas. A quarta etapa (implementacao de politicas e programas — Policy Implementation) corresponde260 planejamento e pol as piiblicas | ppp | n. 36 | jan,jul. 2011 aos esforcos de efetivagao da aio governamental na alocagéo de recursos ¢ no desenvolvimento dos processos previstos nas alternativas e nos programas escolhi- dos anteriormente. Por fim, é preciso analisar se os esforgos empreendidos estao atuando no sentido esperado de solucionar o problema original (avaliacdo das politicas e dos programas — Policy Evaluation). E necessirio verificar se é preciso realizar mudangas nos programas implementados para garantir sua efetividade; descontinué-los, se o problema deixou de compor a agenda; ou entéo adapté-los a uma nova realidade, reiniciando o ciclo. E oportuno registrar que a avaliacdo, enquanto etapa do ciclo, realiza-se apés a implementagao. Trata-se de um momento de natureza mais reflexiva para continuidade ou nao do programa. Distingue-se, portanto, das atividades de mo- nitoramento e avaliacao, que se realizam mediante os sistemas de indicadores e as pesquisas de avaliagao, instrumentos investigativos que podem ser empregados a qualquer momento do ciclo, como discutido mais adiante. Denominar essa etapa decisiva do ciclo como de avaliagao somativa talvez. ajudasse a evitar o duplo ser tido que o termo assume na Area. A agenda politica corresponde ao conjunto de assuntos e problemas que os gestores ptiblicos e a comunidade politica entendem como mais relevantes em dado momento e, nao necessariamente, a lista de preocupagées da sociedade ou os destaques da imprensa (JANN; WEGRICH, 2007). Afinal, o reconhecimento de uma questao social como problema de governo ou Estado nao é um proceso simples ¢ imediato, que responde automaticamente as estatisticas disponiveis, por mais reveladoras que sejam da gravidade da questéo, quando comparada a outros paises ou momentos do pasado. Nao éa vontade de um técnico do setor puiblico, um pesquisador académico ou governante cleito, com conhecimento empitico consistente da realidade ou viséo ousada, que garante imediatamente sua incorpo- racéo na agenda formal de governo. Como coloca Parada (2006, p. 73), “No toda idea entra a la agenda. No todos temas de la agenda se convierten em programas.” Quando existe a convicgao de que um problema social precisa ser dominado politica ¢ administrativamente, é que ele se transforma em uma questéo publica (FREY, 2002). Se parece haver solugao técnica vidvel e factivel para determinada questo social, essa entra mais facilmente na agenda. Afinal, a estrutura do setor publico, pelos mecanismos institucionais existentes e operantes, é um ambiente que “digere” inovacées a seu tempo ¢ estilo. Hi varias interpretagdes diferentes de como a agenda é construida. Em todas as perspectivas, cla é entendida como um proceso coletivo ¢ conflituoso de d finicéo, como assinalam Howlett ¢ Ramesh (2003). Vai sendo formada por meio de diferentes mecanismos de pressio externa de grupos organizados em partidos politicos, sindicatos, associacées patronais, na imprensa ¢ outras instituic6es, pelasAvaliago de Programas Sociais no Brasil 261 temiticas por eles entendidas como relevantes; por iniciativa interna do governo ¢ mobilizagao social em fungao de compromissos assumidos nas eleigdes; pela atua- gio da burocracia publica no encaminhamento das demandas setoriais etc. Os atores politicos séo elementos catalisadores desse processo. Eles séo di- versos € possum caracteristicas distintas: politicos ¢ burocratas; empresatios, tra- balhadores/sindicatos, servidores ptiblicos e meios de comunicasio (RUA, 1998). Grandes empresdtios, individualmente ou por meio de seus lobbies (grupos de pressio), encaminham suas demandas e pressionam os atores ptiblicos, nas deci- sées governamentais, em favor de seus interesses. Outros agentes politicos de gran- de importncia séo os agentes internacionais, tais como o Fundo Monetario Inter- nacional (FMI), 0 Banco Mundial, a Organizacao das Nagées Unidas (ONU), a Organizacao Mundial do Comércio (OMC) etc; ou, ainda, os paises com os quais o Brasil mantém relagdes politicas. Esses atores podem afetar ndo apenas a econo- mia, como também a politica interna do pais (RUA, 1998). Além destes, os meios de comunicasio sto outros agentes importantes no processo — de modo especial, a televisio, com difuséo massificada em todas as camadas da populagéo —, pois dispéem de recursos para influenciar a opiniao publica na formagao das demandas (FREY, 2002). Enfim, as organizagées politicas (partidos, sindicatos ¢ grupos de interesse) séo fundamentais para que as demandas entrem na agenda politica do governo e, ld presentes, possam se transformar em ages e programas concretos. FIGURA1 O ciclo de politicas e programas pablicos Definigio de agenda Percepsao € - definigao das Formulagao, Lz questées puiblicas Diagnéstico e desenho de programas Tomada de deciso Sobre programas pliblices-alvo Problemas e demandas sociais Avaliago Analise de Implementasio resultados e Producdo e oferta impactos dos servigos Decisdo sobre continuidade/ Inicio do ciclo Fonte: Jann e Weatch (2007). Elaboragio do auto,262 planejamento e pol as piiblicas | ppp | n. 36 | jan,jul. 2011 A amplitude da agenda politica estaria condicionada também ao nivel de de- senvolvimento econdmico ¢ tecnoldgico do pais, jd que tais fatores, ao viabilizar ganhos crescentes de produtividade na economia, permitiriam o atendimento de demandas de grupos de interesse organizados, pela ampliagao da oferta, cobertura e diversidade dos servigos sociais (CAREY, 2006). O ritmo de constituigao de tal agenda de bem-estar social seria potencializado, em contextos de maior liberdade © participacao politica, com maior atuagao de partidos politicos, sindicatos, im- prensa e outros grupos de interesse. Os niveis de urbanizacéo ¢ envelhecimento populacional também seriam outros condicionantes importantes pata entender a formacio da agenda politica, pela visibilidade e pela concretude que conferem aos problemas sociais deles decorrentes. Na etapa da formulagao da politica, os problemas, as propostas e as demandas explicitados na agenda transformam-se em leis, programas e proposigées de acées. Isto é, a formulacio de politica envolve a busca de possiveis solugdes para as ques- tes priorizadas na agenda. Nesse momento, os elementos operacionais da politica em questéo precisam ser explicitados: diretrizes estratégicas, propostas de leis, de- cretos normativos, bem como programas e projetos. Em uma visio simplificada — © um tanto romantica ¢ ingénua, como diria Charles Lindblom — do processo, tais programas e propostas seriam elaborados pelo emprego de técnicas gerais de planejamento de projetos; conhecimentos setoriais especificos; anélise de viabili- dade politica, custo-beneficio ou custo-efetividade das solugées; revisio critica de experiéncias anteriores; e boas préticas identificadas. Essas tarefas sio conduzidas por técnicos do setor piblico, com maior ou menor participagao de consultores ex- ternos, seguindo orientagées emanadas de gestores piiblicos no topo da hierarquia. Em fungao da natureza do problema ¢ da orientacao geral de governo, os programas propostos se classificariam em ages de cunho distributivo, redistr butivo ou regulamentatério (HOWLETT; RAMESH, 2003). Na realidade, essa fase nao estd tao desvinculada assim do cotidiano da politica ou tao isolada das influéncias das propostas dos grupos de interesse, como se supée. Muitas vezes, as propostas de encaminhamento de solucées chegam com as presses para in troduzir a questéo na agenda formal de governo. Se nao, colocado o problema, hd sempre atores com maior ou menor influéncia na formatagio dos possiveis programas ¢ ages (JANN; WEGRICH, 2007). Levantadas as diferentes alternativas para dada questéo social, é preciso es- colher qual deverd ser adotada. Enquanto na definigao da agenda politica ¢ na formulacao de programas a participacao de agentes nao pertencentes ao governo ou ao Estado desempenha papel central, a tomada de decisio envolve os gestores © 0s técnicos mais diretamente relacionados a politica ou a0 programa. Esses si0 © énus eo bénus do exercicio da atividade publica. Isso nao significa que outrosAvaliago de Programas Sociais no Brasil 263 agentes ¢ atores nao estejam ativos no proceso, de modo a influenciar a decisio em um ou outro sentido, introduzindo — legitimamente em muitos casos — con- sideracées de ordem politica em rotinas de cunho mais eminentemente técnico. Chega entéo o momento da implementagao dos programas, dos projetos e das ages pontuais ou mais abrangentes. Esta fase é 0 momento em que a po- Iitica publica comeca a ser executada, em que os recursos alocados comegam a se transformar em ages capazes de agir e mudar certa realidade. Neste ponto, a politica adquire uma coneretude objetiva maior ¢, por isso, comeca a revelar mais explicitamente as dificuldades de sta introdusao ¢ sua operago pelos agen- tes encarregados de “por a mo na massa” (NASCIMENTO, 1991). Trata-se da gestio das ages para fazer uma politica sair do papel ¢ funcionar efetivamente, compreendendo 0 conjunto de realizagées, por grupos ou atores de natureza pui- blica ou privada, para a consecusao de objetivos definidos. Envolve programagao de atividades, previsionamento de recursos financeiros, alocacéo de recursos hu- manos, mobilizagéo de agentes, interlocucéo com atores estratégicos, manejo dos mecanismos que assegurem a governabilidade das atividades e corregao de cursos, caso se identifiquem obstaculos ou surpresas nao antecipadas. E na avaliacdo — ou melhor, na avaliacao somativa — que sio confrontados os resultados esperados com os resultados alcangados. E 0 momento em que se dé um retorno & etapa inicial de formulagéo, com cortegdes no plano de agéo, caso seja uma politica de ordem continua; ou quando se decide pelo encetra~ mento da politica. £ também uma etapa de verificagao dos impactos desejados ¢ indesejados. Trata-se de verificar os efeitos obtidos para deduzir consequéncias indesejadas nas agées ¢ nos programas futuros. Como bem coloca Frey (2002) avaliaco é imprescindivel pata o desenvolvimento e a adaptacéo continua das formas e dos instrumentos de aco publica, o que pode ser denominado como a fase de “aprendizagem politica’. O ciclo de politicas puiblicas tal como descrito é, certamente, um modelo idealizado, com aderéncia bastante limitada ao cotidiano verificado no Brasil ou e) 1m outros paises. Como bem observa Saravia (2006, p. 29), “O processo de politica piblica ndo possui uma racionalidade manifesta. Nao é uma ordenagao tranquila na qual cada ator social conhece e desempenha o papel esperado.” Pelo que sugere Lindblom (2006), atualizacéo da agenda, formulacio de politicas ¢ programas, bem como implementagéo ¢ avaliagéo seriam estégios permanentes ¢ concomi- tantes do processo politico, A atualizagéo da agenda politica ¢ as inovagées dos programas seriam, de fato, muito mais incrementais e continuas do que gostariam os gestores piiblicos. Tampouco haveria, segundo Parada (2006, p. 72), um mo- mento de avaliagéo cabal das politicas e dos programas, sendo “(...) més habitual que cambien 0 se combinem com outras. Se ha Ilegado a decir que lis politicas publicas son imortables.”268 planejamento e pol as piiblicas | ppp | n. 36 | jan,jul. 2011 Boa parte da critica feita a esse modelo se refere ao fato de ele sugerir que a administragao piiblica, seus gestores, os atores politicos ¢ os técnicos atuem de forma bastante sistematica e cooperativa, como se estivessem todos envolvides na resolugéo de um problema consensualmente percebido, empregando métodos racionais ¢ objetivos na busca da solucéo, de acordo com uma sequéncia linear de etapas bem-delineadas. Como diria Lindblom (2006), mais uma vez, 0 impe- rativo da racionalidade técnica no processo, a andlise exaustiva dos problemas, a busca de solugées dtimas e a crenga no poder revelador e conciliador do discurso técnico-cientifico — téo presente nos érgios de planejamento ptiblico — nao se- riam empiricamente constatdveis, nem factiveis e muito menos desejaveis. Na realidade, a formulagio de politicas configura-se como um processo que envolve a interagao de muitos agentes, com diferentes interesses. E marcada por apoios entusiasmados de alguns, resisténcias legitimas ou nao de outros. Esta re- pleta de avangos e retrocessos, com desdobramentos nao necessariamente sequen- ciais e nao plenamente antecipaveis. Contudo, na visto de Howlett e Ramesh (2003), esse modelo de representa- 40 tem a grande virtude de facilitar o entendimento do processo complexo de in- teracao de diversos agentes, nos miiltiplos estdgios por que passa a formulacao de politicas puiblicas, oferecendo um marco metodolégico geral para anélises isoladas de cada ctapa do processo ou das relagées de cada uma com as demais, & frente ow a jusante, Tal modelo seria também suficientemente geral para ser aplicado no entendimento do processo na maioria dos Ambitos e dos contextos de formulagao de politicas ¢ programas — em nivel federal, estadual, local ¢, até mesmo, setorial Jann e Wegrich (2007) acrescentam ainda que o sucesso ¢ a “resiliéncia” desse modelo clissico as criticas de pesquisadores académicos é que ele parece como um do tipo prescritivo ideal a ser adotado, em que gestores eleitos gover- nam com corpos burocraticos com boa capacidade de diagnéstico de problemas, com posturas ativas ¢ inovadoras na formulagéo de programas, operando com racionalidade técnica na tomada de decisées, controle efetivo das atividades na implementagao dos programas piiblicos e objetividade na avaliagéo destes. 4,AS PESQUISAS DE AVALIACAO NO CICLO DE POLITICAS E PROGRAMAS O fato de se denominar de avaliagio a fase posterior 4 implementagio de progra- mas no ciclo de politicas e programas cria uma distingao artificial entre as ativida- des de monitoramento, exercidas com base nos sistemas de indicadores descritos no t6pico anterior, ¢ as de realizagéo de pesquisas de avaliago, que podem ser realizadas a qualquer momento do ciclo. Na realidade, monitoramento ¢ avaliagao de programas séo termos cunhados pata designar procedimentos técnicos formais de acompanhamento de programas,Avaliago de Programas Sociais no Brasil 265 focados na anilise da eficiéncia, eficdcia ¢ efetividade, visando ao aprimoramento da acéo piiblica (COHEN; FRANCO, 1999). Monitoramento ¢ avaliagao séo processos analiticos organicamente articulados, que se complementam no tempo, com o propésito de subsidiar o gestor puiblico de informacées mais sintéticas e tempestivas sobre a operacéo do programa — resumidas em painéis ou sistemas de indicadores de monitoramento — ¢ mais analiticas sobre o funcionamento deste, levantadas nas pesquisas de avaliagao. ‘As tipologias cléssicas usadas para classificar essas pesquisas acabam também favorecendo alguma confusio, como considerar monitoramento como avaliagéo de processo. Esta tiltima é aquela realizada quando se requer avaliar as atividades de implementacéo dos programas, a extenséo de cobertura do piiblico-alvo aten- dido, a qualidade dos servigos oferecidos, ou ainda entender as dificuldades que estio “emperrando” a efetiva operagao do programa, em contraposi¢ao & pesquisa de avaliacao de resultados e impactos, realizada idealmente depois de resolvidos os problemas de gestio, quando se requet, jé na fase de avaliagio do ciclo, uma resposta cabal as perguntas: O problema social que originou o programa foi equa- cionado? Qual a contribuigéo desse programa para isso? Este deve continuar, ser expandido ou descontinuado? (CARVALHO, 2003). Uma tipologia de pesquisas avaliativas particularmente interessante, face sua aderéncia ao ciclo de politicas e programas j4 exposto, é proposta por Rossi et.al. (2004), como ilustrado na figura 2. Para esses autores, os estudos avaliativos deveriam compor um programa de investigagao completo, seguindo a légica im- plicita do “ciclo de vida” dos programas. Antes de mais nada, seria preciso analisar a pertinéncia do programa na agenda de politicas publicas (Needs Assessment), investigando se responde a uma demanda social efetivamente existente. Se o programa existe para responder a uma demanda piiblica de fato, ¢ néo a uma necessidade de autopreservagao de uma estrutura organizacional criada em algum momento do passado, deveria se investigar a teoria ou o modelo de intervengao em que o programa se assenta (Design Assessment). Afinal, este 0 melhor desenho légico de intervengao, no quadro de relagées institucio- nais prevalecente entre as esferas de governo? E frente as distintas capacidades de gestao e controle social pelo pais afora? Respondidas essas questées, faria sentido, entio, investigar o processo de implementagio do programa (Program Process Assessment), ¢ se constatada a inexisténcia de graves problemas quanto & entrega dos servigos ao ptiblico-alvo, faria sentido avaliar seus impactos ¢ scus resultados (Jmpact Assessment). Ao fim, tendo-se constatado que o programa é socialmente justificdvel e conta com um desenho de implementacao adequa- do, procedimentos operacionais bem-estabelecidos ¢ resultados efetivamente comprovados, passar-se-ia para a avaliacao da eficiéncia ou do custo-efetividade266 planejamento e pol as piiblicas | ppp | n. 36 | jan,jul. 2011 (Efficiency Assessment), para responder se 0 custo da operacao do programa le- gitima-se pelos efeitos obtidos e se ¢ replicével para outras escalas de operacio. A proposta de Rossi ef al. (2004) é certamente um avango conceitual na forma de se entender os diferentes focos dos estudos avaliativos, para além da- quelas dicotomias “avaliagao de processos/avaliagéo de impactos”, “avaliagao ex- -antelavaliagao ex-post” etc. Ao propor énfases avaliativas para cada etapa do “ciclo de vida” do programa, os autores oferecem um plano de avaliagéo abrangente, orientando a especificagao das pesquisas neste sentido segundo uma légica de abordagem que tenderia a garantir, a priori, resultados relevantes ¢ titeis ao fim do proceso. Tal proposta ajudaria a definir melhor a questéo crucial para sucesso de uma pesquisa de avaliagéo de programas: que aspectos do programa devem set avaliados e quais devem ser abordados posteriormente, em funcao do estagio de maturidade do programa, para maximizar as chances de se obter informagées liteis e relevantes para seu aprimoramento no momento. FIGURA 2 Tipologia de avaliacdo de Rossi et al. eo ciclo de politicas e programas Definigao de Avaliago agenda dedesenho Avaliago de peranio e mecessiade definigao das Formulacao de programa questées publicas Diagnéstico e desenho de programas Tomada de deciséo Sobre programas e Problemas ec demandas Avaliagao de seciais resultados e waa IT Decisdo sobre continuidadey Avaliagao de inicio do ciclo processo Afinal, nao caberia especificar uma pesquisa de avaliacao de resultados ¢ im- pactos se ha diividas com relagao ao estagio de maturidade dos processos ¢ das aces previstas na implementagao do programa, ou ainda se existem suspeitas de que o desenho desta padece de supostos nao sustentaveis em sua estrutura légica de intervengao. Néo caberia proceder-se a investigacées complexas de anilise de custo-efetividade se no h certeza de que os resultados ¢ os impactos gerados pelo programa sio significativos. Enfim, evidéncias de baixa realizago do programa Fonte: Jann eWeatch (2007). Elaboragio do autor,Avaliago de Programas Sociais no Brasil 261 poderiam ser consequéncias menos de falhas no desenho ou da forma como ele foi implementado, ¢ sim da prépria inadequagao de existéncia deste, como parece ser 0 caso dos programas voltados a oferecer experiéncia de primeiro emprego para jovens (MADEIRA, 2004). A hierarquia de focos avaliativos de Rossi et al. (2004) nao implica que 0 gestor s6 possa dispor de informagées acerca da eficiéncia, da qualidade dos ser- vigos ¢ da cobertura de atendimento do piiblico-alvo nas fases mais adiantadas do “ciclo de vida” do programa. Pressupée-se que hd um sistema de indicadores de monitoramento jé estruturado que retine informagées indicativas nesse sen- tido. Pode até ser necessétio encomendar pesquisas de avaliagao de resultados ¢ impactos ou estudos mais aprofundados de andlise da eficiéncia em estigios ainda incipientes da implementacéo do programa, para responder a demandas externas de avaliagéo. O que os autores defendem é que se organize um plano consistente de andlise em todas as etapas do “ciclo de vida” do programa e que se resista A tentagio de “colocar a carroga antes dos bois”, encomendando-se pesquisas de avaliagao de forma precoce e desarticulada. E preciso ser diligente com o risco de produgao de resultados irrelevantes ou, pior, com a produgéo de resultados precipitados em pretensa legitimidade cientifica. 5 OS DIFERENTES DELINEAMENTOS METODOLOGICOS DAS PESQUISAS DE AVALIACAO. Cada um desses tipos de estudos avaliativos requer uma abordagem metodolégica c/ou disciplinar diferente. Estudos de viabilidade ow necessidade de programas podem se valer de anélises documentais comparativas, de recurso as técnicas de avaliacao econémica ou, até mesmo, As andlises institucionais tipicos da Ciéncia Politica. Estudo de desenhos ldgicos de implementagao envolve revisio de docu- mentos usados quando da formulasao do programa ¢ emprego das técnicas de planejamento de projetos ¢ de comparagao com outros modelos de intervengio social semelhantes em distintos contextos e momentos. A avaliagao de processos pode requerer emprego de técnicas variadas de co- Ieta de informagées usadas na pesquisa social. A avaliagao de resultados e impac- tos, por sua vez, pode requisitar a adogao de entrevistas com agentes institucio- nais, grupos de discussio com beneficidrios dos programas, pesquisas amostrais, delineamentos quasi-experimentais ow estudos comparativos de casos. A especificagio do delineamento metodolégico adequado aos objetivos da pesquisa de avaliacio pretendida é, pois, aspecto crucial. A avaliacéo de progra- mas é um empreendimento técnico-cientifico de uso de métodos da pesquisa social para investigar a situagao, os problemas e os diferentes aspectos da gestéo de um programa ptiblico, ao longo do seu “ciclo de vida’, da sua concep¢ao a0268 planejamento e pol as piiblicas | ppp | n. 36 | jan,jul. 2011 usufruto dos produtos ¢ dos servicos por ele disponibilizado, considerando o contexto organizacional e politico em que se insere, com a finalidade tiltima de informar as necessidades de aprimoramento de suas ages, de modo a contri- buir, com outros programas, na melhoria das condig6es sociais da populacao. Como empreendimento técnico-cientifico, tal como na condugéo de pesquisas académicas, a escolha do método depende dos objetivos especificos almejados pelo avaliador. A busca de dados secundarios, a observagao ¢ suas variantes — visitagdo, observagao participante etc. —, as entrevistas — semiestruturadas ou estruturadas , os grupos de discussio, as pesquisas de campo com questio- narios - com amostras probabilisticas ou intencionais -, e os desenhos quasi- -experimentais ¢ nao experimentais sao algumas das estratégias metodoldgicas mais empregadas nas pesquisas de avaliagao de programas no Brasil. Cada técnica tem suas caracteristicas vantagens ¢ limitagées. Os méto- dos quantitativos, organizados sob a égide do modelo hipotético-dedutivo, como os leyantamentos amostrais e os experimentos, compreendem técnicas bastante estruturadas — destinadas a investigagéo de problemas especificos voltadas ao dimensionamento de quantidades ou da intensidade de relagées entre varidveis, supondo distanciamento do pesquisador em relacao ao objeto investigado. Os métodos qualitativos, baseados no princfpio da produgao do conhecimento pela légica indutiva, do particular para o geral, como a obser- va¢4o, as entrevistas e os grupos de discussao, compreendem técnicas pouco ow semiestruturadas, para investigar exploratoriamente problemas complexos, pressupondo proximidade do pesquisador ao objeto avaliado. Foge ao escopo deste trabalho detalhar prescrigdes metodoldgicas acerca do emprego de uma ou outra técnica, dada a complexidade de cada uma e a boa disponibilidade de manuais brasileitos de métodos e processos de pesquisa social, como os de Laville e Dionne (1999), Cano (2002), Richardson et a/. (2002) e Babbie (1999), entre outros. Vale incluir nessa lista, como importante material de referencia para delineamento metodolégico de pesquisas de avaliagao, o documen- to otganizado pela Secretaria de Avaliagéo Gestio da Informagéo do Minise rio de Desenvolvimento Social e Combate a Fome (Sagi/MDS)° (PAES-SOUSA; VAITSMAN, 2007). Sao apresentados 18 estudos, na sua maioria pesquisas de avaliacéo de programas do ministério nas areas de assisténcia social, seguranga ali- mentar ¢ nutricional e renda da cidadania. Na exposigao do estudo avaliativo de cada programa, séo apresentados as instituicées e os pesquisadores participantes, 0 periodo de realizagao, os objetivos da avaliacao, os aspectos metodoldgicos acerca das técnicas de coleta de dados empregadas, além das caracteristicas da amostra ¢ dos sujeitos entrevistados. As bases de dados de algumas dessas pesquisas de ava- 3. Disponivel em: , no link institucional ~ SagiAvaliago de Programas Sociais no Brasil 269 liacdo foram disponibilizadas no Consércio de Informagées Sociais da Associagéo Nacional de Pés-graduagéo ¢ Pesquisa em Ciéncias Sociais (ANPOCS), permi- tindo a pesquisadores e avaliadores buscar respostas preliminares para questées de outros programas similares." Esse material evidencia, na prética, como a natureza do programa, o estagio em que ele se encontra, os objetivos de avaliacéo ¢ a disponibilidade de tempo € recursos acabam orientando as decisées metodoldgicas acerca de instrumen- tos ¢ técnicas de pesquisa, 0 tamanho ea intencionalidade ou nao das amostras das pesquisas de avaliagao encomendadas pela Sagi. Ilustra-se como pesquisas de avaliacdo de processo conduzidas para varios programas procuram garantir levan- tamento de informacées por meio de entrevistas semiestruturadas com agentes piblicos em diferentes posigdes da produgao dos servicos (gestores municipais ¢ técnicos atendentes do piiblico), em localidades intencionalmente selecionadas — © segundo tempo de implantagao do programa, por exemplo. Percebe-se, contu- do, predominancia de uso de questiondrios bastante estruturados, até mesmo em estudos avaliativos de natureza mais explorat6ria. Constata-se também que ha pouco emprego de grupos de discusséo ¢ nao se utilizam ferramentas de anilise estruturada de textos, inclusive nos estudos avaliativos que compreenderam mais de uma centena de entrevistas. Worthen e¢ al. (2004) reputam essas técnicas como avangos metodolégicos significativos nas abordagens qualitativas de avaliacao. Vale observar que as pesquisas de avaliacio nao implicam necessariamente o le- vantamento de dados por meio de algumas das técnicas anteriormente relacionadas. Os dados disponiveis nos registros operacionais do programa, o sistema de indicadores de monitoramento, as pesquisas do IBGE ¢ as informagées de outros érgios podem permitir fazer andlises preliminares a baixo custo ¢ tempo. O problema é que, em geral, nao tém a especificidade necessdria para responder questes mais particulares do gestot. Outras fontes de informacao secundaria titeis sio os relatérios de avaliagéo de programas do TCU e da CGU. Os telatérios de avaliagao de programas des- te tribunal,’ elaborados desde 1998, sio organizados em grandes tépicos, inician- do-se com a exposi¢ao dos objetivos da avaliagao do programa (seco O que foi avaliado), da justificativa para sua realizagao (Por que foi avaliado), dos aspectos metodolégicos da pesquisa avaliativa, e explicitando-se os métodos e as técnicas de coleta e andlise dos dados, as amosttas e os sujeitos investigados (Como se desen- volveu o trabalho) ¢ uma breve apresentagao do programa (Histérico do programa) Os resultados da avaliagéo (O que 0 TCU encontrou) séo apresentados em segdes, organizadas segundo os objetivos da avaliagao. Ao fim, sistematizam-se as sugestées de aprimoramento para o programa (O que pode ser feito para melhorar o programa). 4, Disponivel em: . 5, Disponivel em: , no ink Avaliagao de Programas de Governo,210 planejamento e pol as piiblicas | ppp | n. 36 | jan,jul. 2011 Os relatérios de avaliagéo da execugo dos programas federais, conduzi dos pela CGU,* na forma de sorteios sistematicos de estados e municipios desde 2003, sao também fontes de informacao muito interessantes para avaliagées pre- liminares de processo de implementagéo de programas publicos. Um exemplo nesse sentido é o de Vieira (2008), que empregou os relatérios deste orgéo para identificar os problemas de gestéo municipal do Programa de Assisténcia Farma- céutica, em uma amostra de 597 municipios. A autora constatou que 90,3% deles apresentaram problemas na gestéo de recursos ou servigos, como falta ou defici- éncia de controle de estoque de medicamentos, compras itregulares ¢ condig6es inadequadas de armazenamento, entre outros aspectos. Nio existe @ priori um método universal, mais legitimo ou com maior “status cientifico” para toda e qualquer pesquisa de avaliagio, como nio existe nico procedimento para as pesquisas académicas. E estranho, pois, que ainda persista, em certas comunidades, o mito de que os delineamentos experimentais ou quasi-experimentais constituem-se nos méto- dos mais adequados e legitimos cientificamente para avaliagéo de impactos Esses desenhos metodolégicos de avaliagao sao inspirados no formato classi- co do experimento nas Ciencias Naturais. Tal modelo tem o objetivo de investigar a estrutura ea intensidade de causalidade entre uma variavel-efeito dependente ¢ seus fatores determinantes. Para isso, é preciso garantir 0 controle da situagao ex- perimental em laboratério ¢ 0 emprego de grupos de tratamento (beneficidrios de programas) e controle (nao beneficidrios) escolhidos de forma aleatéria. Nos dese- nhos quasi-experimentais, uma das condigoes basicas que definem o experimento nao é verificada; em geral, a designagao aleatéria em grupos experimental e de controle. Tais desenhos visam avaliar a evolucao dos dois grupos — supostamente idénticos no comeso do experimento —, ao longo de tempo, ¢ constatar se ao fim ha evidéncias de que o primeiro mostrou melhor performance que o segundo, em uma varidvel entendida como reveladora dos efeitos do programa. Na realidade, tal delineamento de pesquisa — experimental ou quasi-expe- rimental ~ 6 um dos métodos usados para avaliagéo de impacto, nao necessaria- mente o melhor ou mais factivel. Nesse tipo de desenho avaliativo, ha proble- mas éticos (Como escolher e justificar quem vai ser beneficirio e quem vai ficar de fora do programa’); operacionais (Como evitar a evaséo dos beneficidrios? Como garantir que os efeitos medidos so apenas do programa em foco, em meio a um contexto crescente de intervengées sociais?); metodoldgicos (O indi- cador empregado é a melhor medida para captar a dimensio impactada? O que se supée como impacto guarda, pelo desenho légico do programa, vinculagao 6. Disponivel em: , no ink Auditora e Fiscalizag.Avaliago de Programas Sociais no Brasil an estreita com as ages ¢ as_atividades deste? O impacto deve ser medido sobre os beneficidrios ou junto 4 comunidade a que pertencem?); ¢ epistemolégicos (Como os esforcos de garantia da validade interna do experimento conspiram contra a generalizacéo dos resultados? Como garantit que um programa bem- -avaliado em circunstancias tao artificiais possa repetir o éxito em situacées normais?) (WEISS, 1972; MOHR, 1995; CANO, 2002). Ainda que todos esses problemas fossem contorndveis, restaria um de natu- reza pritica: se os efeitos potenciais do programa, tal como medidos em deter- minada varidvel, ndo forem elevados — algo que o incrementalismo de Lindblom sugeriria —, as amostras de beneficidrios atendidos e do grupo de controle teriam que ser consideravelmente grandes para que os testes estatisticos possam ser acei- tos sem hesitacao (ROSSI ef al., 2004). ‘A mitificacao desse desenho na avaliagéo de programas se deve, em alguma medida, pela origem dos estudos avaliativos centrados na investigacao de programas nas reas de educagio e satide publica, como j4 mencionado, em que tais modelos podem se viabilizar mais concretamente — pelas condigdes de simulacio de “labora- t6rio” em salas de aula ou pela tradicao dos ensaios de tratamento clinico de doen- gas. A hegemonia circunstancial dos modelos quantitativos importados da pesquisa em Ciéncias Naturais, no debate sobre a cientificidade dos métodos de pesquisa a serem ensinados e adotados na pesquisa social americana nos anos 1960 — momen- to de expansio dos estudos avaliativos nesse pais, como jé mencionado — também é outro fator explicativo. Nesse contexto, como sugerem Worthern et al. (2004), 0 li- vro Experimental and Quasi-Experimental Designs for Research, escrito pelos psicélo- gos Donald Campbell ¢ Julian Stanley, publicado em 1966, acabou sendo adotado como o manual de referéncia metodolégica da comunidade de avaliadotes que ora se formava. Afinal, apesar das adverténcias sobre as dificuldades de replicagao das condigées de controle laboratorial no contexto de operagao dos programas sociais, “A clegancia ¢ a precisio do método experimental levaram a maioria dos avaliadores de programa a vé-lo como ideal.” (WORTHERN et al., 2004, p. 116). As erfticas que se seguiram nas décadas seguintes sobre aspectos éticos, factibilidade operacional poder de generalizagao dos resultados de dese- nhos experimentais — ¢ suas aproximag6es quasi-experimentais -, incorpora- 40 de avaliadores provenientes das virias disciplinas das Ciéncias Sociais — antropdlogos, socidlogos, comunicdlogos etc. — ¢ formalizagéo mais rigorosa de abordagens de investigagao mais qualitativas e adequadas aos problemas complexos e pouco estruturados da realidade social acabaram por consolidar a percep¢éo, na comunidade de avaliadores nos Estados Unidos, de que os estudos avaliativos requerem certo ecletismo metodolégico, integrando mé- todos quantitativos ¢ qualitativosam planejamento e pol as piiblicas | ppp | n. 36 | jan,jul. 2011 Dada a complexidade operacional, os contextos de implementagio, os de- senhos institucionais ¢ a diversidade de piblicos-alvo dos programas ptiblicos no Brasil, nao se pode definir uma técnica de investigagéo como melhor em qualquer situacao. Muitos programas operam em contextos complexos, pouco estruturados para abordagens quantitativas — e muito menos para desenhos quasi-experimentais. Nessas situagées, abordagens metodolégicas menos estruturadas podem levantar evidéncias mais relevantes ¢ titeis para aprimoramento dos programas. E possivel que permitam a estruturagéo de questes mais especificas a investigar, para apli- cacao posterior de desenhos quantitativos de pesquisa. Abordagens quantitativas qualitativas nao sao mutuamente excludentes em um projeto de pesquisa ou avaliagao. Sao complementares, compativeis ¢ conectaveis. Pluralismo metodoldgico, enfoques avaliativos mistos, triangulacio de abor- dagens investigativas’ e complementariedade de técnicas. Sao essas as perspectivas da pesquisa de avaliagao de programas partilhadas pelos autores das duas princi- pais referéncias bibliograficas citadas neste estudo (WORTHERN et al., 2004; ROSSI et al., 2004). Rigor metodolégico, capacidade de improvisagao ¢ malea- bilidade técnica frente & complexidade do objeto de estudo, estas sio as prescri- gées gencralizaveis para qualquer equipe — necessariamente multidisciplinar — que queira encarar responsavelmente a pesquisa aplicada na avaliagéo de programas. 6 CONSIDERACOES FINAIS ‘A ampliagao do gasto social no Brasil ¢ a diversificagao dos programas voltados a atender as diversas demandas piiblicas vém pressionando o setor ptiblico a apri- morar suas praticas de gestao. Nesse sentido, a preocupagao com o aprimoramen- to técnico na elaboracao de diagnésticos e nas atividades de monitoramento e avaliagao de programas vem crescendo Estruturar melhor os sistemas de indicadores de monitoramento e especifi- car pesquisas de avaliagao mais consistentes sio desafios que precisam ser rapida- mente enfrentados nos trés niveis de governo (federal, estadual e municipal), sob pena de estender, por mais tempo ainda, a superagao das iniquidades sociais no pais e com o risco de se perder a ctenca de que os programas piiblicos podem ser vetores impactantes da mudanga social no Brasil Este texto procurou mostrar que tais instrumentos precisam ser especificados, respondendo as demandas de informagao do gestor nas diferentes fases do “ciclo de vida’ do programa, de acordo com o estagio de maturidade deste. Nao existe receita ‘inica, pronta e acabada para desenhar esses instrumentos. Existem experiéncias, re- comendagées e boas praticas. 7. Triangular significa abordar o objeto de pesquisa com trés — ou mais — técnicas diferentes de investigacdo, como Tinhas nao paralelas na forma de um tri&ngulo cercando o objeto de pesquisa a0 centro,Avaliago de Programas Sociais no Brasil 2B Nao se trata de avaliar projetos sociais de ONGs, para uso instrumental de um financiador externo decidir se mantém ou nao o aporte de recursos, mas se trata de avaliar programas piblicos que tem sua legitimidade e sua perenidade garantida por outros ctitérios que nao apenas os identificados em uma pesqui- sa de avaliagéo de impactos. Frente 4 complexidade de problemas sociais ¢ de piblicos-alvo por atender no pais, trata-se de buscar estratégias de pesquisa que permitam, de fato, levantar informagées que sejam titeis — ¢ tempestivas — para aprimoramento da ago governamental REFERENCIAS ALMEIDA, A. C. Como sao feitas as pesquisas eleitorais e de opiniao. Rio de Janeiro: FGV, 2002. BABBIE, E. Metodos de pesquisa de Survey. Belo Horizonte: Editora UEMG, 1999. BENNETT, C. A; LUMSDAINE, A. A. Evaluation and experiment: some critical issues in assessing social programs. New York: Academic Press, 1975. CANO, |. Avaliagao de programas sociais. Rio de Janeiro: FGV, 2002. CAREY, G. W. GOVERNMENT. In: ENCYCLOPEDIA AMERICANA. Danburry: Scholastic, 2006. p. 127-131. CARVALHO, S. N. Avaliagao de programas sociais: balango das experiéncias. Sao Paulo em Perspectiva, Sao Paulo, v. 17, n. 3-4, p. 185-197, 2003. COHEN, E.; FRANCO, R. Avaliagao de projetos sociais. Petrépolis: Vozes, 1999. COTTA, T. C. Metodologias de avaliacao de programas e projetos sociais: andlise de resultados e impacto. Revista do Servigo Publico, Brasilia, v. 49, n. 2, p. 103- 124, 1998. COUTINHO, R. G. Subsidies para organizar avaliagées da agao governamental. Brasilia: Ipea, 2001 (Textos para Discussio, n. 776). FREY, K. Politicas piblicas: um debate conceitual ¢ reflexes referentes & pritica da andlise de politicas no Brasil. Planejamento e Politicas Pablicas, Brasilia, Ipea, n. 21, 2002. GENERAL ACCOUNTING OFFICE (GAO). Social research and development of limited use to national policymakers: Report to the congress Washington, 197. GUIMARAES, J. R. S JANNUZZI, P M. IDH: indicadores sintéticos ¢ suas aplicagées em politicas piiblicas — uma andlise critica. Revista Brasileira de Es- tudos Urbanos e Regionais, Salvador, v. 7, n. 1, p. 73-89, 2005.am planejamento e politicas publicas | ppp |. 36 | jan./jul. 2011 HOWLETT, M.; RAMESH, M. Studying public policy: policy cycles and policy subsystems. DonnMills: Oxford University Press, 2003. JANN, W.; WEGRICH, K. Theories of the policy cycle. Jz: FISCHER, F. et al. (Ed.). Handbook of public policy analysis: theory, politics and methods. Boca Raton: CRC Press, 2007. p. 43-62. JANNUZZI, P. M. Indicadores sociais no Brasil: conceitos, fonte de dados ¢ aplicagées. Campinas: Alinea, 2004. ____. Indicadores para diagnéstico, monitoramento e avaliagio de programas sociais no Brasil. Revista do Servigo Public, Brasilia, v. 56, n. 2, p. 137-160, abr./jun. 2005. LAVILLE, C.; DIONNE, J. A construgao do saber. Porto Alegre: Artmed, Edi- tora UFMG, 1999. LINDBLOM, C. Todavia tratando de salir del paso. Jn: SARAVIA, E.; FERRA- REZI, E. (Org.). Politicas puiblicas: coletanea. Brasilia: ENAP, 2006. p. 99-122. MADEIRA, E.R. A improvisacéo na concepgéo de programas sociais: muitas conviccées, poucas constatagées — 0 caso do primeiro emprego. S40 Paulo em Perspectiva, Sao Paulo, v. 18, n. 2, p. 78-94, 2004. MILLER, D. C. Handbook of research design and social measurement. Nwebury Park: Sage, 1991. MOR, L. B. Impact analysis for program evaluation. Thousand Oaks: Sage, 1995. NASCIMENTO, B. A reforma universitéria de 1968: origem, processo e resul- tados de uma politica piiblica para o ensino superior. 1991. Tese (Doutorado) — Universidade Federal do Rio de Janeiro, Rio de Janeiro, 1991 OWEN, J. M. Program evaluation: forms and approaches. New York: Guilford Press, 2007. PAES-SOUSA, R.; VAITSMAN, J. (Org.). Metodologias e instrumentos de pesquisas de avaliacao de programas do MDS: Bolsa Familia, assisténcia social, seguranga alimentar ¢ nutricional. Brasilia: MDS/Sagi, 2007. PARADA, E. L. Politica y politicas piblicas. Jn: SARAVIA, E.; FERRAREZI, E. (Org,). Politicas publicas: coletinea. Brasilia: ENAP, 2006. p. 67-95. RICHARDSON, R. J. et al. Pesquisa social: métodos ¢ técnicas. Sao Paulo Atlas, 2002. ROSSI, P.H. et al. Evaluation: a systematic approach. Thousand Oaks: Sage, 2004.Avaliago de Programas Sociais no Brasil 2s RUA, M. G. Algumas consideragées preliminares sobre politica e politicas pi- blicas. Jn: RUA, M. G.; CARVALHO, M. I. V. (Org.). O estudo da politica t6picos selecionados. Brasilia: Paralelo 15, 1998. _____. Aavaliagao no ciclo da gestao publica. Brasilia: ENAP, 2004. Apostila do curso de Especializagao em Politicas Puiblicas da Educacao com Enfase em Monitoramento e Avaliaco — MPA. Mimeografado SARAVIA, E. Introdugéo a teoria da politica publica. Jn: SARAVIA, E.; FERRA- REZI, E. (Org.). Politicas ptiblicas: coletanea. Brasilia: ENAP, 2006. p. 21-42. SARAVIA, E.; FERRAREZI, E. (Org.). Politicas piiblicas: coletanea. Brasilia ENAP, 2006. TRIBUNAL DE CONTAS DA UNIAO (TCU). Avaliagéo do TCU sobre 0 Programa Nacional Biblioteca na Escola. Brasilia, 2002. VIEIRA, F. S. Qualificagao dos servigos farmacéuticos no Brasil: aspectos incon- clusos da agenda do Sistema Unico de Saide. Revista Panamericana de Salud Publica, v. 24, n. 2, p. 91-100, 2008. VILLANUEVA, L. EA. Estudio introdutério. Jv: SARAVIA, E.; FERRAREZI, E. (Org.). Politicas publicas: coletinea. Brasilia: ENAP, 2006. p. 43-65. WEISS, C. Evaluation research. New Jersey: Prentice Hall, 1972. WORTHERN, B. R. et al. Avaliagao de programas: concepsoes e priticas. S40 Paulo: EDUSP, Gente, 2004.