Vous êtes sur la page 1sur 74

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

Jeni Vaitsman Roberto W. S. Rodrigues Rmulo Paes-Sousa Management of Social Transformations

Policy Papers /17

Colaboradores do Ministrio do Desenvolvimento Social e Combate Fome Caio Nakashima Carlos Eduardo de Andrade Brasileiro Danielle Oliveira Valverde Glucia Alves Macedo Jomar lace Santana Juliana Guimares Jnia Valria Quiroga da Cunha Marcelo Gomes Gadelha Mnica Rodrigues Sarah Santiago Gerhard

Conselho Editorial da UNESCO no Brasil Vincent Defourny Bernardo Kliksberg Juan Carlos Tedesco Adama Ouane Clio da Cunha

rea de Cincias Humanas e Sociais da UNESCO no Brasil responsvel pelo acordo com MDS Marlova Jovchelovitch Noleto Rosana Sperandio Pereira

Os autores so responsveis pela escolha e apresentao dos fatos contidos neste livro, bem como pelas opinies nele expressas, que no so necessariamente as da UNESCO, nem comprometem a Organizao. As indicaes de nomes e a apresentao do material ao longo deste livro no implicam a manifestao de qualquer opinio por parte da UNESCO a respeito da condio jurdica de qualquer pas, territrio, cidade, regio ou de suas autoridades, nem tampouco a delimitao de suas fronteiras ou limites.

Publicado em 2006 pela Organizao das Naes Unidas para a Educao, a Cincia e a Cultura Representao no Brasil SAS, Quadra 5, Bloco H, Lote 6, Ed. CNPq/IBICT/UNESCO, 9 andar 70070-914 - Braslia - DF Brasil Tel.: (55 61) 2106-3500 Fax: (55 61) 3322-4261 Site: www.unesco.org.br E-mail: grupoeditorial@unesco.org.br BR/2006/PI/H/19 UNESCO 2006 Impresso no Brasil

Sumrio
Apresentao Introduo Abstract

5 7

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

11 13

1. O Contexto Institucional e Organizacional O Contexto Institucional 13 O Contexto Organizacional 15 2. O Acordo Conceitual e Metodolgico

21

3. O Sistema de Avaliao e Monitoramento 27 O Subsistema de Monitoramento 27 Estruturao da Base de Dados 28 Desenvolvimento de Ferramentas 28 A Construo de Indicadores 30 Desenvolvimento de Ferramentas Informacionais 32
Dicionrio de Variveis e Indicadores de

32 Dicionrio de Variveis 32 Dicionrio de Indicadores 34 Dicionrio de Programas 34 Dicionrio de Fontes 34


Programas DICI-VIP Matriz de Informao Social MI Social

36

38 Termo de Referncia 38 Acompanhamento dos Estudos 39


O Subsistema de Avaliao

Resultados

41 43

4. Consideraes Finais
Lista de Siglas

47 49 50

Referncias Bibliogrficas

Anexo I Descrio Sumria dos Programas do MDS

Anexo II Minuta de Portaria Sobre a Poltica de Avaliao e Monitoramento do MDS Anexo III Recursos Humanos

53 61 63

Anexo IV Recursos Investidos em Pesquisas e Programas Anexo V Estudos Contratados Anexo VI Publicaes

64

75

APRESENTAO
com grande satisfao que a UNESCO no Brasil publica, no mbito Management of Social Transformations Programme (MOST), a primeira edio da srie especial sobre experincias governamentais brasileiras em polticas pblicas de corte social. A publicao em questo, realizada em parceria com a Secretaria de Avaliao e Gesto da Informao do Ministrio de Desenvolvimento Social e Combate Fome (SAGI/MDS), inaugura essa srie, cuja iniciativa da rea de Cincias Humanas e Sociais (Desenvolvimento Social) da UNESCO no Brasil, que acontecer em colaborao com diferentes rgos governamentais brasileiros. Ao mesmo tempo em que reconhece o valor dessas experincias, a rea de Cincias Humanas e Sociais coloca em prtica uma de suas principais misses, a de expandir o conhecimento e promover a cooperao intelectual, a fim de facilitar transformaes sociais alinhadas com os valores universais de justia, liberdade e dignidade humana. Por meio da utilizao de uma ferramenta como o MOST, a UNESCO acredita que possvel potencializar os resultados alcanados com essa misso. Criado pela UNESCO em 1994, dentro do Setor de Cincias Humanas e Sociais (SHS), o MOST um programa de investigao social que tem por objetivo principal construir pontes entre a pesquisa, os formuladores de poltica e tomadores de deciso e a prtica, subsidiando o desenvolvimento de polticas pblicas eficientes que, de fato, possam transformar a realidade dos pases. Nesse sentido, esta publicao guarda estreita relao com a misso e os objetivos desse programa. Trata-se do relato de uma das experincias mais exitosas do Governo Federal, em termos de produo do conhecimento, que agora amplamente compartilhada no s com a sociedade brasileira, mas com outros pases-membros da UNESCO. Sistemas de monitoramento e avaliao constituem uma das etapas mais sensveis na gesto de programas e polticas pblicas, sobretudo de desenvolvimento social, ainda que sua relevncia seja inquestionvel. O acompanhamento cotidiano e a realizao de estudos especficos so

procedimentos relativamente novos no Brasil e, portanto, ainda no institucionalizados de forma adequada por rgos pblicos, para alm daqueles criados para essa funo especfica. A experincia da SAGI/MDS surge para auxiliar a reverter essa tradio.

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

Espelhando-se nela, outros rgos de governo e at mesmo entidades da sociedade civil podero implementar processos de monitoramento e avaliao de programas tendo em vista questes como transparncia nas aes, instrumentos para correo de rumos, oferta de informaes confiveis, objetivando sempre, em ltima instncia, a potencializao de recursos e resultados. A UNESCO est convicta de que dividir com outras naes a experincia de construo de um sistema de avaliao e monitoramento como este, e sua institucionalizao como parte fundamental de processos de gesto de programas sociais, uma grande oportunidade para formuladores e gestores de polticas governamentais e no-governamentais conhecerem uma tecnologia social promissora que pode auxiliar no aumento da eficcia de polticas pblicas de diferentes cortes. Quanto mais uma poltica pblica revelar-se inovadora e transformadora, tanto mais ter condies de fortalecer o horizonte da luta para cumprir a meta do direito social para todos.

Vincent Defourny
Representante da UNESCO no Brasil a.i.

Introduo
Patrus Ananias de Sousa1 A iniciativa da UNESCO no Brasil de organizar e editar uma srie de publicaes sobre as experincias governamentais na rea social traz um mrito j em sua concepo: ela busca se constituir como mais um instrumento a servio da transparncia e da democratizao do acesso s informaes e ao conhecimento produzido pelos rgos responsveis pela implementao das polticas pblicas. Ao direcionar as publicaes para os sistemas de avaliao e monitoramento das polticas, essa iniciativa tem ainda o potencial de reforar o trabalho que estamos desenvolvendo no pas no sentido de implementar, reforar e ampliar os instrumentos de produo de indicadores sociais consistentes, que sirvam, efetivamente, de apoio para tomada de decises e orientaes de nossas polticas, programas e aes. Neste trabalho, apresentamos, a convite da UNESCO no Brasil, o sistema de avaliao e monitoramento do Ministrio de Desenvolvimento Social e Combate Fome no Brasil (MDS) que vem sendo construdo pela Secretaria de Avaliao e Gesto da Informao (SAGI) desde a formao do ministrio, no incio de 2004. Ele se enquadra nas aes de governo voltadas para a modernizao da gesto das polticas pblicas e vem se constituindo em um esforo voltado para a melhoria das aes do Estado. Alm de sua vasta extenso territorial, o Brasil conta ainda com um sistema administrativo altamente descentralizado, o que aumenta ainda mais o desafio da implementao de polticas pblicas em qualquer que seja o setor. A construo do sistema de proteo social brasileiro, descentralizado e participativo, em seus 5.564 municpios, por meio de um conjunto de polticas, programas e aes, no pode mais prescindir

1. Ministro do Desenvolvimento Social e Combate Fome.

da tomada de decises com base em informao e evidncias. Por isso mesmo, desde a formao do MDS, valorizamos a necessidade de se formular e implementar uma poltica de avaliao e monitoramento que permitisse a utilizao de dados e informao na retroalimentao

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

das polticas. Acreditamos que somente com o fortalecimento de uma cultura de transparncia e prestao de contas na administrao pblica e com a utilizao dos resultados da avaliao e monitoramento para melhorar o desempenho das polticas ser possvel tornar mais eficiente e eficaz a aplicao dos recursos pblicos. Se, por princpio, o trato do dinheiro pblico exige completo zelo, tanto mais imperioso se torna esse zelo quando se trata do dinheiro direcionado para os mais necessitados. Devemos empreender todos os esforos para garantir que o investimento esteja, efetivamente, chegando aos que precisam e, principalmente, fazendo diferena na vida de cada um e da coletividade. So muitos os desafios enfrentados para a construo e operao desse sistema. Esse texto descreve de forma sucinta alguns desses desafios, incluindo o contexto institucional e os procedimentos adotados, os quais vm consistindo em passos decisivos para institucionalizar e integrar, no interior da administrao pblica, o conhecimento tcnico gesto das polticas sociais. Compartilhar as experincias, iniciativas e questionamentos em torno desse trabalho, em nossa opinio, pode ser um importante passo no caminho para aperfeioar e fortalecer nossa rede de proteo e promoo social, em sintonia com os mais preciosos princpios da transparncia, do debate pblico e da responsabilidade poltica e administrativa.

Abstract
The System for Evaluating and Monitoring Social Development Policies and Programs in Brazil

This paper discusses the process and methodology for the creation of the evaluation and monitoring system of the Ministry of Social Development and The Fight against Hunger in Brazil. The creation of this system is part of a broader process for the establishment of organizational and institutional conditions to improve the efficiency, efficacy and effectiveness of government actions. It is a two-pronged innovation: first, it establishes the evaluation and monitoring function, incorporating it into the management of programs; it is also innovative in regards to accountability, as it publicizes monitoring indicators and the conclusion of evaluation studies. Several challenges were faced in the creation and operation of this system. The first part of the text deals with the organizational and institutional context upon which the system was built, as well as the conditions for its implementation. The second part discusses the concept of evaluation and monitoring utilized and the procedures for the creation of the system: the creation of a database structure, the establishment of indicators, the development of informational tools, the creation and implementation of evaluation studies and the dissemination of information on these studies.

Abstract

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil
O Sistema de Avaliao e Monitoramento das Polticas e Programas de Desenvolvimento Social no Brasil
Jeni Vaitsman2, Roberto W. S. Rodrigues3, Rmulo Paes-Sousa4

Introduo
Este trabalho procura descrever, passo a passo, a construo do Sistema de Avaliao e Monitoramento do MDS. A construo desse sistema constitui parte de um esforo para melhorar a gesto da informao sobre os programas e polticas de desenvolvimento social, com o objetivo mais amplo de melhorar seu desempenho. Significa uma inovao em dois sentidos: primeiro, na perspectiva da institucionalizao da funo avaliao e monitoramento como parte do processo de gesto dos programas; segundo, na perspectiva da accountability, por meio da publicizao de indicadores de monitoramento, publicao dos resultados de estudos de avaliao e disponibilizao comunidade cientfica dos microdados das pesquisas. Vrios desafios foram enfrentados para a construo e operao desse sistema de monitoramento e avaliao, em um contexto em que entra em jogo uma srie de condies organizacionais e institucionais, internas e externas ao MDS. Este trabalho discute o processo de construo desse sistema a partir da formao do MDS, no incio de 2004, at o primeiro semestre de 2006, momento desse registro. Na primeira parte, abordamos o contexto no qual se construiu o sistema, bem como as condies para sua implantao. Na segunda parte, apresentamos a concepo de Avaliao e Monitoramento adotada. Na terceira, passamos construo do sistema, descrevendo o modo como foi feita a estruturao da base de dados; a construo de indicadores
2. Doutora em Sociologia Instituto Universitrio de Pesquisas do Rio de Janeiro (IUPERJ). Diretora de Avaliao e Monitoramento, SAGI/MDS. 3. Ph.D. em Computao Imperial College (University of London). Diretor de Gesto da Informao e Recursos Tecnolgicos, SAGI/MDS. 4. Ph.D. em Epidemiologia Ambiental pela London School of Hygiene and Tropical Medicine (University of London). Secretrio de Avaliao e Gesto da Informao, SAGI/MDS.

11

e o desenvolvimento de ferramentas informacionais. Discutimos ento a concepo e a operacionalizao do subsistema de avaliao para chegar s consideraes finais.

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

12

Institucional e Organizacional
O Contexto Institucional
O Brasil um pas federativo, dividido em 27 estados e 5.564 municpios. Possui uma rea de 8.514.215,3 quilmetros quadrados e uma populao de aproximadamente 180 milhes de pessoas, das quais cerca de 44 milhes so pobres e 18 milhes, extremamente pobres. Ainda que a pobreza tenha sido reduzida nos ltimos anos, a sociedade brasileira permanece uma das mais desiguais do mundo. No entanto, o ano de 2004 apresentou alguns resultados animadores: a pobreza caiu cerca de 8% e o ndice de Gini que mede a desigualdade de renda que em 2002 era 0,573, diminuiu para 0,559 (NERI, 2005). Em 2005, os recursos investidos pelos Ministrios da Sade, Educao e Desenvolvimento Social chegaram a cerca de R$ 76 bilhes, ou US$ 34,85, o equivalente a 3,9% do PIB. Deste total, os gastos com a Sade representaram 1,9%, com Educao, um pouco mais de 1% e com Desenvolvimento Social, 0,9% do PIB.6 A criao do MDS, em janeiro de 2004, implicou o aumento significativo dos investimentos em polticas de proteo, assistncia e desenvolvimento social que se traduzem em programas e aes de transferncia de renda, segurana alimentar e nutricional, assistncia social e incluso produtiva.7
5. Considerou-se a taxa de converso do dlar americano de 15 de maio de 2006. 6. No se considerou o oramento do Ministrio da Previdncia Social, uma vez que seus recursos se originam em sua maior parte de contribuies dos prprios beneficirios. Os gastos previdencirios, em 2005, corresponderam a quase 8% do PIB. 7. O MDS foi criado pela Medida Provisria n 163, de 23 de janeiro de 2004, transformada na Lei n 10.868, de 13 de maio de 2004, fundindo o Ministrio da Assistncia Social

1. O Contexto

13

Isso significou uma expanso substantiva da cobertura de servios e da rede de proteo social e, em 2005, cerca de 50 milhes de pessoas pobres e/ou vulnerveis foram beneficiadas pelos programas do MDS. O Bolsa Famlia, o mais abrangente programa de transferncia condi-

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

cionada de renda, em maio de 2006, beneficiou 9,2 milhes de famlias, representando uma cobertura de 83,2% das famlias pobres do Brasil. A prioridade dada pelo Governo Federal aos programas de transferncia de renda condicionada, a partir da unificao dos programas de transferncia de renda existentes anteriormente e lanamento do Programa Bolsa Famlia em 2003, aumentou em quase 20% a participao do MDS no gasto social do Governo Federal entre 2003 e 2005. dentro do sistema federativo e descentralizado, que se configurou com a Constituio de 1988, promulgada aps o perodo de 20 anos de regime autoritrio, que so implementadas as polticas de segurana alimentar, renda da cidadania e assistncia social. Estados e municpios vieram a ter, a partir de ento, novo papel, particularmente no que se refere gesto das polticas sociais. Os municpios foram reconhecidos como entes federativos autnomos, com competncia para organizar e prestar diferentes tipos de servios pblicos de interesse local, diretamente ou sob regime de concesso ou permisso. O nvel federal passou a transferir para os estados, e, principalmente, para os municpios, um conjunto de responsabilidades e prerrogativas na gesto das polticas, programas e prestao de servios sociais e assistenciais. A implementao descentralizada dos programas do MDS pressupe sua articulao ou mesmo integrao ao nvel da famlia, da comunidade e do territrio. Isso significa que a gesto e operacionalizao dos programas dependem da coordenao no s entre setores dentro de um nvel de governo, mas entre seus vrios nveis Unio, estados e municpios.

14

(MAS), o Ministrio Extraordinrio de Segurana Alimentar e Combate Fome (MESA) e a Secretaria Executiva do Programa Bolsa Famlia, a qual era vinculada diretamente Presidncia da Repblica. Em maio do mesmo ano, foi instituda a estrutura organizacional do novo Ministrio, que passou a reunir as atribuies dessas trs organizaes.

O Contexto Organizacional
O MDS comea ento a responder pelas polticas nacionais de desenvolvimento social, de segurana alimentar e nutricional, de assistncia social, e de renda de cidadania, que ficaram a cargo, respectivamente, das secretarias finalsticas que se originaram dos antigos rgos: Secretaria Nacional de Segurana Alimentar (SESAN), Secretaria Nacional de Assistncia Social (SNAS), Secretaria Nacional de Renda de Cidadania (SENARC). Foram tambm criadas duas secretarias para o desenvolvimento de atividades-meio: a Secretaria de Articulao Institucional e Parcerias (SAIP) e a Secretaria de Avaliao e Gesto da Informao (SAGI). Coube SAGI as funes de avaliao e monitoramento das polticas e programas de desenvolvimento social do MDS, o que significou inovao da gesto pblica brasileira, uma vez que at ento no existia, em nenhum ministrio, uma secretaria com essa finalidade exclusiva; sobretudo uma unidade localizada horizontalmente em relao s secretarias finalsticas, e no verticalmente, como costuma ocorrer com unidades de avaliao e A figura 1 apresenta os principais programas, projetos e aes do MDS, cuja descrio sumria encontra-se no Anexo I9. Seu contedo completo pode ser encontrado no endereo eletrnico <www.mds.gov.br>.

8. A proposta de uma secretaria com esse fim havia sido feita, em 2003, pelo ento Secretrio-Executivo do ex-Ministrio de Assistncia Social (MAS), Ricardo Henriques, que, no entanto, no conseguiu implement-la no MAS devido a resistncias internas. Com a incorporao do MAS ao MDS, a proposta passa a ser defendida por Adriana Aranha, Assessora do Ministro Patrus Ananias, que a apia integralmente, assegurando as condies para sua implementao. 9. H certa superposio entre os termos programas, projetos, aes que expressa a prpria histria da formulao de um programa, que pode ter surgido com certos objetivos e dentro de certo escopo e ter-se modificado ao longo do tempo. O que costuma ser chamado habitualmente de programa no MDS e aqui ser chamado assim muitas vezes recebe o nome oficial de projeto ou ao. Alm disso, os vrios programas, projetos e aes geralmente fazem parte de programas maiores, sob outra denominao, dentro do Plano Plurianual PPA 2004-2007.

O Contexto Institucional e Organizacional

monitoramento.8

15

Implementao

Avaliao

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

SENARC
Bolsa Famlia

SNAS
PETI BPC (RMV) Agente Jovem PAC PPD API Sentinela PAIF

SESAN
PAA/Compra Local PAA/Conab PAA/Leite Cisternas Distribuies de Cestas Hortas Comunitrias Cozinhas comunitrias Restaurantes Populares Educao Alimentar Banco de Alimentos

SAGI

Figura 1: MDS Implementao, Avaliao e Monitoramento de Programas

O primeiro desafio enfrentado pelos dirigentes da nova unidade de Avaliao e Monitoramento do recm-criado ministrio foi: como e por onde comear a organizar um sistema de avaliao e monitoramento para programas implementados por outras secretarias, que tambm ainda se estruturavam ou se reestruturavam a partir de suas antigas funes? O contexto apresentava vrios aspectos adversos e outros favorveis. Quanto aos aspectos adversos, em primeiro lugar, a unificao de diferentes organizaes implicou reunir distintas trajetrias organizacionais, campos de conhecimento e objetos de atuao, cada qual com vises de mundo, modos de agir e solues prprias para a conduo de suas atividades e resoluo de problemas. Em segundo lugar, no existia, em quaisquer das organizaes anteriores, uma cultura de avaliao, ou seja, um conjunto de prticas e crenas legitimando a avaliao como parte da gesto de programas e polticas. Pelo contrrio, havia grande desconhecimento no apenas do significado, mas tambm da prpria funo avaliao e monitoramento. No Brasil, a integrao dessa funo ao planejamento e gesto governamental envolvendo uma concepo de administrao pblica transparente e voltada para resultados ainda no se institucionalizou como prtica normal10, ou seja, incorporada viso de mundo de certa comunidade,
10. O termo normal usado no sentido dado por Kuhn (1992) idia de cincia normal, que consiste no conjunto de valores, prticas, procedimentos, mtodos, enfim, em uma viso de mundo que caracteriza as prticas e discursos aceitos como legtimos e necessrios dentro de um paradigma cientfico em determinado momento histrico.

1

no caso tanto os gestores e dirigentes governamentais como os demais atores envolvidos em polticas e programas especficos. Junto ao desconhecimento, encontrou-se tambm alguma resistncia. Como observou Wildawsky, h muitos anos, as organizaes no gostam de ser avaliadas (1979). Era comum a confuso entre, por um lado, avaliao e, por outro, fiscalizao e controle, o que produziu alguma resistncia em relao ao papel da SAGI. A avaliao tampouco era vista como necessidade, e muito menos prioridade, uma vez que, para os responsveis pelos programas, o objetivo principal era conseguir, eles mesmos em circunstncias adversas, o cumprimento de suas metas fsicofinanceiras. Junto a isso, uma vez que o tempo poltico no coincide com o tempo da produo de conhecimento, freqentemente identificavase a idia de pesquisa a uma atividade acadmica, e no como prtica para produo de conhecimento que, ao seguir procedimentos metodologicamente apropriados, pode ser mais demorada. Foi necessrio ento uma poltica, por parte da SAGI, de convencimento pelo monitoramento e a avaliao possibilitariam no apenas melhorar o desempenho dos programas, mas verificar se os resultados previstos estavam sendo alcanados. Com o decorrer do tempo, o papel da SAGI tornou-se mais claro, reconhecido e legitimado pelas demais secretarias. Em 2005, reforando o processo de institucionalizao da funo avaliao e monitoramento, a Secretaria Executiva do MDS instituiu um Grupo de Trabalho, composto por membros de todas as outras secretarias, para elaborar a Poltica de Monitoramento e Avaliao do MDS. A minuta da portaria que passaria ento a orientar as atividades de avaliao e monitoramento do MDS encontra-se no Anexo II. Nesse mesmo contexto, foi criado o Comit Gestor de Tecnologia e Informao. Esse comit, composto por membros de todas as secretarias, responsvel pela poltica de informao e estabelece regras e padres em relao aos sistemas de informaes gerenciais e executivos, s tecnologias utilizadas, integrao entre bases de dados, infra-estrutura. Por outro lado, o fato de o sistema ter sido construdo praticamente do zero tambm teve aspectos favorveis. Alm de a SAGI representar uma inovao no cenrio governamental, estava dando um passo frente ao instituir, de forma sistmica, um conjunto de prticas que at ento, quando

O Contexto Institucional e Organizacional

dos gestores seus clientes internos de que as informaes produzidas

17

eram realizadas, o eram de forma fragmentada. No havia uma receita j testada, um como fazer. Como o MDS era uma estrutura recm-criada, sem procedimentos j estabelecidos para a montagem da rea de avaliao e monitoramento, a no ser uma portaria designando as atribuies da secretaria

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

e seus departamentos, houve bastante espao para iniciativa e criatividade para a definio dos caminhos a serem seguidos, por meio de um processo que implicou vrias vezes, importante reconhecer, ensaio e erro. Outro aspecto favorvel foi a poltica de contratao de pessoal definida pela SAGI, aceita sem qualquer objeo por parte das instncias superiores do MDS (Secretaria Executiva e Ministro). Os critrios adotados foram exclusivamente meritocrticos e com base na formao e/ou experincia profissional das pessoas que foram contratadas, fosse para exercer cargos de direo, ou para as atribuies tcnicas e administrativas. Os trs departamentos da SAGI Gesto da Informao e Recursos Tecnolgicos; Avaliao e Monitoramento; e Formao de Agentes Pblicos e Sociais recrutaram profissionais recm-formados, oriundos de diferentes reas de atuao e de conhecimento: cincias sociais e humanas, tecnologia da informao, demografia, estatstica, economia, nutrio, assistncia social, agronomia, etc. Investiu-se em competncia tcnica e formao multidisciplinar, formando-se um quadro de pessoal, entre tcnicos e administrativos, de 50 pessoas, sendo sete doutores e 12 mestres. O Anexo III apresenta a formao profissional e titulao do pessoal, em maio de 2006.11 Os recursos para cobrir os custos da SAGI foram oriundos de vrias fontes: Tesouro Nacional, emprstimos do Banco Mundial (BIRD) e do Banco Interamericano de Desenvolvimento (BID). Parte dos recursos do Tesouro, ou seja, do oramento nacional alocado ao MDS anualmente, e aprovado pelo Congresso Nacional, foi executada por meio de projetos de cooperao com organizaes multilaterais como a Organizao das Naes Unidas para a Educao, a Cincia e a Cultura (UNESCO),
11. Parte da equipe era bastante jovem, alguns recm-sados da graduao, do mestrado, ou ainda cursando o mestrado. Isto, ao lado da inexistncia de uma tradio na rea de avaliao e monitoramento de programas sociais no setor pblico, colocou a necessidade de capacitao da equipe. A SAGI investiu, ao longo dos pouco mais de dois anos de existncia do MDS, em formao, no apenas liberando pessoal, mas financiando sua participao em diferentes cursos de avaliao de polticas e programas sociais disponveis no pas e mesmo no exterior. Alm disso, a prpria SAGI financiou a realizao do curso de Aperfeioamento em Avaliao de Programas Sociais, em parceria com outras instituies e universidades. Tambm fomentou a participao de tcnicos em seminrios e congressos, nacionais e internacionais.

1

Organizao das Naes Unidas para Agricultura e Alimentao (FAO) e o Programa das Naes Unidas para o Desenvolvimento (PNUD).12 Essa cooperao foi crucial para efetivar a implementao da poltica, inclusive a de avaliao e monitoramento. Isso porque o MDS no possua um quadro de pessoal prprio e foi formado com os servidores pblicos herdados das estruturas anteriores, os servidores requisitados de outros rgos pblicos e os especialistas em poltica pblica e gesto governamental13 incorporados. Do ponto de vista dos custos da Secretaria de Avaliao e Gesto da Informao, levando em conta o fato de que a unidade foi montada praticamente a partir do zero, em cerca de dois anos de atividades, investiu-se os seguintes recursos: em pessoal, cerca de 3,8 milhes de reais (US$ 1,7 milho) entre servidores pblicos, terceirizados, consultores nacionais e internacionais em diferentes funes, inclusive seus gastos com passagens e dirias. Em equipamentos de informtica, sem considerar os custos de instalao e manuteno da rede, que custeada pelo oramento do ministrio como um todo, gastou-se, at abril de 2006, cerca de impressoras e softwares; em cursos de capacitao e treinamento, investiu-se cerca de R$ 400 mil (US$ 176 mil). Desde 2004 at hoje, as pesquisas contratadas e em contratao totalizam pouco mais de R$ 35 milhes (US$ 15,9 milhes), o que representa o maior percentual de nossos investimentos, que chega a R$ 40,6 milhes (US$ 18,4 milhes), embora corresponda a menos de 1% dos recursos investidos nos programas implementados. Isso tudo, sem contar os recursos j empenhados, mas ainda no executados, alm dos recursos fsicos e estrutura, utilizados pela Secretaria, mas orados e administrados no mbito da gesto do MDS. O Anexo IV apresenta os recursos investidos em pesquisas e programas.

12. Diante da carncia de infra-estrutura, bem como de recursos humanos qualificados nos rgos ministeriais, alm das dificuldades derivadas da prpria lentido da mquina administrativa pblica, a execuo de projetos por meio de agncias multilaterais tem sido uma sistemtica empregada pelos rgos governamentais mais dinmicos para viabilizar com agilidade a execuo dos recursos, inclusive a contratao de pessoal qualificado para o desenvolvimento de projetos. 13. Estes servidores fazem parte de uma carreira criada, em 1989, para a profissionalizao do setor pblico. Pertencem ao quadro do Ministrio do Planejamento, mas podem ser alocados em qualquer rgo da administrao pblica federal.

O Contexto Institucional e Organizacional

R$ 1 milho (US$ 440 mil) em aquisio de servidores, computadores,

19

Conceitual e Metodolgico
Diante da diversidade de formao da equipe da SAGI e da ausncia de experincia especfica na rea, foi necessrio a definio de um arcabouo conceitual mnimo e comum sobre avaliao e monitoramento. A bibliografia de avaliao e monitoramento ampla, comportando distintos conceitos e concepes. Isso pressups, no nvel da Secretaria, a definio e o acordo sobre o que se estava entendendo por monitoramento e avaliao e como essas funes deveriam ser conduzidas como parte do ciclo das polticas e programas. A seguir, abordamos brevemente as definies que passaram a ser utilizadas. Monitoramento consiste no acompanhamento contnuo, cotidiano, por parte de gestores e gerentes, do desenvolvimento dos programas e polticas em relao a seus objetivos e metas. uma funo inerente gesto dos programas, devendo ser capaz de prover informaes sobre o programa para seus gestores, permitindo a adoo de medidas corretivas para melhorar sua operacionalizao. realizado por meio de indicadores, produzidos regularmente com base em diferentes fontes de dados, que do aos gestores informaes sobre o desempenho de programas, permitindo medir se objetivos e metas esto sendo alcanados. O conceito de monitoramento encerra uma ambigidade e pode se referir a dois processos distintos, ainda que interligados. Por um lado, enquanto o acompanhamento dos programas se constitui em uma atividade interna da organizao, um procedimento a distncia, por outro, o monitoramento tambm se refere a processos presenciais, checagens locais, que acabam constituindo um tipo de pesquisa rpida,

2. O Acordo

21

qualitativa, por meio da qual gestores, pesquisadores ou outros agentes podem verificar como a implementao est sendo realizada, e se est atingindo seus objetivos, alm de verificar que problemas esto interferindo nas aes, processos e consecuo dos objetivos previstos.

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

Um indicador consiste em um valor usado para medir e acompanhar a evoluo de algum fenmeno ou os resultados de processos sociais. O aumento ou diminuio desse valor permite verificar as mudanas na condio desse fenmeno. Os indicadores de monitoramento da SAGI foram agrupados nas seguintes classes: estrutura valores relativos execuo fsico-financeira, infra-estrutura, etc.; processos valores relativos s etapas/relaes que fazem parte da implementao do programa; resultados valores relativos ao alcance de metas do programa. Indicadores tambm podem ser produzidos com base em resultados de pesquisas de avaliao. Contudo, isso s tem um sentido efetivo se a pesquisa for repetida, para comparar os indicadores no tempo, se tiverem comparabilidade com outros indicadores, produzidos a partir de outras bases de dados; ou ainda, se puderem ser interpretados luz de algum objetivo que se queira alcanar. Indicadores de avaliao tambm expressam certas condies relativas a estrutura, processos e resultados, esta ltima categoria englobando os indicadores de impactos e efeitos, de acordo com as dimenses do estudo a partir do qual so produzidos. Os estudos de avaliao podem ter como objeto as seguintes dimenses (DRAIBE, 2001): a) Processos: estudos sobre os pontos que favorecem ou dificultam os processos de implementao da poltica ou programa, a includos seus desenho, dimenses organizacionais e institucionais. b) Resultados, que englobam: desempenho (ou resultados em um sentido estrito, outcomes): que se refere aos produtos do programa, tais como definidos em suas metas; impacto: mudanas na situao dos beneficirios, provocadas diretamente pelo programa. As avaliaes de impacto procuram, por meio de desenhos quase-experimentais, comparar dois grupos similares da populao, medindo as diferenas observadas entre os dois grupos, decorrentes da exposio e da no-exposio a um programa;

22

efeitos: outros resultados do programa, sociais ou institucionais, esperados ou no, que acabam se produzindo em decorrncia do programa. A avaliao costuma ser realizada por meio de estudos especficos que procuram analisar aspectos como relevncia, eficincia, efetividade, resultados, impactos ou a sustentabilidade de programas e polticas, segundo aquilo que foi definido em seus objetivos. Seu objetivo melhorar as atividades em andamento e dar subsdios para o planejamento, a programao e a tomada de decises futuras. De um modo geral, as avaliaes so executadas por instituies externas, com pesquisas que procuram responder a perguntas especficas, propor medidas de correo e orientar os tomadores de deciso, gestores e demais atores envolvidos no processo de formulao e implementao. Pode ter como objetivo melhorar a qualidade dos processos de implementao ou auferir resultados. A depender dos objetivos e do objeto da avaliao, os estudos podem utilizar diferentes metodologias e se referir a distintos campos do conhecimento. Uma boa prtica na rea de avaliao de polticas e programas sociais a realizao de estudos interdisciplinares e que correlacionar diferentes dimenses de um programa ou poltica. Mas isso nem sempre possvel ou se aplica, por vrios motivos. Quando se pensa em prs e contras de desenhos e mtodos para se contratar pesquisas, do ponto de vista da gesto pblica, existem pelo menos quatro elementos de uma equao que devem ser ponderados: 1) os objetivos da pesquisa, ou o que se quer saber sobre o programa; 2) os recursos financeiros disponveis; 3) as fontes de dados disponveis; 4) o tempo em que se quer obter resultados. A escolha do desenho e, conseqentemente, dos mtodos vai depender das perguntas que se quer responder, dos recursos e das fontes de dados disponveis e do tempo em que se quer obter resultados. Quanto maior a abrangncia, a representatividade, a combinao de mtodos, o nmero de estratos de uma amostra, mais demorada e cara ser uma pesquisa. As avaliaes de impacto, realizadas por meio de desenhos quaseexperimentais, que procuram estabelecer relaes de causalidade, combinem metodologias quantitativas e qualitativas, para que se possa

O Acordo Conceitual e Metodolgico

23

usam mtodos quantitativos de coleta e utilizam modelos estatsticos e economtricos para analis-los. Esses desenhos possuem alta legitimidade na comunidade internacional de avaliao e permitem a realizao de estudos abrangentes, com grandes amostras populacionais. No entanto,

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

so pesquisas mais caras e demoram mais tempo at produzir resultados para os tomadores de deciso. Em uma perspectiva pragmtica, ou seja, voltada para a resoluo de problemas, a avaliao um instrumento crucial para melhorar o programa. Esse o caso das avaliaes de processos, ou de desempenho. Tanto em estudos de processos quanto de desempenho, os desenhos e mtodos adaptam-se ao contexto, ao problema que se quer pesquisar e abrangncia da pesquisa, freqentemente combinando mtodos quantitativos e qualitativos: surveys com questionrios fechados, entrevistas semi-estruturadas e abertas, observao, e outros. Uma vantagem desses estudos que, dependendo do escopo, podem ser realizados mais rapidamente, dando resultados e informaes teis, para os gestores e gerentes, mais diretamente voltados para situaes contextuais. Por outro lado, h certos tipos de estudos realizados pela SAGI que no cumprem diretamente a funo de avaliao, mas, sim, a de produzir informao para o planejamento e a programao das prprias polticas. Este foi o caso, por exemplo, do levantamento sobre os beneficirios do Programa de Erradicao do Trabalho Infantil (PETI). Como a secretaria responsvel pelo programa, a SNAS, s possua dados relativos aos recursos repassados aos municpios, sem qualquer informao sobre o pblico-alvo, foi realizado um levantamento junto aos municpios, que ento forneceram dados que serviram de base para se fazer um perfil dos beneficirios e subsidiar a gesto do programa. Outro exemplo foram as duas pesquisas feitas em conjunto com o Instituto Brasileiro de Geografia e Estatstica (IBGE) sobre a rede da assistncia social no Brasil, com o intuito de subsidiar o investimento e o planejamento da implementao e gesto do Sistema nico de Assistncia Social (SUAS). A primeira identificou toda a estrutura pblica de organizao da poltica (associaes, conselhos, instituies) e de prestao de servios nos municpios brasileiros e a segunda, a rede de assistncia do setor privado, com informaes sobre equipamentos assistenciais, tipos de servios prestados, recursos humanos.

24

H alguns estudos, que medem pela primeira vez um determinado fenmeno, cujos resultados passam a constituir uma linha de base, que poder ser acompanhada, com a repetio da pesquisa aps algum tempo, a fim de se verificar se o fenmeno investigado sofreu alguma mudana. Este foi o caso do Suplemento sobre Segurana Alimentar pesquisa sobre as percepes da populao em relao s condies de acesso a alimentos suficientes e de qualidade, cujos dados foram coletados pelo IBGE, junto com a Pesquisa Nacional por Amostra de Domiclios (PNAD), 2004. Uma vez que esta pesquisa foi realizada pela primeira vez no pas, se repetida, permitir o acompanhamento, ao longo do tempo, dessas condies. Outro estudo, tambm realizado com o IBGE, o Suplemento da PNAD 2006 sobre Trabalho Infantil, que permitir acompanhar a evoluo deste fenmeno, que j havia sido medido em 2001 por metodologia similar. Estudos de avaliao so sempre pesquisas aplicadas, cujos resultados servem ao mesmo tempo como instrumento de melhoria da gesto e accountability da poltica, uma vez que permite que os resultados de investimentos pblicos sejam julgados com base em evidncias empricas.

O Acordo Conceitual e Metodolgico

25

de Avaliao e Monitoramento
O Sistema de Avaliao e Monitoramento (SAM) desenvolvido pela SAGI composto por dois subsistemas: o de monitoramento e o de avaliao. Esses dois subsistemas, embora relacionados, so independentes entre si e organizados com base em distintos procedimentos, metodologias e instrumentos. Um sistema de avaliao e monitoramento no a mesma coisa que um sistema de informao gerencial, ainda que os dados a existentes constituam uma fonte para sua estruturao. A seguir, descrevemos os componentes e a metodologia de construo dos dois subsistemas.

3. O Sistema

O Subsistema de Monitoramento
Um dos objetivos da construo do sistema de monitoramento dos programas do MDS foi a instituio de um processo contnuo de acompanhamento do desempenho dos programas em relao s metas, em que resultados podem ser medidos por meio de indicadores produzidos regularmente com base em diferentes fontes de dados e disponibilizados on line. Uma caracterstica do sistema de monitoramento sua alta complexidade e magnitude. Antes da sua elaborao, foi preciso estabelecer uma srie de definies quanto aos procedimentos de coleta e fontes utilizadas. A montagem do sistema exigiu a estruturao de uma base de dados, a construo de indicadores dos programas e o desenvolvimento de ferramentas informacionais para o tratamento da informao, como veremos a seguir.

27

Estruturao da Base de Dados


A principal matria-prima de um sistema de monitoramento de programas sociais so os dados operacionais dos programas. No caso do MDS, esses dados no so produzidos apenas internamente, em seus

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

vrios departamentos e secretarias, mas tambm externamente, por outros ministrios, prefeituras, rgos localizados em diferentes nveis federativos (estados e municpios), bem como associaes da sociedade civil. Ao tempo de criao da SAGI, a situao inicial encontrada, no que diz respeito aos dados, que eles no eram integrados. Foi necessrio realizar um levantamento dos programas sociais em andamento, originrios de outros ministrios ou j sob a gesto do recm-criado MDS, bem como dos sistemas de informao que davam suporte tecnolgico a esses programas. Foi preciso ento trilhar um caminho exploratrio e investigativo, localizando e mapeando toda a estrutura de dados disponveis desses programas e os fluxos desses dados pelo Ministrio. O primeiro passo para a realizao desse levantamento consistiu em verificar que dados disponveis existiam e onde. Identificaram-se tanto os responsveis pela produo dos dados nas outras secretarias do MDS quanto os rgos produtores/gestores dos dados, bem como seus fluxos e principais usurios.

Desenvolvimento de Ferramentas
O segundo passo consistiu em um levantamento de ferramentas e sistemas de informao existentes no MDS, seguindo-se como roteiro uma matriz com quatro dimenses: estrutura, sistema, entrada e sada de dados. Como resultado, identificou-se 12 diferentes sistemas de informao no MDS, entre os quais o Cadastro nico dos Programas Sociais (Cadnico); o Sistema de Informao de Acompanhamento Fsico e Financeiro das Aes de Assistncia Social (SIAFAS-Web), que realiza o acompanhamento fsico-financeiro dos programas de ao continuada da assistncia social; o Sistema de Reviso da Avaliao Social do Benefcio de Prestao Continuada, (REVAS-BPC-LOAS), que se refere aos beneficirios idosos e deficientes de baixa renda, alm de planilhas de pagamentos e repasses. Neste levantamento, constatou-se que uma vez que os sistemas foram produzidos em estruturas administrativas distintas e com diferentes objetivos eles variam bastante quanto ao nmero e tipo de variveis,

2

magnitude, escopo e nvel de maturao. Por exemplo, enquanto o REVAS-BPC-LOAS e o Cadnico abrangem registros de milhes de beneficirios, alimentados de maneira descentralizada para fins de transferncia de renda, alguns sistemas desenvolvidos no antigo Ministrio Extraordinrio de Segurana Alimentar (MESA) eram ferramentas gerenciais com informaes em nvel agregado para consumo interno (BRITTO et al., 2004). Com exceo dos sistemas oriundos do extinto MESA, em geral de menor porte, os principais sistemas encontrados no MDS haviam sido concebidos ou estavam localizados em outras organizaes. O Siafas-Web, por exemplo, havia sido desenhado pela Fundao Getulio Vargas (FGV) como parte do inacabado projeto de construo da Rede Articulada de Informaes da Assistncia Social. Hoje, aquele sistema est hospedado na Empresa de Tecnologia e Informaes da Previdncia Social (DATAPREV). O Cadnico, a Folha de Pagamentos do Bolsa Famlia e o REVAS-BPC-LOAS so geridos por rgos externos: o Cadnico, pela Caixa Econmica Federal (CEF) e o REVASBPC-LOAS pela DATAPREV, como mostrado na figura a seguir.

CEF

NI NI SA M

NI

DATAPREV

SENARC
Cadunico

SNAS

NI SAGI
SESAN

IB GE TSE

CO NAB

ASA

Figura 2: Repositrio de dados do MDS aspecto organizacional

Na figura 2, mostramos o cenrio atual de funcionamento do Sistema Avaliao e Monitoramento de Informaes Sociais a cargo da SAGI. O funcionamento desse sistema acompanha a implementao descentralizada dos programas sociais. Os dados podem ser obtidos de duas formas: a primeira, quando os dados so produzidos em nvel local, nos municpios, que os enviam direta e periodicamente para as secretarias finalsticas, responsveis pela gesto dos programas. A outra forma quando agncias operadoras ou parceiras, como, por exemplo, a Caixa Econmica Federal, a DATAPREV, a Companhia Nacional de Abastecimento (CONAB) e a Arti-

O Sistema de Avaliao e Monitoramento

29

culao do Semi-rido (ASA), se responsabilizam pela obteno dos dados, inclusive aqueles oriundos das prefeituras e estados. As secretarias finalsticas concentram o recebimento dos dados por meio de sistemas e informaes gerenciais j disponibilizados. A SENARC

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

(Transferncia de Renda), a SNAS (Assistncia Social) e SESAN (Segurana Alimentar e Nutricional) so fontes principais de dados para alimentar o SAM. Estas secretarias enviam os dados SAGI, responsvel pela construo de indicadores dos programas e gesto da informao. No entanto, a SAGI tem acesso direto s informaes de instituies como o IBGE e Tribunal Superior Eleitoral (TSE), entre outros. Uma vez que a maior parte dos 5.564 municpios brasileiros de pequeno porte e com capacidade administrativa e gerencial limitada, possvel encontrar centenas de cenrios tecnolgicos, conforme a capacidade dos municpios. A maioria das prefeituras no tem acesso pleno a internet de alta velocidade, o que enseja diferentes solues tecnolgicas para atender s peculiaridades institucionais dos municpios e estados. Conseqentemente, a coleta e carga dos dados para alimentar os sistemas gerenciais usados para monitorar os programas requer solues muito individualizadas para atender prontamente s responsabilidades de cada municpio.

A Construo de Indicadores
A construo de indicadores de monitoramento e avaliao sobre as polticas e programas de desenvolvimento social feita a partir da coleta de dados primrios sobre os programas, nas vrias esferas em que atua a poltica: rgos municipais, estaduais e federais provedores de servios governamentais e no-governamentais, instncias de controle social, etc. O fato de os dados primrios serem alimentados por fontes to diversas e sobre as quais a SAGI, ou mesmo o MDS, muitas vezes no tem governabilidade alguma, consiste em um dos ns crticos da produo de indicadores confiveis, uma das condies para que o monitoramento e a avaliao sejam feitos de forma efetiva. A definio de indicadores requer muita clareza sobre os objetivos e a lgica de cada programa. sempre possvel calcular um nmero grande demais de indicadores, os quais nem sempre conseguem expressar os fenmenos ou as condies mais significativas para o programa. Os dados tambm devem ser produzidos com periodicidade e agregao definidas, para que os indicadores possam ser comparados. Os indicadores do SAM foram definidos com base nos seguintes atributos:

30

a) validade: capacidade de o indicador medir o fenmeno que se pretende medir; b) conabilidade: qualidade dos dados que servem de base para o clculo do indicador; c) sensibilidade: deve ser sensvel o bastante para captar o atributo que se pretende captar em relao a pessoas ou fenmenos; d) desagregao: o nvel territorial ao qual se refere o indicador; e) periodicidade: intervalo de tempo em que o indicador atualizado. Isso depende, por sua vez, da periodicidade com que o dado bruto registrado na base de dados original. Foi preciso preparar uma base de dados com as variveis selecionadas para a construo dos indicadores. Procedeu-se, ento, ao levantamento das variveis relativas aos programas existentes nos bancos/sistemas de informao do MDS, bem como sobre a rotina de recebimento dos dados primrios. Para esse levantamento, foi preenchida uma planilha com as seguintes dimenses: a) nvel de agregao territorial: nvel territorial que o dado informa, como, por exemplo: municpio, UF, Brasil, etc; exemplo: beneficirio, famlia, etc; c) periodicidade: intervalo de tempo em que o dado gerado e inserido no sistema de informaes, como, por exemplo: mensal, bimestral, anual; c) fonte: sistema de informao que originou o dado recebido, como, por exemplo, o Cadnico, a PNAD do IBGE, etc. A construo dos indicadores foi feita a partir desse levantamento. Elaborou-se outra planilha, com campos para o nome do programa, nome do indicador, descrio, nvel de agregao, classificao, periodicidade com que o dado informado e frmula de clculo. Comeou-se pelos indicadores mais simples, ou seja, que pudessem ser construdos a partir dos dados existentes nos sistemas de informao efetivamente disponveis na SAGI. Os indicadores foram validados pelas secretarias finalsticas correspondentes. Para seu clculo, estabeleceu-se uma estratgia de curto, mdio e longo prazos, dependendo das dificuldades relacionadas

O Sistema de Avaliao e Monitoramento

b) unidade de referncia: unidade que o dado informa, como, por

31

obteno dos dados primrios. Os primeiros indicadores calculados foram os mais bvios e bsicos, ou seja, os fsico-financeiros. A participao do Grupo de Trabalho de Avaliao e Monitoramento no processo permitiu estabelecer o compromisso de que as secretarias finalsticas que detinham

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

os dados sobre os programas enviassem para a SAGI os dados primrios com periodicidade predefinida, para o clculo dos indicadores e a entrada em operao do subsistema de monitoramento. A figura 3 apresenta o modelo da planilha de indicadores. O clculo dos indicadores depende no apenas da definio conceitual e da frmula, mas tambm do tratamento e programao dos dados, os quais eram oriundos de aproximadamente 40 bancos, de vrias secretarias e rgos externos (CEF, DATAPREV, etc.) e com diferentes formatos. Foi feito um trabalho de uniformizao, mantendo-se apenas as variveis necessrias para o clculo dos indicadores. A juno dos bancos foi bastante trabalhosa, devido ao volume dos dados e pelo fato de que a formatao das variveis seguia diferentes padres.

Desenvolvimento de Ferramentas Informacionais


O clculo de indicadores requer a utilizao de ferramentas computacionais para coletar, processar dados e disponibilizar informaes em diversos formatos de acordo com o tipo de programa a ser monitorado. Duas ferramentas para o tratamento da informao foram desenvolvidas pela SAGI: Dicionrio de Variveis e Indicadores de Programas (DICI-VIP), e a Matriz de Informaes Sociais (MI Social). Dicionrio de Variveis e Indicadores de Programas DICI-VIP O DICI-VIP uma ferramenta desenvolvida para ser acessada via internet, que armazena informaes de variveis, programas e indicadores de todos os programas do MDS. Com estas informaes, possvel recuperar a memria dos dados manipulados pelo Ministrio utilizados para o clculo de indicadores de monitoramento e avaliao. O DICI-VIP composto de vrios dicionrios: Dicionrio de Variveis Neste dicionrio esto cadastradas as variveis oriundas de vrias fontes, incluindo o prprio Ministrio. Algumas das fontes utilizadas so

32

Programa

Indicador

Descrio

Desagregao

Classificao Periodicidade

Unidade

Frmula

Bolsa Famlia

Cobertura do Programa Bolsa Famlia segundo a estimativa de pobreza

Expressa a cobertura do Programa Bolsa Famlia numa rea geogrfica, segundo a periodicidade e o nvel de desagregao, tendo como base a estimativa da quantidade de famlias com renda per capita de at R$ 100,00.

Brasil/Regio/ Mesorregio/ Microrregio/UF/ Municpio

Resultado

Mensal

Porcentagem

i0019 = (Quantidade de famlias que recebem o benefcio Bolsa Famlia dividida pela Quantidade de famlias com renda familiar per capita at R$ 100,00) multiplicada por 100 (cem), no perodo e desagregao de referncia. i0016 = (Quantidade de famlias cadastradas no Cadnico com renda familiar per capita igual ou inferior a R$ 100,00 dividida pela estimativa do nmero de famlias com renda familiar per capita at R$ 100,00) multiplicada por 100 (cem). i0020 = Quantidade de cisternas construdas.

Bolsa Famlia

Percentual de alcance da meta de cadastramento para o Programa Bolsa Famlia

Expressa a relao entre o nmero de famlias inscritas no Cadnico com renda familiar per capita igual ou inferior a R$ 100,00 e a estimativa do nmero de famlias com renda familiar per capita at R$ 100,00.

Brasil/Regio/ Mesorregio/ Microrregio/UF/ Municpio

Processo

Mensal

Porcentagem

Construo de Cisternas

Nmero de cisternas construdas em cada municpio atendido pelo programa Recursos mdios repassados por cisterna

Expressa o nmero de cisternas construdas no municpio atendido pelo programa. Expressa o valor mdio (R$) de cada cisterna construda.

Brasil/UF/Municpio

Resultado

Anual

Unidades

Construo de Cisternas

Brasil/Regio/ Mesorregio/ Microrregio/UF/ Municpio

Estrutura

Mensal

Reais

i0119 = Valor total repassado para a construo de cisternas dividido pela quantidade de cisternas construdas.

Figura 3: Planilha de Indicadores

O Sistema de Avaliao e Monitoramento

33

formulrios, questionrios e bases de dados relacionados com os programas sociais do MDS. Para cada varivel do dicionrio de variveis, h uma entrada de informao de tipo (numrico, alfabtico, etc.); tamanho (nmero de caracteres da varivel), se os valores das variveis so discretos

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

ou contnuos, bem como o significado da varivel para quem a utiliza. Alm destes atributos, cada varivel foi classificada em dados atmicos e compostos. Dados atmicos so dados primrios que no podem ser decompostos em outros dados. Dados compostos so estruturas de dados que representam a composio de vrios dados. Dicionrio de Indicadores Neste dicionrio esto descritos a finalidade e uso dos indicadores sociais. Adicionalmente so armazenadas as frmulas matemticas compostas a partir de variveis do dicionrio de variveis. Dicionrio de Programas Neste dicionrio esto cadastrados os programas do MDS. Cada programa descrito por vrios atributos, tais como nome, descrio, pblicoalvo, datas significativas, entre outras informaes. Dicionrio de Fontes Neste dicionrio esto listadas as fontes de origem de todas as informaes apostas nos dicionrios de variveis e de indicadores. Toda e qualquer fonte cujos dados tenham sido utilizados para qualquer programa social armazenada neste dicionrio, incluindo sistemas de informaes e formulrios eletrnicos.

34

Figura 4: Ferramenta DICI-VIP

A figura 4 mostra a tela principal da ferramenta. Alm dos quatro dicionrios, a ferramenta ainda possui um glossrio e um tutorial. Ao lado, so disponibilizadas notcias sobre a evoluo da ferramenta, alm de A figura 5 mostra a arquitetura de subsistemas que sustenta os quatro dicionrios, criada para ordenar a utilizao de dicionrios por ferramentas de gerao de questionrios, coleta e exportao de dados. A construo do dicionrio de indicadores est vinculada existncia do dicionrio de variveis. Adicionalmente, o dicionrio pode ser usado para definir a organizao bsica de um repositrio centralizado ou distribudo de dados: estrutura das tabelas, apropriando-se de nomes e caractersticas de cada elemento de dados (variveis e indicadores). No caso dos programas sociais em particular, o dicionrio de dados permite caracterizar as variveis utilizadas para coleta, processamento e gerao de informaes para a formulao de indicadores. E para isto, pressupe-se um conjunto de variveis vinculadas por meio de uma frmula, calculada segundo a lgica de cada indicador.

O Sistema de Avaliao e Monitoramento

informaes de interesse da Secretaria e do Ministrio.

35

Gerar Dicionrio de Dados

Dicionrio de Variveis

Gerador de Dicionrios

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

Ferramenta Padro de Coleta de dados Gerar Dicionrio de Indicadores Gerar Repositrio Central/distribudo de dados

Dicionrio de Indicadores

Figura 5: Instrumentos de Monitoramento e Avaliao

Matriz de Informao Social (MI Social)


A MI Social uma ferramenta computacional que disponibiliza informaes na forma de indicadores, os quais so visualizados em funo do territrio para buscar a atuao dos programas sociais. O contrrio tambm possvel. A ferramenta localiza os territrios nos quais atua um determinado programa. As informaes sociais podem ser visualizadas em vrios nveis de desagregao, incluindo as unidades da Federao, microrregies, municpios e territrios especiais. Esto disponveis, por exemplo, dados relativos a populao rural e urbana, fundos constitucionais, dados socioeconmicos de todos os territrios. A ferramenta MI Social est integrada com o DICI-VIP. Os indicadores sociais mostrados na MI Social so derivados a partir das variveis e indicadores dos programas armazenados no DICI-VIP. Os clculos so realizados on line e refletem uma atualizao freqente dos dados sociais. Alm dos indicadores e informaes bsicas dos programas sociais do MDS, esto disponveis para consulta na ferramenta informaes demogrficas e socioeconmicas em diferentes nveis de agregao territorial. As informaes produzidas podem tambm ser obtidas em vrios formatos: planilhas eletrnicas, relatrios, tabelas, grficos, mapas estatsticos e mapas temticos, como mostram as figuras 6 e 7.

3

Cobertura do Bolsa Famlia % 5559 Registros

0,20 | - | 67,62 (1391) 67,62 - | 86,95 (1390) 86,95 - | 96,64 (1390) Mais de 96,64 (1388)
Fonte: SENARC - Caixa Econmica Federal - PNAD, 2001.

Figura 6: Matriz de Informaes Sociais Cobertura do Bolsa Famlia nos municpios em maro de 2006

A figura 6 mostra um mapa da cobertura do programa Bolsa Famlia em todos os municpios do Brasil. A figura 7 exemplifica o monitoramento de repasses financeiros em trs municpios. Estas sadas podem ser obtidas em tempo real e os dados so alimentados a partir de sistemas de informaes gerenciais alimentados pelos municpios.

O Sistema de Avaliao e Monitoramento

37

Estas informaes so disponibilizadas para os executivos do Ministrio com o propsito de dar transparncia gesto das polticas pblicas, bem como para a tomada de decises no mbito do MDS. Segue abaixo a apresentao dos valores repassados a municpios no

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

perodo de janeiro de 2005 a maro de 2006.

Figura 7: Bolsa Famlia valores repassados

O Subsistema de Avaliao
A deciso sobre os estudos a serem feitos depende da equao, j mencionada, que deve ponderar o que se quer saber sobre o programa, os recursos financeiros e dados disponveis, bem como o tempo em que se quer obter os resultados. Uma vez que existem 21 programas sob gesto direta do MDS alm de um conjunto de outras aes no estruturadas sob a forma de programas , um primeiro critrio utilizado para decidir por onde comear e quanto aplicar em um estudo baseou-se nos recursos oramentrios alocados aos programas. Em geral, aqueles com maiores recursos tambm receberam mais recursos para a pesquisa, como pode ser verificado no Anexo IV. A lista das pesquisas contratadas ou j em fase de contratao apresentada no Anexo V.

Termo de Referncia
Aps a definio do programa a ser avaliado, passa-se discusso, junto com um tcnico da secretaria finalstica, dos aspectos do programa a serem pesquisados. Em seguida, a SAGI passa fase da elaborao do Termo de Referncia (TOR), documento que consiste no instrumento utilizado pelas organizaes pblicas, nacionais e internacionais, para esta-

3

belecer os parmetros tcnicos e jurdico-administrativos para os editais de seleo e contratao de instituies para a execuo das pesquisas. Os parmetros tcnicos definem o escopo, objetivos, metodologia, cronograma e custos do projeto. Os parmetros jurdico-administrativos se referem aos requisitos exigidos, seja pelo MDS, pela legislao brasileira ou por organismos internacionais, em relao aos procedimentos de seleo e contratao. Entre os requisitos, a propriedade dos microdados por parte do MDS, o perfil e experincia tcnica da equipe executora. A minuta do TOR enviada para o tcnico da secretaria finalstica, para validao final. Posteriormente, encaminhado para o rgo de cooperao internacional a cargo da gesto dos recursos alocados para o projeto. O rgo de cooperao verifica se todos os requisitos exigidos foram cumpridos e o TOR publicado para que as instituies que correspondam s especificaes do edital se candidatem execuo da pesquisa. Aps os trmites do processo seletivo, conforme definidos no edital, e o julgamento por parte de uma comisso tcnica, seleciona-se para contratao a instituio que tenha apresentado a melhor proposta em termos de qualidade tcnica e preo.

Acompanhamento dos Estudos


todas as suas fases. Ainda que os termos de referncia definam a dimenso do programa a ser avaliada (processo ou resultados) e alguns parmetros metodolgicos (amostra representativa nacional ou por regio), o detalhamento do desenho, amostra e instrumentos de coleta de dados, so feitos posteriormente, pela instituio contratada e o acompanhamento e aprovao da SAGI. O desenho e a amostra da pesquisa so definidos levando-se em conta os recursos e as fontes de dados disponveis. A seleo de amostras representativas, escolhidas aleatoriamente, depende da existncia e acesso a cadastros. No entanto, existem casos em que o MDS no dispe de um cadastro dos beneficirios de programas. Isso ocorre quando os recursos so repassados diretamente aos municpios, que so encarregados de repasslos aos beneficirios. Quando h programas executados por intermdio de organizaes externas ao MDS, como a CONAB ou a ASA, e isso faz que parte das bases de dados relevantes para a pesquisa no esteja disponvel no MDS, tendo de ser obtida por meio de negociaes com essas organizaes.

O Sistema de Avaliao e Monitoramento

Os estudos contratados so acompanhados pelos tcnicos da SAGI em

39

Definida a amostra, uma proposta de instrumento de coleta de dados (questionrio, roteiro de entrevista) elaborada pela instituio contratada, com base nas questes a serem investigadas e enviada para discusso e aprovao pela SAGI. Em geral, a metodologia da pesquisa, incluindo a

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

amostra e os instrumentos de coleta de dados, constitui o primeiro produto previsto no cronograma de desembolso dos estudos contratados. No momento da coleta de dados, um tcnico da SAGI procura fazer ao menos uma visita ao campo, junto com os pesquisadores da instituio contratada.14 O objetivo acompanhar a conduo do trabalho de campo, compreender o contexto local, conversar com beneficirios e, com isso, promover o aprendizado da prpria equipe. Como a SAGI uma unidade que contrata pesquisas, o processo de trabalho da equipe realizado, sobretudo, internamente, no escritrio. Diferentemente das secretarias finalsticas, os tcnicos da SAGI no tm muita oportunidade de conhecer a operao dos programas localmente. A ida a campo constitui um momento de aprendizagem para a equipe, pois os tcnicos podem participar, junto a pesquisadores mais experientes, da experincia de trabalho de campo, o que inclusive contribui para a melhoria de sua capacidade de acompanhar o desenvolvimento da pesquisa.

40

14. Houve exceo quanto a esse procedimento nos casos das pesquisas Avaliao de Impacto do Bolsa Famlia e Avaliao da Implementao do Bolsa Famlia a qual se realizou nos mesmos municpios da Avaliao de Impacto. Acordou-se que o MDS desconheceria os municpios onde seriam coletados os dados para garantir que no houvesse nenhuma intergerncia na gesto do programa.

Resultados
A divulgao dos resultados das pesquisas envolve as seguintes etapas: encaminhamento do relatrio final aos gestores, apresentao dos resultados no MDS, publicaes e disponibilizao pblica dos microdados. Quando o relatrio final aprovado, os resultados passam a pertencer aos gestores responsveis pelo programa afinal, so eles os clientes da SAGI. Em alguns casos, so realizadas reunies com a presena dos pesquisadores e gestores responsveis, para que se possa aprofundar questes apontadas nos relatrios. Os dados, informaes e recomendaes dos relatrios finais so, por sua vez, avaliados pelos gestores, para as providncias cabveis, o que se aplica, principalmente, quando se trata de avaliaes de processos. A apresentao dos resultados da pesquisa pelos pesquisadores que a executaram dirigida ao pblico do MDS e a convidados externos envolvidos no tema. A divulgao tambm se d por meio de vrias publicaes, como os Cadernos de Estudos de Desenvolvimento Social e livros, como pode ser visto no Anexo VI. O objetivo das publicaes, alm de tornar pblico os resultados das avaliaes, subsidiar o debate tcnico e poltico sobre as polticas e programas da rea de desenvolvimento social. quais, segundo as normas contratuais, pertencem ao MDS. Quatro meses aps a divulgao dos resultados da pesquisa, os microdados sem a identificao pessoal de qualquer entrevistado so disponibilizados para o Consrcio de Informaes Sociais (CIS)15. Uma vez que os microdados constituem importante fonte para pesquisas, ao disponibiliz-los comunidade cientfica, pretende-se tornar mais eficiente a utilizao dos recursos pblicos investidos em pesquisa e, ao mesmo tempo, promover a transparncia e accountability em relao aos resultados desses investimentos. O CIS, alm de descrever e documentar os bancos de dados recebidos, comunica ao doador as transferncias de informaes solicitadas, o que permite inclusive a avaliao do impacto dos estudos na comunidade cientfica.

15. O Cadastro de Informaes Sociais resultado de um projeto do Ncleo de Apoio Pesquisa sobre Democratizao e Desenvolvimento da Universidade de So Paulo (NADDUSP), em parceria com a Associao Nacional de Ps-Graduao e Pesquisa em Cincias Sociais (ANPOCS). Um de seus objetivos a transferncia e o intercmbio de informaes entre pesquisadores de instituies associadas ANPOCS, via internet.

O Sistema de Avaliao e Monitoramento

A etapa final a disponibilizao para o pblico dos microdados, os

41

1 Discusso SAGI/SF Definio da avaliao a ser realizada Relevncia do estudo proposto

2 Termo de Referncia SAGI/SF Elaborao do TOR pela SAGI Reviso do TOR pela SF

3 Contratao rgo de Cooperao Internacional Aprovao do TOR Contratao da instituio executora (IE) que apresentar melhor projeto  - Resultados Finais

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

4 Reunio/ Definies importantes SAGI/SF/IE Definio de questes relevantes para o estudo Disponibilizao dos dados necessrios para a realizao da pesquisa

5 - Acompanhamento

SAGI/IE Desenvolvimento dos instrumentos de pesquisa Visitas ao campo Avaliao e aprovao de relatrios parciais e do relatrio final

SAGI/SF/IE Recomendaes da avaliao (IE) Reunies com os gestores Retroalimentao dos Programas

7- Divulgao dos Resultados SAGI/SF/IE Apresentao dos resultados finais ao MDS Seminrios abertos ao pblico externo

 - Publicaes

9 Disponibilizao dos microdados SAGI Envio dos arquivos dos microdados das pesquisas para o CIS

SAGI Cadernos de estudos Relatrios de pesquisa Livros

SAGI = Secretaria de Avaliao e Gesto da Informao SF = Secretaria Finalstica IE = Instituio Executora CIS = Consrcio de Informaes Sociais

Figura 8: Ciclo de Avaliao

42

4. Consideraes

Finais

No Brasil, a criao de uma unidade horizontal dentro de uma estrutura ministerial para avaliao e monitoramento das polticas e programas de proteo e assistncia social apresenta um carter inovador, em vrios sentidos. A incorporao da avaliao e monitoramento gesto e tomada de decises, alm de agregar qualidade gerncia e ao desempenho dos programas com base em informao e anlise de dados, fortalece a expanso de uma cultura de transparncia e accountability na administrao pblica. Como uma iniciativa do MDS para a modernizao da gesto de suas polticas tambm parte de um processo voltado para a melhoria da eficincia, eficcia e efetividade de um conjunto de aes do Estado. A SAGI assumiu um lugar definido na diviso social do trabalho no campo da avaliao: contratante de servios. Ainda que freqentemente membros da equipe realizem estudos, levantamentos e anlise de problemas especficos16, a funo de executar pesquisas jamais foi assumida, o que seria inteiramente inexeqvel dentro de uma estrutura ministerial e diante dos objetivos de avaliar o conjunto de programas e polticas do MDS. Como contratante de estudos, obteve-se pelo menos trs tipos de ganho: de escala, tendo sido possvel contratar um grande nmero de pesquisas em tempo relativamente curto; de diversidade, pois se definiu como estratgia de avaliao a contratao de estudos de diferentes tipos, desenhos, abordagens e mtodos; de qualidade, uma vez que foi possvel selecionar as instituies mais adequadas para a realizao de cada tipo de estudo. Foram feitos desde grandes pesquisas nacionais em conjunto com o IBGE
16. Estas anlises geralmente so feitas sob a forma de Notas Tcnicas, para subsidiar, no MDS, o debate sobre determinados temas.

43

at avaliaes de impacto com desenho longitudinal e quase-experimental, passando por estudos de caso, com abordagem antropolgica. Essa estratgia, no entanto, s foi bem-sucedida devido deciso de formar uma equipe enxuta e qualificada, multidisciplinar e com suficiente

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

experincia em pesquisa no apenas para saber o que se queria contratar, mas tambm com conhecimento terico e metodolgico para avaliar os produtos entregues. Uma gesto no-burocrtica, flexvel e centrada no reconhecimento das capacidades individuais, autonomia e responsabilidade da equipe foi decisiva para a produo de um conjunto significativo de pesquisas, ferramentas, publicaes, cursos, em um perodo de tempo to curto. Mesmo quando se considera as demais reas da poltica social, consolidadas h mais tempo, unidades equivalentes SAGI, quando integradas s estruturas ministeriais, alm de menores, no dispem de tanta capacidade de execuo e capacidade tcnica agregada. A SAGI desenvolveu um modelo institucional de avaliao prprio, incluindo uma rotina de procedimentos para o ciclo de avaliao, que vai desde a definio do problema elaborao dos termos de referncia de pesquisas, contratao, acompanhamento, divulgao e publicao regular dos resultados. Do ponto de vista do monitoramento, a construo da Matriz de Informaes Sociais teve duas principais conseqncias: a primeira, tornando-se poderoso instrumento de gesto com informao agregada em nvel municipal pela primeira vez na rea de proteo social; a segunda, o fato de a entrada em funcionamento da Matriz de Informaes Sociais ter induzido resoluo de pelo menos trs tipos de problemas de informao do MDS: a produo, a padronizao e a atualizao dos dados. Os sistemas e programas herdados das trs estruturas governamentais que deram origem ao ministrio atual no configuravam um sistema e tampouco a funo monitoramento e avaliao estava presente. Ao se estabelecer a funo e as diretrizes de uma poltica de avaliao e monitoramento, garantindo-se recursos fsicos, humanos e financeiros para suas atividades, criaram-se as condies organizacionais e institucionais para construo e implementao do sistema. Um dos grandes desafios da rea de desenvolvimento social no Brasil hoje a construo de seu sistema de proteo social. O enfrentamento desse desafio passa pela integrao das aes e programas do MDS a partir

44

da famlia e do territrio, envolvendo a articulao complexa entre diferentes atores, agncias e organizaes. A institucionalizao de um sistema de avaliao e monitoramento sensvel a essa complexidade um pressuposto para a integrao efetiva das vrias reas e programas que hoje convergem para as polticas de desenvolvimento social e o MDS vem, ao lado da implementao da poltica, criando as condies tcnicas e operacionais para a efetividade de sua gesto. Para que a avaliao e monitoramento deixe de constituir inovao e efetivamente se incorpore cultura s crenas e prticas do campo das polticas, preciso garantir sua continuidade. Por outro lado, a institucionalizao da avaliao e monitoramento na rea social, onde h grande demanda por contratao de servidores pblicos de carreira e capacitao de seu quadro de pessoal, tambm induz formao de recursos humanos mais qualificados. O pleno funcionamento do sistema, orientado por indicadores e conceitos compartilhados sobre dimenses comuns a todos os programas tais como populao-alvo, cobertura, benefcios, etc. , promove a formao de uma identidade comum na rea, especialmente em um momento em que se pretende implementar uma mudana de paradigma, com a substantiva expanso da cobertura e melhoria da qualidade dos servios oferecidos. Aps pouco mais de dois anos de atuao, a experincia e o modelo de avaliao e monitoramento desenvolvidos no MDS esto sendo objeto de estudo do Banco Mundial e FAO. O dilogo internacional vem se fortalecendo no apenas com as agncias multilaterais de fomento, mas tambm com instituies de pesquisa, pblicas e privadas, pesquisadores instituies internacionais praticamente inexistente anteriormente na rea de avaliao e monitoramento. A institucionalizao da avaliao e monitoramento como parte das organizaes do Estado aproximou a dimenso tcnica da gesto das polticas. Certamente, so inmeros os desafios para essa aproximao, com seus distintos tempos, necessidades, prticas, formas de discursos e critrios de julgamento. Um gestor necessita dar respostas rpidas para resolver problemas, dispondo, por isso mesmo, de tempo bem menor do que aquele necessrio para se produzir conhecimento sobre determinado problema. independentes, gestores e tcnicos; um tipo de parceria entre Governo e

Consideraeses Finais

45

Contudo, so os resultados de estudos validados pela comunidade cientfica que conseguem criar algum tipo de acordo entre distintos atores, com interesses e concepes muitas vezes divergentes implementadores, formuladores de polticas, tomadores de decises, formadores de opinio,

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

sociedade civil, legisladores sobre os resultados de programas e polticas. Nesse sentido, a grande inovao do MDS na rea de avaliao e monitoramento foi a criao de mecanismos institucionais que vm viabilizando no apenas a interao entre o conhecimento tcnico e cientfico e as polticas, mas sua efetiva utilizao na retroalimentao das polticas.

4

Lista de Siglas
ANPOCS Associao Nacional de Ps-Graduao e Investigao em Cincias Sociais ASA Articulao do Semi-rido BID Banco Interamericano de Desenvolvimento BIRD Banco Mundial BPC Benefcio de Prestao Continuada Cadnico Cadastro nico dos Programas Sociais CEF Caixa Econmica Federal CGU Controladoria Geral da Unio CIS Consrcio de Informaes Sociais CONAB Companhia Nacional de Abastecimento CRAS Centro de Referncia de Assistncia Social DATAPREV Empresa de Tecnologia e Informao da Segurana Social DFID Departamento para o Desenvolvimento Internacional DICI-VIP Dicionrio de Variveis e Indicadores de Programas FAO Organizao das Naes Unidas para a Agricultura e a Alimentao FGV Fundao Getlio Vargas FPM Fundo de Participao dos Municpios IBGE Instituto Brasileiro de Geografia e Estatstica IUPERJ Instituto Universitrio de Pesquisas do Rio de Janeiro LOAS Lei Orgnica da Assistncia Social MAS Ministrio de Assistncia Social MDS Ministrio do Desenvolvimento Social e Combate Fome MESA Ministrio Extraordinrio de Segurana Alimentar e Combate MG Minas Gerais MI Social Matriz de Informao Social MOST Management of Social Transformations Programme MPU Ministrio Pblico da Unio NAAD-USP Ncleo de Apoio a Investigao sobre Democratizao e Desenvolvimento da Universidade de So Paulo PAA Programa de Aquisio de Alimentos Fome

Lista de Siglas

47

PAIF Programa de Ateno Integral Famlia PBF Programa Bolsa Famlia PETI Programa de Erradicao do Trabalho Infantil PIB Produto Interno Bruto

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

PL Projeto de Lei PNAD Pesquisa Nacional por Amostra de Domiclios PNUD Programa das Naes Unidas para o Desenvolvimento PPA Plano Plurianual REVAS-BPC-LOAS Sistema de Reviso da Avaliao Social do Benefcio de Prestao Continuada SAGI Secretaria de Avaliao e Gesto da Informao SAIP Secretaria de Articulao Institucional e Parcerias SAM Sistema de Avaliao e Monitoramento SENARC Secretaria Nacional de Renda e Cidadania SESAN Secretaria Nacional de Segurana Alimentar SHS Setor de Cincias Humanas e Sociais SIAFAS-Web Sistema de Informao de Acompanhamento Fsico e Financeiro das Aes de Assistncia Social SNAS Secretaria Nacional de Assistncia Social SPOA Subsecretaria de Planejamento, Oramento e Administrao SUAS Sistema nico de Assistncia Social TCU Tribunal de Contas da Unio TOR Termos de Referncia TSE Tribunal Superior Eleitoral UNESCO Organizao das Naes Unidas para a Educao, a Cincia e a Cultura

4

Referncias Bibliogrficas
BRASIL. Ministrio de Assistncia Social. Poltica Nacional de Assistncia Social. Braslia: Secretaria de Assistncia Social, 2004. BRITTO, T.; SEPLVEDA, J.; BARBOSA, D. Levantamento dos sistemas de informao dos programas do Ministrio do Desenvolvimento Social e Combate Fome. Braslia: Secretaria de Avaliao e Gesto da Informao/Ministrio do Desenvolvimento Social e Combate Fome, 2004. DRAIBE. S. M. Introduo. In: BARREIRA, M. C. R. N.; CARVALHO, M. do C. B. de (Org.). Tendncias e perspectivas na avaliao de polticas e programas sociais. So Paulo: IEE/PUC-SP, 2001. KUHN, T. S. A estrutura das revolues cientcas. So Paulo: Editora Perspectiva, 1992. LAUDON, C. K.; LAUDON, J. P. Sistemas de informaes. 4.ed. Rio de Janeiro: LTC, 1999. NERI, M. Misria em queda. Rio de Janeiro: Centro de Polticas Sociais da

WILDAWSKY, A. Speak truth to power: the art and craft of policy analysis. Boston: Little, Brown & Company, 1979.

Referncias Bibliogrficas

Fundao Getlio Vargas, 2005.

49

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

Anexo I: Descrio Sumria dos Programas do MDS


SENARC Secretaria de Renda de Cidadania Programa Bolsa Famlia: Programa de transferncia de renda com condicionalidades nas reas de sade e educao, destinado s famlias em situao de pobreza, com renda per capita de at R$ 120,00 mensais, que associa transferncia do benefcio financeiro o acesso aos direitos sociais bsicos sade, alimentao, educao e assistncia social. O valor do benefcio pode variar entre R$ 15,00 e R$ 95,00 por ms, dependendo da condio econmica da famlia e da presena de crianas em idade escolar, gestantes e/ou nutrizes. SNAS Secretaria Nacional de Assistncia Social Programa de Erradicao do Trabalho Infantil (PETI): programa que visa a erradicao do trabalho de crianas e/ou adolescentes (com idade inferior a 16 anos), por meio de bolsa mensal de R$ 40,00 por criana em atividade laboral urbana e R$ 25,00 por criana em atividade laboral rural. Em contrapartida, as famlias tm de matricular seus filhos na escola e faz-los freqentar a jornada ampliada. Benefcio de Prestao Continuada (BPC): benefcio assistencial constitucional que garante um salrio mnimo mensal s pessoas acima de 65 anos e s pessoas com deficincia, incapacitadas para a vida independente e para o trabalho, com renda familiar per capita menor que do salrio mnimo. Agente Jovem: dirigido a jovens entre 15 e 17 anos em situao de risco. Bolsa no valor de R$ 65,00 para a capacitao terica e prtica para a permanncia na escola e preparao para o mercado de trabalho por meio de atividades especficas.

50

Proteo Social Bsica Criana de 0 a 6 anos (PAC): apoio tcnico e financeiro a programas e projetos executados por estados, municpios e entidades sociais, destinados ao atendimento de crianas, valorizando a convivncia sociofamiliar. Ateno s Pessoas com Decincia (PCD): apoio tcnico e financeiro a estados, municpios e instituies para aes de proteo social bsica e especial e de incluso social das pessoas com deficincia, vulnerabilizadas pela situao de pobreza ou de risco pessoal e social, bem como de suas famlias. Ateno Pessoa Idosa (API): apoio tcnico e financeiro a servios de promento da pessoa idosa vulnerabilizada pela pobreza. Programa de Combate ao Abuso e Explorao Sexual de Crianas e Adolescentes (Sentinela): aes sociais especializadas e multiprofissionais, dirigidas a crianas e adolescentes e suas famlias vtimas de abuso ou violncia sexual. Programa de Ateno Integral Famlia (PAIF): servio de acompanhamento socioassistencial a famlias em situao de vulnerabilidade, desenvolvido nos Centros de Referncia da Assistncia Social (CRAS). SESAN Secretaria de Segurana Alimentar e Nutricional Programa de Aquisio de Alimento (PAA): visa incentivar a produo de alimentos pela agricultura familiar, permitindo a compra, por meio de vrias modalidades, de produtos at o limite de R$ 2.500,00 por agricultor/ano, e a sua distribuio para pessoas em situao de insegurana alimentar, ao atendimento dos programas sociais estaduais e municipais e a formao de estoques. Construo de Cisternas: construo de cisternas para armazenamento das guas das chuvas destinadas a famlias de baixa renda, residentes na rea rural de municpios do semi-rido e que no disponham de fonte de gua ou meio de armazen-la adequadamente.

Anexo I: Descrio Sumria dos Programas do MDS

teo social bsica e especial e entidades sociais, destinados ao atendi-

51

Distribuio de Cestas: distribuio de cestas bsicas a famlias em situao de risco alimentar, famlias acampadas, comunidades indgenas, remanescentes de quilombos, comunidades atingidas por barragens e em situaes emergenciais. Parte dos produtos originada na compra da agricultura

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

familiar realizada pelo PAA. Hortas Comunitrias: implantao de hortas, viveiros, lavouras e pomares comunitrios, para a melhoria das condies de segurana alimentar de comunidades pobres. Cozinhas Comunitrias: implantao de pequenas unidades de produo de refeies, contemplando reas de grande concentrao da populao, inclusive em locais de ocupao subnormal. Restaurantes Populares: ampliao da oferta de refeies prontas, nutricionalmente balanceadas, originadas de processos seguros, comercializadas preos acessveis, por meio de restaurantes em convnio com estados e/ou municpios. Educao Alimentar: disseminao, por meio de diferentes instrumentos, de prticas de segurana alimentar, valorizando a melhoria dos hbitos alimentar e de consumo, bem como a valorizao da alimentao regional local. Bancos de Alimentos: organizao das doaes de alimentos, em geral oriundos de produtores e comrcio locais, imprprios para a comercializao mas adequados ao consumo humano, e repasse para instituies que produzem e distribuem refeies, gratuitamente, a indivduos em situao de vulnerabilidade alimentar.

52

Anexo II: Minuta de Portaria sobre a Poltica de Avaliao e Monitoramento do MDS


Anexo II: Minuta de Portaria sobre a Poltica de Avaliao e Monitoramento do MDS

MINISTRIO DO DESENVOLVIMENTO SOCIAL E COMBATE FOME PORTARIA N nnnn, DE dd/mm/2006 Institui e regulamenta a Poltica de Monitoramento e Avaliao do Ministrio do Desenvolvimento Social e Combate Fome.

O MINISTRO DE ESTADO DO DESENVOLVIMENTO SOCIAL E COMBATE FOME, no uso de suas atribuies legais, conferidas pelo art. 87, da Constituio Federal; inciso II, do art. 27, da Lei no 10.683, de 28 de maio de 2003; e Decreto no 5.550, de 22 de setembro de 2005, resolve: TTULO I Do Objeto e Objetivos da Poltica de Monitoramento e Avaliao Art. 1o A Poltica de Monitoramento e Avaliao tem por objeto a anlise dos processos, produtos e dos resultados referentes aos programas e aes executados ou financiados pelo Ministrio do Desenvolvimento Social e Combate Fome.

53

Art. 2o So consideradas aes de monitoramento aquelas que se destinam ao acompanhamento da implementao e execuo dos programas e aes, visando obteno de informaes para subsidiar o gerenciamento e a tomada de decises cotidianas, bem como a identificao precoce de

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

eventuais problemas. Pargrafo nico. Constituem aes de monitoramento, sem prejuzo de outras que estejam em acordo com a definio estabelecida pelo caput, as atividades seguintes: I definio do conjunto mnimo de indicadores que devem ser monitorados por programa ou ao; II definio do conjunto mnimo de dados que devem ser coletados por cada programa ou ao; III acompanhamento sistemtico da execuo fsica e financeira dos programas e aes; IV construo e implantao de sistemas de informaes dos programas e aes; V coleta ou recebimento sistemtico dos dados referentes aos programas e aes; VI superviso in loco dos programas e aes executados pelo MDS ou por seus parceiros, governamentais e no-governamentais; VII produo de indicadores referentes aos programas e aes; VIII anlise dos indicadores referentes aos programas e aes. Art. 3o O MDS demandar, tambm como contrapartida ao financiamento de programas e aes executados por parceiros governamentais e no-governamentais, que estes enviem regularmente os dados necessrios, inclusive documentais, para realizao da atividade de monitoramento. Art. 4o So consideradas aes de avaliao qualquer estudo ou pesquisa referente aos programas e aes que tenha um dos seguintes objetivos: I anlise da implementao de programas e aes; II anlise de resultados imediatos dos programas e aes; III anlise de impactos ou efeitos dos programas e aes;

54

IV anlise da eficincia, da eqidade, da eficcia ou da efetividade de programas e aes; V anlise do perfil dos beneficirios dos programas e aes; VI elaborao de diagnsticos de perfil da demanda; VII avaliao da satisfao de beneficirios/usurios; VIII avaliao da qualidade dos servios prestados; IX elaborao de estudos de linha de base. Pargrafo nico. Dentre as aes de avaliao, aquelas a que se referem mente, em parceria com universidades e instituies de pesquisa. Art. 5o As aes de avaliao possuem natureza e objetivo distintos das aes de fiscalizao e auditoria, com as quais no se confundem. TTULO II Dos Princpios e Diretrizes da Poltica de Monitoramento e Avaliao Art. o A Poltica de Monitoramento e Avaliao do Ministrio do Desenvolvimento Social e Combate Fome est baseada nos princpios da tica, da transparncia, da imparcialidade e da iseno. Art. 7o Do ponto de vista organizacional, a definio e execuo de todas as aes de monitoramento e avaliao so pautadas pelos princpios de cooperao, articulao e integrao entre os rgos internos do MDS. Art. o A Poltica de Monitoramento e Avaliao tem como diretriz contribuir para o aprimoramento da gesto pblica, fornecendo elementos que contribuam para o aumento da responsabilizao, eficincia, eficcia e efetividade das polticas sociais, e para o exerccio do controle social sobre as polticas pblicas. Pargrafo nico. As aes de monitoramento e avaliao devem contribuir para o acompanhamento dos Programas do Plano Plurianual (PPA).

Anexo II: Minuta de Portaria sobre a Poltica de Avaliao e Monitoramento do MDS

os incisos III, IV, VII e VIII do artigo quarto, sero realizadas, preferencial-

55

Art. 9o A formulao e implementao dos programas e aes do MDS devem contemplar a necessidade de monitoramento e avaliao e viabilizar os meios necessrios para sua realizao, especialmente no que se refere especificao dos indicadores e ao provimento regular de dados

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

necessrios por parte dos executores do programa ou ao. Art. 10. Os dados e informaes resultantes de estudos ou pesquisas financiados pelo MDS sero, independentemente de quem os realizar, integralmente repassados ao MDS, que detentor de todos os direitos sobre os mesmos. TTULO III Dos Instrumentos de Execuo da Poltica de Monitoramento e Avaliao Art. 11. A execuo da Poltica de Monitoramento e Avaliao assegurada, dentre outros meios, pelo conjunto dos seguintes instrumentos: I plano Anual de Monitoramento e Avaliao; II sistema de Monitoramento; III relatrio de Acompanhamento da Execuo Fsica e Financeira; IV relatrios das Avaliaes Especficas; V relatrios Semestrais dos Indicadores de Monitoramento; VI relatrio Anual de Financiamento da Assistncia Social no Brasil; VII relatrio Anual das Aes de Monitoramento e Avaliao. Art. 12. O Plano Anual de Monitoramento e Avaliao deve ser elaborado de acordo com as seguintes definies: I indicar quais programas e aes do MDS devem ser priorizados pelas aes de avaliao no ano subseqente ao da elaborao do Plano; II considerar para elaborao as avaliaes realizadas anteriormente pelo MDS ou por outras instituies; III propor iniciativas para aprimoramento das aes de monitoramento; IV ser elaborado de forma participativa por Grupo de Trabalho com representao das secretarias, secretaria executiva, assessoria do Fome Zero e Gabinete do Ministro, sob coordenao da SAGI;

5

V ser elaborado e aprovado pelo Grupo de Trabalho at o ms de agosto do ano anterior ao da sua execuo; VI registrar, alm das aes de monitoramento e avaliao sob responsabilidade direta da Secretaria de Avaliao e Gesto da Informao, as aes de avaliao que, porventura, sejam realizadas por algum outro rgo interno deste ministrio. Art. 13. O Plano Anual de Monitoramento e Avaliao comportar revises peridicas, nas quais podero ser includas ou excludas aes, desde que haja justificativa relevante e acordo entre os rgos do Ministrio afetados pela alterao. Art. 14. Os Relatrios das Avaliaes Especficas sero apresentados e discutidos com o rgo interno responsvel pelo programa, servio ou ao objeto da avaliao. 1o Os estudos e pesquisas nos quais forem empenhados recursos financeiros especficos devem gerar relatrio de acesso pblico. 2o Os relatrios dos estudos e avaliaes devem, sempre que for pertinente, conter recomendaes para as polticas e programas em questo. Art. 15. O Sistema de Monitoramento define o conjunto mnimo de indicadores utilizados para o monitoramento dos programas e aes do Ministrio e disponibiliza periodicamente os valores atualizados dos mesmos. Pargrafo nico. A periodicidade de atualizao de cada indicador depender da periodicidade de atualizao dos dados pelas fontes produtoras. Art. 1. Os Relatrios Semestrais de Monitoramento sero elaborados com base nos dados recebidos e processados pelo Sistema de Monitoramento e devero conter uma anlise quali-quantitativa do desempenho dos programas e aes do Ministrio. Art. 17. O Relatrio Anual das Aes de Monitoramento e Avaliao apresentar uma sntese das principais concluses, resultados e recomendaes dos estudos e pesquisas realizados ao longo do ano.

Anexo II: Minuta de Portaria sobre a Poltica de Avaliao e Monitoramento do MDS

57

Pargrafo nico. O Relatrio ser encaminhado Secretaria-Executiva at, no mximo, o final do ms de janeiro do ano subseqente. TTULO IV

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

Das competncias e responsabilidades dos rgos internos do MDS na execuo da Poltica de Monitoramento e Avaliao Art. 1. A Secretaria de Avaliao e Gesto da Informao o rgo responsvel pela coordenao da Poltica de Monitoramento e Avaliao. Art. 19. As aes de monitoramento e avaliao executadas pela SAGI, ou por instituio por ela contratada, devem contemplar as determinaes do Plano Anual de Avaliaes. Pargrafo nico. No detalhamento tcnico-operacional dos objetivos e metodologias particulares a cada ao de avaliao ou monitoramento prevista no Plano Anual, a SAGI atuar de forma articulada com as Secretarias finalsticas, responsveis pelo programa ou ao em questo. Art. 20. Respeitadas as competncias estabelecidas pelo Decreto no 5.550, de 2005, compete SAGI as seguintes aes e responsabilidades: I coordenar a elaborao do Plano Anual de Monitoramento e Avaliao; II aferir a qualidade dos Relatrios das Avaliaes Especficas; III validar os indicadores que compem o Sistema de Monitoramento; IV elaborar os Relatrios Semestrais dos Indicadores de Monitoramento; V elaborar o Relatrio Anual das Aes de Monitoramento e Avaliao; VI executar, diretamente ou em parceria com outras instituies, as aes de avaliao previstas no Plano Anual de Monitoramento e Avaliao, com exceo daquelas que estejam explicitamente sob responsabilidade de outro rgo interno deste Ministrio; VII promover, em conjunto com a Assessoria do Fome Zero e Subsecretaria de Planejamento, Oramento e Administrao (SPOA), o monitoramento das aes do Fome Zero, no mbito do Ministrio; VIII executar aes de monitoramento complementares quelas desen-

5

volvidas pelas demais Secretarias, especialmente aquelas a que se referem os incisos I, II, VII e VIII do pargrafo nico do art. 2; IX fornecer aos demais rgos internos, sempre que solicitada, informaes referentes s aes de monitoramento e avaliao que estejam sob sua responsabilidade; X divulgar por meio da internet, de publicaes impressas, de eventos e seminrios, os resultados dos estudos e pesquisas previstos no Plano Anual; XI manter centro de documentao de acesso pblico com todos os estudos e avaliaes produzidos pelo MDS. Art. 21. Compete a cada rgo interno o monitoramento dos programas e aes finalsticos sob sua responsabilidade, especialmente no que se refere s atividades definidas pelos incisos III, IV, V e VI do pargrafo nico do art. 2. 1o Os rgos responsveis pela gesto dos programas e aes finalsticos devem solicitar o apoio da SAGI sempre que as atividades desenvolvidas estejam relacionadas quelas referidas nos incisos I, II, IV e VII do pargrafo nico do art. 2. 2o A execuo de atividades relacionadas ao inciso IV do pargrafo nico do art. 2 sero obrigatoriamente analisadas pelo do Comit Gestor de Tecnologia e Informao, institudo pela Portaria n 556, de 11 de novembro de 2005. Art. 22. responsabilidade de todo rgo interno do MDS fornecer SAGI os documentos, informaes e dados necessrios execuo das aes de Monitoramento e Avaliao. Art. 23. Os rgos internos do MDS so responsveis por enviar SAGI, sem necessidade de solicitao prvia, cpia de todos os estudos e pesquisas por eles realizados, para que os mesmos sejam incorporados ao acervo do centro de documentao ao qual se refere o inciso XI do artigo 20. Art. 24. Compete SPOA o monitoramento da execuo fsico-financeira dos programas e aes do Ministrio e a elaborao dos relatrios a que se referem os incisos III e VI do artigo 11.

Anexo II: Minuta de Portaria sobre a Poltica de Avaliao e Monitoramento do MDS

59

Pargrafo nico. A SPOA deve disponibilizar para os demais rgos internos do MDS os dados, informaes e documentos referentes execuo fsica e financeira, que sejam necessrios s atividades de monitoramento e avaliao realizadas pelos mesmos.

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

Art. 25. Compete Secretaria Executiva garantir a ao cooperativa entre os rgos envolvidos na execuo da Poltica de Monitoramento e Avaliao. Art. 2. Esta Portaria entrar em vigor na data de sua publicao.

0

Anexo III: Recursos Humanos


Recursos Humanos da Secretaria de Avaliao e Gesto da Informao, segundo funo e titulao:
Titulao Funo Direo Administrao/Gesto Apoio Administrativo Tcnico Estagirios tcnicos Total 2 3 3 8* 20** 3 12 7 Ensino Mdio Graduao Especializao Mestrado Doutorado 2 2 3 13 1 9 2 1 1 3 5 Total 11 3 5 28 3 50

Fonte: SAGI, 2006. * Todos esto cursando o Ensino Superior. ** Quatro esto cursando o Mestrado.

Anexo III: Recursos Humanos

1

Recursos Humanos da Secretaria de Avaliao e Gesto da Informao, segundo curso de graduao e titulao:
Titulao

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

Formao Direito Histria Servio Social Cincia Social/ Cincia Poltica Economia Pedagogia Psicologia Medicina/Sade Pblica Qumica/Nutrio Agronomia Estatstica Tecnologia da Informao e Comunicao* Administrao Biblioteconomia Arquitetura Secretariado Executivo Total

Graduao

Especializao 1

Mestrado

Doutorado

Total 1 2

2 1 3 2 1 1 3 2 1 2 5 2 1 1 1 20 3 12 7 1 2 1 1 1 3 2 2

1 8 4 1 1 3 3 2 4 7 2 1 1 1 42

Fonte: SAGI, 2006. *Esto agregados nesta categoria os cursos de Administrao de Sistemas de Informao, Computao, Tecnologia em Telemtica e Engenharia.

2

Anexo IV Recursos Investidos em Pesquisas e Programas


Programas Sociais do MDS Recursos Investidos (US$) Pesquisas (a) Bolsa Famlia BPC Sentinela PETI Agente Jovem PAIF PAA PAA-Leite Cisternas Restaurantes Populares Educao Alimentar Cestas de Alimentos Bancos de Alimentos Total 8,863,499.09 265,909.09 129,545.45 1,495,454.55 239,714.77 3,377,727.27 680,545.45 115,863.64 225,301.72 63,869.55 159,090.91 209,090.91 90,909.09 15,916,521.50 Programa (b) 4,310,657,583.64 6,039,257,161.89 27,809,127.27 426,190,622.73 53,035,616.98 56,497,363.64 91,801,216.70 76,631,793.64 53,319,197.35 40,059,543.25 6,256,411.36 61,434,895.36 2,848,377.09 11,245,798,910.89

0,206 0,004 0,466 0,351 0,452 5,979 0,741 0,151 0,423 0,159 2,543 0,340 3,192 0,142

Fonte: SAGI, 2006. a Recursos investidos nos programas em 2004 e 2005 b Inclui todas as avaliaes (2004-2006)

Anexo IV Recursos Investidos em Pesquisas e Programas

Relao entre os recursos investidos em pesquisa e os recursos dos programas (a)/(b) (%)

3

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

4

Anexo V Estudos Contratados


Programa Pesquisa
Estudo sobre a importncia das transferncias na renda municipal Pesquisa domiciliar longitudinal Impacto do Programa Bolsa Famlia no gasto e consumo das famlias Primeira Fase Avaliao de implementao do Programa Bolsa Famlia

rgo de Cooperao Internacional

Descrio
Anlise da importncia do volume de renda transferido pelo Programa Bolsa Famlia segundo tipo de municpio. Avaliao do impacto do programa sobre gastos com alimentao, educao e sade; medidas antropomtricas e indicadores de desnutrio; empoderamento e capital social; relaes de gnero e alocao intrafamiliar de recursos. Avaliao da gesto local do Programa Bolsa Famlia, correlacionandoa com os resultados do programa no municpio. Avaliao da gesto do programa e de seu impacto sobre a capacidade institucional dos municpios, a economia local e a oferta de servios sociais. Investigao das percepes dos beneficirios do Programa Bolsa Famlia: grau de conhecimento dos beneficirios sobre o programa e sua avaliao sobre a importncia da iniciativa na melhoria de suas condies de vida. Avaliao da qualidade do cadastramento e recente recadastramento do Cadnico.

Perodo Concluso
Concluda

PNUD

2 sem. 2006

3 Bolsa Famlia 4

Banco Mundial/ PNUD Banco Mundial/ PNUD

2007

Prestao de Servios e Economia Local

2007

Survey com os beneficirios do Programa Bolsa Famlia

PNUD

Concluda

Avaliao do Cadastro nico Focalizao Regio Nordeste

Banco Mundial/ PNUD

2007

Programa

Pesquisa

rgo de Cooperao Internacional


Banco Mundial/ PNUD Banco Mundial/ PNUD

Descrio
Avaliao do funcionamento do controle social do programa e seus efeitos em termos de capital social. Avaliao do impacto do programa sobre gastos com alimentao, educao e sade; medidas antropomtricas e indicadores de desnutrio; relaes de gnero e alocao intrafamiliar de recursos. Avaliao dos efeitos do programa sobre as relaes de gnero e o empoderamento das famlias beneficirias por meio de estudo de casos qualitativos em 10 municpios. Avaliao do impacto do programa sobre o empoderamento das mulheres beneficirias. Levantamento de dados e avaliao do impacto da transferncia de renda, realizada por meio do Bolsa Famlia, no rendimento escolar das crianas e adolescentes membros de famlias beneficirias. Procura mensurar as percepes dos beneficirios do Programa sobre a melhoria de suas condies de vida, principalmente sobre as mudanas referentes qualidade e quantidade de alimentos consumidos pelas famlias beneficirias.

Perodo Concluso
2007

Estudo de casos sobre controle social

Avaliao de Impacto do Programa Bolsa Famlia Segunda Fase

2007

9 Bolsa Famlia 10

Avaliao de Resultados do Programa Bolsa Famlia sobre as relaes de gnero Avaliao de Impacto do Programa Bolsa Famlia no empoderamento nas relaes de gnero Avaliao do Impacto do Programa Bolsa Famlia sobre o rendimento escolar das crianas de famlias beneficirias Pesquisa com beneficirios do Programa Bolsa Famlia sobre condies de Segurana Alimentar e Nutricional

DFID

2 sem. 2006

DFID

2007

11

Banco Mundial/ PNUD

2007

12

PNUD

Concluda

Anexo V Estudos Contratados

5

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil


BPC

Programa

Pesquisa

rgo de Cooperao Internacional


PNUD

Descrio
Avaliao do impacto do Programa Bolsa Famlia considerando seus resultados sobre a situao nutricional das crianas de famlias beneficirias. Estudo quantitativo de coorte, sendo este o terceiro acompanhamento realizado aps um ano de transformao do Programa Bolsa Alimentao em Bolsa Famlia.

Perodo Concluso

13

Impacto socioepidemiolgico do Programa Bolsa Famlia Impacto do Programa Bolsa Famlia nas condies nutricionais, realizado em parceria com Ministrio da Sade e Universidade Federal de Pernambuco Estudo sobre os resultados das auditorias e fiscalizaes de rgos externos ao MDS Tribunal de Contas da Unio (TCU), Controladoria-Geral da Unio (CGU) e Ministrio Pblico da Unio (MPU)

2 sem. 2006

Bolsa Famlia

14

PNUD

2 sem. 2006

15

Banco Mundial

Anlise dos problemas e pontos crticos identificados pelo TCU, CGU e MPU, bem como pelo prprio MDS, na gesto e implementao do Programa Bolsa Famlia durante o ano de 2005, nos nveis federativos pertinentes. Avaliao do processo de gesto do Programa (etapas de fluxos, processos de concesso e reviso, processos decisrios, capacitao, gargalos, inovaes, etc.) e efeitos diretos e indiretos do benefcio sobre a populao beneficiria, na regio Sudeste. Identificao do impacto oramentrio das modificaes propostas pelo PL 3.055/97, no que se refere alterao do critrio de renda para concesso do BPC. Estimativa do crescimento do pblico-alvo potencial do BPC para 2005-2010.

2 sem. 2006

Estudo sobre a implementao do programa e impacto sobre os beneficirios

PNUD

Concluda

Estudo do impacto oramentrio das modificaes da LOAS PL 3.055/97 Estimativas de crescimento do pblico-alvo potencial do BPC para 2005-2010

PNUD

Concluda

PNUD

2 sem. 2006

Programa

Pesquisa
Estudo sobre os ndices de cobertura do BPC e demanda potencial atual Estudo sobre impacto potencial do BPC no sistema previdencirio brasileiro Estudo sobre a importncia das transferncias na renda municipal Avaliao da sistemtica utilizada para reviso do benefcio e proposta de nova sistemtica Estudo para a elaborao do ndice de elegibilidade (vulnerabilidade, risco e infraestrutura) Estudo de casos sobre o Programa de Enfrentamento ao Abuso e Explorao Sexual

rgo de Cooperao Internacional


PNUD

Descrio
Clculo e anlise dos ndices de cobertura do BPC e demanda potencial atual. Anlise dos possveis impactos do BPC no sistema previdencirio brasileiro. Anlise da importncia do volume de renda transferido pelo BPC segundo tipo de municpio. Identificar e sistematizar a estrutura, processo, gargalos/ oportunidades e mecanismos institucionais e de gesto que regem o Processo de Reviso do BPC. Desenvolvimento de uma metodologia para a construo de um ndice de elegibilidade dos municpios brasileiros para implantao do Programa Sentinela. Avaliao da implementao e dos efeitos/resultados produzidos pelo programa por meio de entrevistas com gestores municipais/estaduais, famlias beneficirias e membros de instncias de controle social. Sistematizao das discusses dos participantes acerca dos principais desafios e estratgias para a construo de polticas pblicas nacionalmente articuladas dirigidas populao em situao de rua. Obteno de informaes que possibilitem caracterizar a populao em situao de rua, subsidiar a implantao e/ou redimensionar as polticas pblicas dirigidas a esse segmento.

Perodo Concluso
2 sem. 2006

5 BPC 6

PNUD

2 sem. 2006

Concluda

PNUD

2 sem. 2006

Enfrentamento ao Abuso Sexual Contra Crianas e Adolescentes (Sentinela)

PNUD

Concluda

PNUD

1 sem. 2006

1 Populao em Situao de Rua 2

Documento do 1 encontro nacional de populao em situao de rua

PNUD

Concluda

Contagem da populao em situao de rua em 60 municpios brasileiros

UNESCO

2007

Anexo V Estudos Contratados

7

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil



Programa

Pesquisa

rgo de Cooperao Internacional

Descrio
Levantamento de abrangncia nacional com o objetivo de coletar um conjunto mnimo de informaes a respeito dos beneficirios do Programa de Erradicao do Trabalho Infantil, junto s prefeituras dos 2.788 municpios que implementam o programa. Suplemento para acompanhar e atualizar dados nacionais sobre trabalho infantil. Estabelecimento de padres mnimos de qualidade referentes execuo da Jornada Ampliada; definio de indicadores para o monitoramento e avaliao da Jornada Ampliada; identificao de boas prticas de Jornada Ampliada; elaborar orientaes e propostas pedaggicas para o desenvolvimento das aes socioeducativas e de convivncia da Jornada Ampliada. Investigao dos valores e atitudes sobre trabalho infantil entre as famlias beneficiadas pelo PETI, assim como as percepes e avaliaes sobre os resultados produzidos pelo Programa; identificao do perfil dos recursos humanos municipais envolvidos na implementao da Jornada Ampliada; caracterizao da estrutura fsica dos locais de realizao da Jornada Ampliada. Avaliao do impacto do programa baseado em estudo de egressos com aplicao de questionrios e avaliao das aes de capacitao tericas e prticas oferecidas aos beneficirios do programa.

Perodo Concluso

Levantamento de beneficirios PETI

SAGI/MDS

Concluda

2 Programa de Erradicao do Trabalho Infantil (PETI)

Suplemento sobre trabalho infantil da Pesquisa Nacional por Amostras de Domiclios 2006

BID

2007

Estudo qualitativo para avaliao e aprimoramento do PETI

BID

2007

Estudo quantitativo para avaliao e aprimoramento do PETI

BID

2007

Agente Jovem

Avaliao de impacto do Programa Agente Jovem sobre egressos e estudos qualitativos sobre aes de capacitao

PNUD

2 sem. 2006

Programa

Pesquisa

rgo de Cooperao Internacional


BID

Descrio
Avaliao da satisfao dos usurios, gestores e equipe tcnica do CRAS sobre a qualidade e diversidade dos atendimentos e servios oferecidos no programa. Mapeamento da estrutura pblica de prestao de servios da Assistncia Social em todos os municpios brasileiros, identificando a capacidade e natureza dos atendimentos. Identificao da natureza jurdica, das relaes com os conselhos de assistncia social e caracterizao dos servios prestados ao pblicoalvo e fontes de financiamento. Avaliao dos resultados produzidos pelo programa sobre a incluso produtiva dos jovens beneficiados. Avaliao da efetividade do programa comparando a cadeia de implementao das diferentes modalidades do programa, mapeando os fluxos de todas as etapas de sua implementao e avaliando as percepes dos agricultores que constituem o pblico-alvo do programa. Avaliao do potencial de mercado gerado pelas compras pblicas do PAA; Anlise dos efeitos gerados pelo PAA sobre os atores envolvidos na comercializao de produtos da agricultura familiar nas duas regies.

Perodo Concluso

PAIF

Estudos quali-quantitativos sobre o Programa de Ateno Integral Famlia (PAIF)

2007

1 Rede de Servios da Assistncia Social 2

Suplemento Gesto da Assistncia Social MUNIC realizado em parceria com o IBGE Pesquisa com instituies sem fins lucrativos de Assistncia Social, PEAS realizada em parceria com o IBGE Avaliao do Programa de Promoo da Incluso Produtiva de Jovens

BID

2 sem. 2006

BID

2007

Incluso Produtiva

PNUD

2007

1 PAA 2

Estudo comparativo das diferentes modalidades do PAA Regio Nordeste

FAO

Concluda

Estudo do impacto do programa sobre os arranjos econmicos locais NE e Sul

FAO

Concluda

Anexo V Estudos Contratados

9

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

70
PAA

Programa

Pesquisa
Avaliao de impacto do Programa Aquisio de Alimentos da Agricultura familiar em nvel nacional Estudo sobre os beneficirios (produtores e consumidores) do programa

rgo de Cooperao Internacional


FAO

Descrio
Avaliao dos efeitos de mdio prazo produzidos pelo programa sobre a tica do beneficirio, da unidade produtiva e familiar e do desenvolvimento local. Avaliao do processo de seleo dos beneficirios do programa e de suas percepes sobre o programa. Identificao e caracterizao das diferentes modalidades de implantao de restaurantes populares em municpios com populao urbana superior a 100 mil habitantes, mapeando os existentes e caracterizando suas diferentes modalidades de implantao. Investigao do perfil dos usurios dos principais restaurantes populares em funcionamento no pas para subsidiar a expanso da rede de restaurantes populares e ampliao da oferta de alimentao de qualidade a preos acessveis, para as populaes vulnerveis dos centros urbanos brasileiros. Avaliao do uso das cisternas no semi-rido nordestino, construdas por meio do repasse de recursos do MDS e o abastecimento de gua utilizado pelas famlias. Avaliao do programa segundo critrio da eqidade, da forma pela qual as famlias beneficiadas foram selecionadas e a existncia de critrios claros de seleo.

Perodo Concluso

2 sem. 2006

PAA Leite

FAO

Concluda

1 Restaurantes Populares 2

Caracterizao dos restaurantes populares existentes

FAO

Concluda

Estudo do perfil dos usurios dos restaurantes populares

FAO

Concluda

1 Cisternas 2

Estudo do impacto do programa sobre a vida dos beneficirios e a qualidade da gua

FAO

Concluda

Estudo sobre a implementao, seleo e capacitao dos beneficirios

FAO

2 sem. 2006

Programa

Pesquisa
Avaliao das estratgias de implementao do Programa Educao Alimentar, focalizando os materiais distribudos pelo Projeto Rede de Cartilha, alm do perfil e grau de satisfao dos usurios (professores) Avaliao do perfil dos beneficirios e da distribuio de cestas de alimentos no programa ao emergencial, focalizando a seleo e perfil dos beneficirios e seu grau de satisfao

rgo de Cooperao Internacional

Descrio

Perodo Concluso

Educao Alimentar

FAO

Implementao e resultados deste projeto em uma amostra representativa nacional de escolas rurais e urbanas a partir de anlise da distribuio, do contedo e do aproveitamento dos materiais didticos. Conhecer a cobertura do programa Atendimento Emergencial distribuio de cestas de alimentos, o perfil dos beneficirios, a composio das cestas, as percepes dos beneficirios quanto a quantidade, qualidade e regularidade dos produtos ofertados e sua interferncia na reduo da insegurana alimentar. Mapear todos os bancos de alimentos existentes no pas e estabelecer uma anlise comparativa das vantagens e desvantagens relacionadas s diferentes modalidades. Identificao das hortas comunitrias no pas implementadas em parceria com o MDS, caracterizando as suas diferentes modalidades de implantao e formas de gesto. Identificao das cozinhas comunitrias existentes no pas e as apoiadas pelo MDS, caracterizando as suas formas de gesto e o perfil do pblico-alvo.

2 sem. 2006

Distribuio de Cestas de Alimentos

FAO

2 sem. 2006

Bancos de Alimentos

Caracterizao e avaliao dos bancos de alimentos implantados no pas

FAO

2 sem. 2006

Hortas Comunitrias

Caracterizao e avaliao das hortas comunitrias implantadas no pas

FAO

2 sem. 2006

Cozinhas Comunitrias

Caracterizao e avaliao das cozinhas comunitrias implantadas no pas

FAO

2 sem. 2006

Anexo V Estudos Contratados

71

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

72

Programa

Pesquisa
Avaliar o perfil nutricional de crianas menores de 5 anos de idade de populaes especficas, em situao de vulnerabilidade social quilombolas, semi-rido e assentamentos rurais do Nordeste Chamada Nutricional Quilombola: Projeto Zanauand

rgo de Cooperao Internacional

Descrio

Perodo Concluso

PNUD

Avaliao do perfil nutricional de crianas menores de 5 anos de idade de populaes especficas, em situao de vulnerabilidade social, semi-rido e assentamentos rurais do Nordeste.

Concluda

Chamada Nutricional

PNUD

Estimar a prevalncia da desnutrio protico-energtica, de sobrepeso e do baixo peso ao nascer, alm de identificar o recebimento de benefcios sociais pelas famlias quilombolas. Estimar a prevalncia de desnutrio energtico-calrica e sobrepeso em aldeias indgenas e caracterizar a situao de segurana alimentar e nutricional. Identificao das comunidades que receberam recursos provenientes do projeto Carteira, caracterizando as linhas temticas apoiadas. Avaliao da implementao do Convnio n 006/2003 estabelecido entre o MDS e a Fundao Cultural Palmares para execuo de aes estruturantes em comunidades quilombolas. Avaliao, mapeamento e georreferenciamento dos equipamentos de assistncia social bsica e os servios assistenciais, alm de verificar o acesso das comunidades quilombolas aos programas do MDS.

2007

Inqurito Nutricional entre os Povos Indgenas

PNUD

2007

Avaliao da efetividade do Projeto Carteira Indgena Aes estruturantes para comunidades quilombolas

FAO

2 sem. 2006

Populaes Especficas

FAO

2 sem. 2006

Acesso das comunidades tradicionais aos programas do MDS

PNUD

2007

Programa

Pesquisa

rgo de Cooperao Internacional

Descrio
Identificao do grau de insegurana alimentar da populao brasileira, utilizando como conceito de insegurana alimentar o acesso limitado a uma alimentao de qualidade suficiente e quantidade necessria para o bom desenvolvimento humano. Anlise do suplemento de segurana alimentar da PNAD 2004 por meio do plano de anlise da Escala de (In)Segurana Alimentar. Averigao do entendimento da opinio pblica brasileira sobre as polticas e programas sociais implementados pelo Ministrio do Desenvolvimento Social e Combate Fome. Mensurao do grau de conhecimento e avaliao da populao brasileira sobre os programas do MDS. Averiguao do entendimento, ao longo do tempo, da opinio pblica brasileira sobre as polticas e programas sociais implementados pelo Ministrio do Desenvolvimento Social e Combate Fome. Averigao do entendimento da populao da regio Centro-Oeste sobre as polticas e programas do MDS procurando mensurar o grau de conhecimento e avaliao sobre as polticas sociais do Governo Federal.

Perodo Concluso

1 Segurana Alimentar 2

Suplemento sobre insegurana alimentar da Pesquisa Nacional por Amostra de Domiclios 2004 Anlise do Suplemento sobre insegurana alimentar da Pesquisa Nacional por Amostra de Domiclios 2004

Concluda

2 sem. 2006

Pesquisa de opinio sobre os programas do MDS

PNUD

Concluda

Pesquisas de Opinio

Pesquisa de opinio sobre os programas do MDS

PNUD

Concluda

Avaliar a percepo dos beneficirios do programas do MDS na regio Centro-Oeste

FAO

2 sem. 2006

Anexo V Estudos Contratados

73

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

74
Todos

Programa

Pesquisa

rgo de Cooperao Internacional


UNESCO

Descrio
Desenvolvimento e validao da metodologia de controle de qualidade interno para o monitoramento dos programas sociais do MDS. Avaliao do impacto dos programas sociais do MDS comparando beneficirios e no-beneficirios nas microrregies Alto, Mdio e Baixo Jequitinhonha.

Perodo Concluso

Avaliao da gesto dos Programas do MDS em 10 municpios Avaliao do impacto dos programas sociais administrados pelo MDS Vale do Jequitinhonha (MG)

2 sem. 2006

PNUD

2007

Anexo VI Publicaes
Item Publicao n1. A importncia do Bolsa Famlia nos Municpios Brasileiros, 2004. Autora: Rosa Maria Marques n 2. Subnutrio e obesidade em pases em desenvolvimento. Experincia internacional com a escala de percepo da insegurana alimentar. 2004. Autores: Rafael Perez Scamilla e Benjamin Caballero. 2004 Peridicos Cadernos de Estudos Desenvolvimento Social em Debate* Suplemento ao n 2: Textos para a V Conferncia Nacional de Assistncia Social. 2004 n 3. PAA Nordeste Suplemento ao n 3. n 1. Contribuies do MDS Conferncia Nacional da Pessoa com Deficincia. 2006 Suplemento ao n 3. n 1. Contribuies do MDS Conferncia Nacional da Pessoa Idosa. 2006 N 4. Chamada Nutricional Descrio Estudo sobre o PBF que compara as transferncias constitucionais como o FPM aos recursos tranferidos por meio dos benefcios s famlias pobres. Tiragem Status 1.600 Concludo

Os artigos tratam das questes relacionadas ao paradoxo da desnutrio e da obesidade em pases em desenvolvimento.

2.000

Concludo

Textos especialmente produzidos para a V Conferncia Nacional de Assistncia Social. Discorre sobre o modelo economtrico que foi desenvolvido no processo de implementao da pesquisa sobre o PAA Leite no Nordeste. Textos especialmente produzidos para a I Conferncia Nacional dos Direitos da Pessoa com Deficincia. Textos produzidos para a I Conferncia Nacional dos Direitos do Idoso. Textos que relatam a pesquisa realizada no semi-rido sobre a situao do estado nutricional das crianas de 0 a 6 anos.

2.000 1.000

Concludo Em andamento

1.300 700 1.000

Concludo Concludo Em andamento

*Visam divulgar pesquisas, disseminar resultados e subsidiar discusses e avaliaes acerca das polticas e programas sociais.

Anexo VI Publicaes

75

O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil

7

Item

Publicao

Descrio Perfil dos beneficirios do PETI que foi levantado junto ao 2.788 municpios que implementam o Programa. Relatrio sobre pesquisa de opinio realizada pelo IBOPE em cinco capitais junto aos usurios dos restaurantes populares. Levantamento realizado a partir de dados secundrios sobre o perfil das famlias beneficirias do PBF constantes no Cadnico. Levantamento realizado a partir de dados secundrios sobre o perfil das famlias beneficirias do PBF constantes no Cadnico. Manual de consulta para utilizao da ferramenta SAGITec. Manual para os usurios da ferramenta MI Social. Registrar a memria das principais pesquisas realizadas pela SAGI. Organizar todos instrumentos e metodologias de pesquisas utilizados pela SAGI. Sistematizar os indicadores produzidos pela SAGI para monitoramento dos programas do MDS. Traduzir a execuo e a expanso da cobertura dos programas do MDS para o formato georeferenciado.

Tiragem

Status

Relatrio PETI. 2005 Pesquisa de opinio usurios dos restaurantes populares. 2005 (SAGI/IBOPE) Pesquisas Perfil das Famlias do PBF no Cadnico - Brasil e Regies. 2005. (SAGI) Perfil das Famlias do PBF no Cadnico - Regies e unidades da federao. 2005 (SAGI) Manual do Usurio SAGITec 2004 Manual MI Social. 2006. Relatrio das pesquisas realizadas pela SAGI (parceria SAGI/UNESCO/FAO) Guia metodolgico dos instrumento sde pesquisas. (parceria SAGI/UNESCO) Dicionrio de indicadores e variveis Atlas de desenvolvimento social

5.130 1.030 150

Concludo Concludo Concludo

570 100 1.000 -

Concludo Concludo Em andamento Em andamento Em andamento Em andamento No iniciado

Manuais

Livros

Item

Publicao

Descrio Informaes estatsticas sobre os principais programas implementados pelo MDS no exerccio de 2004. Informaes estatsticas sobre os principais programas implementados pelo MDS no exerccio de 2004. Informaes sobre as prximas edies da srie Cadernos de Estudos - Desenvolvimento Social em Debate. Sntese dos principais estudos sobre transferncia de renda apresentados no Seminrio Transferncia de Renda: o que mudou?. Sntese dos principais estudos sobre a questo da apresentados no Seminrio Transferncia de Renda: o que mudou?.

Tiragem

Status

Folder Dados 2004 Folders Folder Dados 2005 Folder divulgao Cadernos de Estudos Newsletter para o Seminrio Transferncia de Renda: o que mudou? Newsletters Newsletter para o Seminrio Internacional Os rumos da transio nutricional no Brasil: fome e obesidade no contexto de excluso social

25 mil 30 mil 5 mil

Concludo Concludo Concludo

300

Concludo

500

Concludo

Anexo VI Publicaes

77

Vous aimerez peut-être aussi