Tribunal de Contas da Unio Instituto Serzedello Corra Especializao em Oramento Pblico

Patrcia Coimbra Souza Melo

MONITORAMENTO E AVALIAO NA ADMINISTRAO PBLICA FEDERAL: OS DESAFIOS DO PPA 2012/2015

Braslia 2012

Patrcia Coimbra Souza Melo

MONITORAMENTO E AVALIAO NA ADMINISTRAO PBLICA FEDERAL: OS DESAFIOS DO PPA 2012/2015

Trabalho de concluso do Curso de Especializao em Oramento Pblico oferecido pelo Programa de Ps-Graduao do Instituto Serzedello Corra do Tribunal de Contas da Unio.

Orientadora: Serpa

Selma

Maria

Hayakawa

Cunha

Braslia 2012

Autorizao

Autorizo a divulgao do texto completo no stio da Cmara dos Deputados e a reproduo total ou parcial, exclusivamente, para fins acadmicos e cientficos. Assinatura: __________________________________ Data: ___/___/___

Melo, Patrcia Coimbra Souza. Monitoramento e avaliao na administrao pblica federal [manuscrito] : os desafios do PPA 2012/2015 / Patrcia Coimbra Souza Melo. -- 2012. 104 f. Orientador: Selma Maria Hayakawa Cunha Serpa. Impresso por computador. Monografia (especializao) Curso de Oramento Pblico, Cmara dos Deputados, Centro de Formao, Treinamento e Aperfeioamento (Cefor); Controladoria-Geral da Unio, Secretaria de Controle Interno (SFC); Ministrio do Planejamento, Oramento e Gesto, Secretaria de Oramento Federal (SOF); Senado Federal, Universidade do legislativo (Unilegis); Tribunal de Contas da Unio, Instituto Serzedello Corra (ISC), 2013.

1. Plano plurianual (PPA), avaliao, Brasil, 2012-2015. I. Ttulo. CDU 336.121(81)

MONITORAMENTO E AVALIAO NA ADMINISTRAO PBLICA FEDERAL: OS DESAFIOS DO PPA 2012/2015

Curso de Especializao em Oramento Pblico 2 Semestre de 2012

Patrcia Coimbra Souza Melo

Banca Examinadora:

__________________________________________ Selma Maria Hayakawa Cunha Serpa Tribunal de Contas da Unio ___________________________________________ Prof. Dr. Paulo Carlos du Pin Calmon Universidade de Braslia

Braslia, 28 de novembro de 2012.

Dedico este trabalho a Deus, minha me, Neuza, e famlia que constru: Leo, Rafa e Jlia, por estarem sempre presentes em todos os momentos da minha vida.

Agradecimentos

Agradeo minha orientadora e amiga Selma Serpa, pela dedicao e pacincia, e minha filha Jlia, por me deixar concluir este trabalho.

Por ser exato, o amor no cabe em si. Por ser encantado, o amor revela-se. Por ser amor, invade e fim... Djavan

RESUMO A presente pesquisa foi elaborada como requisito para concluso do curso de Especializao em Oramento Pblico oferecido pelo Instituto Serzello Corra do Tribunal de Contas da Unio. O objeto de anlise desta pesquisa so as alteraes promovidas no modelo de planejamento do Plano Plurianual para o perodo de 2012 a 2015, com foco no monitoramento e na avaliao da ao governamental, seu objetivo geral descrever e avaliar em que medida as mudanas que esto sendo propostas para o sistema de monitoramento e avaliao do PPA 2012/2015 corrigem as deficincias existentes nos sistemas de monitoramento e avaliao anteriores. Justifica-se a investigao deste tema, ante a necessidade de se conhecer quais so os novos instrumentos de monitoramento e avaliao que sero utilizados no mbito do novo PPA, face importncia que as atividades de monitoramento e avaliao da ao governamental adquiriram nos ltimos anos. No que se refere metodologia, trata-se de pesquisa descritiva e qualitativa, sendo que, em relao aos procedimentos metodolgicos, foi realizada pesquisa bibliogrfica e documental, alm de estudo de caso do tipo descritivo em trs programas temticos: Bolsa Famlia, Resduos Soldos e Turismo, constituindo-se um projeto de casos mltiplos, visto que em um mesmo estudo de caso foi analisado mais de um caso, para posterior estudo comparativo dos resultados. O mtodo de pesquisa foi do tipo dedutivo. Durante a pesquisa, verificou-se que o modelo de monitoramento e avaliao que vigorou at 2011 no obteve sucesso em virtude de quatro fatores: o desenho do PPA buscava traduzir as polticas pblicas em aes oramentrias que no eram capazes de express-las; tentou-se padronizar o acompanhamento das polticas pblicas sem considerar as peculiaridades de cada rgo; valorizou-se a tcnica e as metodologias em detrimento da realidade e houve excesso de formalismo na busca de uma administrao gerencial, sem preocupao com o contexto poltico. Nos trs programas temticos avaliados no estudo de caso, verificou-se que: a nova estrutura de planejamento do governo federal, por ser ainda muito recente, no produziu alteraes significativas no planejamento interno das polticas pblicas objeto dos programas; os rgos setoriais responsveis pelos objetivos dos programas temticos participaram ativamente da definio de seus atributos; os rgos setoriais ainda no conhecem completamente a

Estratgia de Monitoramento e Avaliao do PPA 2012/2015; dos rgos entrevistados, apenas o MMA no possui dados sobre indicadores a serem fornecidos SPI e todos os rgos setoriais possuem sistemas de monitoramento prprios, capazes de subsidiar a SPI em uma anlise mais aprofundada dos programas cujos objetivos estejam sob sua responsabilidade. No que se refere aos atributos dos programas temticos, verificou-se que: seus objetivos, de modo geral, exprimem os mesmo objetivos de governo, setoriais e dos antigos programas finalsticos; deve-se observar o grau de subjetividade das metas, tanto qualitativas, quanto quantitativas; os rgos setoriais tendem a medir o alcance dos objetivos e metas acordados, por meio de indicadores que medem a eficcia dos programas temticos e existem iniciativas que no representam a entrega nem de um produto, nem de um servio sociedade. Por fim, por tratar-se de uma estrutura ainda em construo, verificou-se que os resultados das mudanas propostas necessitam de tempo para serem observados e que a SPI deve continuar conduzindo o processo de modo que os esforos iniciais no se percam pelo caminho, como aconteceu na experincia anterior.

Palavras-chave: planejamento, programas, monitoramento, avaliao, PPA.

SUMRIO

1 Introduo .......................................................................................................................................... 12
1.1 Problema de Pesquisa ..............................................................................................................................................13 1.2 Pergunta da Pesquisa ...............................................................................................................................................14 1.3 Objetivos ........................................................................................................................................................................14 1.4 Justificativa ...................................................................................................................................................................15 2.1 O Planejamento na Administrao Pblica Federal no perodo anterior reforma de 2000. ...17 2.2 A reforma de planejamento e oramento de 2000 .......................................................................................22 2.2.1 Os Planos Plurianuais do perodo de 2000 a 2011 ...................................................................................27 2.2.2 O Modelo de Monitoramento e Avaliao no Brasil .................................................................................31 2.3 A mudana de paradigma no PPA 2012/2015...............................................................................................44

2. Referencial Terico ....................................................................................................................... 17

3. Metodologia ..................................................................................................................................... 49 4. O Monitoramento e a Avaliao no PPA 2012/2015 .......................................................... 52 5. Resultados ......................................................................................................................................... 59

5.1 Motivos para o insucesso do modelo de monitoramento e avaliao do PPA no perodo de 2000 a 2011 .........................................................................................................................................................................59 5.2 Anlise comparativa entre o Sistema de Monitoramento e Avaliao do PPA 2008/2011 e a Estratgia de Monitoramento e Avaliao do PPA 2012/2015......................................................................64

6. Anlise dos Resultados ................................................................................................................ 85 7. Concluso ........................................................................................................................................... 94 8. Referncias........................................................................................................................................ 98 9. Apndices ........................................................................................................................................ 101
9.1 Apndice A Roteiro de Entrevistas com o rgos Setoriais. .............................................................. 101 9.2 Apndice B Roteiro de Entrevistas com a Secretaria de Planejamento e Investimentos Estratgicos (SPI) ........................................................................................................................................................... 102

LISTA DE FIGURAS

FIGURA 1 RELAO ENTRE OS PROPOSITOS E OS TIPOS DE SISTEMAS DE AVALIAO ......................................................................................................................................................... 37 FIGURA 2 PPA 2008-2011 X PPA 2012-2015 .................................................................................. 46 FIGURA 3 - ESTRUTURA PPA 2012/2015 ........................................................................................ 47 FIGURA 4 ESTRATGIA DE MONITORAMENTO E AVALIAO DO PPA 2012/2015 55

LISTA DE QUADROS

QUADRO 1 MONITORAMENTO TEMTICO .................................................................. 56 QUADRO 2 RECURSOS DESTINADOS AO PROGRAMA BOLSA FAMLIA NO PPA65 QUADRO 3 OBJETIVOS DO PROGRAMA FINALSTICO E OBJETIVOS DO PROGRAMA TEMTICO ................................................................................................ 66 QUADRO 4 CLASSIFICAO METAS DO PROGRAMA TEMTICO BOLSA FAMLIA ............................................................................................................................. 68 QUADRO 5 CLASSIFICAO INDICADORES PPA 2008/2011 E PPA 2012/2015 ........ 69 QUADRO 6 INICIATIVAS DO PROGRAMA TEMTICO BOLSA FAMLIA .............. 70 QUADRO 7 RECURSOS DESTINADOS AO PROGRAMA RESDUOS SLIDOS NO PPA ....................................................................................................................................... 72 QUADRO 8 OBJETIVOS DO PROGRAMA FINALSTICO E OBJETIVOS DO PROGRAMA TEMTICO ................................................................................................ 73 QUADRO 9 CLASSIFICAO METAS DO PROGRAMA TEMTICO RESDUOS SLIDOS ............................................................................................................................. 74 QUADRO 10 CLASSIFICAO INDICADORES PPA 2008/2011 E PPA 2012/2015 ...... 76 QUADRO 11 INICIATIVAS DO PROGRAMA TEMTICO RESDUOS SLIDOS ..... 77 QUADRO 12 RECURSOS DESTINADOS AO PROGRAMA TURISMO NO PPA.......... 79 QUADRO 13 OBJETIVOS PROGRAMA FINALSTICO E OBJETIVOS PROGRAMA TEMTICO ......................................................................................................................... 80 QUADRO 14 CLASSIFICAO METAS PROGRAMA TEMTICO TURISMO ......... 81 QUADRO 15 INDICADORES PPA 2008/2011 E PPA 2012/2015 ........................................ 82 QUADRO 16 INICIATIVAS DO PROGRAMA TEMTICO TURISMO ......................... 84

12

1 Introduo
A presente pesquisa refere-se a trabalho de concluso do curso de Especializao em Oramento Pblico oferecido pelo Instituto Serzedello Corra do Tribunal de Contas da Unio, e tem a finalidade de realizar estudo sobre as mudanas na estruturao do Plano Plurianual para o perodo de 2012 a 2015, no que se refere ao monitoramento e avaliao da ao governamental. O monitoramento e a avaliao das polticas pblicas assumiu grande importncia nas ltimas dcadas, em virtude da reforma gerencial implantada em vrios pases no perodo. No Brasil, o primeiro passo para a reforma gerencial foi dado com a aprovao do Plano Diretor de Reforma do Estado em 1995. Em 2000, foi realizada a reforma do modelo de planejamento e oramento, com a finalidade de adequ-lo nova realidade da administrao pblica orientada para resultados. A reforma oramentria de 2000 representou um avano em termos de planejamento na administrao pblica federal brasileira, no entanto, no significou a implantao de uma administrao pblica orientada para resultados como se pretendia. O sistema de monitoramento e avaliao mostrou-se excessivamente padronizado e inflexvel, no sendo capaz de produzir informaes que subdiassem melhorias nas polticas pblicas monitoradas e avaliadas. Como uma possvel soluo para os problemas existentes, foi aprovado o PPA 2012/2015, o qual se baseou em um modelo de planejamento diferente do adotado a partir da reforma de 2000. O novo Plano tem como um de seus principais desafios resgatar a funo planejamento na administrao pblica federal. Nesse contexto, surge a nova Estratgia de Monitoramento e Avaliao do PPA. Esta pesquisa tem como objetivo analisar essas mudanas, a fim de verificar seus reflexos no monitoramento e avaliao das polticas pblicas no mbito da administrao pblica federal no Brasil. Este trabalho est estruturado em oito captulos. O primeiro, introdutrio, apresenta a definio do problema de pesquisa, sua pergunta orientadora, os objetivos gerais e especficos e a justificativa para sua realizao. No segundo captulo encontra-se o referencial terico relacionado pesquisa, tendo sido tratados os temas: planejamento na administrao pblica federal no perodo anterior a reforma de 2000; a reforma do modelo de planejamento e oramento de 2000, o modelo de

13

monitoramento e avaliao adotado e as mudanas ocorridas a partir da aprovao do PPA para o perodo de 2012 a 2015. No terceiro captulo detalhada a metodologia de pesquisa empregada e no quarto captulo realizada anlise da Estratgia de Monitoramento e Avaliao do PPA 2012/2015, que se encontra em fase de elaborao. No quinto captulo so apresentados os resultados do estudo de caso realizado nos programas temticos Bolsa Famlia, Resduos Slidos e Turismo, sendo esses resultados analisados no captulo seis. O captulo sete consolida as principais concluses decorrentes desta pesquisa. O captulo oito contm as referncias e captulo nove os apndices.

1.1 Problema de Pesquisa

O PPA 2012/2015, aprovado pela Lei n 12.593, de 18 de janeiro de 2012, foi elaborado com significativas alteraes em relao ao modelo de planejamento que vigorou na administrao pblica federal no perodo de 2000 a 2011. Este PPA tornou-se inovador ao aproximar o Plano das questes estratgicas que envolvem a implementao das polticas pblicas, por meio da criao de programas temticos, objetivos e iniciativas, em substituio estrutura de programas e aes que existia no modelo anterior. As aes foram excludas do Plano e passaram a constar apenas dos oramentos anuais, sendo a iniciativa o elo entre planejamento e oramento. No modelo anterior, o sistema de monitoramento e avaliao do PPA tinha o programa como principal elemento de anlise. O programa estruturava as intervenes governamentais, por meio da articulao de aes, com vistas a resolver problemas e atender a demandas da sociedade. A partir do PPA 2012/2015, o programa deixou de existir, dando lugar aos programas temticos, os quais expressam a agenda governamental estratgica das polticas pblicas a serem priorizadas com o objetivo de orientar a entrega de bens e servios sociedade. Verifica-se que a inteno do governo federal, no que se refere redefinio de programa, foi alterada. Antes o foco estava na entrega de bens e servios sociedade, agora se fala em

14

orientar a entrega de bens e servios sociedade. A mudana na concepo do planejamento levar a mudanas tambm na forma de monitorar e avaliar a ao governamental. Com base na proposta do PPA 2012/2015 foi definido o problema de pesquisa para este trabalho, que consiste em descrever e avaliar como se estruturar o sistema de monitoramento e avaliao da administrao pblica federal dentro do novo modelo de planejamento, verificandose quais sero os desafios a serem enfrentados pelos atores envolvidos nesse processo, bem como verificar se o aprendizado com o modelo anterior est sendo, de alguma forma, utilizado na estruturao do novo sistema de monitoramento e avaliao.

1.2 Pergunta da Pesquisa

Considerando-se que esta pesquisa pretende avaliar as alteraes ocorridas no sistema de monitoramento e avaliao aps a aprovao do PPA 2012/2015, bem como verificar se o aprendizado obtido em experincias anteriores ser utilizado como base para formatao de um novo sistema de monitoramento e avaliao, estruturou-se a seguinte pergunta de pesquisa: Em que medida as alteraes do sistema de monitoramento e avaliao do PPA 2012/2015 corrigem as deficincias existentes nos sistemas de monitoramento e avaliao anteriores?

1.3 Objetivos
A reforma gerencial implementada por diversos pases nas ltimas dcadas fez com que o monitoramento e a avaliao de polticas pblicas se tornassem instrumentos extremamente relevantes para obteno de informaes teis ao aperfeioamento da ao governamental. No Brasil, esse processo iniciou-se nos anos 90 e teve como pice a reforma de 2000, que pretendia construir um novo modelo de planejamento e oramento para administrao pblica orientada para resultados. A partir de 2012, o modelo construdo em 2000 foi alterado, de forma a afetar toda a estrutura de planejamento existente. Essas mudanas, em decorrncia, tm desdobramentos na

15

forma como o governo mensura o desempenho de suas intervenes, bem como na forma como sero disponibilizadas para a sociedade as informaes sobre os resultados alcanados. A partir dessa nova perspectiva, esta pesquisa foi realizada com o objetivo geral de descrever e avaliar como est sendo estruturado o sistema de monitoramento e avaliao do PPA na administrao pblica federal e como as deficincias do modelo anterior esto sendo corrigidas, tendo como base os novos conceitos introduzidos pelo PPA 2012/2015. Os objetivos especficos desta pesquisa so os seguintes: 1. Verificar as alteraes no sistema de monitoramento e avaliao do PPA 2012/2015 em relao ao que existia at 2011; 2. Verificar quais so os desafios a serem enfrentados pelo governo federal na estruturao desse novo sistema; 3. Verificar qual o aprendizado trazido do modelo anterior que est sendo, ou ser, utilizado na estrutura atual.

1.4 Justificativa
Segundo Ataide (2005), a gesto pblica voltada para resultados tem como um de seus pilares a avaliao de programas e polticas pblicas, com a finalidade de aferir os resultados obtidos por meio da atuao do governo. A avaliao passa a ser reconhecida como insumo a ser utilizado na tomada de deciso sobre a formulao de programas e polticas pblicas, bem como na sua reestruturao, quando for necessrio, contribuindo para o aperfeioamento da gesto. Para Calmon e Gusso (2002), os sistemas de avaliao objetivam aumentar a transparncia da ao governamental, por meio da prestao de contas, sociedade, do desempenho dos programas, auxiliando na tomada de deciso, no aprimoramento da gesto e na promoo do aprendizado. Shepherd (2005) relata que a administrao pblica federal no Brasil empenha-se em tornar seu desempenho mais orientado para resultados, com a utilizao mais eficaz, eficiente e

16

transparente dos recursos pblicos, afirmando que as atividades de monitoramento e avaliao desempenham papel importante nesse novo contexto de administrao. Monitoramento e avaliao possuem definies distintas, porm complementares. O monitoramento fornece informaes sobre o andamento de uma poltica, programa ou projeto em determinado momento e em relao s metas e resultados previstos, sendo, dessa forma, descritivo. Por meio da avaliao procura-se demonstrar se os resultados esto ou no sendo alcanados. Aps a reforma no modelo de planejamento e oramento ocorrida em 2000, houve significativo avano no que se refere criao de uma estrutura formal de monitoramento e avaliao no Brasil, bem como na criao de instrumentos que permitissem a existncia de um sistema de monitoramento e avaliao. Ressalte-se que no perodo de 2000 a 2011 o sistema de monitoramento de avaliao existiu mais na forma que na prtica, mas, ainda assim, deve-se destacar que os avanos nessa rea foram significativos no perodo. Com a aprovao do PPA 2012/2015, nasceu uma nova concepo de planejamento no governo federal. Buscou-se tornar o plano mais voltado para as questes estratgicas do governo, bem como mais afastado do que seria apenas um oramento plurianual. Os programas e aes foram substitudos por programas temticos, objetivos e iniciativas, que possuem novos conceitos, diferentes daqueles que existiam no PPA anterior. A presente pesquisa justifica-se pela relevncia que as atividades de monitoramento e avaliao da ao governamental adquiriram nos ltimos anos, bem como pela importncia de se conhecer quais sero os novos instrumentos de monitoramento e avaliao utilizados no mbito do novo PPA, com a finalidade de esclarecer qual ser a estratgia de atuao do governo federal no que se refere a essas funes nos prximos anos. Dessa forma, com vistas investigao do problema, apresenta-se no prximo captulo o referencial terico que fundamenta as anlises realizadas nesta pesquisa.

17

2. Referencial Terico
Neste captulo, realizada reviso da literatura que trata do planejamento na administrao pblica federal brasileira no perodo anterior e posterior reforma de planejamento e oramento de 2000; dos PPAs que vigoraram nesse perodo; do modelo de monitoramento e avaliao adotado no Brasil at 2011; das alteraes propostas para o modelo de planejamento a partir do PPA 2012/2015; bem como dos principais conceitos e teorias que envolvem o monitoramento e a avaliao.

2.1 O Planejamento na Administrao Pblica Federal no perodo anterior reforma de 2000.

Segundo Matus (1997, p. 9, apud Ataide, 2005, p. 27) o planejamento no outra coisa que tentar submeter nossa vontade o curso encadeado dos acontecimentos cotidianos, os quais determinam uma direo e uma velocidade mudana que inevitavelmente experimenta um pas em decorrncia de nossas aes. Matias Pereira (2003, p.117, apud Ataide, 2005, p.29) define o planejamento como um processo dinmico e no esttico, o qual est contido em um ciclo contnuo de formulao, implementao, monitoramento e avaliao de resultados. No Brasil, at 1964, as experincias relacionadas a planejamento na administrao pblica possuam como principal caracterstica a desvinculao entre o planejamento e o processo oramentrio. Nesse perodo, os planos ou eram voltados para determinados gastos especficos (Plano Especial de Obras Pblicas e Reaparelhamento da Defesa Nacional 1939, Plano de Obras e Equipamentos 1943) ou para aspectos setoriais ou regionais (Plano SALTE 1948/1950, Plano de Metas 1956/1960, Plano Diretor de Desenvolvimento do Nordeste). Destaque-se que, tanto no primeiro quanto no segundo caso, os planos eram inadequados e insuficientes para as finalidades a que se propunham e no constavam integralmente da Lei Oramentria Anual (LOA). (CORE, 2001, p. 20) As prticas oramentrias no Brasil baseavam-se nas determinaes constantes do Decreto-Lei n 2.416, de 17 de julho de 1940, o qual j adotava a classificao funcional da despesa em ordinrias e extraordinrias, criando um oramento bastante analtico, em que a

18

despesa era exaustivamente discriminada. Esse Decreto-Lei dava ao oramento enfoque basicamente contbil, que priorizava a prestao de contas. (BRASIL, 1940) A aprovao da Lei n 4.320, de 17 de maro de 1964, foi um marco importante para introduo de novas tcnicas s prticas oramentrias brasileiras. A partir da publicao dessa Lei, o processo oramentrio passou a ter caracterstica mais gerencial com menos enfoque no controle. A classificao funcional da despesa foi aperfeioada em relao ao modelo anterior e deu-se maior importncia s informaes econmicas, com a transformao das despesas ordinrias e extraordinrias em despesas correntes e de capital, respectivamente. O oramento tambm se tornou mais sinttico, passando a LOA a discriminar a despesa at elemento de despesa. (CORE, 2001) A Lei n 4.320/1964 estabeleceu normas gerais de direito financeiro para elaborao e controle dos oramentos e balanos da Unio, dispondo, ainda, sobre a padronizao da oramentao nos trs nveis de governo, o que facilitou os procedimentos contbeis, financeiros e oramentrios na administrao pblica. Passou-se a ter a preocupao de que todas as despesas de fato constassem da LOA e as aes foram atreladas a um programa de trabalho contendo funes, projetos e atividades. Priorizou-se a evidenciao da poltica econmico-financeira do governo por meio da estruturao das receitas e despesas, havendo grande preocupao com eficincia e eficcia na execuo dos gastos pblicos. (MAIA, 2010) Apesar de encontrar-se em vigor at hoje, em virtude da ausncia da lei complementar prevista no 9 do art. 165 da Constituio Federal de 1988, que deveria substitu-la, grande parte das disposies da Lei n 4.320/64 no foram implementadas, uma vez que seus mandamentos no foram recepcionados pela Constituio promulgada em 1967, tampouco pelas constituies que a seguiram, devendo-se a sua longevidade mais aos pontos perifricos do que ao ncleo inovador de sua concepo. (CORE, 2001, p. 21) A Lei n 4.320/64 foi contempornea ao nascimento de diversas teorias oramentrias pelo mundo, pelo fato de seu projeto ter tramitado dez anos no Congresso Nacional, incorporando muitas delas, como a teoria do oramento-programa nascida nos Estados Unidos, o que, segundo Core (2001), fez com que alguns estudiosos a reconhecessem como precursora desse tipo de oramento no Brasil. No entanto, o autor discorda desse posicionamento, e defende que a Lei n

19

4.320/64 representou apenas um competente estgio preparatrio para a implementao posterior de um oramento-programa. (CORE, 2001, p. 21) Alguns estados brasileiros, como o Rio Grande do Sul, Guanabara e Minas Gerais, antes mesmo da Lei n 4.320/64, com base em manuais publicados pela Organizao das Naes Unidas (ONU) sobre tcnicas relacionadas administrao, planejamento e oramento (que difundiram o conceito de oramento-programa) reorganizaram suas estruturas oramentrias com o objetivo de elaborar uma lei oramentria em que a despesa pudesse ser evidenciada por programas. (CORE, 2001) No mbito da Unio, a primeira experincia com a oramentao programada ocorreu na LOA para o exerccio de 1967. Nos primeiros anos dessa experincia, Unio, estados e municpios utilizavam classificaes diferenciadas para suas aes, o que dificultava a consolidao dos dados sobre a despesa pblica. Dessa forma, com o intuito de uniformizar os oramentos, foi aprovada a Portaria n 9, de 28 de janeiro de 1974, que promoveu a padronizao das classificaes programticas nas trs esferas de governo e introduziu os conceitos para projetos e atividades. (CORE, 2001) A partir da Portaria n 9/1974, Unio, estados e municpios passaram a ter os mesmos programas, apesar de possurem realidades completamente diferentes. Essa padronizao programtica, no entanto, ocasionou o engessamento das estruturas oramentrias, passando o programa a ser apenas mais uma categoria de classificao da despesa, devido falta de flexibilidade necessria para que ele pudesse atingir seus objetivos. Por conta dessas distores, a Portaria n 9/1974 representou uma tentativa ineficaz de criar condies para que houvesse integrao entre planejamento e oramento, constituindo-se essa questo um problema para o qual ainda se buscava soluo. (CORE, 2001) A Constituio de 1988 inovou em matria oramentria ao criar o plano plurianual (PPA), a lei de diretrizes oramentrias (LDO) e unificar os trs oramentos, fiscal, seguridade social e investimento das estatais, em uma nica lei oramentria anual (LOA). O processo constituinte que resultou na Carta Magna de 1988 ocorreu em um ambiente de forte crise econmica e desequilbrio das finanas pblicas nacionais e sob presso de reivindicaes populares antes reprimidas sofrendo, ainda, as consequncias do autoritarismo e do economicismo que perduraram durante o perodo do regime militar ainda recente. Esses fatos

20

foram determinantes na formulao dos tpicos referentes ao planejamento e oramento constantes da Constituio de 1988. Assim, mesmo com todas as mudanas pelas quais passavam o Brasil, em um perodo de redemocratizao das instituies, e em que se discutiam novas teorias e prticas de planejamento pblico, o planejamento governamental foi concebido sob um enfoque normativo e economicista, como ocorreu nos governos militares . (GARCIA, 2000a, p. 8) Desta forma, ser apresentada, a seguir, breve contextualizao e caracterizao dos Planos Plurianuais vigentes no perodo anterior reforma do modelo de planejamento e oramento de 2000.

O PPA 1991/1995 O primeiro PPA aps a Constituio de 1988, aprovado para vigorar no perodo de 1991 a 1995, representou um retrocesso em termos de planejamento governamental. Esse plano foi formulado sob a teoria economicista de que planejar racionalizar e aperfeioar a aplicao de recursos oramentrios-financeiros, sendo muito semelhante aos Oramentos Plurianuais de Investimentos (OPI) previstos na Lei n 4.320/1964, que se tratavam de estimativas de investimentos para um prazo mnimo de trs anos. Segundo Garcia (2000a, p.11):
O primeiro PPA foi desenhado como um OPI ampliado (em tempo e em tipos de despesa), sem estar suportado por um projeto de governo preciso para o qual fizesse a mediao com os oramentos anuais. Sua elaborao deu-se sob enorme improvisao, pois os responsveis por sua redao trabalhavam sem contato regular com os dirigentes mximos, que, por sua vez, apenas declaravam intenes vagas, anunciavam programas com nomes pomposos e sem substncia. Muitas palavras de ordem, sem indicao de como realiz-las na prtica.

O primeiro PPA foi elaborado apenas em cumprimento determinao constitucional, no representando um plano orientador da ao governamental. Algumas alteraes no plano ainda foram tentadas, mas sem muito sucesso, no sentido de torn-lo mais prximo de um plano orientador das polticas de uma Nao. Deve-se ressaltar que, durante a vigncia desse PPA, houve o impeachment do Presidente da Repblica, o que gerou profundas mudanas polticas e sociais no Brasil. No entanto, no foi possvel atualizar o PPA, para adapt-lo s mudanas na realidade social do pas, durante a sua

21

vigncia, pelo fato de no existir sistema de acompanhamento que pudesse fornecer dados capazes de dimensionar essas mudanas, para que elas fossem traduzidas em planejamento. (GARCIA, 2000a) Nesse perodo, no existiu no governo federal nenhuma estrutura que se aproximasse de um sistema de monitoramento e avaliao. No havia nenhum controle dos resultados da ao governamental.

PPA 1996/1999 O segundo PPA foi denominado Brasil em Ao e, ao contrrio do anterior, foi elaborado no governo de um Presidente com grande experincia poltica e acadmica, no entanto, o Plano ainda possua perfil econmico/fiscalista, em que as aes de planejamento ainda eram tratadas em separado ao oramento. A prioridade desse Plano era criar condies para a consolidao da nova moeda, o Real, lanado no ltimo ano do governo anterior, no qual o Presidente fora Ministro da Fazenda. (GARCIA, 2000a) Durante a vigncia desse Plano, ocorreu a primeira experincia da administrao pblica brasileira em gerenciamento por projetos, o que criou novos conceitos para o planejamento em nvel federal. O gerenciamento por resultados foi intensivo, restringindo-se, no entanto, a 42 empreendimentos do PPA considerados estratgicos para o desenvolvimento sustentvel e concentrando-se em empreendimentos nas reas de infraestrutura econmica e desenvolvimento social. Os critrios para escolha desses empreendimentos foram: reduzir custos e aumentar a competitividade da economia; reduzir disparidades sociais e regionais; viabilizar e atrair investimentos privados e viabilizar parcerias pblico privadas. (MARTINS, 2007, p. 50) Nesse PPA, as aes eram organizadas por projetos, que possuam definio dos objetivos e metas e serem alcanados, alm de programao fsica e financeira e controle de prazos, custos e qualidade. Pela primeira vez, designou-se um gerente responsvel pelo alcance das metas em cada projeto, que tinha como funo viabilizar os meios necessrios para o alcance dos objetivos desejados. (MARTINS, 2007) A lei que aprovou o PPA 1996/1999 estabeleceu que o Poder Executivo enviaria ao Congresso Nacional, at vinte dias aps o encerramento de cada exerccio, relatrio de execuo

22

dos projetos do PPA. A legislao tambm criou o Sistema de Informaes Gerenciais do Programa Brasil em Ao, o Siapra, com a finalidade de monitorar as aes do Plano, bem como interligar, em tempo real, os dirigentes, gerentes e parceiros envolvidos na sua execuo. Segundo Martins (2007), este sistema foi uma verso inicial do Sigplan. (MARTINS, 2007) Cabe ressaltar que durante a vigncia desse PPA foi promulgado o Decreto n 2.829/1998, que foi a base legal para a reforma do planejamento e oramento ocorrida em 2000. Dessa forma, pode-se inferir que o PPA 1996/1999 representou significativo avano em relao ao Plano anterior, no entanto, ele ainda possua caractersticas de um OPI um pouco mais abrangente e ainda carecia de aperfeioamento no sentido de tornar-se um planejamento para uma administrao voltada para resultados.

2.2 A reforma de planejamento e oramento de 2000

Apesar de os dois primeiros PPA`s terem sido elaborados sem que houvesse uma teoria, ou metodologia, que pudesse embas-los, no existindo definio do que seria um plano plurianual, tampouco do que seria planejamento de mdio prazo, a experincia iniciada no PPA 1996/1999, fez com que as equipes envolvidas nesse Plano vivenciassem o gerenciamento intensivo de projetos e utilizassem a experincia adquirida como insumo para o delineamento dos encaminhamentos metodolgicos adotados para o PPA 2000/2003. (GARCIA, 2000a; MARTIS, 2007) A base para o planejamento em nvel federal encontra-se no 9 do art. 165 da Constituio de 1988, que determina que lei complementar de iniciativa do Poder Executivo deve estabelecer, entre outras coisas, normas relativas vigncia, aos prazos, elaborao, e organizao do plano plurianual, da lei de diretrizes oramentrias e da lei oramentria anual. No entanto, apenas em outubro de 1997, o Poder Executivo tomou sua primeira iniciativa no sentido de criar normas relativas ao planejamento em nvel federal, por meio da emisso da Portaria Interministerial n 270, que criou Grupo de Trabalho Interministerial (GTI) composto por representantes dos principais rgos do governo federal responsveis pelo planejamento, oramento, controle, contabilidade e estatstica, alm de representantes da sociedade civil. (GARCIA, 2000a)

23

O GTI tinha como misso elaborar, em sessenta dias, o projeto de lei complementar previsto no 9 do art. 165 da Constituio Federal de 1988. Seus trabalhos foram concludos em dezembro de 1997 sem que o projeto de lei complementar fosse elaborado. No entanto, as concluses do GTI buscaram integrar o planejamento e o oramento por meio do aperfeioamento das definies e conceitos das principais categorias programticas dos trs instrumentos oramentrios: PPA, LDO e LOA. (GARCIA, 2000a) As discusses do GTI resultaram em concluses que influenciaram fortemente a concepo da reforma dos processos de planejamento e oramento da administrao pblica federal, resultando, inclusive, na edio do Decreto n 2.829/98 e da Portaria n 42/99, cujos contedos alteraram profundamente o modelo de planejamento brasileiro a partir de 2000, revogando a Portaria n 9/1974, que tratava da antiga classificao funcional-programtica. (CORE, 2001) Segundo Garcia (2000a, p. 20), as propostas do GTI consideravam o planejamento um processo permanente, norteado por princpios tcnicos que visavam o desenvolvimento econmico e social e a melhoria das condies de vida da populao. As principais contribuies do GTI para construo do novo processo de planejamento e oramento foram as seguintes:
- o programa passou a ser a unidade bsica da organizao do PPA e o mdulo de integrao do plano com o oramento; - foram excludas as categorias subprograma, subprojeto e subatividade; - a consolidao da classificao funcional-programtica pelas trs esferas do governo passou a ocorrer exclusivamente por nvel de funo e subfuno, consideradas como categoria para a anlise de polticas; - a classificao funcional-programtica, a partir de programas, passou a ser definida em cada esfera de governo quando da elaborao do respectivo plano plurianual, considerada como categoria de natureza gerencial, isto , instrumento de acompanhamento e avaliao da ao de governo; - os programas passaram a ser referidos, sempre, soluo de problemas precisamente identificados, com seus produtos finais necessrios estabelecidos, com quantificao de metas e custos. Passaram a ter a execuo acompanhada e os resultados avaliados mediante indicadores especificamente construdos; - os programas passaram a ser integrados por aes. Os programas oramentrios foram desdobrados em projetos e atividades e a cada um deles corresponderia um produto, com sua respectiva meta;

24

- a criao de Operaes Especiais, que no contribuiriam para manuteno, expanso ou aperfeioamento das aes de governo e das quais no resultaria um produto (transferncias, servio da dvida, etc). (GARCIA, 2000a, p. 19)

As mudanas propostas pelo GTI foram formalizadas por meio da edio, pelo Presidente da Repblica, do Decreto n 2.829, de 28 de outubro de 1998, que estabeleceu as normas para elaborao e gesto do plano plurianual e dos oramentos da Unio, e por meio da publicao, pelo Ministrio do Planejamento e Oramento, da Portaria n 117, de 12 de novembro de 1998, que definiu os instrumentos necessrios para operacionalizao das normas do Decreto. A Portaria n 117/1998 foi substituda pela Portaria n 42, de 14 de abril de 1999, do Ministrio do Oramento e Gesto, que manteve o contedo bsico da primeira portaria, tendo alterado apenas detalhes relacionados classificao funcional, tornando mais claro o conceito de matricialidade, que significa a possibilidade de subfunes serem combinadas com funes diferentes daquelas a que estejam vinculadas; recodificando o rol de funes e estabelecendo prazo diferenciado para que a nova classificao funcional entrasse em vigor nos municpios. A Portaria n 42/1999 tambm conceitua funo, programa, projeto, atividade e operaes especiais, de forma a uniformizar o entendimento desses conceitos em toda a administrao publica, incluindo estados e municpios. (BRASIL, 1999a; BRASIL, 1999b) Uma das grandes novidades do novo modelo, em relao ao processo oramentrio anterior, foi a vinculao de toda ao governamental a um produto, bem ou servio, como resultado dessa ao. Dessa forma, a Portaria n 42/1999 vinculou tambm as atividades oferta de um produto para a sociedade, o que antes era previsto apenas para os projetos. Tanto projeto quanto atividade passaram a ser conceituados como um conjunto de operaes que concorrem para a expanso e o aperfeioamento da ao do governo, sendo que no caso das atividades, o produto seria necessrio manuteno da ao do governo. (BRASIL, 1999a, p.12) As modificaes propostas pelo Decreto e pela Portaria representaram o esforo de modernizao dos modelos de planejamento e oramento, que tinham como base dois pressupostos: a cobrana de resultados e a realidade problematizada. Entendia-se como cobrana de resultados a avaliao junto sociedade das aes desenvolvidas pelos governos (Unio, Estados e Municpios), aferidas em termos de benefcios efetivamente oferecidos ao cidado e como realidade problematiza a traduo do esforo de modernizao do planejamento, fazendo com que o mesmo passe a ser centrado em problemas, que antes eram elementos constitutivos

25

do diagnstico do planejamento tradicional, e agora assumem a condio de estruturadores do prprio plano. (BRASIL, 1999b, p. 11) Com base nesses dois pressupostos, o MTO (1999), que continha os conceitos e regras oramentrios para o exerccio de 2000, estabeleceu em sua introduo que a nova concepo de planejamento e oramento deveria contemplar as seguintes caractersticas:
a) Viso estratgica, com estabelecimento de objetivos;

b) Identificao dos problemas a enfrentar ou oportunidades a aproveitar, objetivando tornar realidade essa viso estratgica; c) Concepo dos programas que devero ser implementados, com vistas ao atingimento dos objetivos que implicaro na soluo dos problemas ou aproveitamento das oportunidades; d) Especificao das diferentes aes do programa, com identificao dos respectivos produtos, que daro origem, quando couber, aos projetos e atividades; e) Atribuio de indicadores aos objetivos, e aos produtos, metas. (BRASIL, 1999b, p. 12)

Durante a reforma, buscou-se a integrao entre as equipes das reas de planejamento e de oramento do governo, para que as decises pudessem ser tomadas em conjunto. Tentou-se dar mais convergncia s estruturas do plano plurianual e do oramento anual, com o objetivo de acabar com o problema de integrao entre plano e oramento existente no modelo anterior, que acabava fazendo com que as categorias oramentrias fossem utilizadas no plano plurianual, retirando sua caracterstica de instrumento de planejamento. Dentro dessa nova perspectiva, buscou-se transformar o programa em mdulo integrador entre planejamento e oramento, ou seja, o programa passou a ser o trmino do plano e o incio do oramento. No cabia mais falar em classificao funcional-programtica, como na estrutura anterior. A partir da reforma de 2000, passou-se a ter uma classificao funcional estruturada por programas. (BRASIL, 1999b) Dessa forma, a classificao funcional passou a ser obrigatria para todos os entes da federao e a antiga classificao programtica foi substituda por uma estrutura programtica, em que cada ente da federao possua seus prprios programas, voltados resoluo de seus problemas locais, resolvendo a questo existente na vigncia da Portaria 9/1974, em que todos os entes da federao eram obrigados a utilizar os mesmos programas, o que acabava engessando toda a estrutura de planejamento. As categorias subprograma, subprojeto e subatividade, que existiam na estrutura anterior, tambm passaram a no mais existir. (GARCIA, 2000a)

26

Outro grande benefcio que se esperava obter com o novo processo de planejamento e oramento era a possibilidade de responsabilizao dos gestores, o que possibilitaria o aumento da transparncia, j que, segundo a nova concepo, cada programa deveria ter um gerente, que seria o responsvel pelos gastos e por todos os resultados a ele relacionados, como indicadores e metas relacionadas s aes. Modelo adotado para os projetos do PPA 1996/1999. (GARCIA, 2000a) Juntamente com a Portaria n 117/1998, substituda pela Portaria n 42/1999, foi editada a Portaria n 51, de 16 de novembro de 1998, que instituiu o recadastramento dos projetos e atividades constantes do Oramento da Unio. O texto introdutrio do MTO (1999) traz a seguinte mensagem:
importante ressaltar o enorme significado para o bom xito dessas reformas representado pelo recadastramento das atividades e projetos oramentrios, institudo pela Portaria n 51/1998. Com esse trabalho que se tornar possvel uma melhor identificao dos verdadeiros produtos do ciclo oramentrio, mediante uma triagem no diversificado universo de aes que integram os oramentos. (BRASIL, 1999b, p. 14)

A determinao contida na Portaria n 51/1998 significa que, apesar de todas as alteraes empreendidas no processo de oramentao e planejamento implementado a partir de 2000, as antigas aes, projeto e atividades, foram mantidas. O que se fez foi recolocar, adequar, essas aes dentro dos novos programas criados sob a nova perspectiva que sustentava o processo naquele momento, ressalte-se que as aes haviam sido criadas sob a luz do antigo sistema. Os rgos reuniram aes que aparentemente possuam similaridade entre si em programas, sem que houvesse anlise sobre a pertinncia dessa unio. (GARCIA, 2000a; BRASIL, 1999b) Segundo Garcia (2000a), as aes existentes tinham sido criadas sob uma perspectiva muito diferente da que estava sendo proposta naquele momento, no tendo sido desenhadas nem sob o conceito de programas, nem para atacar problemas definidos, o que poderia contaminar toda proposta de implantao das inovaes metodolgicas e organizacionais pretendidas. Ainda segundo Garcia (2000a), o momento de reestruturao pelo qual passavam os processos de planejamento e oramentao exigia que fossem criadas novas aes, pensadas sob os novos conceitos, sem terem em sua concepo os problemas do passado, sendo ideal que o recadastramento de projetos e atividades nunca houvesse acontecido.

27

Apesar da existncia de alguns problemas, j citados, as alteraes ocorridas a partir de 2000 significaram avano nos processos de planejamento e oramento rumo adoo de uma tica mais gerencial na administrao pblica. Havia expectativa quanto melhoria dos sistemas de responsabilizao, o que favoreceria a cobrana de resultados, medidos em termos de benefcios proporcionados sociedade.

2.2.1 Os Planos Plurianuais do perodo de 2000 a 2011

No est no escopo deste trabalho realizar analise aprofundada dos PPA`s do perodo 2000/2011, o que se busca aqui apenas levantar os principais pontos de cada um dos trs planos. Cabe ressaltar que os Planos foram elaborados sob uma mesma lgica de concepo e que, por este motivo, apresentam estruturas semelhantes, apesar de terem sido elaborados durante dois governos distintos, que naturalmente estabeleceram prioridades diferentes para as polticas pblicas. Nesse perodo, os Planos Plurianuais eram bastante detalhados e possuam um carter mandatrio, no sentido de que todas as despesas, antes de serem includas na LOA, deveriam constar do Plano. O detalhamento do Plano chegava ao nvel de ao, o que o deixava com caractersticas muito prximas s de um oramento plurianual. Por outro lado, era obrigatrio que houvesse definio clara das metas fsicas e financeiras a serem alcanadas por cada ao oramentria, bem como a definio de indicadores para os programas. Deve-se destacar que, durante a implementao dos PPA`s desse perodo, verificou-se que as metas fsicas e financeiras e os indicadores definidos no eram, em grande parte, apropriados para fornecer dados capazes de demonstrar a real situao das aes e programas aos quais se referiam, por serem em sua maioria irreais e no representarem a capacidade dos rgos ou, simplesmente, porque no mediam nada. (SHEPHERD, 2005)

O PPA 2000/2003 O PPA para o perodo de 2000 a 2003, denominado Avana Brasil, foi elaborado em clima de grande expectativa em relao ao novo modelo de planejamento e oramento que estava sendo implantado naquele momento. No entanto, a adoo desse novo paradigma foi permeada

28

por problemas relacionados apropriao dos novos conceitos e tcnicas por parte dos responsveis pela elaborao dos programas que comporiam o novo Plano. Havia a proposta de mudana na concepo de planejamento e oramento na administrao pblica, a relao entre PPA e LOA foi alterada de forma a romper toda a experincia acumulada nas prticas anteriores, buscava-se um modelo de administrao gerencial voltado para resultados. O programa deixou de ser apenas mais uma classificao da despesa para torna-se o instrumento a ser utilizado pelo governo para resoluo de problemas, por meio do alcance das metas estipuladas para as aes. O grande desafio para elaborao do PPA 2000/2003 foi capacitar os responsveis para que pudessem analisar os problemas complexos existentes na sociedade, de forma a reconheclos, delimit-los, descrev-los e analis-los, para que pudessem ser criadas aes para combatlos. (GARCIA, 2000a) Para mobilizar e capacitar os responsveis pela elaborao do PPA, foram realizadas reunies de sensibilizao dos gestores do nvel estratgico do governo, com o objetivo de aumentar o comprometimento dos dirigentes dos ministrios e entidades vinculadas. Para o treinamento dos tcnicos responsveis pela elaborao dos programas, foi realizada a preparao de dez tcnicos da Secretaria de Planejamento e Avaliao e da Escola Nacional de Administrao Pblica (ENAP), para atuarem como multiplicadores. Os multiplicadores treinaram 529 tcnicos em apenas uma semana. As atividades de capacitao mostraram-se inapropriadas no sentido de capacitar os tcnicos em metodologia e prtica para elaborao de programas para um PPA que pretendia ser inovador e que se mostrava bastante complexo em seus conceitos e objetivos. O resultado do pouco treinamento oferecido foram as grandes dificuldades enfrentadas pelos que se dedicaram elaborao dos programas. A principal dificuldade ocorreu na identificao dos problemas, que no possuam sequer uma definio. Posteriormente, devia-se identificar as causas desses problemas, para que elas pudessem ser atacadas por meio das aes dos programas, o que foi feito, pela maioria dos rgos setoriais, de forma vaga e imprecisa, no refletindo a realidade dos rgos. Em relao s metas para as aes, essas foram definidas de forma irreal e sem critrio rigoroso, havia metas muito superiores capacidade e dotaes dos

29

rgos, e, por outro lado, outras muito baixas, no representando seu alcance nenhum desafio para os rgos responsveis. (GARCIA, 2000a) Outro grande desafio foi a indicao e preparao dos gerentes de programas, que, segundo a nova metodologia, seriam responsveis pelos gastos e por todos os resultados relacionados aos programas, como indicadores e metas relacionadas s aes. O primeiro passo para a indicao dos gerentes de programas foi a definio, pelo Presidente da Repblica, do perfil desejado. Segundo o perfil traado pelo Presidente da Repblica, os gerentes de programas deveriam ser pessoas qualificadas, com slida ex perincia profissional, grande conhecimento tcnico e gerencial, capacidade de negociao e de motivao e esprito de liderana. Com base nesse perfil, foram escolhidos os 365 gerentes de programas, um para cada programa, os quais foram treinados em oficinas de apenas dois dias. (BRASIL, 1999c, p. 23). Em atendimento a disposio contida no Decreto n 2.829/1998 e na lei que instituiu o PPA, Lei n 9.989/2000, foi criado o Sistema de Informaes Gerenciais do Plano Plurianual (Sigplan), para ser o elo entre os gerentes e os demais agentes envolvidos na implantao dos programas. O Sigplan deveria ser o instrumento responsvel pela organizao e integrao da rede de gerenciamento do PPA, tendo sido concebido para apoiar a execuo dos programas. A inteno era que o Sigplan se tornasse uma ferramenta gerencial de grande utilidade, proporcionando o uso compartilhado de informaes e a transparncia para a sociedade, o que uma caracterstica do modelo de gerenciamento orientado para resultados. No entanto, conforme ser tratado adiante neste trabalho, o Sigplan no cumpriu o seu papel, tendo funcionado, no mximo, como uma ferramenta de obteno de dados para o Ministrio do Planejamento e para os rgos de controle. (BRASIL, 1999c, p. 3) A lei que instituiu o PPA disps que o Poder Executivo deveria encaminhar anualmente ao Congresso Nacional relatrio de avaliao do Plano. Essa avaliao deveria ser realizada conjuntamente pelos gerentes de programas, gestores setoriais e pelo Ministrio do Planejamento, sendo que deveriam ser avaliados os resultados, a concepo e a implementao dos programas. Permitir que toda a ao do governo pudesse ser avaliada sob um enfoque gerencial foi uma grande novidade em relao aos modelos anteriores de planejamento e oramento. (BRASIL, 1999c)

30

O PPA 2004/2007 O PPA para o perodo 2004 a 2007, denominado Plano Brasil Participao e Incluso, foi elaborado aps a sada de um governo que havia permanecido no poder por oitos anos. Com a finalidade de manter o modelo de integrao planejamento-oramento que vinha sendo implantado desde 2000, o governo que estava no poder comeou, a partir de 2002, com a edio do Decreto n 4.298, a estabelecer um processo de transio governamental, que permitisse que o candidato que viesse a ser eleito dispusesse de todas as informaes necessrias para construo de seu programa de governo. (BRASIL, 1999c) O PPA 2004/2007 manteve a mesma estrutura metodolgica do plano anterior, classificao funcional da despesa estruturada por programas, tendo sido realizado inventrio dos programas com a finalidade de verificar a possibilidade de sua manuteno ou excluso e de insero de novos programas, bem como para verificar a pertinncia das aes que compunham os programas, como vinha sendo feito em todos os anos no PPA anterior. (BRASIL, 2003b) A novidade desse Plano foi a participao da sociedade civil organizada nas discusses sobre as diretrizes e prioridades do PPA. Foram realizados vinte e sete fruns, um em cada unidade da federao, com a finalidade de ouvir a sociedade organizada sobre quais deveriam ser os novos rumos do Plano que estava sendo elaborado. (BRASIL, 2003a)

O PPA 2008/2011 O PPA 2008/2011, denominado Desenvolvimento com Incluso Social e Educao de Qualidade, organizou as aes do governo em trs eixos: crescimento econmico, agenda social e educao de qualidade. Uma novidade do PPA 2008/2011 foi a incluso na estrutura do Plano de orientaes estratgicas relacionadas ao Programa de Acelerao do Crescimento (PAC), criado pelo governo federal em 2007 e ao Plano de Desenvolvimento da Educao (PDE). A gesto do PPA foi composta pelas etapas de elaborao, implementao, monitoramento, avaliao e reviso dos programas, e tinha por objetivo viabilizar os compromissos assumidos com a sociedade, por meio de uma ao decididamente voltada para resultados. Os responsveis pela implementao, monitoramento e avaliao dos programas

31

continuavam a ser os gerentes de programa e os coordenadores de ao, como nos PPAs anteriores. Nesse Plano, tambm verificou-se a necessidade de considerar a possibilidade de que eventos imprevistos pudessem interferir na gesto das polticas pblicas, passando, dessa forma, a gesto de riscos a ser elemento importante da gesto do PPA. (BRASIL, 2007, p. 42) Uma grande inovao, no que se refere reviso dos programas finalsticos, foi a utilizao da metodologia de Modelo Lgico como instrumento para avaliar o desenho do Programa e ajust-lo, no que fosse necessrio, durante a execuo, para uma melhor gesto por resultados. (BRASIL, 2007, p. 43) O Modelo Lgico consiste em um roteiro desenvolvido por tcnicos do Instituto de Pesquisa Econmica Aplicada (IPEA), que tem como referncia a abordagem de avaliao orientada pela teoria do programa. Nesse tipo de abordagem, destaca-se a importncia de avaliar os programas partindo-se da anlise de sua teoria, com a finalidade de identificar e entender o que se espera alcanar. Para tanto, realizada a descrio das ideias, hipteses e expectativas que constituem a estrutura do programa e o seu funcionamento esperado, o que proporciona conhecimento aprofundado de sua natureza, extenso e funcionamento. (BRASIL, 2007) Com a utilizao da ferramenta do Modelo Lgico, esperava-se minimizar os reflexos negativos da predominncia de uma postura incrementalista na estruturao da maioria dos programas, em que pouco se sabia de sua origem e de seu desenvolvimento at o estgio em que se encontravam, o que tornava extremamente difcil qualquer iniciativa de monitoramento e avaliao. Cabe ressaltar, no entanto, que a aplicao do modelo lgico no abrangeu todos os programas constantes do Plano. Feitas essas consideraes sobre os Planos Plurianuais vigentes no perodo ps reforma oramentria de 2000, apresenta-se a seguir o modelo de monitoramento e avaliao do PPA adotado no governo federal.

2.2.2 O Modelo de Monitoramento e Avaliao no Brasil

Segundo Kusek e Rist (2004) o advento da globalizao aumentou as presses sobre os governos e organizaes em todo o mundo para que se tornassem mais sensveis s demandas

32

internas e externas por uma boa governana, por responsabilizao e transparncia, alm de exigir maior eficcia na entrega de produtos sociedade. Com o aumento da cobrana por maior responsabilizao e por resultados, criou-se no governo a necessidade de monitorar os resultados de suas atividades, com o objetivo de melhorar a accountability e a transparncia de sua atuao, alm de disponibilizar os resultados aos grupos de interessados, formado pelo prprio governo, pelo Congresso, pelos cidados, pelo setor privado, pelas organizaes no governamentais, pela sociedade civil organizada, por organizaes internacionais, entre outros. (KUSEK e RIST, 2004) Nos ltimos anos, as prticas de monitoramento e avaliao evoluram, as abordagens tradicionais foram substitudas por abordagens baseadas em resultados. Dentro desse contexto, o monitoramento e a avaliao tornaram-se poderosas ferramentas de gesto pblica a serem utilizadas na melhoria do desempenho das organizaes para o alcance de resultados. (KUSEK e RIST, 2004) At a dcada de noventa, as funes de monitoramento e avaliao permaneceram esquecidas no Brasil, em virtude principalmente das altas taxas de inflao que dominaram o pas nesse perodo e que impediam qualquer tipo de planejamento que permitisse o controle de resultados pela administrao pblica. As negociaes da dvida externa, os mal sucedidos planos econmicos, que tentavam sem sucesso retomar o crescimento econmico, e a crena de que planejamento de mdio e longo prazo no Brasil era invivel, tambm faziam com que as atividades de monitoramento e avaliao no fossem consideradas na agenda governamental. (CALMON e GUSSO, 2002) A partir de meados da dcada de noventa, com o sucesso do Plano Real, de 1994, passouse a reconhecer a necessidade de o governo dispor de processos de monitoramento e avaliao que lhe permitisse controlar e articular suas aes e ganhar legitimidade por meio de eficaz comunicao de seus xitos sociedade. (CALMON e GUSSO, 2002, p. 7) Com a publicao do Plano da Reforma do Aparelho do Estado em 1995, foram criadas as bases para que se implantasse no Brasil uma administrao pblica voltada para resultados. O Plano da Reforma do Aparelho do Estado trouxe os conceitos de administrao gerencial como sendo uma administrao eficiente, voltada para o controle dos resultados e descentralizada, de forma a permitir o atendimento das necessidades dos cidados. Nesse perodo, teve incio no

33

Brasil um processo de fortalecimento da ao governamental de forma descentralizada, por meio da criao das agncias executivas, agncias reguladoras e organizaes sociais, o que legitimou e deixou clara a necessidade de se estabelecer um sistema de monitoramento e avaliao na administrao pblica federal. (BRASIL, 1995) A implementao de um novo modelo de planejamento e oramento a partir de 2000 e a aprovao do primeiro PPA sob essa nova metodologia, organizou toda a ao governamental em programas, formados por um conjunto de aes voltadas para a soluo de problemas ou demandas especficos e previamente definidos. Os programas, por sua vez, eram formados por atributos como objetivos, pblico-alvo, metas e indicadores e possuam, cada um, um gerente responsvel por sua implementao. Segundo Calmon e Gusso (2002), toda essa sistemtica foi implantada sob o enfoque de uma administrao voltada para resultados, com o objetivo de aumentar a transparncia da ao governamental, por meio da prestao de contas sociedade do desempenho dos programas, para auxiliar a tomada de deciso, aprimorar a gesto e promover o aprendizado, criando um ambiente propcio ao desenvolvimento e implantao de sistemas de monitoramento e avaliao. A anlise das prticas de monitoramento e avaliao pela administrao pblica federal brasileira no perodo de 2000 a 2011 fundamental para as concluses desta pesquisa, no entanto, antes de discutir como foi tratada a questo do monitoramento e da avaliao no perodo ps reforma de 2000, necessrio definir claramente o que avaliao e monitoramento e como se caracteriza um sistema de monitoramento e avaliao segundo a teoria dominante.

Monitoramento e Avaliao Com a estabilizao das instituies polticas e administrativas em diversos pases e o avano do estado do bem-estar social, na dcada de 60, os estados sentiram necessidade de modernizar suas estruturas e aumentar sua capacidade de atendimento s demandas da populao. Os responsveis pela formulao das polticas pblicas perceberam que tanto o planejamento quanto a avaliao poderiam auxili-los nesse novo contexto que surgia, visto que, segundo Weiss (1998, apud SERPA e CALMON, 2012, p. 2), a pesquisa avaliativa era vista como um caminho para se aumentar a racionalidade do processo de formulao de polticas, possibilitanto melhores decises sobre o planejamento de programas e a alocao oramentria. Essas

34

premissas foram a base da primeira onda de avaliao como a conhecemos nos dias atuais. (WOLLMANN, 2003, apud SERPA e CALMON, 2012, p. 3) Com a piora em todo o mundo da crise econmica e fiscal nas dcadas de 70 e 80, a avaliao passou a ser utilizada como um meio para auxiliar os governos a cortar gastos no setor pblico e maximizar a eficincia. Esta fase ficou conhecida como a segunda onda de avaliao, perodo em que surgiram diversos mecanismos que auxiliaram no processo de avaliao, como monitoramentos, acompanhamentos, auditorias de desempenho, garantia de qualidade, indicadores de desempenho, padres de servio, entre outros. (SANDAHL, 2004, apud SERPA e CALMON, 2012, p. 3) A terceira onda de avaliao teve incio no final da dcada de 80 e foi impulsionada pela crise fiscal e pelo movimento da Nova Gesto Pblica dos anos 90. Nessa fase, a avaliao passou a ser utilizada como instrumento impulsionador da administrao pblica orientada para resultados, sendo as informaes produzidas pelas avaliaes utilizadas para retroalimentar o processo oramentrio, na busca pela melhoria da eficincia e da accountability nos gastos pblicos. (WOLLMANN, 2003; FURUBO e SANDAHL, 2002, apud SERPA e CALMON, 2012, p. 3) A definio da Organizao para a Cooperao e Desenvolvimento Econmico (OCDE) para avaliao governamental a seguinte:
Uma investigao sistemtica e objetiva de um projeto ou programa em andamento ou concludo, seu desenho, implementao e resultados, com o objetivo de determinar a eficincia, efetividade, impacto, sustentabilidade e relevncia de seus objetivos. O propsito da avaliao guiar os tomadores de deciso. (OCDE, 2000, apud ATAIDE, 2005, p. 35)

Para Calmon e Gusso (2002, p. 14) a avaliao de programas governamentais pode ser entendida como o ato de atribuir valor ou mrito a determinado programa ou ao com base em critrios prvia e consensualmente definidos. Rossi et al (1999, apud Ataide, 2005) conceitua a avaliao de programas como um processo gerador de aprendizagem que, por meio do uso de procedimentos sistemticos de pesquisa, verifica os resultados e a efetividade dos programas na soluo do problema que

35

justificou sua criao. Ataide (2005) cita ainda a definio sinttica para avaliao dada por Garcia (2001, p. 25) de que avaliao um juzo de valor sobre alguma coisa ou fato. Segundo Weiss (1998, apud Serpa, 2012) o termo avaliao pode possuir muitas definies, no entanto, todas elas possuem como ponto comum a noo de julgamento de mrito, baseado em critrios, segundo um mtodo especfico. Os trs elementos - mtodo, critrio e julgamento - devem ser somados ao contexto organizacional e poltico em que se promove a avaliao e aos valores e expectativas dos atores envolvidos. Dessa forma, segundo Serpa (2012, p. 4), a abordagem e o escopo da avaliao dependem, precipuamente, das necessidades daqueles que demandam o estudo, da natureza do programa a ser avaliado e, no menos importante, do contexto poltico e organizacional no qual a avaliao ser conduzida. Capitani (1993, p. 6, apud Garcia, 2000b, p. 21) acrescenta que a avaliao, como instrumento de gesto do setor pblico, s ser interessante se contribuir para os processos reais de tomada de deciso, produzindo conhecimentos novos, que possam ser inseridos no contexto de tomada de deciso sobre as polticas pblicas pelos rgos, os quais sofrem com informaes incompletas ou inexistentes. Por meio da anlise dos diversos conceitos apresentados para avaliao, pode-se inferir que a avaliao no deve constituir um fim em si mesma. As avaliaes devem ser sustentadas por critrios que justifiquem sua realizao. Em primeiro lugar, a avaliao deve ser demandada, no se pode falar em avaliar algo se no houver interesse para que isso ocorra. Para tanto, a avaliao deve fornecer informaes que sejam teis para, de alguma forma, promover modificaes sobre a realidade avaliada. Segundo Alkin e Christie (2004, apud Serpa e Calmon, 2012), a avaliao deve ser construda de forma que seus resultados no influenciem apenas a tomada de deciso, eles devem tambm impactar diretamente as mudanas que ocorrem dentro das organizaes. Do exposto, infere-se, ainda, que o processo de avaliao tambm deve levar em considerao o pblico para o qual se destina, no sendo possvel avaliar polticas e/ou programas com concepes, problemas, pblicos e propostas diferentes de uma mesma forma. Segundo Kusek e Rist (2004), diferentes tipos de avaliao so apropriados para responder a diferentes tipos de perguntas.

36

Segundo Serpa (2012), a avaliao, para alcanar seus propsitos, deve observar princpios e procedimentos metodolgicos, cuja funo orientar o avaliador, para assegurar que os resultados de seu trabalho de avaliao possuam credibilidade e validade. O que, segundo os autores, denomina-se abordagem avaliativa. Serpa (2012) depreende, por meio da anlise das diferentes abordagens avaliativas propostas por Patton (2008), Chen (2005) e Stufflebem (2001), que os propsitos da avaliao so: o aperfeioamento de programas e organizaes, o julgamento de valor ou mrito, a promoo da accountability e o desenvolvimento do conhecimento. Leeuw e Furubo (2008) observam que a prtica da avaliao tem sido disseminada de forma acelerada no mundo, o que permite o desenvolvimento de sistemas de avaliao. No entanto, os autores defendem que, para que um conjunto de avaliaes seja caracterizado como um sistema de avaliao necessrio que quatro critrios sejam atendidos: a existncia de uma perspectiva epistemolgica distinta, o que significa que as atividades de avaliao devem ser reconhecidas como tal, sendo diferenciadas de outras atividades e devendo haver consenso entre os atores envolvidos sobre o que esto fazendo e por que esto fazendo; responsabilidade organizacional, entendida como a realizao das atividades de avaliao por meio de organizaes e instituies e no apenas por avaliadores contratados de forma autnoma; permanncia, o que significa dizer que as atividades de um sistema de avaliao devem ser permanentes e contnuas, e, por fim, deve haver planejamento sobre a utilizao futura dos resultados das avaliaes. Furubo, Rist e Sandahal (2002, p. 7) entendem os sistemas de avaliao como um indicador de uma cultura de avaliao madura, onde as avaliaes so designadas e conduzidas de forma ad hoc, por meio de arranjos permanentes, que objetivam garantir, com antecedncia, que as informaes da avaliao sero disponibilizadas. Os autores defendem ainda que os sistemas de avaliao so caracterizados por sua capacidade organizacional, sustentabilidade, recursos, poder e interaes com os clientes. Leeuw e Furubo (2008) identificam os seguintes tipos de sistemas de avaliao: sistemas de monitoramento e avaliao (M&A), sistemas de monitoramento e desempenho, sistemas de auditoria de desempenho, fiscalizao e acompanhamento, sistemas de avaliao quaseexperimental e evidence-based policy, e sistemas de avaliao de certificao (accreditation).

37

A Figura 1, extrada de Serpa e Calmon (2012, p. 6), descreve os propsitos de cada um dos cinco tipos de sistemas de avaliao propostos por Leeuw e Furubo (2008):

FIGURA 1 RELAO ENTRE OS PROPOSITOS E OS TIPOS DE SISTEMAS DE AVALIAO FONTE: SERPA e CALMON (2012, p. 6) Os sistemas de monitoramento de desempenho permitem que as organizaes verifiquem em que medida os resultados acordados foram realizados. A disponibilizao de dados sobre o desempenho permite que polticos parlamentares, gerentes e demais lderes os utilizem em suas decises. J os sistemas de monitoramento e avaliao (M&A) so focados em questes como eficincia, economia, impactos e efeitos das polticas pblicas. (LEEUW e FURUBO, 2008) Nos sistemas de auditoria de desempenho, fiscalizao e acompanhamento o foco est na gesto e no gerenciamento de informaes, no sendo a poltica pblica em si o objeto desse tipo de avaliao, mas a maneira como ela est sendo conduzida. (LEEUW e FURUBO, 2008) Os sistemas de avaliao quase-experimental baseiam-se em evidncias obtidas por meio de experimentos que produzem provas sobre a relao de causalidade dentro de determinada poltica. (LEEUW e FURUBO, 2008) Os sistemas de avaliao e certificao baseiam-se na reviso por pares e nas atividades de visitao e anlise de documentos. Em muitos casos, essas avaliaes iniciam-se por meio da auto-avaliao com a posterior reavaliao por pares. (LEEUW e FURUBO, 2008)

38

No Brasil, segundo a Lei n 10.933/2004 e o Decreto n 5.233/2004, o sistema de avaliao construdo para acompanhamento do desempenho dos programas do PPA do tipo monitoramento e avaliao (M&A). Segundo Kusek e Rist (2004), os M&A tm como objetivo favorecer o aperfeioamento dos programas, alm de proporcionar o aprendizado organizacional por meio do acompanhamento do progresso no desempenho e na demonstrao do impacto de projetos, programas e polticas. Nesse contexto, Kusek e Rist (2004) definem avaliao como o estudo sistemtico e objetivo da concepo, implementao e dos resultados de um projeto, programa ou poltica, com a finalidade de determinar sua relevncia, eficincia, eficcia, impacto e sustentabilidade. Os autores definem o monitoramento como um processo contnuo, que utiliza dados sobre indicadores especficos, para fornecer aos interessados informaes sobre o desenvolvimento e o progresso no alcance dos objetivos a serem alcanados com a alocao de determinados recursos. Ainda segundo Kusek e Rist (2004) o sistema de monitoramento fornece informaes sobre a direo, o ritmo e a magnitude das mudanas em projetos, programas e polticas, de modo que se possa saber se esto caminhando na direo prevista, alm de identificar mudanas inesperadas que por ventura possam acontecer. Para os autores, no contexto dos sistemas de M&A, monitoramento e avaliao possuem definies distintas, porm complementares. O monitoramento fornece informaes sobre o andamento de uma poltica, programa ou projeto em determinado momento e em relao s metas e resultados previstos, sendo, dessa forma, descritivo. Por meio da avaliao procura-se provar se os resultados esto ou no sendo alcanados. Kusek e Rist (2004) defendem a existncia de trs pontos de interseo entre monitoramento e avaliao. Primeiro, as atividades podem ser sequencialmente complementares, visto que as informaes geradas por meio do monitoramento podem gerar questes a serem respondidas pela avaliao, ou o inverso, as informaes resultantes de uma avaliao podem originar novas reas de monitoramento. Segundo, as atividades possuem informaes complementares, j que tanto o monitoramento quanto a avaliao podem usar os mesmos dados, mas responderem a perguntas diferentes. Terceiro, as atividades possuem interao, visto que monitoramento e avaliao podem ser utilizados conjuntamente.

39

Por fim, Kusek e Rist (2004) defendem que um sistema de monitoramento e avaliao caracteriza-se pela sua unidade, bem como pela validade e confiabilidade das informaes que produz, devendo proporcionar informaes teis, que possibilitem a incorporao das lies aprendidas ao processo de tomada de decises. A partir da reforma de planejamento e oramento iniciada no Brasil em 2000, buscou-se implantar um sistema de M&A voltado para o alcance de resultados. No entanto, conforme ser discutido no tpico seguinte, este fato no ocorreu conforme o planejado, devido s inmeras deficincias e falhas ocorridas durante o processo de implementao do sistema, que existiu mais em normas que na prtica.

Monitoramento e Avaliao no Brasil no perodo de 2000 a 2011 Com a aprovao do PPA para o perodo 2000/2003 teve inicio no governo federal o planejamento da execuo de polticas pblicas com base em uma gesto voltada para resultados. Como parte das disposies do Plano, a Secretaria de Planejamento e Investimentos Estratgicos (SPI), do Ministrio do Planejamento, desenvolveu uma sistemtica de avaliao que abrangia todos os programas constantes do PPA. A avaliao, a ser realizada anualmente com base nos dados sobre a execuo do exerccio anterior, objetivava aumentar a transparncia da ao do governo, por meio da prestao de contas sociedade do desempenho dos programas. (CALMON e GUSSO, 2002) A sistemtica de avaliao do PPA era divida em trs etapas: avaliao do desempenho de cada um dos programas; avaliao do desempenho dos programas em relao aos objetivos setoriais estratgicos e avaliao do PPA do ponto de vista macroeconmico da gesto e dos macroobjetivos. (CALMON e GUSSO, 2002) Inicialmente, a avaliao do desempenho de programas foi concebida para integrar a metodologia de gesto voltada para resultados, com a finalidade de responsabilizar os gestores pelo maior ou menor sucesso na implementao dos programas. No entanto, verificou-se a impossibilidade de avaliar os programas dessa forma, devido ao fato de a concepo de avaliao ainda ser expressa em termos genricos e imprecisos para orientar a montagem do sistema de avaliao de programas da forma como havia sido pensado. (CALMON e GUSSO, 2002)

40

Decidiu-se, ento, que a avaliao do desempenho dos programas seria responsabilidade de seus prprios gestores, constituindo-se uma auto-avaliao. A avaliao era realizada por meio de questionrio com perguntas de mltipla escolha e abertas, o qual deveria ser preenchido pelos gerentes de programa e encaminhado SPI por meio do Sigplan. Os questionrios seguiam um modelo padronizado e abrangente, que era utilizado para avaliar qualquer tipo de programa. Esperava-se que os gerentes realizassem um relato dos resultados dos programas, avaliando aspectos relacionados a sua concepo, implantao e desempenho. As respostas inseridas no Sigplan pelos gerentes dos programas, depois de encaminhadas ao Ministrio do Planejamento, eram submetidas anlise de consistncia pela SPI. (CALMON e GUSSO, 2002) A avaliao setorial tambm se dava por meio de questionrio com perguntas fechadas e abertas. Nesse caso, a responsabilidade por responder aos questionrios era da Secretaria Executiva de cada Ministrio, por meio de suas Secretarias de Planejamento, Oramento e Avaliao (SPOAs), dos responsveis pelo programa de gesto de polticas do rgo, dos gerentes de programas do PPA e da alta cpula ministerial. Essa avaliao tinha como objetivo verificar se os programas, da forma como foram concebidos, eram suficientes, pertinentes e consistentes para alcanar os objetivos setoriais, verificando se havia necessidade de construo de um novo programa ou de reformulao do j existente. (CALMON e GUSSO, 2002) A compilao das informaes oriundas dos dois questionrios, um respondido pelos gerentes de programa e outro respondido pelos rgos setoriais, subsidiava a anlise da gesto do PPA, que correspondia a uma viso mais agregada dos resultados dos programas e do desempenho dos rgos setoriais. Nessa fase, os temas considerados relevantes eram analisados com a finalidade de identificar os principais problemas em busca de encontrar as solues necessrias. Todo o processo de avaliao, realizado nas trs etapas descritas acima, resultava no Relatrio Anual de Avaliao do PPA, que deveria ser enviado pelo Poder Executivo ao Congresso Nacional at 15 de setembro do ano subsequente ao da avaliao, com a finalidade de proporcionar informaes ordenadas e consistentes que permitissem a apreciao do desempenho do PPA e de seus programas. (CALMON e GUSSO, 2002) O monitoramento e a avaliao do Plano existem desde o PPA 2000/2003, no entanto, o Sistema de Monitoramento e Avaliao do PPA (SMA-PPA) foi formalmente criado apenas em

41

2004, PPA 2004/2007, por meio da sano da Lei n 10.933/2004, tendo sido institudo pelo Decreto n 5.233/2004 e tendo por objetivo assegurar a utilizao do monitoramento e da avaliao como ferramentas para gesto dos programas, com a finalidade de contribuir na tomada de deciso e para o alcance de melhores resultados na alocao dos recursos pblicos. (MARTINS, 2007) O SMA-PPA at o PPA 2008/2011 era composto pela Comisso de Monitoramento e Avaliao do PPA (CMA) e pelas Unidades de Monitoramento e Avaliao (UMA) em cada rgo setorial. Os Ministrios contavam ainda com um Comit Coordenador de Programas e, no caso dos programas multisetoriais, ainda podiam instituir um Comit Gestor de Programa composto por representantes do diversos rgos que participavam do programa. (MARTINS, 2007) Os decretos de gesto que orientaram a execuo, o monitoramento e a avaliao dos PPAs 2004/2007 e 2008/2011 dispuseram sobre a obrigatoriedade de se constituir a CMA e a UMA em cada rgo responsvel por programas. A coordenao de todo o SMA-PPA cabia CMA, que era um rgo colegiado interministerial, composto por representantes da Casa Civil, do Ministrio da Fazenda, do Ministrio do Meio Ambiente e do Ministrio do Planejamento. A CMA funcionava no Ministrio do Planejamento e tinha por finalidade elaborar propostas de normas e procedimentos gerais, relativos ao monitoramento e avaliao dos programas do Poder Executivo, bem como oferecer elementos tcnicos para orientar o processo de alocao de recursos oramentrios e financeiros e a reviso de programas. As UMAs deveriam ser compostas por ao menos dois servidores do quadro permanente do rgo, com experincia em planejamento, monitoramento e avaliao. Tinham como finalidade elaborar propostas de normas e procedimentos gerais, relativos ao monitoramento e avaliao dos programas do Poder Executivo, bem como oferecer elementos tcnicos para orientar o processo de alocao de recursos oramentrios e financeiros e a reviso dos programas. O SMA-PPA formado por um rgo central, a SPI, e pelas unidades perifricas nos ministrios, as UMAs. Apesar de o objetivo inicial do sistema ser sua utilizao como ferramenta de gesto estratgica das unidades executoras, o principal usurio desse sistema sempre foi a SPI.

42

Verifica-se que os gerentes de programas e os rgos setoriais esto pouco envolvidos com o processo. A avaliao no SMA-PPA tem sido normativa, baseando-se em critrios e normas estabelecidos por meio de roteiros a serem seguidos pelos gerentes de programas ao responderem o questionrio a ser preenchido no Sigplan, no momento da auto-avaliao. (MARTINS, 2007) O processo at agora descrito s foi possvel devido existncia do Sigplan, que se constituiu em um instrumento de apoio gesto, monitoramento e avaliao dos programas do PPA. No entanto, foram feitas grandes crticas ao Sigplan no que diz respeito qualidade das informaes fornecidas pelos gerentes de programas e pelos rgos setoriais. Calmon e Gusso (2002) identificaram problemas na alimentao do Sigplan, que impactaram negativamente a qualidade das informaes geradas nas etapas de avaliao do PPA. Os problemas so os seguintes:
i) inadequao ou inexistncia de sistemas monitoramento no mbito dos programas e aes; de acompanhamento e

ii) insuficincia de recursos humanos na gesto e no acompanhamento dos programas; iii) ausncia de corpo tcnico qualificado na rea de avaliao; iv) inadequao dos indicadores; e vi) impreciso das informaes relativas s metas fsicas e aos custos dos programas. (CALMON e GUSSO, 2002, p. 25)

Shepherd (2005) afirma que o sistema de monitoramento do PPA existe mais na forma do que na prtica. O autor defende que, de modo geral, os resultados do monitoramento do PPA geram dados rotineiros que no contribuem para a gesto por resultados. Shepherd (2005) afirma, ainda, que o Sigplan foi enfraquecido como sistema de gerenciamento das informaes do PPA em virtude de apresentar informaes sobre os programas desalinhadas das reais necessidades dos Ministrios. Em face da ausncia no Sigplan de informaes teis aos Ministrios, muitos rgos criaram sistemas prprios de monitoramento de programas - os infrasigs, que se mostraram muito mais eficazes como instrumentos de gerenciamento, monitoramento e avaliao que o Sigplan. Ressalte-se, entretanto, que a grande maioria dos rgos setoriais ainda depende do direcionamento da SPI para realizar o monitoramento e a avaliao de seus programas. (SHEPHERD, 2005)

43

Para Shepherd (2005), apesar de existirem esforos desde 1995 para implantar no pas uma administrao pblica voltada para resultados, o oramento do Brasil ainda no impulsionado por desempenho. O autor explica que no existe na administrao pblica federal controle efetivo dos seus custos, estando a medio de resultados longe de ser completa. Tambm ressalta que as metas definidas no PPA, em muitos casos, so irreais, no ocorrendo nenhum tipo de recompensa ou sano pelo seu grau de alcance. Por fim, destaca que a ao dos gestores de programas limitada pela falta de discricionariedade para tomada de deciso. Para Santos (2011), a criao do gerenciamento por programas e a implantao de um sistema de monitoramento e avaliao do Plano, operacionalizado por meio do Sigplan, que resultou na obrigatoriedade de envio ao Congresso Nacional de relatrio anual de avaliao do PPA, foi uma tentativa da administrao pblica federal de integrar plano, oramento e gesto. No entanto, o autor defende que essa sistemtica fez com que o PPA possusse nvel de detalhamento praticamente igual ao do oramento, devido a necessidade de manter codificaes comuns e organizao semelhante entre PPA e LOA, passando o PPA a ter a natureza de oramento plurianual ao invs de Plano propriamente dito, perdendo, dessa forma, seu carter orientador das aes governamentais. Nesse contexto, o programa perdeu sua caracterstica de instrumento destinado a resolver um problema ou a atender a uma demanda da sociedade, para tornar-se, mais uma vez, apenas um agregador do gasto pblico. Santos (2011) considera que existiam problemas graves no modelo de PPA que vigorou at 2011, visto que: o instrumento no contribuiu para o planejamento das aes do Estado da forma como se idealizou; no viabilizou a ao pblica adequadamente; e no conseguiu acompanhar de maneira satisfatria o cumprimento das metas estabelecidas para as aes do governo. O autor entende que o sistema de monitoramento e avaliao do Plano era, na verdade, um sistema de monitoramento e avaliao da execuo do oramento. Santos (2011, p. 331) afirma, ainda, no ser mais possvel manter a ao como elemento integrador entre plano e oramento, no sendo possvel ao sistema de monitoramento a avaliao do PPA, da forma como esto interligados plano e oramento, fornecer informaes claras sobre qualquer dimenso do Plano, muito menos sobre a dimenso estratgica. O autor defende que a estrutura do PPA deve estar voltada para perseguir a eficcia e efetividade da ao pblica, enquanto o oramento deve priorizar a esfera da eficincia do gasto.

44

Depreende-se de tudo que foi exposto que, apesar de ser formalmente denominado Sistema de Monitoramento e Avaliao, o SMA-PPA no constituiu propriamente um sistema de M&A, visto que no foi capaz de fornecer dados que contribussem para o aperfeioamento dos programas e tampouco que proporcionassem o aprendizado organizacional, por meio do acompanhamento do progresso e do desempenho dos programas. O SMA-PPA tambm no foi capaz de disponibilizar dados sobre indicadores e metas que possibilitassem o acompanhamento sobre a direo, o ritmo e a magnitude do alcance dos resultados dos programas, devido s deficincias em sua formulao. Deve-se salientar, no entanto, que o modelo de planejamento e oramento criado a partir de 2000 foi uma grande tentativa de integrar a atividade de planejamento ao do Estado. A implantao do oramento-programa permitiu a administrao pblica federal identificar os bens e servios ofertados sociedade, constituindo-se em um primeiro passo para uma gesto voltada para resultados, ainda que a estrutura adotada no tenha sido apropriada para tanto. (SANTOS, 2011) Diante dos problemas expostos, tornou-se premente a necessidade de que a estrutura de planejamento existente entre 2000 e 2011 passasse por um processo de reviso que levasse a mudanas capazes de corrigir as falhas e deficincias estruturais desse modelo. Tais alteraes de estrutura foram propostas no PPA 2012/2015, que ser apresentado a seguir.

2.3 A mudana de paradigma no PPA 2012/2015

O Plano Plurianual para o perodo 2012 a 2015, denominado Plano mais Brasil, foi estruturado de modo a dar coerncia s aes do governo, por meio da articulao da dimenso estratgica e ttico-operacional. Entende-se por dimenso estratgica a orientao estratgica que tem como base os macrodesafios e a viso de longo prazo do governo federal. J a dimenso ttica define os caminhos para o alcance dos objetivos e das transformaes definidas na dimenso estratgica. A dimenso operacional est relacionada ao desempenho da ao governamental, no sentido de aperfeioar a aplicao dos recursos disponveis e a qualidade dos produtos entregues.

45

O novo Plano possui uma estrutura diferenciada, a qual reflete concepo influenciada pelas principais agendas executadas recentemente pelo governo federal. Dessa forma, consolida as duas principais dimenses de ao do governo que so o Plano de Acelerao do Crescimento (PAC) - formado por programas que visam o aperfeioamento da infraestrutura e a criao de condies para o crescimento econmico sustentvel, e o Plano Brasil sem Misria (PBM), criado em 2011, com o objetivo de erradicar a extrema pobreza em todo o territrio nacional. (BRASIL, 2011b) As alteraes efetuadas na estrutura de planejamento para formulao do PPA 2012/2015 tm como principais objetivos: resgatar a funo planejamento, que havia sido confundida com o oramento no modelo anterior; possibilitar o monitoramento dos objetivos de governo, bem como a gesto desses objetivos no PPA; possibilitar o tratamento no Plano das polticas transversais e multissetoriais, bem como da regionalizao das polticas; possibilitar a reorganizao da lgica de execuo oramentria e dar ao Plano uma linguagem que possa ser compreendida tanto dentro quanto fora do governo. (BRASIL, 2011b) O PPA 2012/2015 representa mudana de paradigma em relao ao modelo de planejamento criado a partir de 2000 e utilizado como parmetro para a elaborao dos planos plurianuais do perodo 2000 a 2011. A principal alterao foi a criao dos programas temticos, objetivos e iniciativas, em substituio antiga estrutura baseada em programas e aes. As aes saram do Plano e passaram a constar apenas da lei oramentria. O elo entre planejamento e oramento deixou de ser o programa e a ao e passou a ser a iniciativa. As vinculaes entre aes oramentrias e iniciativas constaro nas leis oramentrias anuais. (BRASIL, 2011b) A retirada das aes do Plano foi uma tentativa de resgatar a funo planejamento, por meio da diferenciao entre planejamento e oramento. A sobreposio existente anteriormente gerava confuso do Plano com o oramento, j que os dois instrumentos mantinham nveis de agregao da despesa idnticos. (BRASIL, 2011b) A Figura 2, a seguir, apresenta a comparao entre o modelo de planejamento previsto para o PPA 2008/2011 e o modelo previsto para o PPA 2012/2015.

46

DIMENSES PPA PPA

Estratgica

Ttica

Ttica - Operacional

PROGRAMAS E AES

LEI ORAMENTRIA ANUAL

AES

FIGURA 2 PPA 2008-2011 X PPA 2012-2015 FONTE: A AUTORA (2012) Sob essa nova perspectiva, os programas so considerados o instrumento de organizao da ao governamental, para a consecuo dos objetivos pretendidos, podendo ser de dois tipos: programas temticos, os quais expressam a agenda governamental por meio de polticas pblicas, que orientam a entrega de bens e servios sociedade, cujo objetivo ter abrangncia necessria para representar os desafios e organizar a gesto, o monitoramento, a avaliao, as transversalidades, as multissetorialidades e a territorialidade, e programas de gesto, manuteno e servios ao estado, os quais renem um conjunto de aes destinadas ao apoio gesto e manuteno da ao governamental, bem como as aes no tratadas nos programas temticos por meio de iniciativas. (BRASIL, 2011a, p. 6) A Lei n 12.593/2012, que instituiu o PPA 20012/2015, disps que os programas temticos so compostos por objetivos, indicadores, valor global e valor de referncia. Sendo entendido como objetivo a expresso do que deve ser feito, refletindo as situaes a serem alteradas pela implementao de um conjunto de iniciativas. Os atributos dos objetivos so: rgo responsvel, meta e iniciativa. A lei definiu como rgo responsvel aquele cujas atribuies contribuem de forma mais intensa para a implementao do objetivo. A meta uma medida de alcance do objetivo, podendo ser tanto quantitativa quanto qualitativa. Na iniciativa, so declaradas as entregas de bens e servios

47

sociedade, resultantes da ao governamental, mas que podem, ou no, ser decorrentes do oramento. (BRASIL, 2012a) A Lei do PPA define indicador como uma referncia que permite identificar e aferir, periodicamente, aspectos relacionados a um programa, auxiliando o seu monitoramento e avaliao, seus atributos so: denominao, fonte, unidade de medida e ndice de referncia. (BRASIL, 2012a, 2, art. 6). Observa-se que o indicador no possui mais o ndice a ser alcanado a final do Plano. O valor global representa uma estimativa dos recursos necessrios para o alcance dos objetivos e o valor de referncia constitui-se em um parmetro financeiro, estabelecido por programa temtico, detalhado por esfera, fiscal e seguridade e investimentos das empresas estatais, que permitir identificar, no PPA 2012/2015, os empreendimentos, no momento em que seu custo superar esse valor. (BRASIL, 2012a) A Figura 3, retirada da Mensagem Presidencial que acompanhou o PPA 2012/2015, reproduz a estrutura dos programas temticos de acordo com o disposto na lei que aprovou o PPA 2012/2015.

FIGURA 3 - ESTRUTURA PPA 2012/2015 FONTE: BRASIL (2011b, p. 116) Uma mudana significativa em relao ao modelo anterior reside no fato de os valores financeiros do novo Plano serem estimados, sendo atualizados de acordo com as alteraes na lei oramentria. No existe mais a obrigao de ambas as leis apresentarem os mesmos valores para

48

os respectivos exerccios. Assim, o PPA assume carter de diretriz, ao estabelecer estimativas para os recursos financeiros, diferenciando-se do perfil autorizativo. (BRASIL, 2011a) A classificao funcional, que agrega a despesa em funes e subfunes, foi mantida, bem como a estruturao por programas, que agora so temticos, representando os temas da poltica pblica. Deixou de existir o conceito de programa com a finalidade de se resolver um problema ou demanda da sociedade. (BRASIL, 2011a) Uma questo a ser destacada a diminuio do nmero de programas, que resulta na aparente diminuio do tamanho e do detalhamento do Plano. Na verdade, apesar de agora serem apenas 65 programas temticos e 44 programas de gesto e manuteno de servios ao estado, o que bem menos que os 321 programas do PPA 2008/2011, foram criados mais dois nveis de agregao da despesa, os objetivos e as iniciativas. No PPA 2012/2015 so 492 objetivos, com 2.417 metas, e 2.503 iniciativas oramentrias e no oramentrias. Dessa forma, depreende-se que, apesar da diminuio do nmero de programas e da retirada das aes oramentrias do Plano, no houve diminuio do seu detalhamento, tampouco melhora em seu entendimento por parte da sociedade ou maior clareza de seu contedo. (BRASIL, 2011a) A reformulao do modelo de planejamento do PPA tambm ocasionar mudanas no sistema de monitoramento e avaliao do Plano. Com a alterao significativa na concepo dos programas, os indicadores e metas devem medir objetos diferentes daqueles que eram mensurados no modelo anterior. No entanto, pressupe-se que essas alteraes levaram em considerao o aprendizado adquirido com o modelo implementado no perodo entre 2000 e 2011. Dessa forma, esta pesquisa pretende analisar o sistema de monitoramento e avaliao proposto para PPA 2012/2015, com a finalidade de verificar as alteraes em relao ao modelo anterior, bem como em que medida o aprendizado adquirido na experincia passada, erros e acertos, tem influenciado na construo desse novo sistema. Para tanto ser apresentado no prximo captulo a metodologia utilizada para a realizao desta pesquisa.

49

3. Metodologia
Esta pesquisa descritiva e qualitativa, pois tem como finalidade descrever as caractersticas dos modelos de planejamento governamental analisados, gerando conhecimento a ser utilizado na resoluo de problema especfico, constituindo-se uma interpretao dos fenmenos que contriburam para as mudanas observadas no sistema de monitoramento e avaliao do PPA, a partir da reforma do modelo de planejamento e oramento ocorrida em 2000, at a nova estrutura de planejamento criada para o PPA 2012/2015. Sob o ponto de vista dos procedimentos metodolgicos, foi realizada pesquisa bibliogrfica, com a finalidade de construir o referencial terico que fundamentou os critrios utilizados para investigao e anlise do problema definido para este trabalho. A reviso da literatura foi orientada para: a conceituao de monitoramento, avaliao e de sistema de monitoramento e avaliao; a reforma do modelo de planejamento e oramento na administrao pblica federal ocorrida em 2000; as alteraes no modelo de planejamento para o PPA 2012/2015; o modelo de monitoramento e avaliao estruturado aps a reforma de 2000 e o modelo de monitoramento e avaliao construdo sob os conceitos do PPA 2012/2015. Tambm foi realizada pesquisa documental e anlise de instrumentos normativos (leis, decretos, portarias, mensagens presidenciais que acompanham os PPAs), com a finalidade de fundamentar e comprovar aspectos relacionados s alteraes ocorridas nos modelos de planejamento adotados pela administrao pblica federal no perodo analisado, bem como s alteraes nos sistemas de monitoramento e avaliao dos Planos Plurianuais decorrentes das mudanas nesses modelos. Ainda sob o ponto de vista dos procedimentos tcnicos, com a finalidade subsidiar a anlise, realizou-se estudo de caso, que se constitui em um tipo de estratgia metodolgica que tem como proposito analisar de forma mais intensa determinado fenmeno. O estudo de caso realizado neste trabalho foi do tipo descritivo, visto que se partiu de um nmero limitado de exemplos para, a partir de uma perspectiva geral, salientar elementos especficos relacionados s alteraes no modelo de planejamento federal e em seu sistema de monitoramento e avaliao. (YIN, 2005)

50

Para realizao dos estudos de caso, foram selecionados trs programas temticos do PPA 2012/2015: Bolsa Famlia, Resduos Slidos e Turismo, caracterizando-se como um projeto de casos mltiplos, em que em um mesmo estudo de caso so analisados mais de um caso, para posterior estudo comparativo dos resultados. (YIN, 2005) Apesar de, segundo os manuais e a Lei do PPA, no existir correspondncia entre programas finalsticos e programas temticos, na prtica, foi possvel identificar programas finalsticos e um programa de apoio s polticas pblicas e reas especiais que constavam do Plano anterior e resultavam nas mesmas polticas governamentais cujo tema consta dos programas temticos selecionados para o estudo de caso. Para a seleo dos programas temticos para o estudo de caso, os critrios adotados foram: programas cujos objetivos estivessem sob a responsabilidade de um mesmo rgo setorial; dentre esses programas, aqueles cujos objetivos estivessem sob a responsabilidade de rgos setoriais que executassem polticas diferentes umas das outras, tendo sido selecionada uma poltica executada por meio de transferncia direta de recursos aos beneficirios finais, outra executada de forma descentralizada, por meio de convnios e contratos de repasse, com a intervenincia das demais esferas de governo e a coordenao de iniciativas no governamentais e outra que apresentasse caractersticas mais reguladoras da atuao do Estado, com vistas promoo de investimentos privados. Os trs rgos setoriais responsveis pelos objetivos pertencentes aos programas temticos selecionados para o estudo de caso so: Ministrio do Desenvolvimento Social e Combate Fome (MDS), programa Bolsa Famlia; Ministrio do Meio Ambiente (MMA), programa Resduos Slidos, e Ministrio do Turismo (MT), programa Turismo. As informaes para o estudo de caso foram obtidas por meio de pesquisa na Lei do PPA 2012/2015 e na LOA 2012 sobre os dados relacionados aos trs programas selecionados e por meio de entrevistas realizadas com o rgo Central de Planejamento e com os rgos responsveis pelos objetivos dos programas temticos. Foi realizada entrevista com a Secretaria de Planejamento e Investimentos Estratgicos (SPI) no dia 17 de agosto de 2012, bem como entrevistas com os rgos setoriais nos dias 4, 10 e 18 de setembro de 2012. Os roteiros das entrevistas encontram-se nos Apndices A e B desta pesquisa.

51

Na comparao entre os programas selecionados, foram analisados os atributos que nortearam a elaborao do PPA 2008/2011 programas, objetivos, indicadores e metas bem como os atributos que nortearam a elaborao do PPA 2012/2015 programas, indicadores, objetivos, metas e iniciativas. Examinou-se, ainda, os efeitos das mudanas no modelo de planejamento sobre os programas temticos analisados, o grau de participao dos rgos responsveis pelos objetivos dos programas temticos na definio dos atributos do novo Plano, o nvel de conhecimento desses rgos sobre a Estratgia de Monitoramento e Avaliao do PPA 2012/2015, a sua capacidade de produzir informaes para auxiliar a SPI no clculo dos indicadores e a existncia de sistema de monitoramento e avaliao prprios, nos rgos pesquisados, capazes de produzir informaes para subsidiar o monitoramento a ser realizado no mdulo M3 da nova Estratgia de Monitoramento e Avaliao do PPA. Por fim, cabe ressaltar que os dados e informaes coletados com base nas unidades de anlise definidas no pargrafo anterior, subsidiaram a investigao da Estratgia de monitoramento e avaliao que est sendo proposta para o PPA 2012/2015, tomando-se por base os pressupostos que definem os sistemas de monitoramento e avaliao, bem como a experincia da administrao pblica federal na construo desses sistemas. Para tanto, inicialmente, apresenta-se, no prximo captulo, a descrio do objeto de anlise desta pesquisa a estratgia definida para o sistema de monitoramento do PPA 20122015.

52

4. O Monitoramento e a Avaliao no PPA 2012/2015

A Mensagem presidencial que acompanhou a Lei do PPA 2012/2015 disps sobre o Sistema de Monitoramento e Avaliao do Plano, cuja finalidade apoiar a gesto, sendo orientado pelas seguintes diretrizes:
i) considerar a realidade de implementao de cada poltica, em base territorial, buscando assim uma abordagem flexvel que subsidie decises e contribua para a sua implementao; ii) atender s necessidades dos rgos setoriais e de coordenao de governo, para subsidiar a tomada de deciso nos diferentes nveis; iii) considerar as lies apreendidas com as experincias de monitoramento e avaliao no setor pblico em mbito nacional e internacional; iv) observar as contribuies resultantes dos dilogos com os entes federados e sociedade durante o processo de elaborao do PPA; v) aproveitar estruturas de monitoramento e avaliao existentes na administrao, trabalhando na busca de informaes complementares; e vi) promover a sua implantao, de forma progressiva, segundo as prioridades estabelecidas pelo governo. (BRASIL, 2011b, p. 123)

A Mensagem Presidencial (2011b, p. 123) tambm introduziu os conceitos de monitoramento e avaliao, onde o monitoramento entendido como sendo uma observao continua de uma dada realidade nos seus aspectos mais relevantes, no intuito de obter informaes fidedignas e tempestivas e a avaliao como uma investigao aprofundada de uma determinada interveno. Os procedimentos de monitoramento e avaliao so tratados de forma genrica no PPA 2012/2015, no havendo mais o detalhamento que existia nos PPAs anteriores, conforme pode ser depreendido da leitura dos artigos da Lei n 12.593/2012 transcritos abaixo:
Art. 16. O monitoramento do PPA 2012-2015 atividade estruturada a partir da implementao de cada Programa, orientada para o alcance das metas prioritrias da administrao pblica federal. Art. 17. A avaliao consiste na anlise das polticas pblicas e dos Programas com seus respectivos atributos, fornecendo subsdios para eventuais ajustes em sua formulao e implementao. Art. 18. O Poder Executivo promover a adoo de mecanismos de estmulo cooperao federativa com vistas produo, ao intercmbio e disseminao de informaes para subsidiar a gesto das polticas pblicas.

De acordo com entrevista realizada com tcnicos da SPI, pode-se inferir que a falta de detalhamento dos aspectos relacionados ao monitoramento e avaliao do PPA derivou da

53

vontade do legislador de que este assunto fosse detalhado no decreto de gesto, que usualmente aprovado aps a publicao da lei do PPA, com a finalidade de disciplinar sobre todos os aspectos relacionados a sua gesto, inclusive sobre o monitoramento e a avaliao do Plano. No caso do PPA 2012/2015, a informao obtida junto SPI de que o decreto de gesto do PPA 2012/2015 deveria ser publicado em outubro de 2012. Este decreto tratar de normas gerais para monitoramento, avaliao e reviso do Plano e dever balizar sua gesto de forma menos legalista que nas verses anteriores. Os destinatrios das normas contidas no decreto devero interpret-las de maneira sistemtica, aberta e associada dinmica real de implementao das polticas. Diversos assuntos deixaro de ser disciplinados no decreto de gesto do PPA, no entanto, dever ser autorizado que esses assuntos sejam tratados na portaria que disciplinar a implementao do Decreto. (BRASIL, 2012b, p. 9) O decreto de gesto do PPA, ao dispor sobre o princpio da responsabilizao compartilhada para realizao dos objetivos e alcance das metas dos programas temticos, observar os princpios gerais transcritos a seguir:
I simplificao e aperfeioamento dos mecanismos de implementao de polticas pblicas; II supresso de procedimentos e rotinas de controle meramente formais; III considerao das especificidades de implementao em cada poltica pblica e da complementaridade entre as polticas; e IV fortalecimento do dilogo com os entes federados e a sociedade. (BRASIL, 2012b, p. 10)

Dever constar do decreto de gesto do PPA 2012/2015 a seguinte definio para monitoramento:
O monitoramento do PPA uma atividade de natureza contnua, coletiva e cumulativa, que possibilita a produo, a organizao e a interpretao de informaes, ampliando os conhecimentos sobre a realidade e a implementao das polticas e, portanto, produzindo subsdios para correes necessrias garantia dos objetivos e metas do PPA 2012-2015. (BRASIL, 2012b, p. 10)

O decreto de gesto do PPA 2012/2015 tambm dever disciplinar as competncias do Ministrio do Planejamento e dos Secretrios-Executivos, ou equivalentes, nos rgos setoriais, sendo essas competncias as abaixo transcritas:
Compete ao Ministrio do Planejamento, Oramento e Gesto: I manter sistema de informaes para apoiar o monitoramento do PPA 20122015;

54

II definir diretrizes, normas e orientaes tcnicas para operacionalizao do monitoramento e avaliao do PPA 2012-2015; III estabelecer atribuies para os responsveis pela produo de informaes. Compete ao Secretrio-Executivo ou seu equivalente, diretamente ou por delegao, no mbito dos rgos aos quais esto vinculados: I indicar os responsveis pelo carregamento de informaes pertinentes aos objetivos (e demais atributos associados) do PPA 2012-2015; II zelar pelo conjunto de atividades necessrias ao cumprimento dos objetivos de monitoramento do PPA 2012-2015. (BRASIL, 2012b, p. 10)

Uma novidade a ser introduzida pelo decreto a possibilidade de o Secretrio-Executivo indicar os responsveis pelo carregamento de informaes pertinentes aos objetivos e seus atributos no sistema de informaes do Plano, permitindo que sejam designados para tal funo os servidores diretamente envolvidos na execuo dos objetivos, o que diminui a possibilidade de indicaes apenas formais. O sistema de informaes para apoiar o monitoramento do PPA 2012-2015, a ser mantido pelo MPOG, o Sistema Integrado de Planejamento e Oramento (Siop), que se encontra em funcionamento deste de janeiro de 2012, em substituio ao Sigplan. No Siop, tambm devem ser registrados os dados relativos aprovao e execuo do oramento, de forma similar ao Sigplan. As informaes constantes desse sistema, no obstante a reestruturao conceitual de metodolgica dos programas e seus atributos, guardam estreita correlao com o modelo anteriormente utilizado. O registro das informaes no Siop ser encerrado no dia 15 de fevereiro do exerccio subsequente ao da execuo oramentria. O decreto de gesto do PPA 2012/2015 dever prever ainda a realizao de revises do Plano, com a finalidade de garantir a aderncia do instrumento realidade das polticas pbli cas e aos desafios do desenvolvimento brasileiro. Essas revises podero ocorrer a qualquer tempo, para atualizao de informaes relativas a indicadores, valor de referncia, metas de carter qualitativo, rgo responsvel por objetivo, data de incio e trmino e custo total das iniciativas individualizadas e s iniciativas sem financiamento oramentrio; anualmente, para atualizao de informaes decorrentes de aprovao da LOA ou de leis de crditos adicionais, e, por fim, por meio de projeto de lei de reviso do Plano, para excluir ou alterar programas, objetivos metas e iniciativas. (BRASIL, 2012b, p. 11)

55

No que se refere criao formal de um sistema de monitoramento e avaliao do Plano, a previso de que seja estabelecida uma estratgia de monitoramento para o perodo de 2012 a 2015. No entanto, segundo informaes constantes da apresentao realizada pela SPI para os rgos setoriais, que teve por objetivo inform-los sobre o funcionamento dessa nova estratgia, no h indicao de que ocorrer, nesse momento inicial, avaliao do PPA, pois existem informaes apenas sobre criao de estruturas de monitoramento. (BRASIL, 2012b) Sero estruturados quatro mdulos de monitoramento: M1 - prioridades de governo/presidncia; M2 monitoramento temtico/Siop; M3 monitoramento estratgico e M4 Monitoramento da dimenso estratgica (11 macrodesafios do PPA). A Figura 4 apresenta a estratgia de monitoramento estabelecida pelo MPOG:

FIGURA 4 ESTRATGIA DE MONITORAMENTO E AVALIAO DO PPA 2012/2015 FONTE: BRASIL (2012c, p.6) No mdulo M1 sero consolidadas as informaes sobre as 43 aes consideradas estratgicas para o governo pela Presidncia da Repblica. Nesse mdulo, so acompanhados programas de governo que no necessariamente esto no PPA, ou que podem ter aes distribudas por diversos programas temticos. Como exemplo pode-se citar o Plano Brasil sem Misria e o Brasil Carinhoso. O monitoramento realizado no mdulo M1 segue o modelo de monitoramento das metas presidenciais que j existia desde 2004 e o modelo aplicado ao PAC, cujo monitoramento ficou

56

inicialmente a cargo da Casa Civil, que adotou a estratgia de salas de situao, em que ocorriam reunies com a participao dos principais responsveis pela seleo e implementao dos empreendimentos. Nesse mdulo, a SPI realiza acompanhamento do monitoramento realizado pela Subchefia de Articulao e Monitoramento da Casa Civil, que fornece os dados SPI, para que esta possa prestar informaes por meio da elaborao de fichas mensais de acompanhamento ou quando solicitada pela Presidncia da Repblica. (BRASIL, 2012b) No mdulo M2 realizado o acompanhamento dos 65 programas temticos e seus atributos: indicadores, objetivos, metas e iniciativas, por meio do registro de dados no Siop. Nesse mdulo, a SPI e os rgos setoriais so responsveis por registrar as informaes no Sistema, conforme Quadro 1, a seguir:
Atributos Programas Indicadores Objetivo Meta Iniciativa individualizada Responsvel pelo preenchimento No h campos preenchimento SPI Itens a serem informados de Valor apurado, data de apurao e observao Anlise situacional, anexos e assunto Anlise situacional, anexos e assunto

rgo responsvel pelo objetivo rgo responsvel pelo objetivo rgo responsvel pela Anlise situacional, anexos e assunto iniciativa

QUADRO 1 MONITORAMENTO TEMTICO FONTE: BRASIL (2012b) Os objetivos do monitoramento temtico realizado no mdulo M2 so: fornecer informaes coordenao de governo para que possa agir preventiva e corretivamente para garantir o alcance das metas do PPA; qualificar o processo de produo de informaes; subsidiar a atualizao do Plano e a produo do Relatrio de Gesto, da Mensagem Presidencial e de outros relatrios que sejam necessrios. (BRASIL, 2012b) O treinamento para que os rgos setoriais pudessem operar o Siop, com a finalidade de realizar o monitoramento previsto no mdulo M2 foi oferecido pela SPI por meio de oficinas com a durao de trs horas realizadas no perodo de 14 a 16 de agosto de 2012. No mdulo M3, ser realizada anlise mais aprofundada dos programas temticos constantes do PPA. Segundo a SPI, esse monitoramento ser realizado por meio de pactuao com os rgos setoriais executores das polticas, os quais detm maior conhecimento sobre sua

57

implementao. Os rgos sero responsveis por fornecer informaes confiveis acerca dos objetivos e atributos sob sua responsabilidade. Os rgos setoriais podero utilizar as informaes produzidas por sistemas de monitoramento e avaliao prprios, quando existentes, para fornecer as informaes necessrias SPI. Nesse mdulo no sero monitorados todos os programas do PPA, mas apenas aqueles selecionados pela SPI. No mdulo M4 sero produzidas as informaes que subsidiaro a elaborao dos relatrios sobre o alcance dos 11 macrodesafios estabelecidos pelo governo para o PPA 2012/2015. A funo do mdulo M4 produzir informaes que resultaro no Relatrio de Gesto, na Mensagem Presidencial e em outros relatrios de avaliao do Plano. Com base nas informaes produzidas nos quatro mdulos de monitoramento, o MPOG pretende produzir conhecimento denso e aprofundado sobre a realidade de implementao e gesto cotidianas das polticas pblicas, bem como gerar informaes harmonizadas e indicadores teis para tomada de deciso. (BRASIL, 2012b, p. 5). Pode-se inferir, por meio de observao da estrutura de monitoramento apresentada, que os dados produzidos sero utilizados primordialmente para atender s necessidades da SPI, pois no h previso de utilizao dessas informaes pelos rgos setoriais para subsidiar seus processos decisrios. Nesse novo modelo de monitoramento, no est prevista a existncia da CMA e das UMA`s, que compunham o Sistema de Monitoramento e Avaliao dos PPA`s 2004/2007 e 2008/2011. A justificativa para extino dessas estruturas, apresentada em reunio pela SPI, de que elas serviam mais para burocratizar a dinmica de monitoramento e avaliao do que para contribuir para o processo de gesto. Segundo a SPI, a nova estratgia de monitoramento no dever constituir um fim em si mesmo, ao mesmo tempo em que monitoramento no dever ser sinnimo de cobrana, prestao de contas ou controle. A viso de monitoramento que se pretende implantar de um instrumento de aprendizado que visa obteno de informaes tempestivas capazes de contribuir para o aperfeioamento dos programas temticos. Aps a anlise da Estratgia de Monitoramento e Avaliao do PPA 2012/2015, proposta pelo MPOG, no Captulo 5, a seguir, sero apresentados os resultados desta pesquisa, que consiste na anlise dos motivos que levaram ao insucesso do sistema de monitoramento e

58

avaliao que vigorou at 2011 e na anlise comparativa entre o Sistema de Monitoramento do PPA 2008/2011 e a Estratgia de Monitoramento e Avaliao do PPA 2012/2015.

59

5. Resultados
Neste captulo realizado estudo dos motivos que contriburam para o insucesso do modelo de monitoramento e avaliao que vigorou no perodo de 2000 a 2011, bem como anlise comparativa entre o Sistema de Monitoramento e Avaliao do PPA 2008/2011 e a Estratgia de Monitoramento e Avaliao do PPA 2012/2015, com a finalidade de subsidiar a construo das inferncias e concluses apresentadas no Captulo 6.

5.1 Motivos para o insucesso do modelo de monitoramento e avaliao do PPA no perodo de 2000 a 2011
O modelo de planejamento que vigorou no Brasil entre 2000 e 2011, estruturado com base no disposto na Constituio Federal de 1988, que criou o PPA, a LDO e a LOA, e na reforma de planejamento e oramento de 2000, que pretendeu integrar o planejamento, o oramento e a gesto, mostrou-se ineficaz no cumprimento da misso de tornar o PPA o instrumento norteador da definio de polticas pblicas estratgicas e no sentido de criar uma administrao pblica voltada para resultados. Tal fato deveu-se a deficincias e dificuldades na estruturao e implementao do modelo idealizado em 2000. O primeiro ponto a ser destacado refere-se ao momento em que se implementou o novo modelo de planejamento e oramento no Brasil. Este modelo surgiu sob a gide do Plano Diretor de Reforma do Estado, de 1995, que, elaborado sob as presses de uma crise fiscal, pretendia implantar no pas um modelo de administrao pblica em que as funes do Estado deveriam ser reduzidas por meio das privatizaes, das descentralizaes e da reduo funcional, e em que se priorizava o controle do gasto pblico. (SANTOS, 2011) A crise econmica das dcadas de 80 e 90 promoveu o fortalecimento do gerencialismo, baseado na utilizao de metas e indicadores de processos e resultados, em avaliaes de desempenho e na cultura da responsabilizao por meio da accountability. O foco do governo deslocou-se para a contabilidade e para o controle dos gastos em detrimento da produo de bemestar e da promoo de direitos. (MELO e RODRIGUES, 2012) Em busca da melhoria da gesto, houve a reorganizao de processos e de procedimentos, com a finalidade de remodelar a atuao estatal por meio da reduo da maquina administrativa e dos custos. Dessa forma, qualquer modelo de planejamento que surgisse nesse perodo deveria

60

considerar a necessidade do Estado de controlar seus gastos, ou seja, o controle do gasto assumia papel mais importante que a implementao da poltica em si. Nesse perodo o Estado interventor e indutor do desenvolvimento era visto como algo negativo. (SANTOS, 2011) A tentativa do governo de tornar o Plano um instrumento de controle do gasto do Estado na execuo de suas polticas foi fundamental na definio de quais rumos o planejamento tomaria. Dessa forma, a busca pelo controle fez com que o PPA fosse construdo com uma estrutura praticamente igual do oramento, possuindo mais caractersticas de um oramento plurianual do que de um Plano norteador da ao estatal. Dessa forma, o PPA no conseguiu estar alm de um instrumento formal de planejamento que no foi capaz de informar adequadamente as metas estratgicas do governo e tampouco criar as condies para a viabilidade da ao pblica. (SANTOS, 2011, p. 316) Importante aspecto a ser destacado a introduo do oramento programa com o intuito de combinar a anlise das polticas pblicas com a elaborao do oramento. Tal fato gerou disfunes pelo fato de o oramento no Brasil ser uma pea com forte influncia da Lei 4.320/64, baseando-se em conceitos da contabilidade pblica, em que o gasto agregado com o objetivo de melhor evidenciar a alocao dos recursos, de forma a contribuir para o alcance da eficincia do gasto pblico. Por outro lado, a implementao de polticas exige dos envolvidos muito mais que o conhecimento de tcnicas, sendo necessrio que haja conhecimento sobre os fatores que determinam as alteraes na realidade, bem como que haja valorizao da inovao e da criatividade e flexibilizao da rigidez dos mtodos. (SANTOS, 2011) Dessa forma, a utilizao do programa, e suas aes, como elo entre oramento e planejamento mostrou-se inadequada no que se refere anlise das polticas pblicas, visto que o programa foi utilizado como instrumento de controle, ferramenta para ajudar a organizar e a estruturar as aes do Estado, no fornecendo nenhum tipo de informao que pudesse contribuir para o aprimoramento das polticas. (SANTOS, 2011) Apesar dos esforos daqueles que pensaram as mudanas no planejamento e no oramento ocorridas a partir de 2000, no sentido de materializar o planejamento das polticas por meio dos programas, a estruturao do Plano e do oramento em programas serviu muito mais para produo de milhares de informaes recortadas sob diversos aspectos: problema, justificativa, objetivo, pblico-alvo, estratgia de implementao, entre outras, do que para

61

produzir informaes que pudessem contribuir para aprimorar a implementao das polticas. Dessa forma, o programa tornou-se, mais uma vez, apenas mais um agregador da despesa, fato que a reforma de 2000 tinha o objetivo de modificar. (SANTOS, 2011, p. 325) Um modelo de planejamento construdo em meio a tantas disfunes resultou em um sistema de monitoramento e avaliao do Plano incapaz de produzir informaes teis para a tomada de deciso. O SMA/PPA, apesar de institudo formalmente como um sistema de monitoramento e avaliao, na prtica, constitua-se apenas um consolidador de dados de pouca utilidade, pois no era capaz de promover o efetivo acompanhamento do desenvolvimento dos programas, no contribuindo para seu aperfeioamento. A principal fonte de informaes do SMA/PPA eram os dados sobre a execuo fsica e financeira das aes registrados mensalmente no Sigplan. O Sigplan era composto por inmeros campos, que tornavam seu preenchimento demasiadamente burocrtico, e no produzia informaes teis para aqueles que o preenchiam. O monitoramento do Plano assumiu caractersticas de um monitoramento do oramento, em face do nvel de detalhamento proposto. O desejo de monitorar tudo, a partir de categorias oramentrias, resultou em um monitoramento esvaziado e gradativamente abandonado pelos principais tomadores de deciso do governo, pelos rgos de controle e pela sociedade. (SILVA e NETO, 2012, p. 8) Outro grande problema do SMA/PPA foi a construo de um sistema de monitoramento e avaliao padronizado para todo o governo federal, que composto por rgos setoriais com realidades bastante diversificadas e que, consequentemente, exigem tratamento diferenciado. Segundo Radin (2006) difcil estabelecer um padro de medida de desempenho que seja apropriado para todas as situaes, sendo que a iniciativa de criao de modelos padronizados deriva muito mais de modismos, de supersimplificao, de valorizao do planejamento em detrimento da ao, do culto pela economia e pela eficincia, da fobia ao conflito e da crena de que a comunicao segue a cadeia de comando, em detrimento do atendimento da necessidade de informao. Para Melo e Rodrigues (2012), sistemas complexos como a administrao pblica federal necessitam de tratamento diferenciado para cada demanda, pois, ao tentar produzir modelos aparentemente simples e de fcil compreenso, pode-se, na verdade, deixar de considerar

62

aspectos importantes para anlise e compreenso da poltica, correndo-se o risco de tais modelos no refletirem a realidade. Melo e Rodrigues (2012, p. 9) afirmam, ainda, que a criao de um modelo universal de monitoramento e avaliao representa a converso de perspectivas particulares em representaes do bem comum, o que dificulta o reconhecimento de aspectos subjetivos e qualitativos, que no encontram espao dentro dos instrumentos e da linguagem apresentados como universais. Alm de padronizado, o SMA/PPA possua excesso de detalhamento e rigidez do fluxo de informaes, que somados m qualidade das informaes e impossibilidade de utiliz-las no processo poltico-administrativo de tomada de decises, fez com que o Sistema se tornasse burocrtico, distante da realidade das polticas e incapaz de produzir informaes teis tanto para a administrao, quanto para a sociedade. (MELO, NETO e SILVA, 2012, p. 7) Para Radin (2006), os sistemas de mensurao de desempenho encontram problemas na valorizao da abordagem analtica formal sem preocupao com o contexto poltico; na mensurao de resultados sem ateno ao processo decisrio; no foco na eficincia sem considerar a equidade; na confiana na padronizao dos mtodos; na dificuldade de utilizar as informaes no processo decisrio e na separao das atividades de gerenciamento da essncia dos programas. Melo e Rodrigues (2012, p. 6-9) citam algumas caractersticas presentes nos sistemas de monitoramento, avaliao e controle de polticas, as quais denominam iderio tcnicoburocrtico, que se aplicam realidade brasileira:
i) valorizao do conhecimento inerente s metodologias em detrimento do conhecimento do contedo das polticas; ii) valorizao da perspectiva do financiador das polticas em detrimento da perspectiva dos beneficirios; iii) gerencialismo, no intuito de substituio do modelo burocrtico pelo modelo gerencial, em que a administrao pblica passa a pautar-se pela restrio da discricionariedade das burocracias, com a instituio de metas e indicadores, em geral quantitativos, objetivos auditveis para mensurao de resultados das organizaes; iv) positivismo, tecnicismo, racionalismo, com nfase na natureza eminentemente tcnica dos problemas e solues no mbito da gesto publica e valorizao das estruturas racionais-compreensivas para anlise e formulao de

63

polticas e negao de seus aspectos polticos, institucionais, histricos e sociolgicos; v) busca de imparcialidade em detrimento da pluralidade; vi) apropriao do universal, com a converso de perspectivas particulares em representaes do bem comum, inscrevendo atividades avaliativas em prticas institucionais definidas a partir de valores objetivos e quantitativos e assim , dificultando o reconhecimento de aspectos subjetivos e qualitativos, que no encontram espao dentro dos instrumentos e da linguagem apresentados como universais.

Outra questo que envolve o planejamento de polticas pblicas no Brasil e que repercutiu de forma negativa na estruturao do SMA/PPA foi a importao de modelos prontos de outros pases sem considerar as peculiaridades da realidade brasileira, procedimento que se tornou muito comum. A maioria desses modelos teve origem no setor privado, tendo sido transportados para a rea pblica, e foram criados em pases da Europa ou nos Estados Unidos, onde a realidade e as necessidades em termos de polticas pblicas e de interveno do Estado so bem diferentes das brasileiras. Tal fato tem contribudo para insucesso das tentativas de implantar esses modelos no pas. (RADIN, 2006) No caso do SMA/PPA, possvel inferir que a tentativa de analisar a interveno estatal com base em metodologias rgidas e padronizadas, que priorizavam aspectos tcnicos e objetivos e ignoravam a realidade histrica, polticas e institucional do pas e a busca por uma administrao gerencial, sem considerar as reais necessidades da sociedade, levou a produo de milhares de informaes dissociadas umas das outras e incapazes de subsidiar as decises governamentais. Um dos efeitos observados da falta de credibilidade no monitoramento e na avaliao do Plano foi a criao na Casa Civil, em 2004, de uma estrutura de acompanhamento das polticas consideradas prioritrias pelo Presidente da Repblica. Esta estrutura tinha a funo de monitorar e articular a execuo das metas presidenciais e baseava-se em sistemas de acompanhamento diferentes dos estabelecidos para os programas do PPA. Seu objetivo era qualificar as informaes que subsidiavam a tomada de deciso na coordenao do governo. Tal fato evidncia de que o acompanhamento existente para os programas do PPA era de pouca utilidade, ou pouco confivel, para suprir a necessidade de informaes da Presidncia da Repblica. (MELO, SILVA e NETO, 2012)

64

As LDOs e LOAs tambm passaram a ser elaboradas sem que houvesse estreita observao das diretrizes do PPA e o PAC, criado em 2007, foi organizado a partir de

segmentao distinta do PPA, o que comprova que a estrutura formal planejamento e de monitoramento e avaliao no eram suficientes para dar as respostas que o governo precisava. (SANTOS, 2011) Dessa forma, pode-se concluir que o insucesso do SMA/PPA deveu-se, principalmente, a quatro fatores, a saber: primeiro, ao desenho dos PPAs que o orientaram, os quais buscaram traduzir todas as polticas pblicas em aes oramentrias que no foram capazes de expressar as realizaes do governo por meio de entregas a sociedade; segundo, tentativa de padronizao do acompanhamento das polticas sem considerar as peculiaridades de cada rgo; terceiro, valorizao da tcnica e das metodologias em detrimento da realidade; e quarto, ao excesso de formalismo na busca de uma administrao gerencial, sem preocupao com o contexto poltico. Por fim, conclui-se que a tentativa de integrar planejamento, oramento e gesto, iniciada em 2000, originou Planos que resultaram em um sistema de monitoramento e avaliao formal e incapaz de subsidiar o aperfeioamento da gesto e das polticas pblicas no pas.

5.2 Anlise comparativa entre o Sistema de Monitoramento e Avaliao do PPA 2008/2011 e a Estratgia de Monitoramento e Avaliao do PPA 2012/2015
Neste tpico, ser realizada anlise comparativa entre o Sistema de Monitoramento e Avaliao do PPA 2008/2011 e a Estratgia de Monitoramento e Avaliao do PPA 2012/2015, com o objetivo de verificar se houve alteraes significativas e, em caso afirmativo, quais as principais mudanas. Tambm ser abordado o aprendizado obtido com a experincia anterior para construo do modelo atual. Com a finalidade de subsidiar a anlise, realizou-se estudo de caso em trs programas temticos: Bolsa Famlia, Resduos Slidos e Turismo. Neste estudo de caso, procurou-se comparar os programas temticos do atual PPA com os programas finalsticos que representavam a mesma poltica pblica no PPA 2008/2011. Apesar de no existir correspondncia entre programas finalsticos e programas temticos segundo os manuais e a Lei do PPA, na prtica, foi

65

possvel identificar programas finalsticos do Plano anterior que representam as mesmas polticas governamentais cujo tema consta dos programas temticos selecionados para o estudo de caso. A anlise dos resultados do estudo de caso encontra-se nos tpicos a seguir.

Bolsa Famlia. O programa temtico Bolsa Famlia representa a priorizao, em termos de agenda de governo, do ento programa finalstico Transferncia de Renda com condicionalidades Bolsa Famlia, que existia deste de o PPA 2004/2007. O Bolsa Famlia compe um dos trs eixos do Plano Brasil Sem Misria, criado em 2011. O ento programa finalstico de Transferncia de Renda com Condicionalidades Bolsa Famlia resultou da unio de quadro programas de transferncia de renda: o Bolsa Escola Federal, o Bolsa Alimentao e o Carto Alimentao e de um benefcio oferecido s famlias carentes pelo Ministrio de Minas e Energia, denominado Vale Gs. O objetivo dessa unificao foi centralizar a ao do Estado no que se refere aos programas de distribuio de renda. O antigo programa finalstico originou um programa temtico sem que houvesse quaisquer alteraes em sua estrutura, fato que se deve ao seu tempo de existncia, desde 2004, e ao seu sucesso em termos de poltica de distribuio de renda. Conforme se pode verificar no Quadro 2, a seguir, o programa Bolsa Famlia possui grande materialidade em termos de recursos a ele destinados. Dotao (R$ milhes) 43.892,2 84.260,4

Ano PPA 2008/2011 PPA 2012/2015

QUADRO 2 RECURSOS DESTINADOS AO PROGRAMA BOLSA FAMLIA NO PPA FONTE: A AUTORA (2012) O aumento de cerca de 92% no montante de recursos destinados ao programa no PPA 2012/2015 em relao aos recursos do PPA 2008/2011 deve-se, em grande parte, meta de incluir 800 mil famlias em extrema pobreza no programa e ao reajuste no valor dos benefcios. Na LOA 2012, o programa recebeu dotao de R$ 19 bilhes, 38% a mais que a dotao destinada ao ento programa finalstico em 2011.

66

O Quadro 3, a seguir, apresenta os objetivos do programa temtico Bolsa Famlia em comparao aos objetivos do antigo programa finalstico que o originou, bem como com os objetivos setoriais e de governo estabelecidos para o programa no PPA 2008/2011.
PPA 2008/2011 Programa Finalstico 1335Transferncia de Condicionalidades - Bolsa Famlia Objetivo de Governo Renda com PPA 2012/2015 Programa Temtico 2019 - Bolsa Famlia Objetivo 1 0619 - Melhorar as condies socioeconmicas das famlias pobres e, sobretudo, extremamente pobres, por meio de transferncia direta de renda e da articulao com outras polticas promotoras de emancipao. Objetivo 2 0376 - Localizar e caracterizar as famlias consideradas como pblico-alvo dos programas de transferncia de renda e dos programas sociais do Governo Federal voltados populao de baixa renda, e realizar a gesto e manuteno de suas informaes socioeconmicas, por meio do desenvolvimento e aperfeioamento de metodologias, instrumentos e sistemas de informaes, com objetivo de subsidiar o planejamento e a implementao de polticas de combate pobreza e desigualdade social. Objetivo 3

Promover a incluso desigualdades.

social

reduo

das

Objetivo Setorial

Contribuir para reduo da pobreza e da desigualdade.

Objetivo do Programa Contribuir para reduo da fome, da pobreza da desigualdade e de outras formas de privao vividas pelas famlias mais excludas, considerando trs dimenses: o alvio imediato da pobreza, por meio da transferncia de renda diretamente s famlias pobres e extremamente pobres; a contribuio para reduo da pobreza da gerao seguinte, por meio do reforo do direito de acesso aos servios de sade e de educao, com o cumprimento das condicionalidades nestas reas; e a articulao de aes.

0374 - Reforar o acesso aos direitos sociais bsicos nas reas de sade, educao e assitncia social, para ruptura do ciclo intergeracional de pobreza.

Objetivo 4 0375 - Aprimorar a gesto, a operacionalizao e a fiscalizao do Programa Bolsa Famlia

QUADRO 3 OBJETIVOS DO PROGRAMA FINALSTICO E OBJETIVOS DO PROGRAMA TEMTICO FONTE: A AUTORA (2012)

67

Observa-se, por meio da anlise do Quadro 3, que os objetivos 1 e 3 do programa temtico refletem os objetivos expressos para o programa finalstico Bolsa Famlia. O objetivo 2 representa o que j era desenvolvido no mbito da ao 6414 Sistema Nacional para identificao e seleo do pblico-alvo para os programas sociais do governo federal Cadastro nico, mas que no era expresso por meio de objetivo. O objetivo 4 reproduz o que traduzido na ao 8446 Servio de apoio gesto descentralizada do programa Bolsa Famlia, que tambm no era expresso por meio de objetivo at o PPA 2008/2011. Os objetivos de governo e setoriais do antigo programa finalstico, esto representados nos objetivos 1, 2 e 3 do programa temtico. O Quadro 4 apresenta a classificao das metas pertencentes aos quatro objetivos do programa temtico Bolsa Famlia.
Metas Qualitativas Metas Objetivo 1 - Ampliar a articulao do programa Bolsa Famlia com outras polticas pblicas promotoras de emancipao. - Aumentar o impacto do programa Bolsa Famlia na erradicao e/ou diminuio da pobreza e da extrema pobreza. - Incluir 800 mil famlias em extrema pobreza no Bolsa Famlia. Metas Objetivo 2 - 100% das comunidades quilombolas certificadas cadastradas no Cadastro nico e no programa Bolsa Famlia. - Aprimorar a estratgia de identificao e caracterizao das famlias pertencentes a grupos populacionais diferenciados bem como as famlias em situao de extrema pobreza, no Cadastro nico Programas Sociais do Governo Federal. - Disponibilizao de ferramentas para acesso s informaes do Cadastro nico. - Identificar e incluir as famlias de baixa renda no Cadastro nico para Programas Sociais do Governo Federal. - Migrao dos municpios para o Sistema de Cadastro nico Verso 7. - Qualificar e atualizar as informaes socioeconmicas das famlias de baixa renda includas no Cadastro nico para Programas Sociais do Governo Federal. - Reformular o ndice de Desenvolvimento da Famlia (IDF). Metas Objetivo 3 - Acompanhar o aumento do acesso das famlias beneficirias do PBF aos servios socioassitenciais. X X X Metas Quantitativas

X X X

X X X

68

- Aumentar o acompanhamento do acesso das crianas beneficirias do PBF ao sitema de sade infantil, considerando as especificidades dos povos indgenas e comunidades quilombolas. - Aumentar o acompanhamento do acesso das gestantes beneficirias do PBF ao sistema educacional, considerando as especificidades dos povos indgenas e comunidades quilombolas. - Aumentar o acompanhamento do acesso das gestantes, beneficirias do PBF aos sistema de sade materna, considerando as especificadades dos povos indgenas e comunidades quilombolas. Metas Objetivo 4 - Ampliar o nmero de municpios brasileiros recebendo os recursos do ndice de Gesto Descentralizada (IGD). - Aprimorar a atuao da Rede Pblica de Fiscalizao. - Aumentar o percentual dos municpios brasileiros com Fator de Operao do ndice de Gesto Descentralizada Municipal (IGM superior a 0.55) X

QUADRO 4 CLASSIFICAO METAS DO PROGRAMA TEMTICO BOLSA FAMLIA FONTE: A AUTORA (2012) Observa-se a existncia de cinco metas com contedo qualitativo, o que significa que elas no produzem resultados mensurveis. Essas metas, cujos resultados devem ser apurados, primordialmente, por meio da percepo dos rgos responsveis pelos objetivos dos programas temticos, refletem uma inteno do que se pretende alcanar com determinada ao durante o programa. Verifica-se, ainda, a existncia de doze metas com contedo quantitativo, ou seja, possvel a apurao de resultados mensurveis para elas. No entanto, uma observao importante em relao a essas metas, que, apesar de serem mensurveis, muitas delas no apresentam qual o valor a ser alcanado em cada ano ou ao final do PPA, como, por exemplo, a meta de Aumentar o acompanhamento do acesso das crianas beneficirias do PBF ao sistema de sade infantil, considerando as especificidades dos povos indgenas e comunidades quilombolas, no sendo possvel identificar qual seria o resultado desejvel, o que deixa a meta sem critrios objetivos de apurao. Em reunio com a Senarc, foi possvel depreender que o rgo setorial participou ativamente da formulao dos objetivos e respectivas metas do programa temtico Bolsa Famlia e que os responsveis pelo programa conseguem visualizar claramente nesses atributos o desenvolvimento da poltica de combate direto a pobreza extrema por meio da transferncia de renda.

69

O Quadro 5 apresenta a classificao dos indicadores, tanto do antigo programa finalstico, quanto do atual programa temtico Bolsa Famlia, considerando as dimenses de desempenho definidas pelo MPOG: eficincia, eficcia e efetividade. O foco dessa classificao est na avaliao dos resultados alcanados, conforme disposto nas orientaes bsicas aplicadas gesto pblica para construo de indicadores publicada em setembro de 2012 pelo MPOG. Segundo a classificao do MPOG, indicadores de eficincia so aqueles que medem o que foi produzido com os meios disponibilizados; indicadores de eficcia so os que apontam o grau com que um programa atinge as metas e objetivos para ele definidos e indicadores de efetividade so os que medem os efeitos positivos ou negativos da interveno do Estado na realidade que se pretende alterar. (Brasil, 2012c)
Indicador Taxa de acompanhamento das condicionalidades de educao Taxa de Acompanhamento das condicionalidades de sade Taxa de acompanhamento das condicionalidades de sade das crianas Taxa de acompanhamento das condicionalidades de sade das gestantes Taxa de atendimento s famlias pobres Grau de focalizao do programa Bolsa Famlia Grau de focalizao do Cadastro nico PPA 2008/2011
Eficincia Eficcia Efetividade

PPA 2012/2015
Eficincia Eficcia Efetividade

X X

X X X X X

QUADRO 5 CLASSIFICAO INDICADORES PPA 2008/2011 E PPA 2012/2015 FONTE: A AUTORA (2012) possvel verificar que no houve alteraes significativas nos indicadores do Bolsa Famlia no PPA 2012/2015 em relao aos indicadores que existiam no PPA 2008/2011. A nica alterao ocorreu no indicador Taxa de acompanhamento das condicionalidades de sade, que se transformou em dois indicadores: Taxa de acompanhamento das condicionalidades de sade das crianas e Taxa de acompanhamento das condicionalidades de sade das gestantes, em face da prioridade dada s gestantes e nutrizes aps a incluso do Programa Brasil Carinhoso no Plano Brasil Sem Misria. Tal inovao, em termos prticos, no resultou em alteraes no programa, pelo fato de as frmulas de clculo dos indicadores continuarem as mesmas. O

70

indicador Grau de focalizao do programa Bolsa Famlia tambm teve seu nome alterado para Grau de focalizao do cadastro nico. Com base no entendimento de Santos (2011), que defende que a estrutura do PPA deve priorizar a eficcia e a efetividade da ao governamental, devendo ficar a dimenso da eficincia do gasto para o oramento, verifica-se que, no que se refere aos indicadores do PPA para o programa temtico Bolsa Famlia, a dimenso eficincia de fato no est sendo considerada. Os indicadores do programa medem a sua eficcia, ou seja, buscam apontar o grau com que ele atinge suas metas e objetivos, no existindo indicadores para medir os efeitos positivos ou negativos que os resultados do programa promoveram na realidade, sua efetividade. Em entrevista com os tcnicos da Senarc, observou-se que a opo por manter os mesmos indicadores do PPA anterior partiu da prpria Secretaria. Deve-se observar, no entanto, que, segundo informaes dos tcnicos da Secretaria, existem informaes sobre o programa Bolsa Famlia que permitiriam o clculo dos efeitos do programa sobre a realidade a ser modificada, as quais no esto sendo utilizadas. No que se refere aos dados para o clculo dos indicadores do PPA, para preenchimento dos atributos do mdulo M2 de monitoramento do Siop, estes j esto disponveis para repasse SPI quando solicitados. O Quadro 6 apresenta as iniciativas pertencentes aos objetivos do programa temtico Bolsa Famlia.
Iniciativas 02ER - Transferncia de renda s famlias em condio de pobreza e extrema pobreza. 014H - Disponibilizao de informaes de identificao e caracterizao socioeconmica qualificadas e atualizadas, de todas as famlias brasileiras de baixa renda, para elaborao de estudos e pesquisas, e para o planejamento e implementao de polticas pblicas e aes governamentais voltadas ao combate pobreza e desigualdade social. 0149 - Acompanhamento das condicionalidades de sade e educao e monitoramento das famlias com descumprimentos do PBF, oferecendo diagnstico qualificado e dinmico da situao dessas famlias e implementao de aes, em parceria, de aperfeioamento na oferta desses servios, bem como articulao de programas complementares. 014B - Aprimoramento e desenvolvimento de atividades terceirizadas de administrao do cadastro nico e de benefico do PBF, bem como daquelas atividades de apoio fiscalizao, controle e auditoria da execuo do programa Bolsa Famlia. 014E - Fortalecimento da capacidade de gesto descentralizada do programa Bolsa Famlia.

QUADRO 6 INICIATIVAS DO PROGRAMA TEMTICO BOLSA FAMLIA FONTE: A AUTORA (2012)

71

O conceito de iniciativa envolve a entrega de bens e servios sociedade, no entanto, observa-se que em algumas iniciativas do programa temtico Bolsa Famlia, como, por exemplo, a de Fortalecimento da capacidade de gesto descentralizada do programa Bolsa Famlia, existe apenas uma declarao de inteno, no estando claro qual produto ou servio ser disponibilizado sociedade. Pode-se inferir que tal fato representa uma falha na formulao das iniciativas, existindo a necessidade de que ocorra sua reviso, com a finalidade de adapt-las ao conceito a elas atribudo. No que se refere Estratgia de Monitoramento e Avaliao do PPA 2012/2015, os servidores da Senarc informaram no possuir conhecimento sobre tal estratgia. Tambm no participaram da oficina de orientao aos rgos setoriais. Foi possvel inferir, durante a reunio com os servidores da Secretaria, que o monitoramento do programa Bolsa Famlia independe de estratgia que venha a ser proposta pelo rgo Central de Planejamento. Quando questionados sobre a existncia de sistemas prprios de monitoramento do programa, que pudessem auxiliar a SPI no monitoramento de programas a ser realizado no mdulo M3, que depender de informaes fornecidas pelos rgos setoriais, a Senarc observou que toma todas as suas decises com base em sistemas prprios de monitoramento do programa e que seria capaz de fornecer a SPI diversas informaes independentes das registradas no Siop.

Resduos Slidos. O programa temtico Resduos Slidos, cujos objetivos esto sob a responsabilidade do Ministrio do Meio Ambiente (MMA), representa a ao governamental no tema manejo de resduos slidos, que, at o PPA 2008/2011, possua suas aes no programa finalstico Resduos Slidos Urbanos. O ento programa finalstico Resduos Slidos Urbanos, apesar de ser de responsabilidade do MMA, possua a maior parte de seus recursos em aes executadas de forma descentralizada pela Funasa, pelo Ministrio das Cidades, pelo MDS e pelo Ministrio da Educao, ficando a cargo do MMA apenas aquelas aes relacionadas ao desenvolvimento da poltica nacional de resduos slidos, gesto e administrao do programa e ao desenvolvimento institucional para gesto, que envolviam um aporte menor de recursos.

72

No PPA 2012/2015, parcela maior da poltica de resduos slidos passou a ser executada diretamente pelo MMA, sendo apenas as aes 20AM Implementao de projetos de coleta e reciclagem de materiais e 8274 Fomento para o desenvolvimento e a organizao de cooperativas atuantes em resduos slidos executados pela Fundao Nacional de Sade (Funasa); e, pelo Ministrio do Trabalho e Emprego e MDS, respectivamente. Dessa forma, o MMA passou a implementar aes finalsticas da poltica de resduos slidos propriamente dita. O Quadro 7, a seguir, apresenta a dotao destinada ao antigo programa finalstico Resduos Slidos Urbanos e ao programa temtico Resduos Slidos nos anos de 2011 e 2012, respectivamente. Dotao (R$ milhes) 414,6 564,9

Ano PPA 2008/2011 PPA 2012/2015

QUADRO 7 RECURSOS DESTINADOS AO PROGRAMA RESDUOS SLIDOS NO PPA FONTE: A AUTORA (2012)

O programa temtico Resduos Slidos sofreu diminuio de aproximadamente 37% da dotao a ele destinada na LOA 2012 em relao ao montante de recursos destinados o antigo programa finalstico Resduos Slidos Urbanos na LOA 2011, fato que pode ser explicado pela migrao das aes 116I Apoio a sistemas pblicos de manejo de resduos slidos em municpios com populao superior a 50 mil habitantes ou municpios integrantes de regies metropolitanas ou de regies integradas de desenvolvimento e 10GG Implantao e melhoria de sistemas pblicos de manejo de resduos slidos em municpios de at 50 mil habitantes, exclusive de regies metropolitanas ou regies integradas de desenvolvimento econmico para o programa temtico 2068 Saneamento Bsico. Essas aes eram as que detinham maior materialidade no antigo programa finalstico Resduos Slidos Urbanos, tendo sido destinado a elas na LOA 2012, conjuntamente, dotao de cerca de R$ 381, 6 milhes, ou seja, superior previso para todo o programa temtico no exerccio corrente. No entanto, o Quadro 3 demonstra a inteno do governo federal em aumentar os investimentos no programa nos prximos anos, j que houve aumento nos recursos previstos para o quadrinio 2012/2015 em relao aos previstos para o quadrinio 2008/2011.

73

O Quadro 8 apresenta a comparao entre os objetivos de governo, setoriais e do antigo programa finalstico Resduos Slidos Urbanos e os objetivos do atual programa temtico Resduos Slidos.
PPA 2008/2011 Programa Finalstico 8007 Resduos Slidos Urbanos Objetivo de Governo Reduzir as desigualdades regionais a partir das pontecialidades locais do territrio nacional Objetivo Setorial Promover e difundir a gesto ambiental, a produo e o consumo sustentvel nos ambientes urbanos e rurais e nos territrios dos povos e comunidades tradicionais Objetivo do Programa Ampliar a rea de cobertura e eficincia dos servios pblicos de manejo de resduos slidos, com nfase no encerramento de lixes, na reduo, no reaproveitamento e na reciclagem de materiais, por meio da incluso socioeconmica de catadores. Programa Temtico 2067 Resduos Slidos Objetivo 1 0319 Ampliar o acesso aos servios de manejo de resduos slidos urbanos de forma ambientalmente adequada, induzindo a gesto consorciada dos servios e a incluso socioeconmica de catadores de materiais reciclveis. Objetivo 2 PPA 2012/2015

0342 Promover a implementao da Poltica Nacional de Resduos Slidos com nfase na reestruturao das cadeias produtivas, na integrao das associaes, cooperativas e redes de cooperao de catadores, na estruturao do planejamento do setor, no gerenciamento de reas contaminadas e na inovao tecnolgica respeitando as peculiaridades regionais.

QUADRO 8 OBJETIVOS DO PROGRAMA FINALSTICO E OBJETIVOS DO PROGRAMA TEMTICO FONTE: A AUTORA (2012) Observa-se que o objetivo 1 possui similaridade com o antigo objetivo do programa finalistico Resduos Slidos Urbanos. O objetivo 2 reflexo da aprovao, em agosto de 2010, da Poltica Nacional de Resduos Slidos, por meio da Lei n 12.305. Apesar de no estar expressa em objetivo, a inteno de implantar-se uma Poltica Nacional de Resduos Slidos j constava da ao 2E42 Implementao da Poltica Nacional de Resduos Slidos no PPA 2008/2011. Os objetivos setorial e de governo, apesar de no estarem claramente expressos nos objetivos do programa temtico, possuem seu contedo inserido nesses objetivos, norteando a poltica nacional de resduos slidos. Pode-se inferir que foram mantidos no PPA 2012/2015 os mesmos objetivos existentes para o programa finalstico Resduos Slidos Urbanos no Plano anterior. A alterao ficou a

74

cargo da expresso mais detalhada do que se pretende com a poltica, tornando o que antes era expresso apenas por meio de aes em objetivos do programa temtico. O Quadro 9 apresenta a classificao das metas dos objetivos do programa temtico Resduos Slidos em qualitativas ou quantitativas, de acordo com a possibilidade de se mensurar, ou no, seus resultados.
Metas Qualitativas Metas Objetivo 1 - Apoio a 150 municpios para implantao de programas de coleta seletiva; - Capacitar e fortalecer a participao na coleta seletiva de 60 mil catadores; - Fomento a constituio e implementao de 120 consrcios pblicos com a atuao em resduos slidos; - Fomento e fortalecimento de 600 cooperativas/associaes e redes de cooperao de catadores de materiais reciclveis para atuao na coleta seletiva e nas cadeias de reciclagem; - Incrementar 100 redes de comercializao de materiais reciclveis coletados pelas associaes de catadores; - Viabilizar infraestrutura para 350 mil catadores Metas Objetivo 2 - 20 estados com inventrio de reas contaminadas disponibilizado; - 8 acordos setoriais de cadeias produtivas implementados; - Elaborar 27 Planos de Resduos Slidos em todos os estados e no Distrito Federal; - Elevar para 20% o percentual de municpios brasileiros com reciclagem de resduos slidos implantada; - Implantar Planos de Gesto Integrada de Resduos Slidos (PGIRS) em 35% dos municpios do pas; - Sistema de Informao de Resduos Slidos implantado. X X X X X X X X X Metas Quantitativas

X X

QUADRO 9 CLASSIFICAO METAS DO PROGRAMA TEMTICO RESDUOS SLIDOS FONTE: A AUTORA (2012) Observa-se a existncia de duas metas qualitativas, sendo todas as demais quantitativas e mensurveis. Novidade em relao ao PPA 2008/2011 que se definiu um nmero maior metas, que tambm se tornaram mais especficas, tendo ficado a cargo do rgo setorial definir como e quando dever atingi-las, visto que so apresentadas apenas as metas para o final do PPA. Em reunio com os responsveis pelo monitoramento do programa no MMA, verificou-se que o rgo participou ativamente da elaborao dos objetivos e metas e que os tcnicos

75

conseguem visualizar claramente nesses atributos a sua atuao. Para os servidores que participaram da reunio, o arranjo do novo PPA envolve o rgo no processo de definio da poltica pblica, o que facilita ao setorial enxergar-se como parte da poltica. Os servidores consideram que, com o novo Plano, os objetivos do programa temtico tornaram-se mais importantes que a execuo da ao oramentria em si, por entenderem que o rgo tem o dever de atingir seus objetivos e no apenas de executar aes. No entanto, entendem que, para os servidores que atuam no dia-a-dia de implementao das polticas pblicas, as decises ainda so tomadas em torno das aes oramentrias e que seria muito difcil alterar essa realidade, pois ela est enraizada na cultura dos rgos setoriais, sendo necessrio um trabalho de conscientizao, tanto do rgo setorial, quanto do rgo Central de Planejamento, para mudar essa cultura. Os servidores do MMA relataram ainda que o novo PPA trouxe a necessidade de maior articulao com outros rgos, pois o Ministrio possui iniciativas com aes executadas por outros rgos. Entendem que dever ser mantido um acompanhamento criterioso do andamento das polticas, sob pena de haver perda na qualidade das informaes do programa, o que resultaria no mesmo problema de produo de informaes pouco confiveis observado no PPA passado. O Quadro 10 apresenta a classificao dos indicadores pertencentes ao antigo programa finalstico e ao atual programa temtico nos PPA`s 2008/2011 e 2012/2015, respectivamente. Como tratado na anlise dos indicadores do programa Bolsa Famlia, utilizou-se para esta avaliao as definies contidas nas orientaes bsicas aplicadas gesto publica para construo de indicadores publicada pelo MPOG, classificando-se os indicadores em de eficincia, eficcia e efetividade.
Indicador Taxa de cobertura de resduos slidos urbanos Taxa de municpios com destinao final adequada de resduos slidos Nmero de catadores ligados a cooperativas e associaes Nmero de cooperativas ou associaes de catadores Percentual de municpios com coleta seletiva organizada atravs de PPA 2008/2011
Eficincia Eficcia Efetividade

PPA 2012/2015
Eficincia Eficcia Efetividade

X X X X X

76

cooperativas e associaes Percentual de municpios com iniciativas de coleta seletiva Quantidade de resduos slidos recebidos por dia em aterros controlados Quantidade de resduos slidos recebidos por dia em aterros sanitrios Quantidade de resduos slidos recebidos por dia em lixes Taxa de recuperao de materiais reciclveis (exceto matria rgnica e rejeitos ) em relao quantidade total (rdo+rpu) coletada. X X X X

QUADRO 10 CLASSIFICAO INDICADORES PPA 2008/2011 E PPA 2012/2015 FONTE: A AUTORA (2012) Observa-se que foram criados indicadores novos para o PPA 2012/2015, no tendo sido mantido nenhum indicador do antigo programa finalstico. No entanto, pode-se observar que os indicadores criados para o programa temtico representam o desdobramento dos dois indicadores que existiam no programa finalstico. Partindo-se novamente do entendimento de Santos (2011), de que o PPA deve priorizar a eficcia e a efetividade, ficando a dimenso da eficincia para o nvel oramentrio, verifica-se que, nesse caso, foi criado um indicador de eficincia para o programa temtico Resduos Slidos, sendo os demais indicadores de eficcia. No existem, como no caso do programa temtico Bolsa Famlia, indicadores de efetividade para este programa, o que, segundo depoimento dos tcnicos do MMA, deve-se s dificuldades do rgo em formular esse tipo de indicador. Quando questionados sobre o clculo dos indicadores, os responsveis pelo programa temtico informaram desconhecer, at a data em que a entrevista foi realizada, a fonte de dados que permitir tal clculo. Apesar de o preenchimento dos resultados dos indicadores no Siop ser uma atribuio da SPI, a Secretaria dever contar com as informaes fornecidas pelos rgos setoriais, o que no caso do programa Resduos Slidos ainda no est disponvel. Uma vez que a identificao de fontes de dados etapa essencial e indispensvel ao processo de construo de indicadores de desempenho, a deficincia detectada demonstra a existncia de falhas na metodologia utilizada para definio dos indicadores que integram o novo PPA para o programa temtico Resduos Slidos.

77

O Quadro 11 apresenta as iniciativas pertencentes aos objetivos do programa temtico Resduos Slidos.
Iniciativas 00ZE Apoio e fomento s associaes, cooperativas e redes de cooperao de catadores de materiais reciclveis por meio de formao, assessoria tcnica, infraestrutura e logstica em unidades de coleta, triagem, processamento e comercializao de resduos. 00ZG Fortalecimento do poder pblico para a gesto regionalizada dos servios de resduos slidos urbanos. 00ZH Implementao de sistemas de coleta seletiva de resduos slidos urbanos. 010G Desenvolver novas tecnologias voltadas para atender os princpios da no gerao, reduo, reutilizao, reciclagem e tratamento de resduos slidos (Iniciativa no possui ao no oramento) 010I Fortalecimento da gesto local dos resduos slidos (Iniciativa no prevista no oramento) 010J Implementao de prticas de produo e consumo sustentvel (Iniciativa no prevista no oramento) 010L - Promoo de monitoramento de reas contaminadas por resduos e recuperao de reas rfs contaminadas

QUADRO 11 INICIATIVAS DO PROGRAMA TEMTICO RESDUOS SLIDOS FONTE: A AUTORA (2012) Partindo-se do conceito de que as iniciativas representam a entrega de bens e servios sociedade, resultante da coordenao de aes oramentrias e no oramentrias, conforme j observado na anlise das iniciativas do programa temtico Bolsa Famlia, em algumas iniciativas do programa temtico Resduos Slidos no possvel identificar tais entregas, como, por exemplo, na iniciativa Fortalecimento do poder pblico para a gesto regionalizada dos servios de resduos slidos urbanos, que declara uma inteno e no a previso de entrega de um bem ou servio. Depreende-se, dessa forma, que tambm existe a necessidade de reviso das iniciativas desse programa temtico. Quando questionados sobre a Estratgia de Monitoramento e Avaliao do PPA 2012/2015, principalmente no que concerne ao registro de informaes no Siop, os servidores do MMA responderam que ainda no possuem o conhecimento adequado sobre a nova estratgia de monitoramento e sobre o Siop. Afirmaram ter participado da oficina oferecida pela SPI sobre a nova Estratgia de Monitoramento e Avaliao do PPA 2012/2015, mas observaram no ter sido suficiente para que pudessem compreender como funcionar a nova sistemtica de monitoramento. Os servidores demonstraram, ainda, preocupao com questes operacionais relacionadas ao Siop, pois entendem que existem diversas inconsistncias a serem resolvidas e que, na prtica, o Siop ser muito semelhante ao Sigplan.

78

No que se refere existncia de sistemas de monitoramento mantidos pelo MMA, que poderiam servir como fonte de informaes para possveis solicitaes de dados pela SPI, para auxiliar no monitoramento realizado no mdulo M3 da Estratgia de Monitoramento e Avaliao, os servidores responderam que existem sistemas utilizados para monitorar as aes definidas como prioritrias pela Presidncia da Repblica, sendo um desses sistemas o Sistema de Governo (Sigob). Segundo eles, esses sistemas poderiam ser utilizados como fontes de informao para uma anlise mais aprofundada dos objetivos que esto sob a responsabilidade do Ministrio.

Turismo O programa temtico Turismo compreende os temas relacionados ao turismo no Brasil e resultou da unificao de dois programas finalsticos do PPA 2008/2011: Brasil: destino turstico internacional e Turismo social no Brasil uma viagem de incluso, e de um programa de apoio s polticas pblicas e reas especiais: Gesto da Poltica de Turismo. Merece destaque o fato de aes que antes pertenciam a um programa de apoio s polticas pblicas e reas especiais agora estarem dentro de um programa temtico. Segundo informaes do Ministrio do Turismo, o programa temtico Turismo foi construdo em consonncia com as disposies do Plano Nacional de Turismo (PNT) que, apesar de ainda no ter sido aprovado pelo Congresso Nacional, o norteador da definio das polticas pblicas relacionadas ao tema turismo no Brasil. Como o PNT um documento ainda em construo, o rgo setorial observou que busca manter a identidade entre os dois documentos, guiando as alteraes no PPA pelas alteraes de contedo do PNT. Destaque-se que as aes do programa temtico Turismo so executadas prioritariamente por meio de Contratos de Repasse, com vistas ao desenvolvimento do turismo como uma atividade econmica sustentvel, geradora de empregos e divisas. O Quadro 12 a seguir, apresenta a dotao destinada aos dois antigos programas finalsticos, Brasil: destino turstico internacional e Turismo social no Brasil uma viagem de incluso, e ao antigo programa de apoio a polticas pblicas Gesto da Poltica de Turismo no exerccio de 2011 e ao atual programa temtico Turismo no exerccio de 2012.

79

Ano PPA 2008/2011 PPA 2012/2015

Dotao (R$ milhes) 3.246,5 14.719,1

QUADRO 12 RECURSOS DESTINADOS AO PROGRAMA TURISMO NO PPA FONTE: A AUTORA (2012) Observa-se que houve aumento expressivo dos recursos destinados poltica de turismo no PPA 2012/2015, comparativamente ao PPA 2008/2011, cerca de 354%. Esse fato pode ser explicado pela criao do objetivo 0738 Estruturar, qualificar e promover os destinos tursticos brasileiros para os megaeventos esportivos, que incluiu no programa temtico objetivo que no era previsto no programa finalstico. No entanto, no primeiro ano do novo plano, o programa temtico Turismo recebeu dotao 30% menor que a soma das dotaes destinadas, em 2011, aos antigos programas finalsticos e ao antigo programa de gesto de polticas pblicas que lhe deram origem, o que se explica pela extino das aes 5112- Adequao da infraestrutura do patrimnio histrico e cultural para utilizao turstica, 4030 Certificao de empreendimentos, equipamentos e produtos do segmento turstico, 4198 Certificao de profissionais associados ao seguimento turismo, 4052 Fomento produo local e distribuio de produtos para uso dos empreendimentos tursticos, 5701 Implantao de centros de informaes tursticase 2301 Sinalizao turstica, todas pertencentes ao antigo programa finalstico Turismo Social no Brasil uma viagem de incluso. O Quadro 13 apresenta a comparao entre os objetivos de governo, setoriais e dos antigos programas finalsticos Brasil: Destino Turstico Internacional e Turismo social no Brasil uma viagem de incluso e do antigo programa de gesto de polticas pblicas Gesto da Poltica de Turismo com os objetivos do atual programa temtico Turismo.
PPA 2008/2011 Programas Finalsticos 1001 Gesto da Poltica de Turismo 1163 Brasil: Destino Turstico Internacional 1166 Turismo social no Brasil uma viagem de incluso Objetivos de Governo 1001 - Promover o crescimento econmico e ambientalmente sustentvel, com gerao de emprego e distribuio de renda; 1163 - Promover o crescimento econmico e ambientalmente sustentvel, com gerao de emprego e PPA 2012/2015 Programa Temtico 2076 Turismo Objetivo 1 0737 Promover a sustentabilidade e a qualidade de forma a aumentar a competitividade do turismo brasileiro.

80

distribuio de renda; 1166 - Promover a incluso social e a reduo das desigualdades. Objetivos Setoriais 1001 - Desenvolver o produto turstico brasileiro com qualidade, contemplando nossas diversidades regionais, culturais e naturais; 1163 - Fomentar a competividade do produto turstico brasileiro no mercado internacional e atrair divisas para o pas; 1166 - Promover o turismo como um fator de incluso social, por meio da gerao de trabalho e renda e pela incluso da atividade na pauta de consumo de todos os brasileiros. Objetivos dos Programas 1001 - Coordenar o planejamento e a formulao de polticas setoriais e a avaliao e controle dos programas na rea do turismo; 1163 - Aumentar o fluxo de turistas estrageiros, o gasto mdio e o tempo mdio de permanncia no pas; 1166 - Aumentar os fluxos tursticos e promover a incluso social mediante a estruturao e diversificao da oferta e da demanda. Objetivo 2

0738 Estruturar, qualificar e promover os destinos tursticos brasileiros para os megaeventos esportivos.

Objetivo 3 0739 Incentivar o brasileiro a viajar pelo Brasil Objetivo 4

0740 - Divulgar no exterior a imagem do pas, seus produtos, destinos e servios tursticos, bem como apoiar a internacionalizao das empresas brasileiras do segmento.

Objetivo 5 0741 Consolidar a gesto compartilhada do turismo no Brasil.

QUADRO 13 OBJETIVOS PROGRAMA FINALSTICO E OBJETIVOS PROGRAMA TEMTICO FONTE: A AUTORA (2012) Observa-se que os objetivos 1 e 4 do programa temtico possuem similaridade com o previsto nos objetivos setorial e no objetivo do antigo programa finalstico Brasil: destino turstico internacional, por tratarem do tema incentivo ao turismo de estrangeiros no pas, representando a continuidade da atuao do governo nesse assunto. O objetivo 3 do programa temtico possui relao com os objetivos setorial e do programa finalstico Turismo social no Brasil - uma viagem de incluso, tambm representando a continuidade da atuao do governo no assunto turismo domstico. No PPA 2012/2015, destacou-se no tema turismo a realizao de dois megaeventos esportivos no Brasil: a Copa do Mundo FIFA de 2014 e as Olimpadas de 2016 no Rio de Janeiro. Dessa forma, pode-se inferir que o objetivo 2 do programa temtico foi elaborado com a finalidade de dar suporte aos megaeventos esportivos no que se refere infraestrutura de turismo.

81

O objetivo 5 rene o previsto no objetivo do programa de apoio s polticas pblicas e reas especiais Gesto da Poltica de Turismo que j era executado por meio d as aes oramentrias 4622 Apoio estruturao dos destinos tursticos e 4084 Inventrio da oferta turstica, mas no era previsto em qualquer objetivo. O Quadro 14 apresenta a classificao das metas dos objetivos do programa temtico Turismo em qualitativas ou quantitativas, de acordo com a possibilidade de se mensurar, ou no, seus resultados.
Metas Qualitativas Metas Objetivo 1 - Cadastrar 33.852 prestadores de servios tursticos (meta apresentada no PPA por regio); - Classificar 4.000 empreendimentos tursticos (meta apresentada no PPA por regio) - Qualificar 186.750 gestores e profissionais da cadeia produtiva do turismo. Metas Objetivo 2 - Cumprir 100% da execuo dos Termos de Compromisso relativos ao setor turismo com a iniciativa privada; - Qualificar 162.000 profissionais da linha de frente do turismo, com foco nas cidades-sede da Copa do Mundo FIFA de Futebol. Metas Objetivo 3 - Realizar 16 campanhas promocionais voltadas para o mercado domstico.. Metas Objetivo 4 - Aumentar de 9,8 milhes de assentos ofertados em voos internacionais em 2010 para 15,2 milhes. Metas Objetivo 5 - Consolidar 154 instncias de governana estaduais, regionais e municipais (meta apresentada no PPA por regio); - Fortalecer institucionalmente os 27 rgos oficiais de turismo dos estados. (meta apresentada no PPA por regio) X X Metas Quantitativas X X X

X X

QUADRO 14 CLASSIFICAO METAS PROGRAMA TEMTICO TURISMO FONTE: A AUTORA (2012) Observa-se a existncia de apenas uma meta qualitativa, sendo todas as demais metas quantitativas e passveis de serem mensuradas. Mais uma vez, pode-se afirmar que o que difere as metas do atual PPA das metas previstas para as aes no PPA 2008/2011 o fato de as metas atuais expressarem de forma mais clara o que se pretende alcanar em termos de resultados, o que facilita sua divulgao para sociedade e para os servidores do rgo. Por outro lado, o fato de serem apresentados apenas os resultados desejados para o final do PPA, no permite que se tenha

82

conhecimento do percentual desses resultados a ser alcanado a cada ano, o que pode comprometer o controle a ser executado pela sociedade e pelos prprios rgos de controle. Quando questionados sobre a compatibilidade das metas estabelecidas para os objetivos sob a responsabilidade do rgo no PPA 2012/2015, os servidores do Ministrio do Turismo responderam que cerca de 80% das metas esto incorporadas ao contedo do planejamento estratgico do rgo, sendo objeto de monitoramento realizado pelo prprio rgo, estando fora desse monitoramento apenas aquelas metas relacionadas aos Termos de Compromisso da Copa do Mundo, por estarem sendo tratadas diretamente pela Secretaria Executiva do Ministrio, no sendo objeto de acompanhamento pela rea responsvel pelo monitoramento das demais metas. O Quadro 15 apresenta a classificao dos indicadores pertencentes ao antigo programa finalstico e ao atual programa temtico nos PPA`s 2008/2011 e 2012/2015, respectivamente. Como nos dois programas temticos analisados anteriormente, utilizou-se para esta avaliao as definies contidas nas orientaes bsicas aplicadas gesto publica para construo de indicadores publicada pelo MPOG, classificando-se os indicadores em de eficincia, eficcia e efetividade.
Indicador
Eficincia

PPA 2008/2011
Eficcia Efetividade Eficincia

PPA 2012/2015
Eficcia Efetividade

Novos empregos e ocupaes gerados no setor turismo Competitividade dos destinos indutores de desenvolvimento turstico regional Divsas geradas pelo turismo Fluxo de turistas domsticos Chegadas de turistas internacionais Estoque de empregos formais nas atividades caractersticas do turismo (ACTs) ndice de competitividade do turismo nacional Receita cambial gerada pelo turismo Viagens realizadas no mercado domstico

X X X X X X X X X

QUADRO 15 INDICADORES PPA 2008/2011 E PPA 2012/2015 FONTE: A AUTORA (2012)

83

Verifica-se que houve alterao nos nomes dos indicadores, com a finalidade de tornar seu contedo mais claro, bem como aumento na sua quantidade. No entanto, os indicadores continuam a medir os mesmo resultados, tendo, em alguns casos, ocorrido adaptao da frmula de clculo com a finalidade de melhorar a informao a ser obtida por meio do ndice. Segundo o Ministrio do Turismo, trata-se de indicadores simples, que possuem total identidade com os objetivos do rgo e cujos dados para clculo j se encontram disponveis para fornecimento SPI quando solicitados. Realizando-se, mais uma vez, a anlise com base no entendimento de Santos (2011), de que se deve priorizar no PPA a eficcia e a efetividade, deixando que a dimenso eficincia seja tratada em nvel de oramento, observa-se que para programa temtico Turismo no foram definidos indicadores de eficincia no PPA 2011/2015, em consonncia com o definido por Santos. Observa-se ainda a predominncia de indicadores de eficcia, que medem o alcance dos objetivos definidos para aquela poltica, bem como a existncia de um indicador de efetividade, do que se pode inferir que h certo grau de maturidade da poltica de turismo, j que esse tipo de indicador mede os efeitos da poltica sobre a realidade que se pretende alterar. O Quadro 16 apresenta as iniciativas pertencentes aos objetivos do programa temtico Turismo.
Iniciativas 02V4 Adequao da infraestrutura turstica pblica para o desenvolvimento sustentvel do turismo; 02V5 Apoio ao ordenamento e consolidao dos segmentos tursticos brasileiros. 02V6 Apoio aos entes pblicos na contratao e execuo dos projetos com recursos oriundos de financiamentos externos para o desenvolvimento sustentvel do turismo; 02V7 Cadastramento das empresas, dos empreendimentos e dos profissionais do turismo; 02V8 Elaborao de estudos de competitividade do turismo brasileiro; 02V9 Estabelecimento de padres e normas de qualidade, eficincia e segurana para a prestao de servios e equipamentos tursticos; 02VC Fiscalizao de servios tursticos; 02VD Incentivo insero da produo associada ao turismo nos roteiros e destinos tursticos; 02VF Promoo de investimentos privados e financiamento no setor de turismo; 02VH Qualificao de profissionais e gestores da cadeia produtiva do turismo e incentivo a certificao de pessoas, equipamentos, servios e produtos; 02VJ Qualificao dos produtos e servios tursticos de base local e/ou comunitria na cadeia produtiva do turismo. 02VM Adequao da infraestrutura turstica pblica para os megaeventos esportivos.

84

02VN Adequao turstica das Unidade de Conservao e seu entorno para a Copa do Mundo 2014 Parques para a Copa. (Iniciativa no prevista no oramento) 02VQ Disponibilizao de linhas de crdito para empreendimentos tursticos situados nas cidades-sede da Copa do Mundo FIFA de futebol e seus entornos. (Iniciativa no prevista no oramento) 02VR Promoo e marketing dos megaeventos esportivos a serem realizados no Brasil nos mercados nacional e internacional. (Iniciativa no prevista no oramento) 02VT Qualificao dos profissionais diretamente envolvidos com os turistas para os megaeventos esportivos Bem Receber, com prioridade para profissionais da terceira idade. (Iniciativa no prevista no oramento) 02VW Disponibilizao de linhas de crdito direto ao turista para incentiv-lo a viajar pelo pas. (Iniciativa no prevista no oramento) 02VY Implementao de projetos de apoio a organizao, integrao e fortalecimento da cadeia de distribuio do turismo. 02VZ Promoo e apoio a comercializao de roteiros, destinos e produtos Salo do Turismo Roteiros do Brasil. 02W0 Realizao de campanhas de promoo do turismo interno. 02W1 Realizao de eventos temticos geradores de fluxo turstico para a comercializao de roteiros, destinos e produtos. 02W2 Promoo de investimentos tursticos brasileiros no exterior. (Iniciativa no prevista no oramento) 02W3 Promoo, marketing e apoio a comercializao para a divulgao do turismo brasileiro no mercado internacional, inclusive vinculada ao combate ao turismo sexual Plano Aquarela. 02W4 Apoio gesto e desenvolvimento das regies tursticas brasileiras. . 02W5 Apoio ao desenvolvimento da gesto compartilhada e ao planejamento integrado do Sistema Nacional de Turismo. 02W6 Apoio realizao de inventrio da oferta turstica. 02W8 Incorporao de melhores prticas internacionais no setor de turismo brasileiro. 02W9 Realizao de estudos e pesquisas e sistematizao de dados para subsidiar polticas de desenvolvimento do turismo.

QUADRO 16 INICIATIVAS DO PROGRAMA TEMTICO TURISMO FONTE: A AUTORA (2012) Conforme verificado nos dois programas temticos j analisados, em algumas iniciativas do programa temtico Turismo no possvel identificar a entrega de bens ou servios sociedade, de acordo com o previsto no conceito de iniciativa. Como exemplo, pode-se citar as iniciativas de Apoio ao ordenamento e consolidao dos seguimentos tursticos brasileiros e de Incentivo insero da produo associada ao turismo nos roteiros e destinos tursticos, que representam a inteno de se fazer algo. Dessa forma, pode-se inferir que as iniciativas do programa temtico Turismo tambm precisam passar por um processo de reviso para adaptao de seu contedo ao seu conceito. Quando questionados sobre a Estratgia de Monitoramento e Avaliao do PPA 2012/2015, os servidores do Ministrio do Turismo responderam que, apesar de terem

85

participado das oficinas oferecidas pela SPI, ainda no esto preparados para trabalhar com esta metodologia, principalmente pelo fato de ainda no terem iniciado o registro de informaes no Siop que, at o dia da realizao da entrevista no rgo, no havia sido disponibilizado para registro de informaes. Em relao existncia de sistema de monitoramento e avaliao das polticas a cargo do Ministrio, independente do Siop, o Ministrio do Turismo respondeu que possui um Infrasig, o Sistema Integrado de Gesto do Turismo (Sigtur), que era compatvel com o Sigplan. Atualmente, o Ministrio desenvolve outro sistema, o Portal de Monitoramento de Desempenho, que agrega e produz informaes de carter mais gerencial. A inteno do Ministrio unir as informaes constantes dos dois sistemas, o que s ser possvel, segundo os servidores, depois que obtiverem conhecimento sobre as informaes que devero ser registradas no Siop. A partir dos resultados elencados neste captulo, sero analisados a seguir, luz da literatura, as mudanas implementadas no PPA 2012/2015 e a proposta de Estratgia de Monitoramento e Avaliao do Plano.

6. Anlise dos Resultados

Aps reviso da literatura que trata sobre o sistema de monitoramento e avaliao do PPA 2012/2015 e reunies com a SPI e com os rgos setoriais responsveis pelos programas temticos selecionados para o estudo de caso, realizou-se a anlise a seguir sobre as alteraes ocorridas no PPA 2012/2015 e sobre a sua Estratgia de Monitoramento e Avaliao. Ressalte-se que a aprovao do PPA 2012/2015 ainda recente e que o processo de construo da Estratgia de Monitoramento e Avaliao do Plano ainda no foi finalizado, portanto, a anlise realizada neste tpico fundamenta-se em concluses e inferncias depreendidas das entrevistas realizadas com os tcnicos diretamente envolvidos no processo e em pesquisa nos documentos que o suportam. Como o PPA 2012/2015 e sua Estratgia de Monitoramento e Avaliao ainda se encontram em elaborao, possvel que alguns pontos tratados nesta pesquisa venham a apresentar outras caractersticas e interpretaes. Outro ponto que deve ser destacado que as inferncias e concluses contrudas a partir dos estudos de caso aplicam-se apenas aos programas analisados, no podendo seus resultados

86

ser generalizados para todos os programas temticos do PPA 2012/2015, bem como aos seus respectivos atributos. interessante ressaltar que a SPI passou por grandes alteraes em seu quadro gerencial e tcnico, o que possivelmente provocar mudanas nos rumos a serem tomados pelo novo Plano. Comparando-se o contedo das reunies realizadas com os antigos tcnicos e gerentes da SPI em 2011, com o contedo das reunies recentes, j com os novos gerentes e tcnicos, pode-se inferir que, atualmente, existe tendncia maior de delegar competncia em relao ao monitoramento dos programas temticos aos rgos setoriais, prevalescendo a ideia de responsabilizao compartilhada em que os rgos setoriais so os principais responsveis pelas polticas pblicas. O planejamento governamental, bem como a criao de um sistema de gerenciamento de polticas pblicas, envolve questes que vo alm da teoria e da tcnica. No contexto de um Estado, aspectos sociais e polticos podem ter peso muito maior que questes tcnicas. Dessa forma, na construo de um sistema de monitoramento e avaliao, nem todas as escolhas e decises podem ser analisadas sem o conhecimento do contexto no qual elas foram tomadas. Observao importante a ser feita que, no obstante todas as mudanas propostas para o monitoramento e avaliao dos programas, o principal beneficirio das informaes obtidas continua sendo a SPI. Com vistas a identificar os reflexos das mudanas no modelo de planejamento, buscou-se, nas entrevistas com os rgos setoriais, conhecer em que medida essas mudanas impactaram

os processos internos de planejamento, bem como se houve a participao dos rgos na definio dos atributos do novo Plano. Ademais, quanto Estratgia de Monitoramento e

Avaliao do PPA 2012/2015, questionou-se a capacidade dos rgos para produzir informaes que possam auxiliar a SPI no clculo dos indicadores, bem como sobre a existncia de sistemas de monitoramento e avaliao prprios que possam produzir informaes capazes de subsidiar o monitoramento a ser realizado no mdulo M3 da nova Estratgia que est sendo proposta. No que se refere s mudanas ocorridas no modelo de planejamento do governo federal, os trs rgos entrevistados afirmaram ainda no ser possvel avaliar seus efeitos, em face da recente aprovao do PPA, relatando no ter ocorrido nenhum alterao significativa em seus processos internos de planejamento, at as datas das entrevistas, em funo do novo PPA.

87

Em relao participao na definio dos atributos dos programas temticos indicadores, objetivos, metas dos objetivos e iniciativas - todos os trs rgos entrevistados afirmaram ter participado ativamente do processo, de onde se pode depreender o empoderamento dos rgos setoriais em relao ao papel que desempenharam na elaborao do PPA. Verificou-se que, segundo os entrevistados, os objetivos e respectivas metas refletem claramente as polticas dos rgos, representando, de modo geral, a sua real capacidade em relao aos trs programas temticos selecionados para o estudo de caso. Quando questionados a respeito da Estratgia de Monitoramento e Avaliao do PPA 2012/2015, os trs rgos afirmaram no possuir conhecimento sobre como ser o funcionamento dos quatro mdulos de monitoramento que a compem. O mdulo M2 da Estratgia de Monitoramento e Avaliao do PPA 2012/2015 o que est recebendo maior ateno do rgo Central de Planejamento nesse momento inicial de implantao do novo sistema de monitoramento e avaliao do Plano. O treinamento para que os rgos setoriais possam operar esse mdulo foi oferecido por meio de oficinas com trs horas de durao. Segundo os trs rgos setoriais visitados, as oficinas no foram suficientes para capacit-los a operar o novo sistema. No que se refere capacidade de produzir informaes a serem fornecidas SPI para o clculo dos indicadores, apenas o MMA, responsvel pelo programa temtico Resduos Slidos, afirmou no possuir nenhuma fonte de dados para o clculo dos seus indicadores. Tanto o Ministrio do Turismo, quanto do MDS, possuem os dados para serem fornecidos SPI quando solicitados. A ausncia de dados disponveis no MMA representa fragilidade no que se refere ao clculo dos indicadores do programa temtico Resduos Slidos, visto que a fonte de dados deve ser definida no momento em que o indicador elaborado. Em relao existncia de sistemas de monitoramento prprios, que possam subsidiar o rgo Central de Planejamento no monitoramento a ser realizado no mdulo M3 da Estratgia de Monitoramento e Avaliao do PPA 2012/2015, os trs rgos entrevistados afirmaram possuir sistemas capazes de subsidiar o MPOG em uma anlise mais aprofundada dos programas temticos objeto do estudo de caso sob sua responsabilidade.

88

O mdulo M3 constitui uma novidade da Estratgia de Monitoramento e Avaliao do PPA 2012/2015. Nesse mdulo, ser realizado recorte de algumas polticas pblicas que merecem anlise mais detalhada. Para a anlise, alm das informaes constantes do Siop, sero utilizadas informaes produzidas pelos rgos setoriais por meio de sistemas gerenciais prprios. A base para o monitoramento a ser realizado no mdulo M3 a pactuao que dever existir entre a SPI e os rgos setoriais, em que os rgos setoriais sero os responsveis pelas polticas pblicas cujos objetivos estejam sob sua responsabilidade, bem como sobre o fornecimento de informaes sobre o andamento dessas polticas. Parte-se do pressuposto de que os executores da poltica so os maiores detentores do conhecimento sobre sua implementao, sendo os que melhor podem avali-la. Analisando-se as alteraes ocorridas nos nveis de agregao da atuao governamental ocorridas no Plano, em que se abandonou o binmio programa-ao e partiu-se para programas temticos, objetivos e iniciativas, pode-se concluir, primeiramente, que, em relao aos trs programas temticos analisados, houve a realocao dos temas dentro do PPA. Buscou-se uma nova forma de expressar a atuao do governo no Plano que deixasse mais claro, tanto para os gestores, quanto para a sociedade, o que se pretende com determinada poltica. Em relao aos objetivos dos programas temticos analisados, verificou-se que, de modo geral, foram mantidos os mesmos contedos dos objetivos de governo, setoriais e dos programas que representavam no PPA 2008/2011 as polticas que atualmente esto contidas nos programas temticos Bolsa Famlia, Resduos Slidos e Turismo. Do que se pode inferir que existe a inteno de manuteno da continuidade dessas polticas. Ponto positivo a ser ressaltado que os trs rgos setoriais entrevistados declararam que a nova estrutura permitiu maior aderncia das polticas dos rgos aos programas temticos e aos objetivos sob sua responsabilidade. Pode-se inferir que o que se buscou com as alteraes nos conceitos de programa e em seus atributos foi tornar mais clara a atuao do governo naqueles temas considerados mais importantes para a sociedade, o que constitui tentativa de solucionar um antigo problema do programa finalstico, objeto de crticas nesta pesquisa: no ser capaz de expressar claramente a poltica pblica que representa. Foi possvel constatar, no que se refere aos trs programas temticos analisados, que no houve ruptura do antigo modelo de planejamento para o atual. Tal

89

fato no poderia ser diferente, pois as necessidades por polticas pblicas no mudam significativamente em curto espao de tempo. Em relao s metas pertencentes aos objetivos dos trs programas temticos analisados, observou-se a predominncia de metas quantitativas, tendo sido observada a existncia de metas quantitativas sem definio de valores a serem alcanados ao final do Plano, bem como a inexistncia de valores de referencia intermedirios, no sendo possvel identificar qual seria o valor desejvel de alcance dessas metas a cada ano do PPA. Apesar de as metas terem sido descritas, em sua maioria, de forma mais clara e detalhada, infere-se que a ausncia de valores de referncia para cada ano de vigncia do Plano, ou para o seu final, pode comprometer o controle social e dos rgos de controle sobre o seu alcance. No que se refere s metas qualitativas, merece destaque o grau de subjetividade presente nelas, bem como o fato de seus resultados dependerem, em grande medida, das percepes dos indivduos que os informam. Nesses casos, h risco de perda da qualidade do dado, por tratar-se de informao que envolve a necessidade de conhecimento, por parte de quem a presta, de toda a poltica que est sendo avaliada. Segundo Radin (2006), a informao no tem vida prpria e no pode ser separada de interesses e ideologias, dessa forma, sempre existe a possibilidade de que ela seja enviesada pela percepo pessoal de quem a est prestando. Em relao aos indicadores dos programas temticos, merece destaque o fato de que o preenchimento dos seus resultados no Siop passou a ser responsabilidade da SPI. Conforme defendido por Melo, Neto e Silva (2012, p. 8), os indicadores do PPA 2008/2011 eram de m qualidade e no conseguiam traduzir os resultados dos programas, resultando em dados vazios que, na maioria das vezes, no serviam para nada. Dessa forma, pode-se inferir que, ao assumir a responsabilidade pelo clculo dos indicadores, a SPI buscou melhorar a sua qualidade. No entanto, deve-se atentar para o fato de que a SPI dever contar com o auxlio dos rgos setoriais para produo dos dados necessrios e que a qualidade dessas informaes continuar interferindo na qualidade dos ndices. De modo geral, observou-se que, para os trs programas temticos analisados, os indicadores do PPA 2012/2015 no foram alterados de forma significativa, comparativamente aos indicadores que existiam no PPA 2008/2011. Observou-se, ainda, que os indicadores criados para

90

o novo PPA representam, na maioria dos casos, o desdobramento do que se pretendia medir com os indicadores que existiam no PPA anterior. Ao analisar os indicadores do PPA 2008/2011 e do PPA 2012/2015 com base nas orientaes bsicas aplicadas gesto publica para construo de indicadores publicada pelo MPOG em setembro de 2012, em que os indicadores so classificados como de eficincia, de eficcia e de efetividade, verificou-se a predominncia de indicadores de eficcia nos trs programas analisados. Pode-se inferir que existe, nos programas analisados, uma tendncia de se medir o grau de atingimento das metas planejadas, o que possvel por meio do clculo de indicadores de eficcia. Ao analisar os indicadores dos programas selecionados para o estudo de caso com base no entendimento de Santos (2011), que defende que apenas as dimenses de eficcia e de efetividade devem ser tratadas no PPA, ficando a eficincia do gasto a cargo dos oramentos, verifica-se que existe proximidade entre o disposto pelo autor e o praticado pelos rgos setoriais responsveis pelos programas temticos analisados, visto ter sido observada a existncia de apenas um indicador de eficincia, no programa temtico Resduos Slidos. Verificou-se ainda que os rgos setoriais optaram, na maioria dos casos, por no elaborar indicadores para medir os efeitos positivos ou negativos que o programa ocasionou sobre a realidade a ser por ele alterada, a efetividade, existindo apenas um indicador, no programa temtico Turismo, com a funo de medir os efeitos da transformao social ocasionada pelo programa. Em reunio com os rgos setoriais responsveis pelos programas selecionados para o estudo de caso, foi relatada a dificuldade em construir indicadores de efetividade. Cabe observar que houve alterao significativa dos atributos dos indicadores pertencentes aos programas temticos do PPA 2012/2015 em relao aos atributos dos indicadores dos programas finalsticos do PPA 2008/2011. Na sistemtica anterior, o indicador era definido como instrumento capaz de medir o desempenho do programa e exigia-se que atendesse aos seguintes atributos: ser afervel, ser coerente com o objetivo estabelecido, ser sensvel contribuio das principais aes e ser apurvel em tempo oportuno. No PPA 2012/2015, o indicador foi definido como um instrumento que permite identificar e aferir aspectos relacionados ao programa temtico, tendo sido associados a ele os seguintes atributos: denominao, fonte, unidade de medida e ndice de referncia.

91

Ressalte-se que os atributos definidos para os indicadores do PPA 2008/2011 estabeleciam requisitos mnimos de validade e qualidade. No Plano em vigor, no foram definidos parmetros de qualidade para elaborao dos indicadores. No PPA 2008/2011, eram definidos valor de referncia, metas anuais e a meta a ser atingida no final no PPA. No PPA 2012/2015 definiu-se apenas o valor de referncia dos indicadores, ficando a critrio do rgo setorial e da SPI definir qual ser o valor desejado para cada ano e para o final do Plano. Esta nova postura em relao aos indicadores tambm foi reproduzida quanto s metas dos objetivos e reflete o discurso da SPI de que o monitoramento no cobrana e sim aprendizado. No entanto, a ausncia de parmetros e definies bsicos impede a cobrana necessria, que a cobrana por melhorias, possuindo reflexos sobre o acompanhamento das polticas. Uma das premissas presentes na elaborao da Estratgia de Monitoramento e Avaliao do PPA 2012/2015 a de que o estabelecimento de tratamento padronizado a todos os rgos, por meio da aplicao de critrios rgidos, tanto para a formatao dos atributos do Plano, como para a elaborao de seu sistema de monitoramento e avaliao acabaria limitando o seu potencial de contribuir para a gesto pblica. O excesso de padronizao do sistema de monitoramento e avaliao foi apontado nesta pesquisa como um dos fatores que contribuiu para o insucesso do sistema de monitoramento e avaliao existente at 2011. (MELO, NETO e SILVA, 2012, p. 14) De fato, um sistema de monitoramento e avaliao excessivamente padronizado acaba sobrecarregando os rgos setoriais, que mobilizam servidores e gastam tempo na execuo de atividades burocrticas, que no resultam em informaes relevantes. (MELO, NETO e SILVA, 2012) Segundo Melo, Neto e Silva (2012) as experincias recentes de planejamento governamental no Brasil demonstram que a padronizao das informaes de gesto e das metodologias, que no consideram as peculiaridades das diversas polticas pblicas e dos rgos que as executam, resulta em modelos de planejamento e gesto inadequados para subsidiar o Estado na tomada de deciso. No entanto, os mesmos autores reconhecem que existe um ncleo mnimo de informaes que devem ser acompanhadas de forma padronizada, tais como previso e execuo oramentria, cumprimento de metas e evoluo de indicadores.

92

Observa-se que no PPA 2012/2015 buscou-se evitar padronizaes, mesmo naqueles atributos em que a padronizao pode ser analisada como um aspecto positivo. Deve-se ressaltar, no entanto, que a prpria utilizao de um sistema informatizado de monitoramento e avaliao, como o caso do Siop, exige certo grau de padronizao das informaes. No que se refere s iniciativas, observou-se a necessidade de reviso de seu conceito ou de seu contedo, por haver iniciativas que no identificam de maneira clara qual a entrega que ser realizada sociedade. Observou-se que, na tentativa de tornar o Plano menos formal e mais prximo da realidade de execuo das polticas pblicas, o decreto de gesto do PPA 2012/2015 dever possuir contedo menos detalhado e mais flexvel. Assuntos que antes eram tratados no decreto de gesto, como a regulao de projetos de grande vulto, a criao de instncias paralelas s j existentes de monitoramento e avaliao, a regulao sobre o cadastramento de empreendimentos do PAC e o estabelecimento de diversas competncias, passaram a ser disciplinados por meio de portaria. A antiga CMA e as UMAs tambm no existem mais. Pode-se inferir que a tentativa de reduzir a formalizao de atributos e o detalhamento do Plano resulta da experincia ocorrida no PPA anterior de que a criao de estruturas engessadas mais atrapalha a execuo das polticas, em face da necessidade de os rgos concentrarem esforos no atendimento de formalismos desnecessrios, do que auxilia na melhoria de sua implementao. Observa-se, ainda, que na definio da Estratgia de Monitoramento e Avaliao do PPA 2012/2015 no se trata da realizao de avaliaes do Plano, no sentido de investigar de forma sistemtica e objetiva os programas temticos, com a finalidade de determinar sua eficincia, efetividade, impacto, sustentabilidade ou a relevncia de seus objetivos. Tampouco se trata da existncia de um sistema de monitoramento e avaliao (M&A) da forma como definido por Kusek e Rist (2004), como sendo um sistema que tem por objetivo favorecer o aperfeioamento dos programas, alm de proporcionar o aprendizado organizacional por meio do acompanhamento do progresso no desempenho e na demonstrao do impacto das polticas pblicas. Dessa forma, pode-se inferir, com base nos conceitos de avaliao e de M&A apresentados nesta pesquisa, que, nesse primeiro momento, no existe a inteno de se criar um

93

sistema de monitoramento e avaliao do PPA conforme descrito pela teoria dominante. Pretende-se, inicialmente, realizar o monitoramento dos programas temticos em relao s metas e resultados previstos, com carter apenas descritivo. Por fim, pode-se inferir, neste primeiro momento, que o tipo de sistema de avaliao que est sendo desenhado possui as caractersticas de um sistema de monitoramento de desempenho. possvel inferir ainda, por meio das informaes apuradas por meio desta pesquisa, que, ao elaborar a Estratgia de Monitoramento e Avaliao do PPA 2012/2015, os tcnicos responsveis levaram em considerao as dificuldades que contriburam para o insucesso do modelo de monitoramento e avaliao anterior, bem como buscaram respostas para os problemas no aprendizado adquirido durante o perodo em que esse modelo vigorou. A busca pelo aperfeioamento do modelo de monitoramento e avaliao perceptvel em vrios momentos do novo modelo. Entre eles: na priorizao da participao dos rgos setoriais na definio dos indicadores, objetivos, metas e iniciativas; na priorizao da pactuao e na tentativa de evitar a padronizao e a formalizao excessivas do sistema de monitoramento e avaliao. Por fim, conclui-se que, apesar dos aparentes avanos na estrutura de monitoramento do Plano, com uma possvel melhoria do dialogo entre a SPI e os rgos setoriais, deve-se aguardar algum tempo para apurar os resultados dessa nova metodologia. Os esforos iniciais foram feitos, mas cabe SPI conduzir, coordenar e cooperar para a efetiva implementao deste processo, com o intuito de que esses esforos iniciais no se percam pelo caminho, pois mesmo ideias brilhantes, quando mal conduzidas, podem resultar em fracasso.

94

7. Concluso
Esta pesquisa foi elaborada com a finalidade de concluir curso de especializao em Oramento Pblico oferecido pelo Instituto Serzedello Corra do Tribunal de Contas da Unio. O objetivo geral da pesquisa avaliar como ser estruturado o sistema de monitoramento e avaliao do PPA na administrao pblica federal, tendo como base os novos conceitos introduzidos pelo PPA 2012/2015. Durante o trabalho, realizou-se, ainda, anlise da evoluo dos conceitos e dos processos de planejamento e de monitoramento e avaliao no governo federal, com a finalidade de verificar em que medida as mudanas do sistema de monitoramento e avaliao do PPA 2012/2015 corrigem as deficincias existentes nos sistemas de monitoramento e avaliao anteriores. Depreendeu-se das anlises realizadas que, apesar de ter sido formalmente institudo um Sistema de Monitoramento e Avaliao do PPA 2008/2011 (SMA-PPA), este sistema no constituiu de fato um sistema de monitoramento e avaliao (M&A), conforme descrito na literatura dominante, visto no ter sido capaz de fornecer dados que contribussem para o aperfeioamento dos programas e tampouco que proporcionassem o aprendizado organizacional, por meio do acompanhamento do progresso e do desempenho dos programas. Verificou-se ainda que o SMA-PPA 2008/2011 tambm no foi capaz de disponibilizar dados sobre indicadores e metas que possibilitassem o acompanhamento sobre a direo, o ritmo e a magnitude do alcance dos resultados dos programas, devido s deficincias em seu sistema de monitoramento. Concluiu-se, durante esta pesquia, que o insucesso do SMA/PPA deveu-se, principalmente, a quatro fatores: o desenho dos PPAs que o orientaram, os quais buscaram traduzir todas as polticas pblicas em aes oramentrias que no foram capazes de expressar as realizaes do governo por meio de entregas a sociedade; tentativa de padronizao do acompanhamento das polticas sem considerar as peculiaridades de cada rgo; valorizao da tcnica e das metodologias em detrimento da realidade; e ao excesso de formalismo na busca de uma administrao gerencial, sem preocupao com o contexto poltico.

95

Foi possvel concluir ainda que a tentativa de integrar planejamento, oramento e gesto, iniciada em 2000, resultou em um sistema de monitoramento e avaliao formal e incapaz de subsidiar o aperfeioamento da gesto e das polticas pblicas no pas. A partir da aprovao do PPA 2012/2015, a estrutura de planejamento da ao do governo federal foi substancialmente alterada, o que resultou em alteraes no sistema de monitoramento e avaliao. Os programas finalsticos e aes foram substitudos por programas temticos, objetivos e iniciativas. As aes saram do Plano, passando a consta exclusivamente do oramento, numa tentativa de resgatar a funo planejamento, retirando do PPA a caractersticas de oramento plurianual. Com a publicao do decreto de gesto do PPA 2012/2015, ser estabelecida a Estratgia de Monitoramento e Avaliao do Plano, que tem como um de seus pressupostos a implantao do monitoramento como instrumento de aprendizado que visa obteno de informaes tempestivas para a tomada de decises, no constituindo o monitoramento um fim em si mesmo. Nesse novo modelo de monitoramento, no est prevista a existncia da CMA e das UMA`s, que compunham o Sistema de Monitoramento e Avaliao dos PPA`s 2004/2007 e 2008/2011. Verificou-se, neste primeiro momento, que existe a inteno de realizar o monitoramento dos programas temticos em relao s metas e resultados previstos, com um carter apenas descritivo. No est presente no discurso da SPI a inteno de realizar avaliaes do Plano. O novo sistema de monitoramento do PPA possui as caractersticas de um sistema de monitoramento de desempenho, em que se verifica em que medida os resultados acordados foram realizados. A Estratgia de Monitoramento e Avaliao do PPA 2012/2015 foi dividida em quatro mdulos: M1, onde ser realizado o monitoramento das prioridades da Presidncia da Repblica paralelamente ao monitoramento j realizado pela Casa Civil; M2, onde ser realizado monitoramento dos programas temticos, por meio do registro de informaes no Siop; M3, onde ser realizado, com auxlio de informaes produzidas pelos rgos setoriais, monitoramento mais detalhado de algumas polticas pblicas que merecem uma anlise mais aprofundada; e M4, onde ser realizado o monitoramento da dimenso estratgica do Plano com a finalidade de produzir relatrios semestrais e anuais, como a Mensagem Presidencial e o Relatrio de Gesto.

96

Por meio do estudo de caso realizado nos programas temticos Bolsa Famlia, Resduos Slidos e Turismo, cujos objetivos esto sob a responsabilidade do Ministrio do Desenvolvimento Social e Combate Fome, do Ministrio do Meio Ambiente e do Ministrio do Turismo, respectivamente, verificou-se que: a nova estrutura de planejamento do governo federal, por ser ainda muito recente, no produziu alteraes significativas no planejamento interno das polticas pblicas objeto dos programas; os rgos setoriais responsveis pelos objetivos dos programas temticos participaram ativamente da definio de seus atributos, considerando que os objetivos e metas definidos representam adequadamente as polticas pblicas sob suas rseponsabilidades; os rgos setoriais ainda no conhecem completamente a Estratgia de Monitoramento e Avaliao do PPA 2012/2015; dos rgos entrevistados, apenas o MMA no possui dados a serem fornecedos SPI para o clculo dos indicadores e todos os rgos setoriais entrevistados possuem sistemas de monitoramento prprios capazes de subsidiar a SPI em uma anlise mais aprofundada dos programas cujos objetivos estejam sob sua responsabilidade, conforme previsto no mdulo M3 da Estratgia de Monitoramento e Avaliao do PPA 2012/2015. No que se refere aos atributos dos programas temticos, verificou-se que: seus objetivos, de modo geral, exprimem os mesmo objetivos de governo, setoriais e dos antigos programas finalsticos; existem metas, tanto qualitativas, quanto quantitativas, que possuem grau de subjetividade que pode comprometer o alcance dos resultados propostos pelas polticas; os rgos setoriais tendem a medir o alcance dos objetivos e metas acordados, por meio de indicadores que medem a eficcia dos programas temticos e existem iniciativas que no representam a entrega nem de um produto, nem de um servio sociedade, sendo necessria a realizao de reviso das iniciativas ou de seu conceito com a finalidade de ajust-los. Concluiu-se desta pesquisa que, ao elaborar a Estratgia de Monitoramento e Avaliao do PPA 2012/2015, os tcnicos responsveis levaram em considerao as dificuldades que contriburam para o insucesso do modelo de monitoramento e avaliao anterior, bem como buscaram respostas para os problemas no aprendizado adquirido durante o perodo em que esse modelo vigorou. Por fim, pode-se concluir que existem avanos na concepo da Estratgia de Monitoramento e Avaliao do PPA 2012/2015 em relao ao SMP/PPA que existiu at 2011.

97

No entanto, o sistema de monitoramento e avaliao do PPA 2012/2015 ainda encontra-se em processo de construo, no sendo possvel elaborar concluses sobre os efeitos das alteraes a serem promovidas. Deve-se destacar que esforos iniciais foram feitos, mas ainda cabe SPI conduzir o processo, para que no sejam cometidos os mesmos erros da metodologia anterior.

98

8. Referncias
ATAIDE, Pedro Antnio Bertone. Avaliao do Plano Plurianual: Anlise das Restries sua Integrao ao Ciclo de Gesto Pblica Federal. Universidade de Braslia. Programa de Ps-Graduao. Curso de Mestrado em Administrao. Braslia jun. 2005. 152 p. BRASIL. Plano Diretor da Reforma do Aparelho do Estado. Cmara da Reforma do Estado. Presidncia da Repblica. Braslia, 1995. Disponvel em <www.bresserpereira.org.br>. Acesso em 7 maio 2012. 68 p. BRASIL. Portaria n 42, de 14 de abril <www.tesouro.fazenda.gov.br>. Acesso em 14 abr. 2012. de 1999a. Disponvel em

BRASIL. Manual Tcnico de Oramento. Instrues para Elaborao da Proposta Oramentria da Unio para 2000. Braslia, 1999b. Disponvel em <www.planejamento.gov.br>. Acesso em 25 abr. 2012. 186 p. BRASIL. Plano Avana Brasil. O desafio do Planejamento Governamental. Ministrio do Planejamento, Oramento e Gesto. Brasila, 1999c. Disponvel em <www.abrasil.gov.br/publicaes>. Acesso em 7 maio 2012. BRASIL. Plano Plurianual 2004-2007 Mensagem Presidencial. Ministrio do Planejamento, Oramento e Gesto, Secretaria de Planejamento e Investimentos Estratgicos. Braslia, 2003a. Disponvel em <www.planejamento.gov.br>. Acesso em 27 abr. 2012. 226 p. BRASIL. Manual Tcnico de Oramento. Instrues para Elaborao da Proposta Oramentria da Unio para 2004. Braslia, 2003b. Disponvel em <www.portalsof.planejamento.gov.br>. Acesso em 29 abr. 2012. 181 p. BRASIL. Plano Plurianual 2008-2011 Mensagem Presidencial. Ministrio do Planejamento, Oramento e Gesto, Secretaria de Planejamento e Investimentos Estratgicos. Braslia, 2007. Disponvel em <www.planejamento.gov.br>. Acesso em 30 abr. 2012. 124 p. BRASIL. Nota Tcnica Conjunta n 9/2011. Subsdios para a apreciao do projeto de lei do Plano Plurianual para o perodo de 2012 a 2015 (PLN n 29/2011) . Congresso Nacional. Consultoria de Oramento e Fiscalizao Financeira da Cmara dos Deputados e Consultoria de Oramento, Fiscalizao e Controle do Senado Federal. Braslia, out. 2011a. 31 p. BRASIL. Plano Plurianual 2012-2015. Mensagem Presidencial. Ministrio do Planejamento, Oramento e Gesto, Secretaria de Planejamento e Investimentos Estratgicos. Braslia 2011b. Disponvel em <www.planejamento.gov.br>. Acesso em 10 maio 2011. 278 p. BRASIL. Lei n 12.593, de 18 de janeiro de 2012a. Disponvel em <www.planalto.gov.br>. Acesso em 2 maio 2012.

99

BRASIL. Slides apresentao SPI aos rgos setoriais sobre a Estratgia de Monitoramento e Avaliao do PPA 2012/2015. Secretaria de Planejamento e Investimentos Estratgicos, Ministrio do Planejamento, Oramento e Gesto. Braslia, 2012b. 16 p. BRASIL. Indicadores Orientaes Bsicas Aplicadas Gesto Pblica. Secretaria de Planejamento e Investimentos Estratgicos, Ministrio do Planejamento, Oramento e Gesto. Braslia, set 2012c. 64 p. CALMON, Katya Maria Nasiaseni; GUSSO, Divonzir Arthur. A Experincia de Avaliao do Plano Plurianual (PPA) do Governo Federal no Brasil. Instituto de Pesquisa Econmica Aplicada (IPEA). Planejamento e Polticas Pblicas n 25. Braslia dez. 2002. 37 p. CALMON, Paulo Carlos du Pin; SERPA, Selma Maria Hayakawa Cunha. Um Referencial Terico para Anlise da Institucionalizao dos Sistemas de Avaliao no Brasil . Ensaio terico para qualificao em contedos especficos (Doutorado em Administrao). Programa de Ps-Graduao em Administrao. Universidade de Braslia, 2012. 28 p. CORE, Fabiano Garcia. Reforma Gerencial dos Processos de Planejamento e Oramento. Escola Nacional de Administrao Pblica ENAP. Braslia, 2001. 44 p. GARCIA, Ronaldo Coutinho. A reorganizao do processo de planejamento no Governo Federal: PPA 2000-2003. Instituto de Pesquisa Econmica Aplicada (IPEA). Texto para discusso n 726, Braslia 2000a. 41 p. GARCIA, Ronaldo Coutinho. Subsdios para Organizar Avaliaes da Ao Governamental. Instituto de Pesquisa Econmica Aplicada (IPEA). Braslia, jul. 2000b. 64 p. FURUBO, Jan-Eric; RIST, Ray C.; SANDAHL, Rolf. International Atlas of Evaluation. Transaction Publishers. New Brunswick (U.S.A.) and London (U.K.). New Jersey, 2002. 471 p. KUSEK, Jody Zall; RIST, Ray C. Ten Steps to a Results-Based Monitoring and Evaluation System. The International Bank for Reconstruction and Development, The World Bank. Washington, D.C. 2004. 248 p. LEEUW, Frans L; FURUBO, Jan-Eric. Evaluation Systems: What are they and why study them? Evaluation, v. 14(2), p. 157-169, 2008. Disponvel em <hhttp://evi.sagepud.com/CGI/content/abstract/14/2/157>. Acesso em 11 maio 2012. MAIA, Wagner. Histria do Oramento Pblico no Brasil. So Paulo. Out. 2010. 29 p. MARTINS, Humberto Falco. Fortalecimiento de los Sistemas de Monitoreo y Evaluacin (M&E) en Amrica Latina. Sistema de Monitoramento do Plano Plurianual; Sistema de Monitoramento de Metas Presidenciais; Sistema de Monitoramento e Avaliao de Polticas e Programas Sociais; Sistema de Avaliao Externa de Programas Governamentais. Brasil. Banco Mundial. CLAD Centro Latinoamericano de Administracin para el Desarrollo. Dezembro, 2007. 127 p.

100

MELO, Elton Bernardo Bandeira de; SILVA, Marcos de Souza e; NETO, Rafael Martins. Dilemas na Construo de um Modelo de Acompanhamento do Planejamento Governamental. Revista Brasileira de Planejamento e Oramento, volume 2, n 1, p. 5-23. Associao Nacional dos Servidores da Carreira de Planejamento e Oramento. Braslia, 2012. MELO, Elton Bernardo Bandeira de; RODRIGUES, Roberto Wagner Silva. Monitoramento, Avaliao e Controle Superando o Debate Tcnico-Burocrtico. V Congresso CONSAD de Gesto Pblica. Painel 39/143 O planejamento governamental brasileiro atualidade e perspectivas. Braslia, junho 2012. RADIN, Beryl A. Challenging the Performance Movement. Accountability, complexity, and democratic values. Georgetown University Press. Washington, D.C. 2006. 260 p. SANTOS, Eugnio Andrade Vilela dos. O Confronto entre o Planejamento Governamental e o PPA. Dilogos para o Desenvolvimento. A reinveno do planejamento governamental no Brasil. Organizador: Jos Celso Cardoso Jr. Braslia Instituto de Pesquisa Econmica Aplicada (IPEA), 2011. p. 307-336. Braslia, 2011. SERPA, Selma Maria Hayakawa Cunha. Relatrio de Levantamento dos Sistemas de Monitoramento e Avalio dos rgos e da Administrao Direta do Poder Executivo . Tribunal de Contas da Unio. Secretaria-Geral de Controle Externo. Secretaria de Fiscalizao e Avaliao de Programas de Governo. Braslia, jul. 2011. 94 p. SHEPHERD, Geoffrey. Monitoring and Evaluation in the Brazilian Federal Government. World Bank. Jan. 2005. 55 p. YIN, Robert K. Estudo de Caso Planejamento e Mtodos. Traduo Daniel Grassi. 3 edio. Porto Alegre, 2005. 212 p.

101

9. Apndices 9.1 Apndice A Roteiro de Entrevistas com o rgos Setoriais.

1. Quais foram os reflexos das mudanas no modelo de planejamento do PPA para este rgo setorial? As alteraes no modelo de planejamento do governo federal representaram mudanas significativas para o rgo? 2. Este rgo setorial participou ativamente da definio dos programas temticos, indicadores, objetivos, metas e iniciativas do PPA 2012/2015? 3. O contedo do PPA 2012/2015 est sendo considerado pelo rgo setorial no momento da definio de suas estratgias? 4. Este rgo setorial conhece o novo sistema de monitoramento que est sendo definido para o PPA 2012/2015? 5. Como ser realizado o monitoramento dos programas desta setorial a partir desse novo modelo de PPA? Ocorreram mudanas significativas em relao ao modelo anterior? 6. Este rgo setorial possui sistema de monitoramento e avaliao prprio, independente do sistema estruturado pela Ministrio do Planejamento? 7. Este rgo setorial est preparado para monitorar seus objetivos sob a nova perspectiva de planejamento do PPA? A SPI tem contribudo para isso? 8. Este rgo setorial est preparado para prestar informaes a SPI sobre os objetivos dos programas temticos que esto sob sua responsabilidade?

102

9.2 Apndice B Roteiro de Entrevistas com a Secretaria de Planejamento e Investimentos Estratgicos (SPI)
1. Que motivaes levaram mudana no modelo de planejamento para o PPA 2012/2015? 2. Com base nas premissas do novo modelo de planejamento, como ser estruturado o sistema de monitoramento e avaliao para o PPA 2012/2015? Como est sendo implementado este novo sistema? 3. Neste novo modelo H previso de publicao do Decreto de Gesto do Plano? 4. Esse novo modelo de planejamento comporta um sistema de monitoramento e avaliao do Plano capaz de fornecer informaes teis para auxiliar uma administrao voltada para resultados no nvel setorial? 5. Como se dar a interlocuo (permanente) entre a SPI e os rgos setoriais para estruturao do novo sistema de monitoramento e avaliao do PPA? (considerar que possivelmente as UMAs no mais existiro) 6. Sobre o novo sistema de monitoramento e avaliao do PPA 2012/2015: 6.1. Existe a inteno de que as atividades de avaliao sejam diferenciadas das demais atividades dos rgos, de forma que facilmente sejam identificadas como de monitoramento e avaliao do PPA por qualquer pessoa? (perspectiva epistemolgica distinta) 6.2. H previso de que atividades de avaliao sejam realizadas pelos prprios rgos e no por avaliadores contratados de forma autnoma? (responsabilidade organizacional) 6.3. H previso de meios que possam garantir a permanncia e continuidade das atividades de avaliao? 6.4. H previso de planejamento sobre a utilizao futura dos resultados das avaliaes? (retroalimentao) 7. Como a SPI tem se estruturado (ou tem a inteno de se estruturar) para assegurar que o novo sistema de monitoramento e avaliao do PPA fornea informaes capazes de: aperfeioar os programas e organizaes; promover o julgamento de valor ou mrito; promover a accountability e promover o desenvolvimento do conhecimento dentro das organizaes?

103

8. No que se refere promoo do conhecimento dentro das organizaes, a SPI considera que os rgos setoriais assimilaram conhecimento proveniente do modelo de planejamento anterior que os permita desenvolver, dentro de suas estruturas, sistemas de monitoramento e avaliao de seus programas? 9. Em relao ao SIOP: 9.1. 9.2. 9.3. O Sistema est em funcionamento? Houve orientao aos rgos setoriais sobre como utiliz-lo? Na concepo do SIOP foram levados em considerao os antigos problemas do Sigplan? 9.4. Os infrasigs dos rgos setoriais possuem interface com o Siop (como possuam com o Sigplan)? 9.5. Como sero apuradas as metas qualitativas ligadas aos objetivos? Isso j est sendo feito? 9.6. Os programas temticos representam um tema da ao governamental e por este motivo so executados por vrios rgos setoriais. Existe a figura do rgo responsvel pelo programa? Como funcionar o monitoramento e avaliao desses programas?