Aula 05

CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS
Aula 05
Ol, Pessoal! Essa a quinta aula do curso de Polticas Pblicas para a CGU. Nela, veremos os seguintes itens do edital: Aula 05 04/05: 6. Indicadores de polticas pblicas; 7. Modelos de avaliao de programas governamentais; 8. Coleta, anlise e interpretao de informaes quantitativas e qualitativas para avaliao de programas governamentais. Boa Aula!
Sumrio
1 INDICADORES DE POLTICAS PBLICAS ............................................................. 2 1.1 1.2 2 ATRIBUTOS DOS INDICADORES ................................................................................. 3 EFICINCIA, EFICCIA E EFETIVIDADE......................................................................... 5
AVALIAO DE PROGRAMAS GOVERNAMENTAIS ................................................. 9 2.1 2.2 2.3 2.4 2.5 CONCEITOS BSICOS .......................................................................................... 11 TIPOS DE AVALIAO .......................................................................................... 14 TENDNCIAS NA AVALIAO .................................................................................. 21 MODELO LGICO E TEORIA DO PROGRAMA ................................................................. 21 ANLISE CUSTO-BENEFCIO E CUSTO-EFETIVIDADE ...................................................... 27
COLETA, ANLISE E INTERPRETAO DE INFORMAES ................................... 31 3.1 3.2 3.3 PESQUISA QUANTITATIVA X QUALITATIVA .................................................................. 36 MTODOS DE COLETA DE DADOS ............................................................................ 38 MTODOS DE ANLISE DOS DADOS.......................................................................... 42
QUESTES COMENTADAS ................................................................................... 45 4.1 4.2 LISTA DAS QUESTES ......................................................................................... 68 GABARITO ....................................................................................................... 77
LEITURA SUGERIDA ........................................................................................... 77
Prof. Rafael Encinas
www.pontodosconcursos.com.br
1 Indicadores de polticas pblicas

So Instrumentos que permitem identificar e medir aspectos relacionados a um determinado conceito, fenmeno, problema ou resultado de uma interveno na realidade. So medidas, ou seja, uma atribuio de nmeros a objetos, acontecimentos e situaes de acordo com certas regras. Os indicadores so usados para avaliar a magnitude de uma situao (como, por exemplo, a incidncia de uma doena ou o custo de um programa). Segundo Ferreira, Cassiolato e Gonzales (2009):
O indicador uma medida, de ordem quantitativa ou qualitativa, dotada de significado particular e utilizada para organizar e captar as informaes relevantes dos elementos que compem o objeto da observao. um recurso metodolgico que informa empiricamente sobre a evoluo do aspecto observado.
um elemento capaz de medir a evoluo do problema. Deve ser coerente com o objetivo do programa, ser sensvel contribuio das principais aes e apurvel em tempo oportuno. Permite, portanto, a mensurao dos resultados alcanados com a execuo do programa. geralmente apresentado como uma relao ou taxa entre variveis relevantes. O programa Brasil Alfabetizado tem como indicadores: Percentual da Populao na faixa Etria de 15 Anos ou Mais com Escolaridade Inferior a 4 Srie (%) Taxa de Analfabetismo da Populao na Faixa Etria de 15 a 29 Anos Taxa de Analfabetismo da Populao na Faixa Etria de 15 Anos ou Mais Taxa de Analfabetismo da Populao na Faixa Etria de 15 anos ou mais na rea Rural Taxa de Analfabetismo da Populao na Faixa Etria de 15 anos ou mais na Regio Nordeste Maria das Graas Rua cita os seguintes tipos de indicadores: 1. Indicadores Estratgicos: Informam o quanto a organizao se encontra na direo da consecuo de sua Viso. Refletem o desempenho em relao aos Objetivos Estratgicos da Organizao. So formulados segundo as dimenses e critrios estabelecidos no Planejamento Estratgico das organizaes.
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS 2. Indicadores de Processo: Representao objetiva de caractersticas do processo que devem ser acompanhadas ao longo do tempo para avaliar e melhorar o seu desempenho. Medem a eficincia e a eficcia dos processos. So os seguintes os indicadores de processo: a. Indicadores de Produtividade (eficincia) b. Indicadores de Qualidade (eficcia) c. Indicadores de Efetividade (impacto) d. Indicadores de Capacidade 3. Indicadores de Projetos: So indicadores para acompanhar e avaliar a execuo de projetos.
1.1 ATRIBUTOS DOS INDICADORES

Segundo Maria das Graas Rua, para que os indicadores se tornem viveis e prticos, devem possuir os seguintes atributos especiais: Adaptabilidade capacidade de resposta s mudanas de comportamento e exigncias dos clientes. Os indicadores podem tornarse desnecessrios ao longo do tempo e devem ser imediatamente eliminados ou substitudos por outros de maior utilidade. Representatividade captao das etapas mais importantes e crticas dos processos, no local certo, para que seja suficientemente representativo e abrangente. Dados desnecessrios ou inexistentes no devem ser coletados. Em contrapartida, dados importantes devem ser precisos, atender aos objetivos e ser buscados na fonte correta. Este atributo merece certa ateno, pois indicadores muito representativos tendem a ser mais difceis de ser obtidos. Deve-se, portanto, haver um certo equilbrio entre a representatividade e a disponibilidade para coleta. Simplicidade facilidade de ser compreendido e aplicado tanto pelos executores quanto e principalmente pelos que recebero seus resultados. Os nomes e expresses devem ser conhecidos e entendidos por todos os envolvidos de forma homognea, garantindo ampla validade por toda a organizao. Rastreabilidade facilidade para identificao da origem dos dados, seu registro e manuteno. Sempre que possvel, deve-se transformar os
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS resultados em grficos para um acompanhamento mais preciso, o que permite a comparao com desempenhos anteriores. Disponibilidade facilidade de acesso para coleta, estando disponvel a tempo, para as pessoas certas e sem distores, servindo de base para que decises sejam tomadas. De nada adiantaria informaes atrasadas e desatualizadas, embora corretas, ou informaes atuais e corretas, mas para a pessoa errada. Economia no deve ser gasto tempo demais procurando dados, muito menos pesquisando ou aguardando novos mtodos de coleta. Os benefcios trazidos com os indicadores devem ser maiores que os custos incorridos na medio. Caso contrrio, em pouco tempo a organizao estar medindo sua prpria falncia. Praticidade garantia de que realmente funciona na prtica e permite a tomada de decises gerenciais. Para isso, deve ser testado no campo e, se necessrio, modificado ou excludo. Estabilidade garantia de que gerado em rotinas de processo e permanece ao longo do tempo, permitindo a formao de srie histrica. No TCU, temos um documento tcnico que tambm traz atributos desejveis nos indicadores. Vamos v-los: Validade: grau segundo o qual o indicador reflete o fenmeno que est sendo medido. O ID (indicador de desempenho) deve ser a expresso dos produtos essenciais de um processo. O enfoque deve ser nos produtos e nos resultados. Assim, o ID deve medir aquilo que produzido, seja produto intermedirio ou final, alm dos resultados (outcomes). Comparabilidade: propriedade de possibilitar comparaes ao longo do tempo e entre diferentes objetos de auditoria. Estabilidade: as variveis componentes do indicador devem ter estabilidade conceitual, sua forma de clculo no deve variar no tempo, bem como devem ser estveis os procedimentos de coleta de dados para sua apurao. Essas so condies necessrias ao emprego de indicadores para avaliar o desempenho ao longo do tempo. Homogeneidade: na construo de indicadores devem ser consideradas apenas variveis homogneas. Por exemplo, ao estabelecer o custo mdio por auditoria, devem-se identificar os diversos tipos de auditoria, j que para cada tipo tem-se uma composio de custo diversa.
Prof. Rafael Encinas www.pontodosconcursos.com.br 4
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS Praticidade: garantia de que o indicador realmente til para o monitoramento e a tomada de decises. Para tanto, deve ser testado, modificado ou excludo quando no atender a essa condio. Independncia: o indicador deve medir os resultados atribuveis s aes que se quer monitorar, devendo ser evitados indicadores que possam ser influenciados por fatores externos. Confiabilidade: a fonte de dados utilizada para o clculo do indicador deve ser confivel, de tal forma que diferentes avaliadores possam chegar aos mesmos resultados. Seletividade: deve-se estabelecer um nmero equilibrado de indicadores que enfoquem os aspectos essenciais do que se quer medir. Compreenso: o indicador deve ser de fcil compreenso e no envolver dificuldades de clculo ou de uso. Indicadores que medem mais de uma varivel e apresentam mtricas no intuitivas podem ser usados, e s vezes devem s-lo, quando tm aceitao e validade. Completude: os indicadores devem representar adequadamente a amplitude e a diversidade de caractersticas do fenmeno monitorado, resguardado o princpio da seletividade e da simplicidade. Economicidade: as informaes necessrias ao clculo do indicador devem ser coletadas e atualizadas a um custo razovel, quando comparado com a utilidade gerencial da informao que ele fornece. Acessibilidade: deve haver facilidade de acesso s informaes primrias bem como de registro e manuteno para o clculo dos indicadores. Tempestividade: a apurao do indicador deve estar disponvel quando necessria, em tempo para a tomada de deciso. Objetividade: o indicador deve ser inequvoco sobre o que est sendo medido e quais dados esto sendo usados em sua apurao. A objetividade inclui clareza sobre a definio do indicador, de forma a evitar disputa sobre seu significado, especialmente no caso de indicadores multidimensionais.
1.2 EFICINCIA, EFICCIA E EFETIVIDADE

Os indicadores podem abordar diferentes dimenses do desempenho. Vamos conhecer as trs principais. Vamos ver primeiro conceitos da Administrao Privada. Para Richard Daft:
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS A eficcia organizacional o grau no qual a administrao alcana uma meta declarada. Isso significa que a organizao tem sucesso em alcanar o que ela tenta fazer. Eficcia organizacional significa proporcionar um produto que os clientes valorizem. Eficincia organizacional se refere quantidade de recursos usados para alcanar a meta organizacional. Pode ser calculada como a quantia de recursos usados para produzir um produto ou servio. Segundo o MPOG: Eficincia: uso otimizado, com economia e qualidade, dos bens e recursos empregados na implementao das aes. Eficcia: capacidade de alcance das metas previstas; Efetividade: correspondncia entre os resultados da implantao de um programa e o alcance dos seus objetivos, tendo como referncia os impactos na sociedade; Assim, podemos dizer que a EFICINCIA a racionalizao no uso dos insumos. A eficincia alcanada quando os insumos so manipulados de forma adequada para atingir os produtos. A EFICCIA consiste no grau de alcance das METAS programadas em um determinado perodo de tempo, independentemente dos custos implicados. Quanto mais alto o grau de realizao dos objetivos e metas, mais a organizao eficaz. A EFETIVIDADE observa se houve algum IMPACTO resultante da ao governamental. No basta chegar ao produto, alcanando as metas, preciso que ele produza alguma alterao na sociedade. Podemos observar melhor estas dimenses no quadro abaixo:
Efetividade Eficincia
OBJETIVO
INSUMO Eficcia
AO
PRODUTO
RESULTADO
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS Assim, a eficincia observa a relao entre PRODUTOS (bens e servios) gerados por uma atividade e os CUSTOS dos insumos empregados, em um determinado perodo de tempo. Uma organizao eficiente quando utiliza seus recursos da forma mais produtiva e econmica possvel, tambm conhecida como forma racional de utilizao. A eficincia definida como a relao entre os produtos (bens e servios) gerados por uma atividade e os custos dos insumos empregados para produzilos em um determinado perodo de tempo, mantidos os padres de qualidade. Essa dimenso refere-se ao esforo do processo de transformao de insumos em produtos. Pode ser examinada sob duas perspectivas: minimizao do custo total ou dos meios necessrios para obter a mesma quantidade e qualidade de produto; ou otimizao da combinao de insumos para maximizar o produto quando o gasto total est previamente fixado. Nesse caso, a anlise do tempo necessrio para execuo das tarefas uma varivel a ser considerada. A eficincia pode ser medida calculando-se e comparandose o custo unitrio da produo de um bem ou servio. Portanto, podemos considerar que o conceito de eficincia est relacionado ao de economicidade. A eficcia definida como o grau de alcance das metas programadas (de bens e servios) em um determinado perodo de tempo, independentemente dos custos implicados. O conceito de eficcia diz respeito capacidade da gesto de cumprir objetivos imediatos traduzidos em metas de produo ou de atendimento, ou seja, a capacidade de prover bens ou servios de acordo com o estabelecido no planejamento das aes. importante observar que a anlise de eficcia deve considerar os critrios adotados para fixao da meta a ser alcanada. Uma meta subestimada pode levar a concluses equivocadas a respeito da eficcia do programa ou da atividade sob exame. Alm disso, fatores externos como restries oramentrias podem comprometer o alcance das metas planejadas e devem ser levados em conta durante a anlise da eficcia. A efetividade diz respeito ao alcance dos resultados pretendidos, a mdio e longo prazo. Refere-se relao entre os resultados de uma interveno ou programa, em termos de efeitos sobre a populao-alvo (impactos observados), e os objetivos pretendidos (impactos esperados), traduzidos pelos objetivos finalsticos da interveno. Trata-se de verificar a ocorrncia de mudanas na populao-alvo que se poderia razoavelmente atribuir s aes do programa avaliado. Portanto, ao examinar a efetividade de uma interveno governamental, pretende-se ir alm do cumprimento de objetivos imediatos ou especficos, em
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS geral consubstanciados em metas de produo ou de atendimento (exame da eficcia da gesto). Trata-se de verificar se os resultados observados foram realmente causados pelas aes desenvolvidas e no por outros fatores. A avaliao da efetividade pressupe que bens e/ou servios foram ofertados de acordo com o previsto. O exame da efetividade ou avaliao de impacto requer tratamento metodolgico especfico que busca estabelecer a relao de causalidade entre as variveis do programa e os efeitos observados, comparando-os com uma estimativa do que aconteceria caso o programa no existisse. Vamos analisar um exemplo. Num programa do governo de distribuio de culos para crianas do ensino fundamental, o objetivo melhorar a educao, j que as crianas estaro enxergando melhor e podero se concentrar mais. Entende-se que os pais no apresentam condies financeiras de levar a criana a um oftalmologista e de comprar os culos, por isso seria importante que o Estado desempenhasse esse papel. A economicidade significa que os culos foram comprados a um preo baixo. A eficincia refere-se ao governo entregar um nmero maior de culos com os mesmos recursos, o mesmo nmero de pessoas, de carros, etc. A eficcia corresponde ao alcance de metas. Assim, se o objetivo era entregar 20.000 culos e foi entregue um nmero maior, o programa eficaz. Por fim, a efetividade se refere ao resultado da ao governamental na sociedade. No exemplo, corresponde a melhora no ndice de educao. Vamos ver mais alguns conceitos, agora da Maria das Graas Rua: Eficcia: significa realizar aquilo que foi pretendido. Suponha-se, por exemplo, que uma ao de governo uma campanha de vacinao para 50000 crianas. A eficcia ser dada pelo numero de crianas vacinadas. As perguntas, ento, so: os insumos foram disponibilizados? Estiveram disponveis a tempo? Foram suficientes para gerar os outputs pretendidos? Eficincia: significa realizar aquilo que foi pretendido, de acordo com a estratgia selecionada, com os custos estabelecidos ou menos. A eficincia um critrio que remete racionalidade dos processos, no se refere somente aos resultados, mas s relaes entre meios e fins. As perguntas so: Os insumos foram totalmente utilizados para os fins pretendidos? Houve insumos no utilizados? Algum dos insumos foi usado de maneira que no contribuiu para os resultados? A escala de utilizao dos recursos foi apropriada, excessiva ou insuficiente? Houve
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS atrasos?Erros?Haveria algum mtodo de obter o mesmo resultado com custo e prazo menor? Houve perdas, desperdcios? Houve atrasos na disponibilizao dos insumos? Houve inadequao de quantidade ou qualidade dos insumos? Houve erros de operao dos processos ou de gesto dos recursos e atividades? Efetividade: significa que o que foi realizado produziu os efeitos pretendidos. A efetividade o grande critrio de sucesso de um programa ou projeto. Refere-se aos efeitos, que so resultados diretos da ao realizada. muito importante lembrar que possvel ter eficcia sem ter efetividade. Exemplo; possvel ter todas as 50000 crianas vacinadas e ainda assim ter muitos casos da doena devido baixa qualidade das vacinas ou devido sua aplicao numa ocasio em que uma epidemia j estivesse em andamento. Alguns autores conceituam efetividade como a soma da eficincia e da eficcia ao longo do tempo. No concordo com esta viso, mas importante conhecermos, pois a ESAF j deu ele como certo. Vocs podem observar no exemplo de efetividade da Maria das Graas Rua que ela afirma que muito importante lembrar que possvel ter eficcia sem ter efetividade. Essa confuso feita porque a eficcia possui sentidos diferentes na administrao pblica e na administrao privada. Nesta, fala-se que eficincia fazer certo e eficcia fazer o certo. Assim, eficincia fazer da forma correta, com pouco desperdcio e em pouco tempo. J a eficcia fazer o produto que o cliente deseja, produzir aquilo que as pessoas realmente precisam e desejam. J no setor pblico, o conceito de eficcia muito simplista, apenas reflete o alcance de metas. Se considerssemos tambm fazer o certo, no exemplo das vacinas, ser eficaz seria usar uma vacina de qualidade e no momento correto. Assim, sendo eficiente e eficaz, o programa seria sim efetivo.
2 Avaliao de Programas Governamentais

O policy cycle no pode ser concebido como um processo simples e linear, mas sim como um processo dinmico. No existe um ponto de partida ou de chegada definidos, e envolve no s formuladores e implementadores, mas tambm os stakeholders pessoas envolvidas numa poltica ou nela interessadas. A avaliao deve estar presente em cada uma das diferentes etapas que compem uma poltica pblica.
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS Na formulao, a avaliao busca avaliar a adequabilidade das aes/estratgias s demandas existentes e determinar a aceitabilidade do planejamento, comparando custos com benefcios. A avaliao de implementao permite compreender e analisar aspectos diversos da dinmica institucional e organizacional, no tocante ao funcionamento do programa, incluindo sua formulao. J a avaliao dos resultados e impactos tem como objetivo compreender e analisar o que se obteve com o programa, inclusive na sua implementao. No incio, a premissa era a de que os resultados da avaliao seriam automtica e necessariamente encampados pelos tomadores de decises para a melhoria da poltica ou do programa em questo. A discusso acerca do uso da avaliao restringia-se, assim, ao que hoje se denomina uso "instrumental". Segundo Carlos Augusto Pimenta de Faria, hoje podemos enxergar quatro dimenses do uso da avaliao: instrumental (relativa ao apoio s decises e busca de resoluo de problemas); conceitual (ou funo "educativa"); como instrumento de persuaso; e para o esclarecimento. A avaliao instrumental caracteriza-se pelo uso de resultados, que so incorporados e usados de forma racional pelos gestores como forma de melhoria dos processos. Por isso as decises e aes so a consequncia direta de seu uso. O segundo tipo de uso o "conceitual", geralmente circunscrito aos tcnicos do programa, a quem no com frequncia atribudo um maior poder de deciso. Nesse caso, as descobertas da avaliao (e o seu prprio processo de realizao) podem alterar a maneira como esses tcnicos compreendem a natureza, o modo de operao e o impacto do programa que implementam. O uso conceitual das descobertas diferencia-se do uso instrumental porque, no primeiro caso, nenhuma deciso ou ao esperada (pelo menos no imediatamente). A avaliao tambm pode ser usada como instrumento de persuaso, quando ela utilizada para mobilizar o apoio para a posio que os tomadores desejam. O objetivo legitimar uma posio e ganhar novos adeptos para as mudanas desejadas. Um exemplo foi a forma como o ditador Augusto Pinochet usou o sistema de avaliao educacional implantado por ele no Chile, em 1988, para dar maior visibilidade e legitimidade ao processo de privatizao do ensino no pas, posto que os primeiros resultados mostravam com clareza o desempenho superior das instituies privadas.
10
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS Por fim, h o uso para o "esclarecimento", que nem sempre propositado, mas que acarreta, pela via do acmulo de conhecimento oriundo de diversas avaliaes, impacto sobre as redes de profissionais, sobre os formadores de opinio e sobre as advocacy coalitions, bem como alteraes nas crenas e na forma de ao das instituies, pautando, assim, a agenda governamental. Esse um tipo de influncia que ultrapassa a esfera mais restrita das polticas e dos programas avaliados.
2.1 CONCEITOS BSICOS

Vamos ver agora alguns conceitos importantes relacionados avaliao:
a)
Objetivos e Metas
Objetivo a situao que se deseja obter ao final do perodo de durao do projeto, mediante a aplicao dos recursos e da realizao das aes previstas. J a meta definida como um objetivo temporal, espacial e quantitativamente dimensionado. um objetivo para o qual se estabeleceu o sujeito da ao, se quantificou o objetivo e se determinou um prazo para atingi-lo. Por exemplo, o programa Brasil Alfabetizado e Educao de Jovens e Adultos tem como objetivo Elevar o nvel de alfabetizao e de escolaridade da populao de jovens e adultos. A meta reduzir de 23% para 15% o percentual da populao na faixa etria de 15 ou mais com escolaridade inferior 4 srie at 2011. Portanto, a meta expressou em nmeros e temporalmente o objetivo.
b)
Populao-objetivo ou Pblico-alvo
A definio das metas inclui a determinao do conjunto de pessoas ao qual se destina o projeto, o que denominado populao-objetivo, pblico-alvo, populao-meta ou grupo focal. Especifica os segmentos da sociedade aos quais o programa se destina e que se beneficiam direta e legitimamente com sua execuo. So os grupos de pessoas, comunidades, instituies ou setores que sero atingidos diretamente pelos resultados do programa. A definio do pblico-alvo importante para identificar e focar as aes que devem compor o programa. No programa do exemplo acima, o pblico-alvo : Jovens e adultos de 15 anos ou mais de idade no alfabetizados ou com baixa escolaridade.
11
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS Os programas e projetos so concebidos para os beneficirios diretos. Os indiretos so uma categoria de pessoas que recebem impactos positivos da realizao do projeto, mesmo quando sua situao no tenha sido considerada no momento de tomada de decises. Um exemplo de beneficirios diretos num projeto de pesquisa sobre o tratamento do cncer seriam aqueles doentes que poderiam ser curados; os indiretos se identificam com aqueles que, ao saber da existncia de um remdio, tenham menos temor doena. preciso ainda distinguir do pblico-alvo a cobertura. Esta se refere proporo de pessoas dentro da populao-objetivo que realmente recebe os servios. Vamos supor que o pblico-alvo do programa acima composto por 10 milhes de pessoas acima de 15 anos que no estejam alfabetizados ou com baixa escolaridade. Contudo, o programa no conseguir atender a todos. Vamos supor que atenda a 500 mil pessoas. A cobertura ser de 5%.
c)
Efeito e Impacto
Efeito todo comportamento ou acontecimento que se pode razoavelmente dizer que sofreu influncia de algum aspecto do projeto ou programa. Enquanto os objetivos constituem a situao que se pretende atingir com a realizao do projeto, se localizando temporalmente antes da realizao do projeto, os efeitos constituem resultados das aes consideradas pelo projeto e, portanto, so verificados durante ou depois do mesmo. Por definio, dados seus objetivos de resultado, um projeto deve ter efeitos procurados, previstos, positivos e relevantes. Os efeitos procurados tm que ser previstos, uma vez que no se pode procurar ou desejar o que se desconhece, e tambm tm de ser positivos, j que no seria lgico elaborar projetos para conseguir resultados negativos. Contudo, tambm podemos falar em efeitos no procurados. Estes podem ter sido previstos na elaborao do projeto, sendo positivos quando se trata de consequncias no centrais para os propsitos estabelecidos, ou negativos, quando podem prejudicar o possvel xito do projeto. Neste caso se tentar minimizar seu impacto. Tambm haver efeitos no previstos, surgidos em decorrncia de limitaes do conhecimento disponvel ou por desinformao daqueles que elaboraram o projeto. O impacto definido como um resultado dos efeitos de um projeto. A determinao do impacto exige estabelecimento de objetivos operacionais e de um modelo causal que permita vincular o projeto com os efeitos resultantes de sua implementao.
12
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS Depois que o projeto esteve funcionando por um perodo de tempo suficientemente longo, podemos observar os Resultados Brutos (RB), que correspondem s modificaes verificadas na populao-objetivo. J os Resultados Lquidos (RL) so as alteraes no pblico-alvo que podem ser atribudos nica e exclusivamente ao projeto. Isso exige a eliminao dos efeitos externos (EE). RL = RB - EE O Resultado Lquido igual ao impacto. Portanto, o impacto representa as modificaes que ocorreram na sociedade decorrentes exclusivamente do programa ou projeto. Por exemplo, um programa que tenha como objetivo a melhorar a educao fundamental por meio do treinamento de professores. Contudo, a melhora na educao aps o programa pode ser resultado tambm de investimentos em infraestrutura, material didtico, maior participao dos pais, etc.
d)
Viabilidade
A questo da viabilidade est presente em todos os momentos do processo de planejamento. Existem diversas formas de viabilidade a serem consideradas no processo de delineamento de um plano. So necessrias vrias aproximaes e ajustes sucessivos, a fim de conciliar direcionalidade e viabilidade e se busque a coerncia entre as formas de viabilidade: poltica, econmica, institucionalorganizacional e tecnolgica. Viabilidade poltica: refere-se administrao dos escassos recursos de poder, a fim de aplic-los com eficcia na consecuo dos objetivos possveis com esta restrio poltica. Trata-se, por um lado, de produzir operaes e aes que acrescentem recursos de poder e, por outro lado, dimensionar o alcance e direo da situaoobjetivo s relaes de foras que se pode conseguir no horizonte de tempo do plano. Viabilidade econmica: refere-se escassez de recursos econmicos e financeiros. Procura-se elevar os recursos ao nvel exigido pela situaoobjetivo, ou ajustar esta ltima s restries econmicas. Viabilidade institucional-organizacional: refere-se s capacidades institucionais do sistema como um todo, e s capacidades particulares de gesto de atores/instituies envolvidas no processo de produo social. Viabilidade tecnolgica: refere-se disponibilidade presente e capacitao de criao de tcnicas capazes de realizar os processos
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS econmicos, polticos e organizacionais exigidos pelo alcance e direo da situao-objetivo. Assim, as tecnologias econmicas, polticas e organizacionais necessrias devem ser consistentes com o domnio e conhecimento que os atores sociais tm sobre eles, ou com sua capacidade de criao no horizonte de tempo do plano.
2.2 TIPOS DE AVALIAO

A avaliao tem sido, usualmente, classificada em funo do seu timing (antes, durante ou depois da implementao da poltica ou programa), da posio do avaliador em relao ao objeto avaliado (interna, externa ou semiindependente) e da natureza do objeto avaliado (contexto, insumos, processos e resultados).
Em relao ao momento em que realizada Vamos ver a primeira classificao, a que se refere ao momento em que ela realizada.
a) Avaliaes Ex-ante Refere-se avaliao que realizada antes do incio do projeto, ou seja, tratase de uma avaliao que procura medir a viabilidade do programa a ser implementado. Geralmente muito utilizada por rgos financiadores de projetos e pode ter como objetivo a identificao de prioridades e metas. Entretanto, Lubambo e Arajo mencionam que nem sempre essa relao pode ser restringida viabilidade econmico-financeira, uma vez que a viabilidade poltica e institucional, bem como as expectativas dos beneficirios da ao, devem ser consideradas e incorporadas nessa conta. A avaliao ex-ante, procura orientar sobre a realizao de um dado programa, no que diz respeito a sua formulao e desenvolvimento, atravs do estudo de seus objetivos, dos beneficirios e suas necessidades e do seu campo de atuao. Desta forma, prope-se ser um instrumento que permite escolher a melhor opo estratgica. A avaliao ex-ante permite escolher a melhor opo dos programas e projetos nos quais se concretizam as polticas.
14
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS b) Avaliaes Ex-post ou Somativas So conduzidas, frequentemente, quando o programa j est implementado, para estudar sua eficcia e o julgamento de seu valor geral. Essas avaliaes so tipicamente utilizadas como meio de assistir a alocao de recursos ou na promoo de mais responsabilidade. Os clientes geralmente so externos, tais como polticos e outros agentes de deciso. Essas avaliaes muitas vezes so conduzidas por avaliadores externos. As questes quanto ao resultado ou relevncia geral do programa devem ser abordadas. Esta categoria de avaliao investiga em que medida o programa atinge os resultados esperados pelos formuladores. Entretanto, essa anlise de resultados pode ser agrupada em duas modalidades: resultados esperados e resultados no esperados. Referem-se, respectivamente, aos efeitos gerados e aos efeitos no antecipados pelo programa no plano de implementao. Quando a varivel resultados, independentemente de sua modalidade, ganha centralidade no processo de avaliao, prudente reputar algumas indagaes, que so tidas como essenciais: Que tipos de servios ou benefcios os beneficirios do programa esto recebendo? Em que medida os servios ou benefcios realmente recebidos pelos beneficirios do programa esto de acordo com as intenes originais dos formuladores? Os beneficirios esto satisfeitos com os resultados atingidos pelo programa? Os resultados atingidos so compatveis com os resultados esperados? Como e porque os programas implementados geram resultados no esperados? Nesta categoria, em que os resultados de um programa ou poltica so focalizados, a avaliao assume um carter somativo. Essa modalidade de avaliao que se realiza ao final da fase de implementao ou aps a concluso de um programa, consiste no exame e anlise de objetivos, impactos e resultados. Focaliza a relao entre processo, resultados e impacto, comparando os diferentes programas, o que possibilita escolher o mais adequado e vivel para atingir as metas no prazo pretendido. O objetivo principal da avaliao Somativa o de analisar a efetividade de um programa, compreendendo em que medida o mesmo atingiu os resultados esperados.
15
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS c) Avaliaes formativas Geralmente adotadas durante a implementao de um programa (avaliao intermediria) como meio de se adquirir mais conhecimento quanto a um processo de aprendizagem para o qual se deseja contribuir. O propsito o de apoiar e melhorar a gesto, a implementao e o desenvolvimento do programa. Os avaliadores, assim como os clientes, geralmente so internos, e, frequentemente, os gerentes do programa em questo (auto-avaliao). A objetividade das constataes geralmente no se coloca como preocupao central: mais nfase dada aplicabilidade direta dos resultados. Devem lidar com questes operacionais de monitoramento dos eventos e, em certo grau, tambm com aspectos relacionados ao impacto. Esta categoria de avaliao procura investigar como o programa funciona (observao das etapas, mecanismos, processos e conexes), quais so as estratgias utilizadas para o alcance dos resultados, ou seja, procura articular os meios com os fins, estabelecendo dessa forma sua consonncia ou incompatibilidade. Nesta situao, em que se procura focar o funcionamento e a gesto do programa, a avaliao assume carter formativo. Como este tipo de avaliao se centraliza nos processos e no nos resultados, podemos concluir que mais utilizada na fase de implementao de um programa ou poltica, pois focaliza os aspectos que tm relao direta com a formao do programa, enquanto est em funcionamento, portanto, desenvolvida durante o processo de implementao da ao avaliada. Trata de realizar o acompanhamento de aes e tarefas, no que fiz respeito ao contedo, mtodo e instrumentos inerentes execuo de um programa ou projeto. Trata-se, portanto, de um conceito de extrema relevncia no processo de avaliao de polticas pblicas, pois possibilita compreender em que medida a otimizao dos recursos pblicos acontecem - aqui entendidos como os recursos financeiros, materiais e humanos - atravs da comparao entre metas alcanadas, recursos empreendidos e tempo de execuo. Portanto, este tipo de avaliao no se preocupa com a efetividade do programa, pois focaliza seus processos e mecanismos de execuo. Sua funo maior a de observar em que medida o programa est sendo implementado como planejado. Preocupa-se em responder, entre outras, s seguintes indagaes: A populao-alvo est sendo atendida, conforme as metas? O cronograma est sendo cumprido?
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS Os recursos esto sendo alocados com eficincia? Assim, a avaliao de processos se constitui, basicamente, em um instrumento que se preocupa em diagnosticar as possveis falhas de um programa, no que diz respeito aos instrumentos, procedimentos, contedos e mtodos, adequao ao pblico-alvo, visando o seu aperfeioamento, atravs da interferncia direcionada para seus aspectos intrnsecos. Esta modalidade de avaliao tem por objetivo fazer as coisas certas Comparando a avaliao formativa com a somativa, temos que estes conceitos so originrios do campo da educao, no contexto da avaliao de currculos. A "avaliao formativa" ocorreria enquanto a atividade a ser avaliada ainda estivesse em andamento, com a finalidade de melhor-la, redirecion-la. Em contraste, a "avaliao somativa" seria dirigida a um produto final, buscando verificar a efetividade da interveno, bem como o potencial deste "produto" em relao a futuras aplicaes. A Avaliao Formativa ocorre durante o processo de execuo de um programa ou projeto, com o objetivo de fornecer um feedback aos responsveis pela interveno que est sendo avaliada, podendo realizar-se durante o desenvolvimento da interveno, nas fases de diagnstico, formulao, implementao da execuo da mesma. J a avaliao somativa refere-se aos "resultados ou efeitos" da interveno, sendo realizada ao final da mesma, da tambm ser denominada de "avaliao final", cujos resultados servem para "determinar futuras aes" sobre a interveno, no sentido de mant-la, modific-la ou suspend-la.
Em relao procedncia dos avaliadores A avaliao externa realizada por pessoas no ligadas organizao executora do projeto. So pessoas no envolvidas com os processos organizacionais. Esse no envolvimento permite uma maior objetividade na avaliao e, alm disso, supostamente, esses avaliadores possuem maior experincia e so capazes de realizar comparaes sobre eficincia e eficcia de diferentes solues aos problemas enfrentados. No entanto, afirma-se que as avaliaes externas tendem a dar mais importncia ao mtodo da avaliao do que ao conhecimento substantivo da rea em que o projeto foi avaliado. A maior vantagem do avaliador externo estaria em seu conhecimento da metodologia de avaliao. J seus pontos fracos estariam na rea substantiva e nas especificidades do projeto.
17
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS A avaliao interna realizada dentro da organizao gestora do projeto, mas no por pessoas diretamente responsveis por sua execuo. Por ser realizada por pessoas conhecedoras da disciplina, "o fato de participar desse processo permite com frequncia compreender melhor as atividades que so avaliadas e enfocar de modo mais construtivo sua execuo e as necessidades de ao futura". No entanto, a literatura alerta para o risco de perda de objetividade uma vez que a organizao agente seria "juiz e interessado" e que os avaliadores teriam ideias preconcebidas (e, portanto, no imparciais) a respeito do projeto. Na avaliao mista recorre-se a uma combinao das duas anteriores, fazendo com que avaliadores externos realizem seu trabalho em estreito contato com a equipe interna. Assim, busca-se eliminar os fatores negativos de ambas as avaliaes anteriores (objetividade e conhecimento necessrio avaliao). A avaliao participativa surge como alternativa democrtica e resposta crtica aos trs tipos anteriormente apresentados, que ausentam os beneficirios do projeto de sua avaliao. Cohen e Franco esclarecem que no processo de um projeto social a estratgia participativa prev a adeso da comunidade no planejamento, programao, execuo, operao e avaliao do mesmo e que na avaliao (independentemente da estratgia do projeto), existem instncias em que a participao comunitria imprescindvel.
Enfoques da avaliao Outra classificao importante a da Maria Ozanira da Silva, segundo a qual a avaliao pode ocorrer atravs de quatro enfoques diferenciados: o monitoramento, a avaliao poltica da poltica, a avaliao de processo e a avaliao de impacto. O monitoramento permite o acompanhamento constante, atravs do gerenciamento do cumprimento de metas e prazos, buscando o cumprimento do cronograma das atividades com o objetivo de garantir a eficincia do programa. A avaliao poltica da poltica emite juzo de valor em relao poltica ou ao programa a partir de critrios e princpios fundamentados em concepes tericas de bem-estar humano e de qualidade de vida. Essa avaliao possibilita uma anlise da operacionalizao do programa, bem como de todo o planejamento do mesmo. Est centrada nos fundamentos e condicionamentos de formulao da poltica ou de elaborao de um plano, discutindo e buscando novas alternativas, at mesmo no perodo de implementao de um certo
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS programa ou poltica. Considera, tambm, os mecanismos institucionais disponveis, seus limites e todos os recursos necessrios para que o programa acontea. A avaliao de processo est centrada no desenvolvimento do programa, tendo em vista aferir sua eficcia e efetuar correes durante a implementao. Assim, pretende antecipar se o desejo inicial pode ou no ser alcanado, sendo a questo central da avaliao de processo o funcionamento do programa e os servios prestados. A avaliao de impactos tem como foco central as mudanas quantitativas e qualitativas decorrentes de determinadas aes governamentais (poltica/programa) sobre as condies de vida de uma populao, tendo, portanto, como critrio a efetividade. H que se considerar que sempre se parte da suposio de que existe relao causal entre uma varivel independente (o programa) e uma varivel dependente (alterao nas condies sociais). Para entender o que seja impacto, preciso conceituar primeiro efeito, entendido como todo comportamento ou acontecimento que sofreu influncia de algum aspecto do programa. O efeito pode ser procurado, previsto, positivo e relevante ou no procurado, positivo ou negativo. Por impacto entende-se o resultado dos efeitos de um programa (efeitos lquidos decorrentes dos efeitos de um programa). Nesse sentido, a determinao de impactos exige considerar dois momentos antes e depois para se saber qual a diferena entre eles.
Avaliao X Monitoramento A avaliao deve ser diferenciada do acompanhamento. Este, segundo a ONU:
o exame contnuo ou peridico efetuado pela administrao, em todos os seus nveis hierrquicos, do modo como se est executando uma atividade. Com isso, se procura assegurar que a entrega de insumos, os calendrios de trabalho, os produtos esperados se consubstanciam nas metas estabelecidas e que outras aes que so necessrias progridam de acordo com o traado.
O monitoramento ou acompanhamento uma atividade gerencial interna que se realiza durante o perodo de execuo e operao. J a avaliao pode ser realizada tanto antes quanto durante a implementao, ou ainda depois desta estar concluda.
19
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS O monitoramento um processo sistemtico e peridico de anlise da gesto, funcionamento e desempenho de programas e projetos. Tem como objetivo identificar desvios na execuo das aes, entre o programado e o executado, diagnosticando suas causas e propondo ajustes operacionais, com vistas adequao entre o plano e sua implementao. As atividades de monitoramento so desenvolvidas durante a execuo do programa. Entretanto, para realiz-las necessrio ter conhecimento do projeto nas suas fases inicial e final, bem como na sua fase de desenvolvimento, pois isto permite verificar o seu andamento com relao a objetivos e metas, viabilizando, se necessrio, redirecionar, ou mesmo, redesenhar algumas aes que se comportaram de forma no prevista. Tratase, portanto, de um processo contnuo que retroalimenta o ciclo de ajustes de uma poltica. De forma resumida, o monitoramento um processo sistemtico e contnuo que, produzindo informaes sintticas e em tempo eficaz, permite rpida avaliao situacional e a interveno oportuna que corrige ou confirma as aes monitoradas. Algumas caractersticas do monitoramento de projetos de desenvolvimento, que neste estudo tem especial relevncia, so assinaladas: Visa otimizar a realizao dos objetivos do projeto e evitar efeitos negativos. Facilita obter os conhecimentos que esto sendo aproveitados para redefinio e a adequao do projeto. Observa elementos especficos e definidos, isto quer dizer que no trabalha com todos os aspectos do projeto. realizado sistematicamente, com um objetivo definido. Usa como instrumento de medio indicadores, que so qualitativos e/ou quantitativos. Os indicadores quantitativos podem ser interpretados de maneira qualitativa. Basicamente feito por pessoas internas, ao projeto.
20
2.3 TENDNCIAS NA AVALIAO

Worthen ressalta algumas tendncias ou questes novas, que podem influenciar de forma significativa o futuro da avaliao. Algumas destas so destacadas abaixo: Prioridade e legitimidade crescentes da avaliao interna; Uso mais frequente de mtodos qualitativos; Combinao de mtodos quantitativos e qualitativos; Preferncia por avaliaes com mltiplos mtodos; Desenvolvimento de avaliaes baseadas na teoria; Preocupao com a questo tica na avaliao; Uso maior da avaliao no setor privado; Uso da avaliao para empoderar os interessados num programa; Avano da tecnologia e as preocupaes ticas que surgem em paralelo; Alterao nos formatos das avaliaes em acompanhamento ao processo de reforma do Estado, no mbito do neoliberalismo.
2.4 MODELO LGICO E TEORIA DO PROGRAMA

O Ministrio do Planejamento adotou, em 2007, a metodologia de construo de Modelo Lgico, com o objetivo de aumentar a qualidade do Plano Plurianual, de avaliar e de qualificar o processo de reviso dos programas do PPA por meio de uma anlise detalhada do desenho de cada um deles. O objetivo tinha assegurar que o desenho dos programas estivesse efetivamente orientado para o enfrentamento de problemas existentes na sociedade, alm de apresentar uma viso mais clara de todas as aes desenvolvidas em cada programa. O Quadro Lgico, ou Logical Framework, ou Marco Lgico, ou Matriz Lgica, surgiu no contexto da cooperao internacional de apoio ao desenvolvimento, pela necessidade das agncias internacionais de financiamento de projetos em acompanharem melhor como era aplicado o dinheiro emprestado. O Marco Lgico consiste de uma matriz de duas entradas 4x4, que resume em seus 16 campos a estratgia do projeto, os possveis riscos externos e os indicadores que possibilitem a aferio do desempenho. Desta forma ele
21
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS representa um poderoso instrumento de comunicao (interna e externa) do projeto, bem como o centro da gerncia do projeto. A principal inovao ovao do Marco Lgico est em sua estrutura lgica, que obriga preciso no seu preenchimento. O QL uma matriz que elaborada sucessivamente num processo de estruturao daqueles elementos considerados os mais importantes de um projeto e que permitem a sua apresentao sistemtica, lgica e sucinta. O Marco Lgico uma matriz, formada da seguinte forma:
Resumo Narrativo de Objetivos Objetivo Superior: Cada projeto a resposta a um problema detectado. O Objetivo Superior de um projeto uma descrio da soluo de um problema que se tenha diagnosticado. Ex.: Problema principal - alta taxa de mortalidade materna e infantil na populao de baixa renda ---> > Objetivo superior - reduzir a taxa de mortalidade materna e infantil nessa populao. Objetivo do Projeto: O objetivo do projeto o resultado esperado ao fim do perodo de execuo do projeto. Cada projeto deve ter um nico objetivo de projeto. Quando uma operao tiver mais de um objetivo de projeto, devem ser elaborados mais de um marco lgico: um marco mestre do programa, com seu objetivo superior e objetivo de projeto e dois ou mais marcos subordinados. O objetivo superior de cada marco subordinado idntico ao objetivo de projeto do programa (marco mestre), mas cada um tem seu prprio objetivo de projeto. Deve haver apenas um objetivo de projeto. Se houver outros objetivos, a cada um deve corresponder um projeto, o conjunto dos quais uais corresponder a um programa. Produtos: Produtos (ou componentes) so as obras, estudos, servios e treinamentos especficos que se requer que o gerente de projeto produza com
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS o oramento que lhe alocado. Cada produto tem que ser necessrio para atingir o objetivo do projeto. Atividades: As atividades so as tarefas que o executor tem que levar a cabo para produzir cada produto (componente).
Indicadores para Acompanhamento Indicadores de objetivo superior e de objetivo de projeto: Os indicadores tornam especficos os resultados esperados, na realidade, em trs dimenses: quantidade, qualidade e tempo. Indicadores dos produtos: Os indicadores dos produtos (componentes) so descries breves dos estudos, treinamento e obras fsicas gerados pelo projeto. Indicadores de atividades: O oramento do projeto o indicador de atividade correspondente a esta clula da matriz.
Fontes de Verificao As fontes de verificao indicam ao executor ou ao avaliador onde possvel obter a informao necessria para a construo dos indicadores. Obriga os planejadores a identificar fontes existentes de informao ou a prever recursos para o levantamento de informaes. Nem toda a informao tem que ser estatstica. A produo de produtos (componentes) pode verificar-se mediante uma inspeo visual do especialista. A execuo do oramento pode verificarse com os recibos apresentados.
Pressupostos Cada projeto envolve riscos: ambientais, financeiros, institucionais, sociais, polticos, climatolgicos ou outros fatores que podem fazer com que o mesmo fracasse. O risco se expressa como um pressuposto que tem que ser cumprido para avanar ao nvel seguinte da hierarquia de objetivos. Os pressupostos, por definio, esto fora do controle direto do gerente de projeto.
O MPOG define o Marco Lgico como:
23

Metodologia utilizada como instrumento de avaliao da consistncia do desenho dos programas do PPA que permite a visualizao da teoria do programa de forma sistematizada por meio de uma rvore de problemas.
A rvore de Problemas proporciona um conhecimento mais detalhado das razes que determinaram o desejo de mudanas da situao presente para uma nova situao futura. A rvore de problemas um instrumento que permite a ordenao e hierarquizao das causas e efeitos de um problema escolhido para dar incio ao processo de planejamento e que, em ltima anlise, representa o foco das preocupaes de um grupo ou instituio que o querem ver resolvido. Todo esse agrupamento de problemas, composto tanto pelo problema originrio da anlise, chamado de problema central, como por suas causas e efeitos, estruturado num diagrama conhecido como rvore de problemas. O problema central, como o nome indica, fica colocado no centro do diagrama, enquanto que suas causas hierarquicamente distribudas ficam na parte inferior do diagrama e os efeitos, na parte superior. Vamos ver um exemplo:
Baixa Qualidade de Vida
Baixa Sade da Comunidade
Baixa Produtividade na Famlia
Baixa Renda
Mortalidade Infantil
Falta de Qualificao Profissional Bebs Prematuros Aleitamento Materno Inadequado Alta Morbidade
Falta de Acesso aos Programas Assistenciais
Desnutrio Materno-Infantil
Falta de Saneamento Bsico
Falta de Conhecimento do Pr-Natal
Baixa Renda Familiar
Falta de Publicidade dos Programas Assistenciais
Baixa Escolaridade
A partir da rvore de Problemas formulada a rvore de Objetivos, que toma a mesma como base para a definio dos objetivos que se contrape aos problemas elencados. Substitui-se o problema por uma situao desejada, as
24
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS causas da rvore de problemas sero os meios da rvore de objetivos e os efeitos sero os fins. Contudo, temos que entender que no se trata de se fazer uma simples "verso" do problema para o objetivo (por exemplo, trocar "servio ineficiente" por "servio eficiente"). Muitas vezes, necessrio se buscar o objetivo realmente desejado para o problema apontado. Vejamos um exemplo:
Qualidade de Vida Aumentada
Sade da Comunidade Aumentada
Produtividade na Famlia Aumentada
Renda Familiar Aumentada
Reduo do ndice de Mortalidade Infantil
Bebs Pr-termo
Aleitamento Materno adequado
Morbidade Reduzida
Aumento do Acesso aos Programas Assistenciais
Aumento do ndice de Nutrio
Saneamento Bsico Aumentado
Aumento do Conhecimento do Pr-Natal
Aumento da Renda Familiar
Aumento da Publicidade dos Programas Assistenciais
A lgica do modelo que os recursos sejam aplicados em aes que gerem determinados produtos. Estes produtos, aplicados sobre o pblico-alvo, iro levar a resultados intermedirios, que contribuem para o alcance dos resultados finais. O Manual conceitua Produto como bem ou servio que resulta da ao, destinado ao pblico-alvo ou o investimento para a produo deste bem ou servio. Para cada ao deve haver um nico produto. Em situaes especiais, expressa a quantidade de beneficirios atendidos pela ao. Ainda segundo o Manual, este produto deve ser aquilo que diretamente gerado pela ao do programa. Se o produto definido para a ao no adequado, a avaliao do alcance das metas no ter significado algum em relao ao desempenho do rgo. O
25
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS Manual de Avaliao do PPA salienta a importncia dos produtos na avaliao dos programas. Segundo o documento:
De forma a desenvolver uma avaliao com maior consistncia e promover a participao dos principais atores envolvidos, sugere-se uma anlise a partir dos produtos das aes, com a verificao dos ndices de execuo fsica e o exame do grau de contribuio desses produtos consecuo do objetivo do programa [grifo nosso].
Observa-se que os produtos so indispensveis para uma boa avaliao dos programas do PPA, e esta pode ser prejudicada no caso de incoerncia dos produtos utilizados no SIGPlan e aqueles que so efetivamente gerados na prtica. Segundo o Manual de Elaborao do PPA 2008-2011:
Os pressupostos sobre as relaes entre recursos e aes e como essas levam aos resultados esperados so frequentemente referidos como a teoria do programa. As hipteses so de que os recursos certos sero transformados em aes necessrias para os beneficirios certos, e isso, em um contexto favorvel, ir levar para os resultados que o programa pretende alcanar.
Modelo de avaliao baseado na Teoria do Programa tem como foco de avaliao os mecanismos de mudana (as respostas da realidade s intervenes feitas pelo Estado). Parte da ideia de que toda a interveno na realidade est amparada por uma teoria a respeito de como os problemas surgem e quais so as estratgias ideais para solucion-los. Por meio dessa teoria so definidos o desenho da ao e os resultados que so esperados. Busca avaliar a consistncia entre teoria proposta, procedimentos adotados e resultados obtidos. Segundo o MPOG:
Entende-se por teoria do programa a relao de causa (problema) e efeito (resultados pretendidos) que motivaram a sua elaborao, incluindo os meios escolhidos (desenho do programa) para alcanar o objetivo definido, revelando os pressupostos sobre como os recursos alocados e as aes desenvolvidas levam aos resultados esperados.
A avaliao baseada na Teoria do Programa abrange a teoria normativa (descrio do programa, metas e resultados esperados) e a teoria causativa (construda por meio de dados que descrevam os resultados potenciais da ao, obtidos por meio da anlise do perfil do cliente alvo da poltica, do contexto e das atividades a serem desenvolvidas). Segundo o Ncleo de Estudos de Polticas Pblicas da Unicamp:
A anlise com base na teoria do programa procura avaliar em que medida as atividades desencadeadas pelo programa provocam um conjunto especfico de respostas para atores e beneficirios do programa, permitindo
26

comparar os estgios de formulao e implementao. Neste sentido, as anlises centradas na Teoria do Programa tendem a dar nfase a anlise dos mecanismos que levam a mudana e no nas atividades de funcionamento do programa, e como estas tendem a gerar benefcios ou no para os clientes do programa.
Esta avaliao pressupe ser possvel identificar em cada caso (ad hoc) uma rede razoavelmente estvel de relao entre variveis a serem analisadas, ou seja, que h uma teoria a respeito da interveno do programa e as consequncias desta interveno. Ad hoc uma expresso latina que quer dizer "com este objetivo". Geralmente significa uma soluo designada para um problema ou tarefa especficos, que no pode ser aplicada em outros casos. Normalmente indica uma situao provisria ou improvisada.
2.5 ANLISE CUSTO-BENEFCIO E CUSTO-EFETIVIDADE

O edital de 2008 previa explicitamente a Anlise Custo-Benefcio e a CustoEfetividade. O novo edital no as menciona, mas elas ainda podem ser cobradas dentro de avaliao. Durante a dcada de 1960 nos Estados Unidos, estudos realizados comprovaram que algumas obras pblicas estavam degradando a qualidade de vida e o meio ambiente. Entre essas obras estavam estradas e hidroeltricas, os crticos argumentavam que as consequncias ambientais e sobre a sade pblica no estavam sendo consideradas. Assim na dcada de 70, muitos pases industrializados estabeleceram polticas, nas quais os impactos ambientais passaram a ser considerados no processo de tomada de deciso, utilizando instrumentos de auxilio ao processo de tomada de deciso. A anlise custo benefcio (ACB) e a anlise custo-efetividade (ACE) so ferramentas que buscam comparar os custos estimados de determinado projeto com os benefcios esperados. Trata-se de uma forma de decidir sobre a adequabilidade e aceitabilidade de prosseguir com um projeto. Essas avaliaes olham para a relao custo-resultado, que vimos que se refere ao conceito de eficincia. Essa a base dessas avaliaes, a eficincia. As duas medem a eficincia de diferentes alternativas. A principal diferena entre a ACB e a ACE que, na primeira, os custos e resultados podem ser traduzidos em unidades monetrias; j na segunda, os impactos no podem ser valorizados em moeda. Por exemplo, num programa que tenha como objetivo melhor a educao no temos como dar um valor monetrio para esta melhora.
27
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS A ACB se baseia em uma regra muito simples: compara os benefcios e os custos de um projeto em particular e se os primeiros excedem aos segundos, fornecendo um elemento de julgamento inicial que indica sua aceitabilidade. Dado que sempre existem alternativas para o investimento que se traduzem em projetos, a ACB proporciona um guia para hierarquiza-los racionalmente, ao relacionar seus benefcios e seus custos. Se os projetos esto sendo executados, permite determinar em que medida esto sendo obtidos seus fins, quando estes podem ser traduzidos a unidades monetrias. A ACE segue exatamente a mesma lgica. Sua particularidade reside em comparar os custos com a potencialidade de alcanar mais eficaz e eficientemente os objetivos no expressveis em moeda (avaliao ex-ante) ou com a eficcia e eficincia diferencial real que as diferentes formas de implementao mostraram no alcance de seus objetivos.
Anlise Custo-Benefcio ACB permite determinar se os projetos so ou no rentveis, comparando os fluxos atualizados de benefcios e custos previstos em sua implementao. A avaliao pode ser realizada a partir de duas ticas diferentes: a avaliao privada e a avaliao social. A principal diferena entre as duas que a privada utiliza preos de mercado, tanto nos custos quanto nos produtos e se preocupa apenas com aquilo que relevante na tica do capitalismo, do empresrio. J a avaliao social considera importantes valores sociais, que no so precificados pelo mercado, como: impactos distributivos, os efeitos intangveis, externalidades. Tanto os custos quanto os benefcios so valorizados a preos-sombra ou de eficcia. Preo-sombra, segundo Mishan, aquele que o economista atribui a um bem ou fator com base no argumento de que ele o mais apropriado para a finalidade do clculo econmico do que o seu preo vigente, se houver. Na avaliao de um projeto, o economista corrige certo nmero de preos de mercado e, da mesma forma, atribui preos a ganhos e perdas que no tm preos e que se espera que o esquema produza. Pode adicionar algo ao custo de um fator, ou subtrair do custo de um bem. Na avaliao social, acrescenta-se ou retira-se do preo de mercado valores sociais importantes, como efeitos distributivos, custos e benefcios secundrios, ou externalidades. Eles so produzidos como consequncia, mas fora do mbito em que este realizado. H tambm os efeitos intangveis, como integrao regional, efeitos sobre o clima e o meio ambiente, etc.
28
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS Se os custos e benefcios de um projeto se produzissem ao mesmo tempo, ou em um limitado perodo de tempo, no seria necessrio considerar a dimenso temporal. Entretanto, normalmente os projetos incorrem em custos durante vrios anos antes de comear a produzir benefcios. Isto mostra a necessidade de traduzir os custos de hoje e os benefcios futuros mesma unidade de medida. A taxa de desconto deve ser considerada tanto na avaliao privada quanto na avaliao social de projetos. Na avaliao privada, os projetos geram custos e benefcios ao longo de toda sua implementao. Para torn-los comparveis necessrio que ambos convirjam para um momento do tempo. Por conveno e visando torn-los mais facilmente comparveis a transaes comuns, escolhido o momento em que realizada a avaliao. A taxa de desconto tem por objetivo traduzir a um valor presente os custos e benefcios que resultaro do projeto no futuro. A taxa de desconto fixada sobre a base do custo de oportunidade do capital, ou seja, quanto se pode ganhar com o seu investimento no mercado de capitais, ou em outro investimento alternativo. Na avaliao social, as suposies da taxa de desconto so similares aos da avaliao privada. Utilizar os recursos disponveis em um determinado projeto implica em no utiliz-los para outros fins. A taxa de desconto tambm ser o custo de oportunidade, neste caso os ganhos que ocorreriam caso fosse escolhido outro projeto social.
Anlise Custo-Efetividade A ACE definida como a tcnica que leva em conta os custos selecionar alternativas, tornando possvel escolher as que melhores resultados para qualquer determinado dispndio de aquela que minimize a utilizao do recurso para qualquer resultado. e efeitos de proveem os recursos ou determinado
Vimos que a ACE usada quando no conseguimos valorar monetariamente os benefcios. Portanto, ela utilizada como uma forma de comparar diferentes alternativas de soluo. Para isso ela compara o grau de eficincia relativa de cada projeto, para estabelecer o que possui a melhor relao custo-benefcio. Vimos que a eficincia se refere relao custos e produtos, otimizao no uso de recursos com vistas a atingir uma produo maior. Apesar do nome da avaliao ser custo-efetividade, ela compara a eficincia porque ela quer saber qual projeto tem uma melhor relao entre custo e resultado. Para isso, ela precisa colocar os projetos sobre a mesma base de comparao. Esta pode ser
29
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS colocada no resultado, ou seja, Qual projeto custo menos para produzir determinado resultado?, ou sobre o custo, Qual projeto produz mais resultado para cada unidade monetria gasta?. A ACE avalia as alternativas de deciso tornando comparveis todos os efeitos em termos de uma unidade de produto no monetria e comparando o impacto das alternativas. A ACE permite comparar o grau de eficincia relativa que tm projetos diferentes para obter os mesmos produtos. De modo similar, no caso de existir diversas alternativas para alcanar os objetivos de um projeto, pode ser descoberta a tima, seja minimizando os custos a um certo nvel dado de xito, ou maximizando o alcance dos fins para um nvel de gasto total prefixado. A ACE apropriada principalmente quando se deseja comparar opes alternativas de programas que tm o mesmo objetivo, com a finalidade de definir qual deles ter a melhor performance em comparao com os recursos gastos. Contudo, caso os projetos tenham objetivos diferentes, no poderemos compar-los com a ACE. Um projeto que busque a melhora na educao no poder ser comparado com outro que busque a reduo das mortes nas estradas. O uso da anlise custo-efetividade libera o avaliador das restries impostas correta medio dos benefcios, colocando-lhe, por outro lado, frente a no menos difcil tarefa de medir os impactos do programa em termos da efetividade da interveno como um produto especfico. O produto, portanto, pode ser avaliado de acordo com seus prprios atributos, ao invs de ter de ser convertido em valores monetrios. Nesse sentido, a abordagem da ACE permite uma avaliao direta de alternativas de programas que tm os mesmos objetivos. Vamos ver um exemplo: um programa que busque melhorar os ndices de educao no ensino fundamental. As alternativas de soluo so: treinar professores, construir mais escolas ou comprar computadores. Na tabela a seguir temos os custos e benefcios esperados de cada alternativa:
Custo (A) 30 50 40 Melhora no ndice de Educao (B) 15% 20% 18% Custo-Efetividade (A/B) 2 2,5 2,22
Alternativas Treinamento de professores Computadores Infraestrutura
30
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS O custo-efetividade representa a diviso do custo pelo resultado, ou seja, quanto custa para aumentar em 1% o ndice de educao. O treinamento de professores custar 2,00 para cada ponto percentual aumentado, Os computadores custaro 2,5 e a infraestrutura 2,22. Portanto, o treinamento a melhor opo, pois possui a melhor eficincia relativa entre as alternativas. Poderamos fazer a diviso inversa, a saberamos quanto cada alternativa aumentaria no ndice de educao para cada unidade monetria gasta.
3 Coleta, Anlise e Interpretao de Informaes

Toda avaliao busca responder algumas perguntas. No TCU, chamamos elas de Questes de Auditoria, que so o elemento central na determinao do direcionamento dos trabalhos de auditoria, das metodologias e tcnicas a adotar e dos resultados que se pretende atingir. Elas podem ser classificadas em alguns tipos: Questes descritivas: formuladas de maneira a fornecer informaes detalhadas sobre, por exemplo, condies de implementao ou de operao de determinado programa ou atividade, mudanas ocorridas, problemas e reas com potencial de aperfeioamento. Buscam aprofundar aspectos tratados de forma preliminar durante a etapa de planejamento. Exemplos de questo descritiva: Como os executores locais esto operacionalizando os requisitos de acesso estabelecidos pelo programa?. Questes normativas: So aquelas que tratam de comparaes entre a situao existente e aquela estabelecida em norma, padro ou meta, tanto de carter qualitativo quanto quantitativo. A abordagem metodolgica empregada a comparao com critrios previamente identificados e o desempenho observado. Abordam o que deveria ser e usualmente so perguntas do tipo: O programa tem alcanado as metas previstas?; Os sistemas instalados atendem s especificaes do programa?. Questes avaliativas (ou de impacto, ou de causa-e-efeito): As questes avaliativas referem-se efetividade do objeto de auditoria e vo alm das questes descritivas e normativas para enfocar o que teria ocorrido caso o programa ou a atividade no tivesse sido executada. Em outras palavras, uma questo avaliativa quer saber que diferena fez a interveno governamental para a soluo do problema identificado. O escopo da pergunta abrange tambm os efeitos no esperados, positivos ou negativos, provocados pelo programa. Exemplo de questo avaliativa: Em
31
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS que medida os efeitos observados podem ser atribudos ao programa?. As questes avaliativas quase sempre requerem estratgias metodolgicas bastante complexas, envolvendo modelos experimentais com grupos de controle, anlises estatsticas sofisticadas e modelagem. Questes exploratrias: Destinadas a explicar eventos especficos, esclarecer os desvios em relao ao desempenho padro ou as razes de ocorrncia de um determinado resultado. So perguntas do tipo: Quais os principais fatores que respondem pela crise do sistema de transporte areo?; Que fatores explicam o aumento expressivo nos gastos com pagamento dos benefcios de auxlio-doena ao longo da ltima dcada? Depois que as perguntas so definidas, o prximo passo determinar que informaes so necessrias para responder cada pergunta. Por exemplo: as atividades crticas do programa foram realizadas a tempo e dentro do oramento?. Seria preciso saber que atividades foram consideradas crticas, prazos e oramento do programa relativos a cada atividade, quando cada atividade comeou e terminou e o custo total de cada atividade. No TCU, as auditorias operacionais possuem como um de seus instrumentos mais importantes a Matriz de Planejamento. O propsito da matriz de planejamento auxiliar a elaborao conceitual do trabalho e a orientao da equipe na fase de execuo. uma ferramenta de auditoria que torna o planejamento mais sistemtico e dirigido, facilitando a comunicao de decises sobre metodologia e auxiliando a conduo dos trabalhos de campo. A Matriz composta dos seguintes elementos:
32
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS Vocs podem perceber que a segunda coluna refere-se s informaes requeridas para responder a questo. Uma vez identificadas as informaes necessrias, deve-se enumerar onde as informaes sero buscadas, como documentao legal e institucional que d suporte ao objeto de auditoria, legislao oramentria (PPA, LDO e LOA); misso declarada, planos estratgicos e relatrios de gesto; atas de reunies; sistemas de informaes gerenciais; sistemas de informaes da administrao pblica (SIAFI, SIGPlan, SIDOR, SIASG); bibliografia especializada, etc. A estratgia metodolgica a forma geral do desenho investigativo que ser adotado na auditoria e deve ser especificado nas colunas de procedimentos de coleta e anlise de dados. Devem-se registrar a abordagem e os mtodos que sero empregados na investigao de cada questo e subquesto formulada. A estratgia metodolgica est diretamente relacionada com a qualidade das evidncias que podem ser obtidas, o que, por sua vez, influir na confiabilidade das concluses do trabalho. A Intosai relaciona as abordagens mais adequadas para responder a algumas questes tpicas de auditoria operacional, conforme o quadro abaixo:
Entre os mtodos mais empregados nas auditorias operacionais esto pesquisa documental, estudo de caso e pesquisa (survey). A pesquisa experimental, quase-experimental e no-experimental, utilizadas em avaliao de programas, tambm fazem parte das opes de estratgia metodolgica. Pesquisa documental: abrange o exame de toda espcie de registros administrativos, inclusive estatsticas oficiais. Alm de material produzido pela instituio auditada, so pesquisados relatrios de auditorias anteriores do TCU e da CGU, assim como estudos realizados por outras instituies. Denomina-se pesquisa bibliogrfica a que abrange a
33
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS bibliografia tornada pblica em relao ao tema de estudo. Ao se realizar pesquisa documental necessrio avaliar a confiabilidade das informaes divulgadas, assim como determinar a natureza, localizao e disponibilidade dos documentos no incio da auditoria. Esses cuidados tm por objetivo garantir o melhor aproveitamento da informao ao menor custo possvel e verificar a viabilidade de se responder questo. Estudo de Caso: Estudo de caso um mtodo usado para conhecer uma situao complexa, baseado em compreenso abrangente da situao, obtida a partir de sua ampla descrio e anlise, considerada como um todo e no seu contexto. Em auditoria operacional os estudos de caso so frequentemente complementados por outras estratgias metodolgicas, como a pesquisa. Segundo Patton:
Estudos de caso tornam-se especialmente teis quando necessrio entender algum problema especfico ou situao em grande profundidade e onde possvel identificar casos ricos em informao ricos no sentido de que muito pode ser aprendido de uma pequena amostra do fenmeno em questo. Por exemplo, geralmente muito pode ser aprendido sobre como aperfeioar um programa estudando desistncias, fracassos e sucessos selecionados.
Pesquisa: a pesquisa uma estratgia metodolgica que permite obter informaes de carter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais, como aos resultados esperados. Com frequncia, utilizada em conjunto com estudos de caso como suporte para as anlises de carter qualitativo, tpicas dessa ltima estratgia. Quando a pesquisa for baseada em amostragem estatstica, possvel generalizar as concluses para toda a populao. Para garantir essa generalizao, a amostra deve refletir as caractersticas da populaoalvo. Qualquer deficincia do mtodo amostral utilizado deve ser levada em conta na interpretao dos resultados da pesquisa e ser devidamente relatada. Pesquisa Experimental: Na pesquisa experimental, para verificar se um programa a causa de determinado efeito, selecionam-se dois grupos de unidades de pesquisa (pessoas, escolas, hospitais, etc.): o o grupo experimental ou de tratamento, que ser exposto ao programa; o o grupo de controle, que no ser exposto. As diferenas observadas nos resultados obtidos por esses grupos, com algumas qualificaes, podero ser atribudas presena do programa. O
34
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS procedimento, para ser considerado um experimento em sentido estrito, requer que as unidades de pesquisa, em ambos os grupos, sejam selecionadas de forma randmica ou aleatria. Isso visa fortalecer a concluso sobre o vnculo causal, garantindo que a maioria dos fatores no manipulados pelo programa e que poderiam influenciar os seus resultados est uniformemente distribuda entre os dois grupos. Dessa forma, apenas os efeitos do programa explicariam as diferenas observadas. Pesquisa Quase-Experimental: A realizao da pesquisa experimental envolve dificuldades de ordem tanto prtica, tratados no subitem anterior, quanto tica (ex.: excluir do programa um grupo de beneficirios em potencial para que operem como grupo de controle). Dessa forma, a pesquisa quase-experimental apresenta-se como estratgia metodolgica alternativa. Assim, os grupos de comparao so selecionados com base na disponibilidade e na oportunidade. As estratgias utilizadas nesses casos so menos robustas do que a pesquisa experimental. Quanto maiores forem as diferenas iniciais entre os grupos de tratamento e de controle, mais ambguas sero as concluses alcanadas. Para minimizar esse problema, devem-se selecionar grupos que sejam to equivalentes quanto possvel, ou seja, grupos que possam ser comparados. Para se garantir a equivalncia entre os grupos, essencial aplicar um pr-teste, destinado a verificar as diferenas preexistentes e, dessa forma, permitir a interpretao e o controle dos resultados do estudo. Pesquisa No-Experimental: muitas vezes impossvel utilizar at mesmo modelos quase-experimentais. A fragilidade inerente a essas pesquisas o fato de que no h controle sobre explicaes alternativas, ou seja, as mudanas observadas podem ter sido causadas por variveis no associadas ao programa. Quando a coleta de dados executada adequadamente, estudos dessa natureza oferecem valiosas informaes sobre o programa. Entretanto, apresentam problemas considerveis quando o objetivo estabelecer um juzo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribudos. Assim, quando se tratar de uma avaliao de programa, essas pesquisas devem ser realizadas em conjunto com outras estratgias metodolgicas. Uma vez definida a estratgia metodolgica, deve-se detalhar na matriz de planejamento os procedimentos que sero empregados na coleta de dados, utilizando-se as tcnicas apropriadas. As tcnicas mais utilizadas so: questionrio, entrevista, observao direta e utilizao de dados existentes.
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS Depois dos mtodos de coleta dos dados, so estabelecidos os mtodos de anlise dos dados. Tcnicas de anlise de dados so ferramentas usadas para organizar os dados coletados e investigar as relaes que se pretende estabelecer entre as variveis selecionadas para responder s questes de auditoria. Essas ferramentas tm correspondncia com as tcnicas adotadas na coleta de dados.
3.1 PESQUISA QUANTITATIVA X QUALITATIVA

Uma das maiores controvrsias em relao avaliao de programas girava em torno do uso de mtodos qualitativos ou quantitativos. Atualmente, esta discusso parece estar superada. Vimos acima as tendncias na avaliao, e uma delas a combinao de mtodos quantitativos e qualitativos, ou seja, deve-se utilizar os dois tipos, conjuntamente. Vamos ver duas questes:
1. (CESPE/DESO/2003) Atualmente, no existe consenso entre os avaliadores de programas e projetos sociais a respeito do mtodo (qualitativo ou quantitativo) a ser adotado no processo de avaliao.
A questo errada. Existe consenso sim. Devem-se utilizar os dois mtodos juntos, avaliando tanto qualitativamente quanto quantitativamente.
2. (CESPE/DPF/2004) Na avaliao de polticas e programas sociais, a partir da dcada passada, procurou-se superar o uso de mtodos economtricos, originrios de estudos econmicos.
A questo certa. O termo superar significa ir alm sem abandonar. Portanto, procurou-se incorporar aos mtodos quantitativos os qualitativos. A maior parte dos avaliadores concorda que nenhum mtodo isolado sempre apropriado. O mtodo deve ser selecionado com base na questo que a pessoa est tentando resolver. Segundo Maruso Serapioni:
Do ponto de vista metodolgico, no h contradio, assim como no h continuidade, entre investigao quantitativa e qualitativa. Ambas so de
36

natureza diferente. A investigao quantitativa atua em nveis de realidade e tem como objetivo trazer luz dados, indicadores e tendncias observveis. A investigao qualitativa, ao contrrio, trabalha com valores, crenas, representaes, hbitos, atitudes e opinies.
De um lado, os mtodos quantitativos so dbeis em termos de validade interna (nem sempre sabemos se medem o que pretendem medir), entretanto so fortes em termos de validade externa: os resultados adquiridos so generalizveis para o conjunto da comunidade. Ao contrrio, os mtodos qualitativos tm muita validade interna (focalizam as particularidades e as especificidades dos grupos sociais estudados), mas so dbeis em termos de sua possibilidade de generalizar os resultados para toda a comunidade. Os mtodos qualitativos devem ser utilizados quando o objeto de estudo no bem conhecido. Por sua capacidade de fazer emergir aspectos novos, de ir ao fundo do significado e de estar na perspectiva do sujeito, so aptos para descobrir novos nexos e explicar significados. Por isso, os mtodos qualitativos so muito importantes na fase preliminar da pesquisa. Se o objeto de estudo est bem definido, j que outras pesquisas tm acumulado um corpo suficiente de conhecimentos sobre o tema, trata-se ento de verificar somente se este corpo de conhecimentos vale em outras situaes, ainda no exploradas empiricamente. Neste caso podem-se utilizar mtodos de pesquisa quantitativa. Existem alguns preconceitos em relao aos mtodos qualitativos que devem ser superados. Primeiro, eles no esto relacionados sensibilidade e intuio do pesquisador. A sensibilidade um atributo necessrio e desejvel em todos os tipos de pesquisa social. Segundo, atribui-se maior cientificidade abordagem quantitativa, mas os mtodos qualitativos so to rigorosos quanto os quantitativos. Qualquer mtodo requer um conjunto de regras e procedimentos, que permitem controlar os componentes subjetivos da interpretao. Vamos ver as caractersticas de cada mtodo segundo Reichardt & Cook:
Qualitativos Analisam o comportamento humano, do ponto de vista do ator, utilizando a observao naturalista e no controlada;
Quantitativos So orientados busca da magnitude e das causas dos fenmenos sociais, sem interesse pela dimenso subjetiva e utilizam
37
So subjetivos e esto perto dos dados (perspectiva de dentro, insider), orientados ao descobrimento; So exploratrios, descritivos e indutivos; So orientados ao processo e assumem uma realidade dinmica; So holsticos e no generalizveis.
procedimentos controlados; So objetivos e distantes dos dados (perspectiva externa, outsider), orientados verificao e so hipottico-dedutivos; Assumem uma realidade esttica; So orientados aos resultados, so replicveis e generalizveis.
3.2 MTODOS DE COLETA DE DADOS

a) Questionrios
Os questionrios, tambm chamados de surveys, podem ser criados para avaliar atitudes, opinies, comportamento, particularidades da vida (renda, tamanho da famlia, condies de moradia, etc.) ou outras questes. Eles tm em comum o fato de ser aferies na base do lpis e papel destinadas a obter respostas que forneam dados. As aferies podem ser administradas individualmente, em grupos, pelo correio ou pela internet, que tem proporcionado uma facilidade maior na coleta dos dados. um mtodo estruturado de coleta de dados, por meio de formulrio, usado para quantificar informao padronizada, sobre grande nmero de unidades de pesquisa. Ele permite: comparar respostas; realizar anlise estatstica; generalizar as concluses, no caso de amostras aleatrias. Os tipos de perguntas compreendidos em um questionrio podem ser perguntas abertas com as quais se trabalha a anlise de contedo; de perguntas abertas que contemples respostas breves e objetivas (como o nmero de filhos); de questes de mltipla escolha; de questes com respostas adjetivadas (como classificao de tpicos usando-se excelente, muito bom, regular, ruim, muito ruim); de questes com respostas adverbiais (sempre, frequentemente, nunca); e de questes que usam a escala Likert (concordo inteiramente, concordo parcialmente, indiferente, discordo parcialmente, discordo inteiramente).
38
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS b) Tcnicas Delphi e Q-sorts
Estas so tcnicas quantitativas utilizadas para obter opinies de grupos. O mtodo Delphi um processo estruturado que utiliza uma srie de questionrios ou rondas para obter e fornecer informao. Ele tem por finalidade levar um grupo ao consenso e faz o uso de uma srie de questionrios especiais enviados pelo correio. A primeira remessa de perguntas pede aos participantes que deem opinies sobre a questo. As remessas subsequentes mostram resumos estatsticos dos resultados das remessas anteriores, lembrando a pessoa de suas primeiras respostas. Os participantes podem ento mudar sua resposta ou justific-la se ela estiver fora do intervalo interquartil (entre 25% e 75%). usada principalmente com especialistas que se encontram dispersos geograficamente. A tcnica Q-sort semelhante tcnica Delphi no sentido de obter opinies sobre necessidades ou objetivos, mas no procura fazer os participantes chegarem a um consenso nem faz uso de uma srie de remessas postais. O mtodo utiliza listas de declaraes de necessidades ou declaraes de metas s quais foram atribudos nmeros que, por usa vez, so colocados em cartes. Pede-se aos participantes para classificar as questes apresentadas nos cartes.
c)
Entrevista
um mtodo presencial de obteno de informao por meio de perguntas e respostas. um mtodo de coleta de informaes que consiste em uma conversao, individual ou em grupo, com pessoas selecionadas cuidadosamente, e cujo grau de pertinncia, validade e confiabilidade analisado na perspectiva dos objetivos da coleta de informaes. Nos trabalhos de auditoria, a entrevista utilizada como tcnica qualitativa de coleta de dados para obter informao em profundidade sobre o tema da auditoria. Segundo a Intosai, a entrevista serve para ampliar o conhecimento sobre o objeto auditado e obter a percepo de gestores, especialistas e beneficirios de programas governamentais sobre o aspecto examinado e, ainda, investigar indcios de irregularidades e fraudes. Alm disso, til para coletar informaes preliminares, na fase de diagnstico do problema, que sero usadas no desenho do projeto de auditoria. Serve ainda como ferramenta para auxiliar na interpretao de dados obtidos por meio do uso de outros mtodos de coleta e para explorar possveis recomendaes.
39
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS Como limitao, as informaes coletadas podem ser insuficientes para sustentar os achados ou, podem ser viesadas, caso no sejam tomados cuidados na conduo da entrevista e na seleo dos entrevistados. Para reduzir os riscos associados escolha dos entrevistados, os critrios mais importantes a serem observados, so a representatividade, a credibilidade e a imparcialidade do entrevistado selecionado. A entrevista pode ser: No Estruturada: o entrevistador segue o ritmo livre do entrevistado, fazendo perguntas ocasionais para ajustar o foco ou esclarecer aspectos no compreendidos, com base no guia elaborado pela equipe com os principais pontos de interesse. Sua utilizao apropriada na fase inicial dos trabalhos, quando a equipe necessita aprofundar o conhecimento do tema; Estruturada: o entrevistador segue roteiro fixo e padronizado de perguntas, tambm denominado questionrio, cuja ordem e redao permanece invarivel para todos os entrevistados. Geralmente empregada quando se quer obter informao de um grande nmero de entrevistados, podendo ser realizada por telefone. A utilizao de perguntas fechadas, isto , com respostas-padro pr-elaboradas, facilita o tratamento estatstico das informaes coletadas. Semi-estruturada: o entrevistador segue o roteiro elaborado com perguntas fechadas e poucas perguntas abertas. Esse tipo de entrevista procura incorporar as vantagens da entrevista estruturada, deixando espao para o entrevistado complementar informaes ou manifestar livremente sua opinio sobre o tema abordado. As perguntas aparentemente abertas so a que melhor se adquam a este tipo de entrevista.
d)
Grupo Focal
uma tcnica qualitativa. Funciona como uma entrevista no sentido de envolver interaes diretas, mas baseia-se num processo coletivo. Um facilitador lana mo de ideias ou questes levantadas pelos participantes desses grupos para descobrir a reao de outros participantes. Em geral, os grupos so compostos de 8 a 12 indivduos desconhecidos entre si que compartilham caractersticas homogneas. A homogeneidade desejvel para facilitar a interao do grupo.
40
e)
Observao Direta
A observao direta uma tcnica de coleta de dados que utiliza os sentidos para compreender determinados aspectos da realidade. No consiste apenas em ver e ouvir, mas tambm em examinar fatos ou fenmenos que se desejam estudar. Trata-se de registro presencial e sistemtico de informaes, predefinidas em roteiro. Requer treinamento e preparao especfica em, por exemplo, tcnicas de anotao de campo, bem como capacidade de concentrao e percepo seletiva. Empregado principalmente para obter informao contextualizada sobre a forma de funcionamento do objeto auditado. As vantagens desse mtodo podem ser assim resumidas: Permite ao observador compreender o contexto no qual se desenvolvem as atividades; Permite ao observador informaes de terceiros; testemunhar os fatos, sem depender de
Permite que um observador treinado perceba aspectos que escapam aos participantes, rotineiramente envolvidos com o programa; Pode captar aspectos do programa sobre os quais os participantes no desejam falar numa entrevista, por ser um tema delicado ou embaraoso; Traz para a anlise as percepes do prprio observador, que, ao serem confrontadas com as percepes dos entrevistados, fornecem uma viso mais completa do programa estudado; Permite que o observador forme impresses que extrapolem o que possvel registrar, mesmo nas mais detalhadas anotaes de campo, e que podem auxiliar na compreenso do programa e dos seus participantes. A diferena entre as tcnicas de observao direta e inspeo fsica que enquanto a inspeo fsica aplicada para situaes estticas (equipamentos, instalaes e infraestrutura em geral) a observao direta indicada para situaes dinmicas (prestao de servios, execuo de processos, por exemplo).
41
3.3 MTODOS DE ANLISE DOS DADOS

Tcnicas de anlise de dados so ferramentas usadas para organizar os dados coletados e investigar as relaes que se pretende estabelecer entre as variveis selecionadas para responder s questes de auditoria. Essas ferramentas tm correspondncia com as tcnicas adotadas na coleta de dados. Geralmente, a anlise de dados um procedimento interativo, isto , realizam-se anlises iniciais na fase de planejamento e, medida que a auditoria progride, as anlises so refinadas. Ampla variedade de tcnicas de anlise pode ser usada. As mais comuns so anlise de frequncias em tabelas e anlise grfica:
a)
Tabulao de Frequncias
So tabulaes complexas para checar relaes. A anlise deve ser realizada com o auxlio de software adequado que permita o clculo de frequncias, o teste de hipteses e a representao grfica dos dados. Essas tcnicas so usadas para analisar dados coletados por meio de questionrios ou de extrao de dados administrativos.
b)
Anlise grfica de Dados
Por meio do uso de grficos (histograma, grfico de Pareto, grfico de barras, setograma, grfico de disperso, caixa-e-haste) possvel sintezar informaes e revelar tendncias, regularidades, descontinuidades, desempenhos extremos (bons e ruins), desigualdades na distribuio de bens e servios pblicos.
c)
Anlise Envoltria de Dados
Segundo ngelo Henrique Lopes da Silva, a anlise DEA:

um mtodo no-paramtrico que utiliza programao linear para construir uma fronteira de eficincia a partir de uma amostra de firmas ou Unidade Tomadora de Deciso (DMU Decision Making Unit), calculando ndices individuais de ineficincia em relao a essa fronteira.
uma definio complexa, vamos tentar entend-la por partes. Os testes paramtricos incidem sobre parmetros de duas ou mais populaes, como a mdia e o desvio padro, e presupem uma forma particular e conhecida das distribuies populacionais de onde as amostras foram recolhidas (normal,
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS binomial, p. ex.). Os testes no-paramtricos no pressupem que qualquer forma para a distribuio de probabilidades dos dados em anlise. A Programao Linear corresponde a problemas de otimizao, ou seja, buscam a distribuio eficiente de recursos limitados para atender um determinado objetivo, em geral, maximizar lucros ou minimizar custos. Esse objetivo expresso atravs de uma funo linear, denominada de "Funo Objetivo". Assim, a partir de um grupo de unidades tomadoras de deciso, a DEA constri a funo a partir das unidades mais eficientes do grupo. A anlise chamada de envoltria porque nenhuma DMU pode ficar alm da fronteira de eficincia, ela envolve a todos. As DMU que formam a fronteira recebem uma pontuao de eficincia mxima, no caso 1,0, que representa 100%. As demais firmas tm sua eficincia relativa calculada em relao a esta fronteira, ficando com sua pontuao entre 0 e 1,0.
d)
Anlise Estatstica Multivariada
Na investigao cientfica os fenmenos so estudados e analisados buscandose solues para problemas relevantes para a sociedade. As respostas desses fenmenos so mensuradas em mais de uma varivel e, em geral, as anlises so realizadas separadamente para cada uma delas. As tcnicas e mtodos cientficos da estatstica multivariada procuram contemplar todas essas variveis de uma forma integrada. Existem vrios mtodos de anlise multivariada, com finalidades bem diversas entre si. A Anlise de Agrupamentos tem como objetivo encontrar e separar objetos em grupos similares. Essa tcnica pode ser observada, por exemplo, se se tiver vrios produtos em uma determinada prateleira de um supermercado, e distribuir esses produtos, na prateleira, segundo suas caractersticas. A Anlise de Componentes Principais busca abordar aspectos como a gerao, a seleo e a interpretao das componentes investigadas. Ainda pretende-se determinar as variveis de maior influncia na formao de cada componente, que sero utilizadas para estudos futuros, tais como de controle de qualidade, estudos ambientais, estudos populacionais entre outros. A ideia central da anlise baseia-se na reduo do conjunto de dados a ser analisado, principalmente quando os dados so constitudos de um grande nmero de variveis inter-relacionadas. A Anlise Fatorial tem como objetivo reduzir o nmero de variveis iniciais com a menor perda possvel de informao. Ela no se refere, apenas, a uma
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS tcnica estatstica, mas a um conjunto de tcnicas relacionadas, para tornar os dados observados mais claros para a interpretao. Isso feito analisando-se os inter-relacionamentos entre as variveis, de tal modo que essas possam ser descritas convenientemente por um grupo de categorias bsicas, em nmero menor que as variveis originais, chamado fatores.
Esses so mtodos quantitativos. Usa-se ainda a anlise qualitativa, com base em julgamento profissional da equipe ou de especialistas consultados, das informaes coletadas ou produzidas pela equipe, registradas em mapas de processo, indicadores de desempenho, documentos oficiais, avaliaes realizadas por outros agentes. O tipo de anlise depende do problema a ser investigado e dos recursos disponveis para o trabalho. As anlises qualitativas abrangem a comparao e o contraste entre informaes proveniente de fontes diferentes, de unidades de pesquisa que apresentam boas e ms prticas, comparaes mais gerais entre unidades de pesquisa. Na anlise e interpretao de dados qualitativos, pode-se adotar ainda:
e)
Anlise de Contedo
Tcnica de anlise sistemtica de informao textual, organizada de forma padronizada, que permite realizar inferncia sobre seu contedo. Pode ser usada para analisar transcries de entrevistas, grupos focais e documentos, como relatrios, descrio de poltica pblica.
f)
Triangulao
Uso de diferentes mtodos de pesquisa e/ou de coleta de dados para estudar a mesma questo, com o objetivo de fortalecer as concluses finais, podendo assumir as formas a seguir indicadas: coletar dados de diferentes fontes sobre a mesma questo; empregar diferentes entrevistadores e pesquisadores de campo para evitar vieses na coleta de dados; usar mltiplos mtodos de pesquisa para estudar a mesma questo; usar teorias diferentes para interpretar os dados coletados.
44
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS g) Interpretaes alternativas
Uma vez formulada uma interpretao a partir das principais relaes identificadas na anlise, devem-se buscar interpretaes alternativas; caso no sejam encontradas evidncias substantivas que sustentem essas interpretaes, refora-se a confiana na interpretao originalmente formulada. Segundo a Intosai, em uma auditoria operacional de qualidade, os argumentos sustentados pela equipe devem ser confrontados com os melhores contra-argumentos possveis.
h)
Caso negativo
Relacionado ao item anterior, trata-se de identificar as situaes que no seguem a interpretao principal ou corrente em razo de circunstncias especficas e que, por isso mesmo, funcionam como excees (casos negativos) que confirmam a regra e que ajudam a esclarecer os limites e as caractersticas da interpretao principal.
4 Questes Comentadas
1. (ESAF/APO-MPOG/2008) A avaliao de desempenho governamental em suas vrias dimenses e modalidades representa um poderoso instrumento gerencial, capaz de subsidiar o processo decisrio e de lanar luz sobre a lgica das intervenes pblicas em geral: polticas, programas e projetos. Abaixo encontram-se alguns enunciados sobre os conceitos de eficcia e efetividade, centrais avaliao do desempenho governamental. Identifique os que so Falsos e Verdadeiros e depois assinale a resposta correta. ( ) Objetivo a situao que se deseja obter ao final da implementao de uma poltica, programa ou projeto, mediante a aplicao dos recursos e da realizao das aes previstas. ( ) O conceito de eficcia se refere ao grau em que se alcanam os objetivos e metas do projeto na populao beneficiria, em um determinado perodo de tempo, em relao aos custos implicados. ( ) Efeito todo comportamento ou acontecimento que se pode razoavelmente dizer que sofreu influncia de algum aspecto da poltica, programa ou projeto.
45
( ) Os efeitos procurados correspondem aos objetivos que a interveno pretendia atingir, sendo, por definio, previstos e positivos. ( ) Os efeitos no procurados so diretos, podendo ser positivos ou negativos, e resultam de falhas na elaborao do programa ou projeto e/ou a limitaes do conhecimento disponvel sobre uma determinada rea ou assunto. ( ) Efetividade constitui a relao entre os resultados obtidos e o objetivo. a) V, F, V, V, V, V b) V, F, V, V, F, V c) V, F, V, V, V, F d) V, F, F, V, V, V e) V, V, F, F, F, V
Objetivo a situao que se deseja obter ao final de um perodo. Trata-se de um conceito qualitativo, em que se estabelece o que deve existir ao final do projeto, mediante a aplicao dos recursos e da realizao das aes previstas. J a meta definida como um objetivo temporal, espacial e quantitativamente dimensionado. um objetivo para o qual se estabeleceu o sujeito da ao, se quantificou o objetivo e se determinou um prazo para atingi-lo. Por exemplo, o programa Brasil Alfabetizado e Educao de Jovens e Adultos tem como objetivo Elevar o nvel de alfabetizao e de escolaridade da populao de jovens e adultos. A meta reduzir de 23% para 15% o percentual da populao na faixa etria de 15 ou mais com escolaridade inferior 4 srie at 2011. Portanto, a meta expressou em nmeros e temporalmente o objetivo. A primeira afirmao verdadeira. A segunda afirmao falsa porque a eficcia no se preocupa com os custos, apenas com oi alcance de metas. A terceira afirmao verdadeira. A definio de efeito de Cohen e Franco: Efeito todo comportamento ou acontecimento que se pode razoavelmente dizer que sofreu influncia de algum aspecto do projeto ou programa. Enquanto os objetivos constituem a situao que se pretende atingir com a realizao do projeto, se localizando temporalmente antes da realizao do projeto, os efeitos constituem resultados das aes consideradas pelo projeto e, portanto, so verificados durante ou depois do mesmo. Segundo os autores, dados seus objetivos de resultado, um projeto deve ter efeitos procurados, previstos, positivos e relevantes. Os efeitos procurados
46
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS tm que ser previstos, uma vez que no se pode procurar ou desejar o que se desconhece, e tambm tm de ser positivos, j que no seria lgico elaborar projetos para conseguir resultados negativos. A quarta afirmao verdadeira. Contudo, tambm podemos falar em efeitos no procurados. Estes podem ter sido previstos na elaborao do projeto, sendo positivos quando se trata de consequncias no centrais para os propsitos estabelecidos, ou negativos, quando podem prejudicar o possvel xito do projeto. Neste caso se tentar minimizar seu impacto. Tambm haver efeitos no previstos, surgidos em decorrncia de limitaes do conhecimento disponvel ou por desinformao daqueles que elaboraram o projeto. A quinta afirmao falsa porque os efeitos no procurados so indiretos, e no diretos. Gabarito: B.
2. (ESAF/EPPGG-MPOG/2008) Sobre os modelos de avaliao de desempenho e resultado que podem ser utilizados no setor pblico, associe a coluna A com a coluna B, assinalando a opo que indica as relaes corretas. Coluna A Coluna B A1 - adequada para avaliar tanto processos quanto resultados, mas pressupe ser possvel identificar ad-hoc uma rede razoavelmente estvel de relao entre variveis a serem analisadas. A2 - Fornece uma perspectiva sistmica e abrangente, mas focaliza essencialmente indicadores de resultado, dificultando anlises sobre a heterogeneidade dos processos subjacentes ao fenmeno estudado. A3 - Permite estimar a eficincia de diferentes unidades de deciso, mas realiza anlise essencialmente comparativa fundada em pressupostos sobre a tecnologia subjacente. A4 - Fornece as bases para estabelecimento de relaes de causalidade entre variveis, tem sido utilizada com sucesso na rea agrcola e na medicina e inspira grande credibilidade. B1 - Modelo de Avaliao Baseado em Anlise Envoltria de Dados B2 - Modelo de Avaliao Baseado em Estudos Experimentais B3 - Modelo de Avaliao Baseado na Teoria do Programa B4 - Modelo de Avaliao Baseado em Testes Padronizados a) A1-B3, A2-B2, A3-B4, A4-B1 b) A1-B3, A2-B4, A3-B1, A4-B2 c) A1-B1, A2-B3, A3-B2, A4-B4
d) A1-B4, A2-B1, A3-B3, A4-B2 e) A1-B2, A2-B1, A3-B4, A4-B3
A anlise quantitativa utiliza-se inicialmente raciocnio dedutivo e generalizao. O raciocnio dedutivo o processo em que o pesquisador comea com uma teoria ou arcabouo estabelecido, onde conceitos j foram reduzidos a variveis, e ento coleta evidncia para avaliar ou testar se a teoria confirmada. Generalizao a extenso na qual concluses desenvolvidas a partir das evidncias coletadas de uma amostra podem ser estendidas para uma populao maior. A pesquisa quantitativa frequentemente quantifica relaes entre variveis - a varivel independente ou preditiva e a varivel dependente ou resultado. A primeira a interveno realizada em determinado grupo, a segunda o resultado de tal interveno. De forma geral, desenhos de pesquisa quantitativa so classificados tanto como no-experimentais quanto experimentais. Desenhos no-experimentais so usados para descrever, diferenciar ou examinar associaes, ao invs de procurar relaes diretas entre variveis, grupos ou situaes. No existem tarefas aleatrias, grupos controle, ou manipulao de variveis, j que esse modelo utiliza apenas a observao. Os desenhos no-experimentais mais comuns so os estudos descritivos e correlacionais. O pesquisador observa o que ocorre naturalmente sem interferir de maneira alguma. Existem muitas razes para realizar um estudo no experimental. Primeiro, um nmero de caractersticas ou variveis no esto sujeitas, ou no so receptivas, manipulao experimental ou randomizao. Alm disso, por questes ticas, algumas variveis no podem ou no devem ser manipuladas. Em alguns casos, variveis independentes j aconteceram e no possvel qualquer controle sobre elas. Estudos descritivos ou exploratrios so usados quando pouco sabido sobre um fenmeno em particular. O pesquisador observa, descreve e documenta vrios aspectos do fenmeno. No h manipulao de variveis ou procura pela causa e efeito relacionados ao fenmeno. Desenhos descritivos descrevem o que existe de fato, determinam a frequncia em que este fato ocorre e categoriza a informao. J os desenhos correlacionais envolvem a investigao sistemtica da natureza das relaes ou associaes entre as variveis, ao invs de relaes diretas de
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS causa e efeito. Os desenhos correlacionais so tipicamente transversais. Estes desenhos so utilizados para examinar se mudanas em uma ou mais variveis esto relacionadas a mudanas em outra(s) varivel (eis). Este efeito definido como covarincia. Desenhos experimentais normalmente usam designao aleatria, manipulao de uma varivel independente e controles rgidos. Estas caractersticas permitem maior confiana nas relaes de causa e efeito. Designao aleatria significa que cada sujeito teve chances iguais de ser designado tanto para o grupo controle como para o grupo experimental e seu uso busca eliminar vis sistemtico. Nos estudos experimentais o avaliador testa hipteses de impactos e efeitos de uma ao mediante a comparao entre grupos experimentais e grupos de controle (no submetidos ao observada). Os primeiros so aqueles que recebem determinada interveno, enquanto os ltimos no recebem. Os estudos experimentais caracterizam-se por apresentarem manipulao de intervenes diretas sobre os indivduos em estudo e atribuio aleatria da interveno em causa. A avaliao com base em estudos experimentais a que fornece as bases para estabelecimento de relaes de causalidade entre variveis. Associamos a A4 com B2. J as tcnicas quase-experimentais tm grande semelhana com o modelo experimental. uma adaptao do modelo experimental s limitaes de pesquisa e avaliao com polticas pblicas. Aplicam-se quando no possvel uma seleo aleatria dos sujeitos. Quase-experimentos so delineamentos de pesquisa que no tm distribuio aleatria dos sujeitos pelos tratamentos, nem grupos-controle. Ao invs disso, a comparao entre as condies de tratamento e no-tratamento deve sempre ser feita com grupos no equivalentes ou com os mesmos sujeitos antes do tratamento. J o Modelo de avaliao baseado na Teoria do Programa tem como foco de avaliao os mecanismos de mudana (as respostas da realidade s intervenes feitas pelo Estado). Parte da ideia de que toda a interveno na realidade est amparada por uma teoria a respeito de como os problemas surgem e quais so as estratgias ideais para solucion-los. Por meio dessa teoria so definidos o desenho da ao e os resultados que so esperados. Busca avaliar a consistncia entre teoria proposta, procedimentos adotados e resultados obtidos. A avaliao baseada na Teoria do Programa abrange a
49
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS teoria normativa (descrio do programa, metas e resultados esperados) e a teoria causativa (construda por meio de dados que descrevam os resultados potenciais da ao, obtidos por meio da anlise do perfil do cliente alvo da poltica, do contexto e das atividades a serem desenvolvidas). Segundo o Ncleo de Estudos de Polticas Pblicas da Unicamp:
A anlise com base na teoria do programa procura avaliar em que medida as atividades desencadeadas pelo programa provocam um conjunto especfico de respostas para atores e beneficirios do programa, permitindo comparar os estgios de formulao e implementao. Neste sentido, as anlises centradas na Teoria do Programa tendem a dar nfase a anlise dos mecanismos que levam a mudana e no nas atividades de funcionamento do programa, e como estas tendem a gerar benefcios ou no para os clientes do programa.
Esta avaliao pressupe ser possvel identificar em cada caso (ad hoc) uma rede razoavelmente estvel de relao entre variveis a serem analisadas, ou seja, que h uma teoria a respeito da interveno do programa e as consequncias desta interveno. Ad hoc uma expresso latina que quer dizer "com este objetivo". Geralmente significa uma soluo designada para um problema ou tarefa especficos, que no pode ser aplicada em outros casos. Normalmente indica uma situao provisria ou improvisada. Associamos A1 com B3. A abordagem por Anlise de Envoltria de Dados (Data Envelopment Analysis DEA) foi desenvolvida para determinar a eficincia de unidades produtivas, onde no seja relevante ou no se deseja considerar somente o aspecto financeiro. A DEA define a curva de eficincia (ou de mxima produtividade), considerando a relao tima insumo/produto. Ela vlida em casos de organizaes que usam mltiplos insumos e geram diferentes produtos, podendo ser comparadas entre si. Para cada organizao, a anlise utiliza tcnicas de programao linear para calcular um ndice de eficincia que compara o desempenho atual com a combinao convexa mais eficiente das outras observaes recursos/produtos. O ndice assume o valor de 1 para as unidades cuja produtividade melhor e menos de 1 se combinaes alternativas de insumos/produtos so indicadas como eficientes. De maneira objetiva, pode-se dizer que os modelos DEA determinam as melhores condies de operao para cada unidade produtiva separadamente, de modo a maximizar o seu ndice de desempenho, e aplicam as mesmas
50
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS condies s demais unidades do grupo sob anlise. Aquelas unidades produtivas para as quais o ndice de desempenho relativo calculado, a partir de preos obtidos pelo prprio modelo de programao linear, igual ou mais favorvel que os ndices calculados para as outras unidades sob anlise, nestas condies, so consideradas eficientes. importante notar que as demais unidades, no eficientes, esto posicionadas abaixo da curva, envolvidas pelo desempenho das unidades eficientes. O mtodo define ento unidades de referncias para cada observao, o que permite calcular os aumentos de produtos ou diminuio de insumos necessrios para que a atuao seja otimizada. Associamos A3 com B1. Por fim, os testes padronizados fornecem uma viso sistmica, uma vez que permitem uma comparao entre as anlises. Contudo, eles no levam em considerao a especificidades de cada observao, a heterogeneidade presente nos processos avaliados. Utiliza-se do mesmo padro em todos os casos, ganhando em comparao, mas perdendo em adequabilidade. Associamos A2 com B4. Gabarito: B.
3. (ESAF/CGU/2008) O debate sobre a formulao de programas e projetos envolve um extenso rol de conceitos. Todos os enunciados abaixo esto corretos, exceto: a) os objetivos so declaraes de inteno quanto a cenrios futuros, que sintetizam hipteses acerca das relaes entre os meios e fins de uma interveno. b) uma meta representa um detalhamento de um objetivo ou produto de uma interveno, a ser usado como um parmetro de desempenho contra o qual o resultado obtido ser comparado. c) as metas so compromissos expressos em termos de quantidade, objeto e prazo, devendo ser realistas, precisas e mensurveis. d) numa rvore de objetivos, a identificao dos meios delimita as possveis alternativas de interveno, que devem ser selecionadas com base em critrios claros. e) a construo de uma rvore de problemas baseia-se na concertao entre interesses distintos, com o objetivo de estabelecer uma inteligibilidade compartilhada quanto a uma situao real.
51
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS Objetivo a situao que se deseja obter ao final do perodo de durao do projeto, mediante a aplicao dos recursos e da realizao das aes previstas. Quando a questo fala em relaes entre os meios e os fins, temos que ter em mente que objetivo no o mesmo que finalidade. O Dicionrio Houaiss coloca os dois termos como sinnimos, mas podemos diferenci-los por meio de definies do prprio dicionrio.
Objetivo: elemento fsico contra o qual se dirigem as operaes. Finalidade: inteno ou motivao para a realizao ou existncia (de algo)
Portanto, toda ao busca atingir alguma coisa. Por exemplo, um programa que distribua merenda escolar para os alunos busca atingir a baixa nutrio das crianas. No entanto, h algo maior que justifica esta ao. A sua finalidade a melhora na educao destas crianas. Portanto, quando planejamentos uma ao, o objetivo deve ser coerente com os meios que temos para alcan-lo, e deve ao mesmo tempo permitir que se chegue finalidade. A letra A certa. A meta a traduo do objetivo em nmeros. O desempenho do projeto ser comparado com a meta para saber se o objetivo est sendo alcanado. As letras B e C so certas. Na rvore de objetivos temos nas razes os meios e na copa os fins. Atravs dela identificamos possveis alternativas de soluo. A letra D certa. A letra E muito semelhante ao que diz Carla Bronzo Ladeira Carneiro:
Elaborada idealmente com a participao dos diferentes atores envolvidos, essa ferramenta permite a estruturao de um problema de maneira interativa, possibilitando desempacot-lo, perceb-lo por dentro, explicitar a lgica causal subjacente a ele. Tais questes pressupem o dilogo, exigem a concertao entre vises e interesses distintos e esto permeados por dimenses subjetivas e valorativas, culturais, polticas e institucionais, dentre outras.
No entanto, o objetivo da rvore de problemas no estabelecer uma inteligibilidade compartilhada quanto a uma situao real. Ela busca identificar os problemas mais importantes e as relaes de causa e efeito, por meio da participao de diversos atores que enxergam o problema de forma diferente. A letra E errada. Gabarito: E.
52
4. (ESAF/CGU/2008) Apesar das muitas controvrsias entre os tericos, na rea de avaliao existem alguns conceitos e distines razoavelmente consensuados, como os que se referem avaliao somativa e avaliao formativa. Sobre os objetivos da avaliao formativa, examine os enunciados abaixo e depois marque a resposta certa. 1. Proporcionar feedback imediato para alimentar revises de programas e projetos em fase de teste-piloto. 2. Estimar o grau de eficcia das estratgias adotadas na implementao de um programa e orientar decises sobre sua continuidade. 3. Identificar aspectos ambientais favorveis e desfavorveis ao xito de um projeto ou programa em fase inicial de implementao, a fim de definir estratgias para melhorar o seu desempenho. 4. Informar sobre as necessidades de ampliao da cobertura de um programa ou da viabilidade de sua replicao. a) Todos os enunciados acima so objetivos da avaliao formativa. b) Nenhum dos enunciados acima objetivo da avaliao formativa. c) Somente o enunciado 2 objetivo da avaliao formativa. d) Somente os enunciados 1 e 3 so objetivos da avaliao formativa. e) Somente os enunciados 2 e 4 so objetivos da avaliao formativa.
A primeira afirmao foi dada como certa, mas discordo. A avaliao formativa feita durante a implementao, ou seja, pode proporcionar informaes de forma imediata a serem usadas ainda como forma de corrigir o programa. Porm, o teste-piloto uma das ferramentas aplicada ainda na fase de planejamento, ou seja, seria uma forma de avaliao ex-ante, e no formativa A segunda afirmao errada. A descrio da avaliao somativa, a ex-post. Segundo Eduardo Marino:
A avaliao de processo possui papel formativo e conduzida pela equipe responsvel durante a implementao do projeto, procurando informaes teis para sua melhoria. Finalmente, a avaliao de resultados realizada ao final do projeto para determinar os mritos ou fracassos e orientar decises sobre a continuidade, adoo ou suspenso.
O carter somativo justamente esse de buscar fornecer informaes que somem para a deciso posterior ao programa, de continuidade, adoo ou suspenso.
53
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS A terceira afirmao certa. A avaliao formativa, ou seja, busca avaliar a formao do programa e como ele pode ser melhorado. Ela ocorre durante a implementao. A quarta afirmao errada, esse mais um carter somativo, de fornecer informaes a serem usadas em decises de continuidade (ampliao da cobertura), adoo (replicao) ou suspenso. Gabarito: D.
5. (ESAF/CGU/2008) A Anlise Custo-Benefcio (ACB) proporciona um guia para hierarquizar alternativas de investimentos em projetos a serem executados ou j em processo de execuo. Examine as assertivas abaixo sobre a Anlise Custo-Benefcio e assinale a opo incorreta. a) A relao entre custos e produtos proporciona elementos para analisar a eficincia operacional, mas no informa sobre a eficcia do projeto em relao ao pblico-alvo escolhido. b) Na avaliao social, a Anlise Custo-Benefcio utiliza suposies da taxa de desconto diferentes das que so aplicadas na avaliao privada, porque deve incluir os impactos distributivos, os efeitos intangveis e at o valor da vida humana. c) A diferena mais importante entre a avaliao privada e a avaliao social que na primeira a Anlise Custo-Benefcio utiliza como referncia o preo de mercado, enquanto que na avaliao social so utilizados preos sombra, de eficincia, ou seja, preos sociais. d) A taxa de desconto utilizada na Anlise Custo-Benefcio tem por objetivo traduzir a um valor presente os custos e benefcios que resultaro do projeto no futuro e fixada sobre a base do custo de oportunidade do capital. e) A Anlise Custo-Benefcio permite averiguar se os projetos so ou no rentveis, comparando os fluxos atualizados de benefcios e os custos previstos em sua implementao.
A letra A certa. A anlise custo benefcio (ACB) e a anlise custoefetividade (ACE) so ferramentas que buscam comparar os custos estimados de determinado projeto com os benefcios esperados. Trata-se de uma forma de decidir sobre a adequabilidade e aceitabilidade de prosseguir com um projeto. A letra A fala em relao entre custos e produtos. Essa a base
54
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS dessas avaliaes, a eficincia. As duas medem a eficincia relativa de diferentes alternativas. A relao custo-produto no diz nada sobre a eficcia. A letra B errada. ACB permite determinar se os projetos so ou no rentveis, comparando os fluxos atualizados de benefcios e custos previstos em sua implementao. A avaliao pode ser realizada a partir de duas ticas diferentes: a avaliao privada e a avaliao social. A principal diferena entre as duas que a privada utiliza preos de mercado, tanto nos custos quanto nos produtos e se preocupa apenas com aquilo que relevante na tica do capitalismo, do empresrio. J a avaliao social considera importantes valores sociais, que no so precificados pelo mercado. A letra B fala em alguns: impactos distributivos, os efeitos intangveis e at o valor da vida humana. Os dois primeiros at podem ser incorporados na ACB. J a vida humana no. Muitos j tentaram dar um valor para a vida humana, mas no h unanimidade. Por isso, como a vida no possui um valor monetrio, somente podemos avaliar projetos que tenham como objetivo salvar vidas com a ACE, e no a ACB. A letra C certa. Na avaliao social, acrescenta-se ou retira-se do preo de mercado valores sociais importantes, como efeitos distributivos, custos e benefcios secundrios, ou externalidades. Eles so produzidos como consequncia, mas fora do mbito em que este realizado. H tambm os efeitos intangveis, como integrao regional, efeitos sobre o clima e o meio ambiente, etc. A letra D certa. Na avaliao social, as suposies da taxa de desconto so similares aos da avaliao privada. Utilizar os recursos disponveis em um determinado projeto implica em no utiliz-los para outros fins. A taxa de desconto tambm ser o custo de oportunidade, neste caso os ganhos que ocorreriam caso fosse escolhido outro projeto social. A letra E certa. A ACB se baseia em uma regra muito simples: compara os benefcios e os custos de um projeto em particular e se os primeiros excedem aos segundos, fornecendo um elemento de julgamento inicial que indica sua aceitabilidade. Gabarito: B.
6. (ESAF/EPPGG-MPOG/2003) Os instrumentos gerenciais contemporneos so baseados na avaliao de desempenho e resultados e na flexibilidade organizacional. A seguir so apresentados alguns conceitos bsicos deste
55
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS novo tipo de gesto. Assinale a opo que identifica todas as relaes corretas entre as colunas: 1 Eficcia 2 Objetivos 3 Flexibilizao 4 Eficincia 5 Descentralizao A Utilizao dos recursos. B Alcance de resultados. C Delegao de autoridade. D Escala de prioridades. E Abordagem sistmica.
a) (1=>B), (4=>E), (2=>A), (3=>D), (5=>C) b) (1=>B), (4=>A), (2=>E), (3=>D), (5=>C) c) (1=>D), (4=>E), (2=>B), (3=>A), (5=>C) d) (1=>D), (4=>B), (2=>D), (3=>C), (5=>A) e) (1=>B), (4=>A), (2=>D), (3=>E), (5=>C)
Vamos rever os conceitos do MPOG: Eficincia: uso otimizado, com economia e qualidade, dos bens e recursos empregados na implementao das aes. Eficcia: capacidade de alcance das metas previstas; Efetividade: correspondncia entre os resultados da implantao de um programa e o alcance dos seus objetivos, tendo como referncia os impactos na sociedade; A eficincia corresponde utilizao dos recursos (4-A). Significa que conseguimos produzir mais com os recursos de que dispomos. A eficcia corresponde ao alcance de resultados (1-B). Esse conceito um pouco simplista. A eficcia corresponde a fazer o que foi proposto. Ela diz respeito capacidade da gesto de cumprir objetivos imediatos traduzidos em metas de produo ou de atendimento, ou seja, a capacidade de prover bens ou servios de acordo com o estabelecido no planejamento das aes. A efetividade diz respeito ao alcance dos resultados pretendidos, a mdio e longo prazo. Refere-se relao entre os resultados de uma interveno ou programa, em termos de efeitos sobre a populao-alvo (impactos observados), e os objetivos pretendidos (impactos esperados), traduzidos pelos objetivos finalsticos da interveno. Trata-se de verificar a ocorrncia de mudanas na populao-alvo que se poderia razoavelmente atribuir s aes do programa avaliado.
56
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS Portanto, ao examinar a efetividade de uma interveno governamental, pretende-se ir alm do cumprimento de objetivos imediatos ou especficos, em geral consubstanciados em metas de produo ou de atendimento (exame da eficcia da gesto). Trata-se de verificar se os resultados observados foram realmente causados pelas aes desenvolvidas e no por outros fatores. A avaliao da efetividade pressupe que bens e/ou servios foram ofertados de acordo com o previsto. O exame da efetividade ou avaliao de impacto requer tratamento metodolgico especfico que busca estabelecer a relao de causalidade entre as variveis do programa e os efeitos observados, comparando-os com uma estimativa do que aconteceria caso o programa no existisse. Os objetivos correspondem a uma situao desejada, ou seja, escala de prioridades (2-D). A flexibilizao corresponde abordagem sistmica. Segundo Fensterseifer:
Flexibilidade de um sistema pode ser definida como sua habilidade para lidar com as incertezas de um ambiente em mudana, sendo incerteza o elemento-chave do conceito.
A abordagem sistmica trabalha com a ideia de que os sistemas envolvem interaes com o ambiente e precisam se adaptar s mudanas. (3-E) A descentralizao envolve a delegao de autoridade. (5-C) Gabarito: E.
7. (FGV/CAERN/2010) Os indicadores de produtividade devem respeitar certos atributos para aplicao correta. Nesse sentido, um determinado indicador ineficaz, ou seja, que no capte as etapas mais significativas de um processo, desobedece ao atributo da (A) representatividade. (B) rastreabilidade. (C) praticidade. (D) adaptabilidade. (E) disponibilidade.
Vimos entre os atributos dos indicadores o seguinte: Representatividade captao das etapas mais importantes e crticas dos processos, no local certo, para que seja suficientemente
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS representativo e abrangente. Dados desnecessrios ou inexistentes no devem ser coletados. Em contrapartida, dados importantes devem ser precisos, atender aos objetivos e ser buscados na fonte correta. Este atributo merece certa ateno, pois indicadores muito representativos tendem a ser mais difceis de ser obtidos. Deve-se, portanto, haver um certo equilbrio entre a representatividade e a disponibilidade para coleta. Gabarito: A.
8. (FGV/BADESC/2010) Os indicadores de produtividade, tanto no mbito da administrao privada quanto no da administrao pblica, devem respeitar certos atributos gerais em sua concepo. A esse respeito, assinale a alternativa que corresponde ao atributo de economia. a) Garantia de que gerado em rotinas de processo e permanece ao longo do tempo. b) Garantia de que no deve ser gasto tempo demais pesquisando dados ou aguardando novos mtodos de coleta. c) Facilidade para identificao da origem dos dados, seu registro e manuteno. d) Facilidade de acesso para coleta, estando disponvel a tempo, para as pessoas certas e sem distores. e) Garantia de que realmente funciona na prtica e permite a tomada de decises gerenciais.
Vimos o atributo da economia na aula: Economia no deve ser gasto tempo demais procurando dados, muito menos pesquisando ou aguardando novos mtodos de coleta. Os benefcios trazidos com os indicadores devem ser maiores que os custos incorridos na medio. Caso contrrio, em pouco tempo a organizao estar medindo sua prpria falncia. A letra B a que dispe sobre no se gastar tempo demais. A letra A traz a estabilidade. A letra C traz a rastreabilidade. A letra D traz a disponibilidade.
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS A letra E traz a praticidade. Gabarito: B.
9. (FGV/BADESC/2010) Levando em considerao o uso de controles e indicadores de produtividade em um programa de educao, o percentual de crianas matriculadas e a avaliao da qualidade por meio de exames nacionais so, respectivamente, exemplos de: (A) eficcia e eficincia. (B) eficincia e eficcia. (C) efetividade e eficincia. (D) efetividade e eficcia. (E) eficcia e efetividade.
Quando falamos em % crianas matriculadas, estamos nos referindo a uma meta de produo, ou seja, eficcia. Lembrem-se que a eficcia se refere entrega de um produto: cestas bsicas entregues, famlias beneficiadas com o bolsa famlia, crianas vacinadas. Por exemplo, a meta era que 95% das crianas entre 6 e 10 anos estejam matriculadas, mas foi alcanado o percentual de 93% - no foi eficaz. Quando falamos em qualidade da educao, queremos saber se os professores esto conseguindo ensinar e se as crianas esto conseguindo aprender. Essa avaliao ocorre por meio de provas que medem o aprendizado. Podemos ver que corresponde ao resultado esperado, o impacto do ensino na sociedade, trata-se da efetividade. Gabarito: E.
10. (FGV/MINC/2006) Analise as afirmativas a seguir: I. Os indicadores so essenciais para a avaliao de polticas pblicas. De maneira simples, indicadores so unidades de medida que permitem "aferir" resultados, impactos, qualidade etc., dos processos e das intervenes (projetos, programas ou polticas) na realidade. Eles so instrumentos de gesto, essenciais nas atividades de monitoramento e avaliao de projetos, programas e polticas, porque permitem acompanhar a busca das metas,
59
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS identificar avanos, ganhos de qualidade, problemas a serem corrigidos, necessidades de mudana, etc. II. Indicadores de efetividade tm como objetivo verificar o desempenho dos processos e das atividades. J os indicadores de eficcia tm como objetivo verificar os efeitos obtidos, isto , os objetivos gerais do programa. III. Em uma avaliao de poltica pblica, uma das estratgias utilizadas desenvolver uma srie de indicadores antes da implementao do programa. Essa primeira medio conhecida como "marco zero". Aps os primeiros resultados concretos do programa, os indicadores so comparados para medir a efetividade da poltica pblica. Assinale: (A) se somente a afirmativa I estiver correta. (B) se somente a afirmativa II estiver correta. (C) se somente a afirmativa III estiver correta. (D) se somente as afirmativas I e II estiverem corretas. (E) se somente as afirmativas I e III estiverem corretas.
A afirmao I verdadeira. Segundo Maria das Graas Rua:

Indicadores so unidades de medida que permitem aferir resultados, impactos, qualidade, etc., dos processos e das intervenes (projetos, programas ou polticas) na realidade. Os indicadores so instrumentos de gesto, essenciais nas atividades de monitoramento e avaliao de projetos, programas e polticas, porque permitem acompanhar a busca das metas, identificar avanos, ganhos de qualidade, problemas a ser corrigidos, necessidades de mudana, etc. Os indicadores no so simplesmente dados: so uma atribuio de valor a objetos, acontecimentos ou situaes, de acordo com certas regras, para que possam ser aplicados critrios de avaliao como eficcia, efetividade, eficincia e outros. Enquanto medidas, os indicadores devem ser definidos em termos operacionais: por meio das categorias pelas quais se manifestam e podem ser mensurados; e por meio das suas evidncias fsicas e documentais.
A afirmao II errada. Desempenho dos processos eficincia. Efeitos obtidos efetividade. A afirmao III certa. Segundo Chianca a avaliao do marco zero ocorre antes da instalao de um determinado programa e serve para orientar a equipe responsvel por ele no planejamento das aes, garantindo o mximo
60
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS de proximidade s reais necessidades e expectativas dos futuros usurios. Para que seja possvel a avaliao de um projeto ou programa social, deve-se fazer um esforo, desde o planejamento inicial das atividades, para identificar e desenvolver indicadores de resultados do projeto. Gabarito: E.
11. (CESPE/SAD-PE/2009) A avaliao de programas de governo uma das modalidades de auditoria operacional, e tem em vista, entre outros aspectos, a avaliao da efetividade de programas e projetos governamentais. Nesse sentido, a efetividade pode ser entendida como o efeito ou o impacto transformador causado pelos servios prestados ou pelos bens disponibilizados por uma organizao sobre uma realidade que se pretende modificar. Assinale a opo que traduz mais apropriadamente, em um programa governamental, o significado da efetividade. A) nmero de alunos formados nas instituies de ensino superior B) desempregados treinados e reinseridos no mercado de trabalho C) quantidade de pacientes atendidos em instituio pblica de sade D) percentagem da populao alfabetizada E) quilmetros de estradas construdas
Todas as alternativas trazem indicadores de eficcia, ou seja, da quantidade de produto entregue. Apenas a letra B traz um indicador de efetividade (reinsero dos desempregados no mercado de trabalho), junto com um indicador de eficcia (desempregados treinados). Gabarito: B.
12. (CESPE/SAD-PE/2009) A avaliao de programas de governo uma das modalidades de auditoria operacional, e tem em vista, entre outros aspectos, a avaliao da efetividade de programas e projetos governamentais. Nesse sentido, a efetividade pode ser entendida como o efeito ou o impacto transformador causado pelos servios prestados ou pelos bens disponibilizados por uma organizao sobre uma realidade que se pretende modificar. Assinale a opo que traduz mais apropriadamente, em um programa governamental, o significado da efetividade. A) nmero de alunos formados nas instituies de ensino superior
B) desempregados treinados e reinseridos no mercado de trabalho C) quantidade de pacientes atendidos em instituio pblica de sade D) percentagem da populao alfabetizada E) quilmetros de estradas construdas
Todas as alternativas trazem indicadores de eficcia, ou seja, da quantidade de produto entregue. Apenas a letra B traz um indicador de efetividade (reinsero dos desempregados no mercado de trabalho), junto com um indicador de eficcia (desempregados treinados). Gabarito: B.
13. (IPAD/SGA-AC/2009) Qual o nome dado, em polticas pblicas, avaliao que realiza o acompanhamento dos processos desenvolvidos com vistas ao alcance dos objetivos e metas propostos e cobertura do programa? A) Avaliao de metas. B) Avaliao de impactos. C) Avaliao de controle. D) Avaliao de princpios. E) Avaliao de processos.
A avaliao de processo est centrada no desenvolvimento do programa, tendo em vista aferir sua eficcia e efetuar correes durante a implementao. Assim, pretende antecipar se o desejo inicial pode ou no ser alcanado, sendo a questo central da avaliao de processo o funcionamento do programa e os servios prestados. Gabarito: E.
14. (CESPE/AUGE-MG/2008) A respeito da avaliao de programas e projetos governamentais, correto afirmar que A) a avaliao de resultados, de natureza ex-ante, visa aferir a efetividade do programa ou projeto avaliado.
62
B) a avaliao da efetividade de um programa ou projeto visa aferir se as realizaes ocorreram dentro do oramento previsto e a custos compatveis, enquanto a avaliao de eficincia visa aferir os impactos da ao do programa ou projeto sobre o seu pblico-alvo ou beneficirios. C) a avaliao ex-ante busca aferir os eventos j ocorridos e tomar decises baseadas nestas informaes, enquanto a avaliao ex-post visa orientar o planejamento do programa ou projeto objeto da avaliao, de forma a antecipar restries e respectivas providncias a serem tomadas. D) a avaliao de resultado ou de impacto busca averiguar, fundamentalmente, o desempenho oramentrio/financeiro do programa ou projeto avaliado. E) a avaliao de efetividade baseia-se fundamentalmente na verificao da evoluo dos indicadores do programa ou projeto, enquanto a avaliao de eficcia baseia-se fundamentalmente na verificao da evoluo das metas fsicas do programa ou projeto avaliado.
A letra A errada porque a avaliao ex-ante no avalia a efetividade, uma vez que ocorre antes da implementao. No tem como saber qual foi o impacto causado pela ao governamental. A avaliao da efetividade no se preocupa com oramento, custos. Ela quer saber apenas se ocorreram mudanas qualitativas e quantitativas na sociedade causadas pelo programa. A letra B errada. A letra C errada porque inverteu as descries das avaliaes. a ex-ante que busca orientar o planejamento do programa ou projeto objeto da avaliao, de forma a antecipar restries e respectivas providncias a serem tomadas. A ex-post que busca aferir os eventos j ocorridos e tomar decises baseadas nestas informaes. A avaliao do impacto no aborda questes como o desempenho oramentrio. Ela no abrange os custos, mas sim os resultados. A letra D errada. A letra E certa. A efetividade. S meio equivocada quando fala em evoluo dos indicadores, uma vez que podemos ter indicadores de eficincia, eficcia e efetividade. Gabarito: E.
63
15. (CESPE/SGA-AC/2006) Os processos de modernizao da gesto pblica e de reforma do Estado tm dado grande nfase ao fortalecimento das funes de monitoramento e avaliao de polticas pblicas na agenda governamental. Julgue os itens seguintes, relativos avaliao de polticas pblicas, e assinale a opo correta. A) Na avaliao de uma poltica pblica no se pode utilizar mtodos qualitativos, uma vez que eles no permitem a mensurao de impactos. B) A avaliao ex ante um tipo de avaliao de implementao, utilizado para aferir o grau de satisfao dos usurios da poltica pblica. C) Eficincia, efetividade, impacto e sustentabilidade relevantes na avaliao de polticas pblicas. so dimenses
D) Embora tenha destaque na agenda governamental, a avaliao no costuma fazer parte da agenda de organismos internacionais e de agncias de financiamento.
A letra A errada. O ideal que se equilibrem mtodos quantitativos com mtodos qualitativos, fornecendo uma viso mais ampla do objeto. A letra B errada, a avaliao ex-ante anterior implementao. A letra C certa, estas so algumas das possveis dimenses a serem utilizadas em avaliao. A letra D errada, os organismos internacionais so bastante incentivadores da avaliao, o Banco Mundial, por exemplo, financia uma srie de projetos no Brasil Gabarito: C.
16. (FGV/MC/2006) De maneira geral, um planejamento de polticas pblicas composto por trs fases: (1) estabelecimento de objetivos a alcanar; (2) tomada de decises a respeito das aes futuras; e (3) elaborao de planos. Dentro desse contexto, analise as afirmativas a seguir: I. Os objetivos so resultados futuros que a organizao pretende atingir. Assim, objetivos organizacionais podem se desdobrar em estratgia, polticas, diretrizes, metas, programas, procedimentos, mtodos e normas. II. Existem diversos mtodos que auxiliam os gestores pblicos na sua tomada de decises. Dentre eles, destacam-se a pesquisa operacional, que
64
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS utiliza diversos modelos analticos ou matemticos para verificar as relaes entre os vrios fatores e alternativas na forma de modelos matemticos; e as rvores de deciso, que auxiliam o gestor a visualizar os possveis resultados das alternativas envolvidas nas decises pblicas. III. O plano a ltima fase do processo de planejamento e considerado como o resultado do processo de implementao do planejamento. Assim sendo, um plano um curso de ao sobre um perodo especificado de tempo. Assinale: (A) se somente a afirmativa I estiver correta. (B) se somente a afirmativa II estiver correta. (C) se somente a afirmativa III estiver correta. (D) se somente as afirmativas I e II estiverem corretas. (E) se todas as afirmativas estiverem corretas.
A afirmao I certa, objetivo uma situao futura desejada. A escola da pesquisa operacional emergiu aps a Segunda Guerra Mundial, que trouxe uma srie de problemas e desafios, associados com modernas operaes militares. Esta abordagem se diferencia pelo uso da matemtica, estatstica e outras tcnicas quantitativas para a tomada de decises administrativas e resoluo de problemas, j que eram necessrias movimentaes de grandes quantidades de pessoas e materiais de forma rpida e eficiente. Tais tcnicas, usadas durante a guerra, se mostraram aplicveis tambm s empresas comerciais de grande escala. A administrao da produo refere-se ao campo da administrao que se especializa na produo de bens ou servios. Os especialistas desta rea se utilizam das tcnicas quantitativas para resolver problemas de manufatura. Entre as tcnicas desenvolvidas aqui temos a anlise do ponto de equilbrio que consiste na determinao do nvel de vendas para o qual as receitas totais igualam os custos totais de produo. a partir deste ponto que comea a haver lucro. Temos tambm a programao linear, uma tcnica que aloca recursos para otimizar um objetivo predeterminado, considerando a limitao dos recursos alocados. Suponha que voc tem arroz, batata, frango, carne e feijo, cada um tendo um custo. Sabemos que precisamos de certa quantidade de cada um dos nutrientes (protenas, carboidratos, gorduras, vitaminas e etc) e que cada um
65
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS destes pratos tem uma quantidade de nutrientes que deve ser ingerida todo dia: chamaremos isso de restries. A rvore de deciso tem o objetivo de indicar o caminho a ser seguido e as etapas a serem cumpridas para se alcanar o objetivo. Devem ser usadas quando se pretende identificar os passos a serem dados para atingir o objetivo e para discriminar toda a implementao de uma mudana at a definio das tarefas. Vamos ver um exemplo.
Se as aes subirem? Se as aes carem? Compro mais Vendo Poupana Compro Compro mais Vendo Compro mais Vendo
Aes Onde investir meu dinheiro?
A afirmao II certa. O plano o documento do planejamento estratgico, ele fica pronto antes da implementao, pois ainda estamos no planejamento em si. A afirmao III errada. Gabarito: D.
17. (CESPE/VRIOS) A respeito dos tipos de avaliao, analise as assertivas abaixo e assinale a correta. a) Monitoramento a avaliao centrada nas mudanas quantitativas e qualitativas do programa, a qual tem como critrio a efetividade e como suposio a existncia de relao entre variveis. b) A avaliao poltica centrada no desenvolvimento do programa, visando aferir-lhe a eficcia e efetuar correes durante a implementao. c) Avaliao de processo a emisso de juzo de valor em relao poltica ou programa com base em critrios e princpios polticos que fundamentam a concepo de bem-estar humano. d) Avaliao de impactos uma atividade contnua e gerencial que visa aferir o controle de entrega de insumos, conforme as metas e o calendrio, tendo em vista a garantia da eficincia do programa.
e) A avaliao formativa realizada com o intuito de gerar feedback para a melhoria do programa, da poltica ou de qualquer outro objeto a ser avaliado, tendo, portanto, natureza de avaliao de processo, enquanto a avaliao somativa visa julgar o mrito do programa, tendo natureza de avaliao de impacto.
Outra classificao importante a da Maria Ozanira da Silva, segundo a qual a avaliao pode ocorrer atravs de quatro enfoques diferenciados: o monitoramento, a avaliao poltica da poltica, a avaliao de processo e a avaliao de impacto. O monitoramento permite o acompanhamento constante, atravs do gerenciamento do cumprimento de metas e prazos, buscando o cumprimento do cronograma das atividades com o objetivo de garantir a eficincia do programa. A avaliao poltica da poltica emite juzo de valor em relao poltica ou ao programa a partir de critrios e princpios fundamentados em concepes tericas de bem-estar humano e de qualidade de vida. Essa avaliao possibilita uma anlise da operacionalizao do programa, bem como de todo o planejamento do mesmo. Est centrada nos fundamentos e condicionamentos de formulao da poltica ou de elaborao de um plano, discutindo e buscando novas alternativas, at mesmo no perodo de implementao de um certo programa ou poltica. Considera, tambm, os mecanismos institucionais disponveis, seus limites e todos os recursos necessrios para que o programa acontea. A avaliao de processo est centrada no desenvolvimento do programa, tendo em vista aferir sua eficcia e efetuar correes durante a implementao. Assim, pretende antecipar se o desejo inicial pode ou no ser alcanado, sendo a questo central da avaliao de processo o funcionamento do programa e os servios prestados. A avaliao de impactos tem como foco central as mudanas quantitativas e qualitativas decorrentes de determinadas aes governamentais (poltica/programa) sobre as condies de vida de uma populao, tendo, portanto, como critrio a efetividade. H que se considerar que sempre se parte da suposio de que existe relao causal entre uma varivel independente (o programa) e uma varivel dependente (alterao nas condies sociais). Precisar o que seja impacto requer conceituar um efeito, enquanto todo comportamento ou acontecimento que sofreu influncia de
67
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS algum aspecto do programa, pode ser procurado, previsto, positivo e relevante ou no-procurado, positivo ou negativo. Por impacto entende-se o resultado dos efeitos de um programa (efeitos lquidos decorrentes dos efeitos de um programa). Nesse sentido, a determinao de impactos exige considerar dois momentos: antes e depois. As quatro primeiras alternativas inverteram os conceitos. Na letra A temos a avaliao de impactos, na letra B a avaliao de processo, na letra C a avaliao poltica e na letra D o monitoramento. A letra E associa os dois tipos de classificao. A avaliao formativa ocorre ao longo do projeto e pode resultar em mudanas, contribuindo para form-lo. Tem natureza de avaliao de processo. A somativa ocorre ao final, busca avaliar os resultados, a efetividade, tem natureza de avaliao de impacto. Gabarito: E.
4.1 LISTA DAS QUESTES

1. (ESAF/APO-MPOG/2008) A avaliao de desempenho governamental em suas vrias dimenses e modalidades representa um poderoso instrumento gerencial, capaz de subsidiar o processo decisrio e de lanar luz sobre a lgica das intervenes pblicas em geral: polticas, programas e projetos. Abaixo encontram-se alguns enunciados sobre os conceitos de eficcia e efetividade, centrais avaliao do desempenho governamental. Identifique os que so Falsos e Verdadeiros e depois assinale a resposta correta. ( ) Objetivo a situao que se deseja obter ao final da implementao de uma poltica, programa ou projeto, mediante a aplicao dos recursos e da realizao das aes previstas. ( ) O conceito de eficcia se refere ao grau em que se alcanam os objetivos e metas do projeto na populao beneficiria, em um determinado perodo de tempo, em relao aos custos implicados. ( ) Efeito todo comportamento ou acontecimento que se pode razoavelmente dizer que sofreu influncia de algum aspecto da poltica, programa ou projeto. ( ) Os efeitos procurados correspondem aos objetivos que a interveno pretendia atingir, sendo, por definio, previstos e positivos.
68
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS ( ) Os efeitos no procurados so diretos, podendo ser positivos ou negativos, e resultam de falhas na elaborao do programa ou projeto e/ou a limitaes do conhecimento disponvel sobre uma determinada rea ou assunto. ( ) Efetividade constitui a relao entre os resultados obtidos e o objetivo. a) V, F, V, V, V, V b) V, F, V, V, F, V c) V, F, V, V, V, F d) V, F, F, V, V, V e) V, V, F, F, F, V
2. (ESAF/EPPGG-MPOG/2008) Sobre os modelos de avaliao de desempenho e resultado que podem ser utilizados no setor pblico, associe a coluna A com a coluna B, assinalando a opo que indica as relaes corretas. Coluna A Coluna B A1 - adequada para avaliar tanto processos quanto resultados, mas pressupe ser possvel identificar ad-hoc uma rede razoavelmente estvel de relao entre variveis a serem analisadas. A2 - Fornece uma perspectiva sistmica e abrangente, mas focaliza essencialmente indicadores de resultado, dificultando anlises sobre a heterogeneidade dos processos subjacentes ao fenmeno estudado. A3 - Permite estimar a eficincia de diferentes unidades de deciso, mas realiza anlise essencialmente comparativa fundada em pressupostos sobre a tecnologia subjacente. A4 - Fornece as bases para estabelecimento de relaes de causalidade entre variveis, tem sido utilizada com sucesso na rea agrcola e na medicina e inspira grande credibilidade. B1 - Modelo de Avaliao Baseado em Anlise Envoltria de Dados B2 - Modelo de Avaliao Baseado em Estudos Experimentais B3 - Modelo de Avaliao Baseado na Teoria do Programa B4 - Modelo de Avaliao Baseado em Testes Padronizados a) A1-B3, A2-B2, A3-B4, A4-B1 b) A1-B3, A2-B4, A3-B1, A4-B2 c) A1-B1, A2-B3, A3-B2, A4-B4
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS d) A1-B4, A2-B1, A3-B3, A4-B2 e) A1-B2, A2-B1, A3-B4, A4-B3
3. (ESAF/CGU/2008) O debate sobre a formulao de programas e projetos envolve um extenso rol de conceitos. Todos os enunciados abaixo esto corretos, exceto: a) os objetivos so declaraes de inteno quanto a cenrios futuros, que sintetizam hipteses acerca das relaes entre os meios e fins de uma interveno. b) uma meta representa um detalhamento de um objetivo ou produto de uma interveno, a ser usado como um parmetro de desempenho contra o qual o resultado obtido ser comparado. c) as metas so compromissos expressos em termos de quantidade, objeto e prazo, devendo ser realistas, precisas e mensurveis. d) numa rvore de objetivos, a identificao dos meios delimita as possveis alternativas de interveno, que devem ser selecionadas com base em critrios claros. e) a construo de uma rvore de problemas baseia-se na concertao entre interesses distintos, com o objetivo de estabelecer uma inteligibilidade compartilhada quanto a uma situao real.
4. (ESAF/CGU/2008) Apesar das muitas controvrsias entre os tericos, na rea de avaliao existem alguns conceitos e distines razoavelmente consensuados, como os que se referem avaliao somativa e avaliao formativa. Sobre os objetivos da avaliao formativa, examine os enunciados abaixo e depois marque a resposta certa. 1. Proporcionar feedback imediato para alimentar revises de programas e projetos em fase de teste-piloto. 2. Estimar o grau de eficcia das estratgias adotadas na implementao de um programa e orientar decises sobre sua continuidade. 3. Identificar aspectos ambientais favorveis e desfavorveis ao xito de um projeto ou programa em fase inicial de implementao, a fim de definir estratgias para melhorar o seu desempenho. 4. Informar sobre as necessidades de ampliao da cobertura de um programa ou da viabilidade de sua replicao.
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS a) Todos os enunciados acima so objetivos da avaliao formativa. b) Nenhum dos enunciados acima objetivo da avaliao formativa. c) Somente o enunciado 2 objetivo da avaliao formativa. d) Somente os enunciados 1 e 3 so objetivos da avaliao formativa. e) Somente os enunciados 2 e 4 so objetivos da avaliao formativa.
5. (ESAF/CGU/2008) A Anlise Custo-Benefcio (ACB) proporciona um guia para hierarquizar alternativas de investimentos em projetos a serem executados ou j em processo de execuo. Examine as assertivas abaixo sobre a Anlise Custo-Benefcio e assinale a opo incorreta. a) A relao entre custos e produtos proporciona elementos para analisar a eficincia operacional, mas no informa sobre a eficcia do projeto em relao ao pblico-alvo escolhido. b) Na avaliao social, a Anlise Custo-Benefcio utiliza suposies da taxa de desconto diferentes das que so aplicadas na avaliao privada, porque deve incluir os impactos distributivos, os efeitos intangveis e at o valor da vida humana. c) A diferena mais importante entre a avaliao privada e a avaliao social que na primeira a Anlise Custo-Benefcio utiliza como referncia o preo de mercado, enquanto que na avaliao social so utilizados preos sombra, de eficincia, ou seja, preos sociais. d) A taxa de desconto utilizada na Anlise Custo-Benefcio tem por objetivo traduzir a um valor presente os custos e benefcios que resultaro do projeto no futuro e fixada sobre a base do custo de oportunidade do capital. e) A Anlise Custo-Benefcio permite averiguar se os projetos so ou no rentveis, comparando os fluxos atualizados de benefcios e os custos previstos em sua implementao.
6. (ESAF/EPPGG-MPOG/2003) Os instrumentos gerenciais contemporneos so baseados na avaliao de desempenho e resultados e na flexibilidade organizacional. A seguir so apresentados alguns conceitos bsicos deste novo tipo de gesto. Assinale a opo que identifica todas as relaes corretas entre as colunas: 1 Eficcia A Utilizao dos recursos.
71
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS 2 Objetivos 3 Flexibilizao 4 Eficincia 5 Descentralizao B Alcance de resultados. C Delegao de autoridade. D Escala de prioridades. E Abordagem sistmica.
a) (1=>B), (4=>E), (2=>A), (3=>D), (5=>C) b) (1=>B), (4=>A), (2=>E), (3=>D), (5=>C) c) (1=>D), (4=>E), (2=>B), (3=>A), (5=>C) d) (1=>D), (4=>B), (2=>D), (3=>C), (5=>A) e) (1=>B), (4=>A), (2=>D), (3=>E), (5=>C)
7. (FGV/CAERN/2010) Os indicadores de produtividade devem respeitar certos atributos para aplicao correta. Nesse sentido, um determinado indicador ineficaz, ou seja, que no capte as etapas mais significativas de um processo, desobedece ao atributo da (A) representatividade. (B) rastreabilidade. (C) praticidade. (D) adaptabilidade. (E) disponibilidade.
8. (FGV/BADESC/2010) Os indicadores de produtividade, tanto no mbito da administrao privada quanto no da administrao pblica, devem respeitar certos atributos gerais em sua concepo. A esse respeito, assinale a alternativa que corresponde ao atributo de economia. a) Garantia de que gerado em rotinas de processo e permanece ao longo do tempo. b) Garantia de que no deve ser gasto tempo demais pesquisando dados ou aguardando novos mtodos de coleta. c) Facilidade para identificao da origem dos dados, seu registro e manuteno.
72
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS d) Facilidade de acesso para coleta, estando disponvel a tempo, para as pessoas certas e sem distores. e) Garantia de que realmente funciona na prtica e permite a tomada de decises gerenciais.
9. (FGV/BADESC/2010) Levando em considerao o uso de controles e indicadores de produtividade em um programa de educao, o percentual de crianas matriculadas e a avaliao da qualidade por meio de exames nacionais so, respectivamente, exemplos de: (A) eficcia e eficincia. (B) eficincia e eficcia. (C) efetividade e eficincia. (D) efetividade e eficcia. (E) eficcia e efetividade.
10. (FGV/MINC/2006) Analise as afirmativas a seguir: I. Os indicadores so essenciais para a avaliao de polticas pblicas. De maneira simples, indicadores so unidades de medida que permitem "aferir" resultados, impactos, qualidade etc., dos processos e das intervenes (projetos, programas ou polticas) na realidade. Eles so instrumentos de gesto, essenciais nas atividades de monitoramento e avaliao de projetos, programas e polticas, porque permitem acompanhar a busca das metas, identificar avanos, ganhos de qualidade, problemas a serem corrigidos, necessidades de mudana, etc. II. Indicadores de efetividade tm como objetivo verificar o desempenho dos processos e das atividades. J os indicadores de eficcia tm como objetivo verificar os efeitos obtidos, isto , os objetivos gerais do programa. III. Em uma avaliao de poltica pblica, uma das estratgias utilizadas desenvolver uma srie de indicadores antes da implementao do programa. Essa primeira medio conhecida como "marco zero". Aps os primeiros resultados concretos do programa, os indicadores so comparados para medir a efetividade da poltica pblica. Assinale: (A) se somente a afirmativa I estiver correta.
73
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS (B) se somente a afirmativa II estiver correta. (C) se somente a afirmativa III estiver correta. (D) se somente as afirmativas I e II estiverem corretas. (E) se somente as afirmativas I e III estiverem corretas.
74
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS 13. (IPAD/SGA-AC/2009) Qual o nome dado, em polticas pblicas, avaliao que realiza o acompanhamento dos processos desenvolvidos com vistas ao alcance dos objetivos e metas propostos e cobertura do programa? A) Avaliao de metas. B) Avaliao de impactos. C) Avaliao de controle. D) Avaliao de princpios. E) Avaliao de processos.
14. (CESPE/AUGE-MG/2008) A respeito da avaliao de programas e projetos governamentais, correto afirmar que A) a avaliao de resultados, de natureza ex-ante, visa aferir a efetividade do programa ou projeto avaliado. B) a avaliao da efetividade de um programa ou projeto visa aferir se as realizaes ocorreram dentro do oramento previsto e a custos compatveis, enquanto a avaliao de eficincia visa aferir os impactos da ao do programa ou projeto sobre o seu pblico-alvo ou beneficirios. C) a avaliao ex-ante busca aferir os eventos j ocorridos e tomar decises baseadas nestas informaes, enquanto a avaliao ex-post visa orientar o planejamento do programa ou projeto objeto da avaliao, de forma a antecipar restries e respectivas providncias a serem tomadas. D) a avaliao de resultado ou de impacto busca averiguar, fundamentalmente, o desempenho oramentrio/financeiro do programa ou projeto avaliado. E) a avaliao de efetividade baseia-se fundamentalmente na verificao da evoluo dos indicadores do programa ou projeto, enquanto a avaliao de eficcia baseia-se fundamentalmente na verificao da evoluo das metas fsicas do programa ou projeto avaliado.
15. (CESPE/SGA-AC/2006) Os processos de modernizao da gesto pblica e de reforma do Estado tm dado grande nfase ao fortalecimento das funes de monitoramento e avaliao de polticas pblicas na agenda governamental. Julgue os itens seguintes, relativos avaliao de polticas pblicas, e assinale a opo correta.
75
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS A) Na avaliao de uma poltica pblica no se pode utilizar mtodos qualitativos, uma vez que eles no permitem a mensurao de impactos. B) A avaliao ex ante um tipo de avaliao de implementao, utilizado para aferir o grau de satisfao dos usurios da poltica pblica. C) Eficincia, efetividade, impacto e sustentabilidade so dimenses relevantes na avaliao de polticas pblicas. D) Embora tenha destaque na agenda governamental, a avaliao no costuma fazer parte da agenda de organismos internacionais e de agncias de financiamento.
16. (FGV/MC/2006) De maneira geral, um planejamento de polticas pblicas composto por trs fases: (1) estabelecimento de objetivos a alcanar; (2) tomada de decises a respeito das aes futuras; e (3) elaborao de planos. Dentro desse contexto, analise as afirmativas a seguir: I. Os objetivos so resultados futuros que a organizao pretende atingir. Assim, objetivos organizacionais podem se desdobrar em estratgia, polticas, diretrizes, metas, programas, procedimentos, mtodos e normas. II. Existem diversos mtodos que auxiliam os gestores pblicos na sua tomada de decises. Dentre eles, destacam-se a pesquisa operacional, que utiliza diversos modelos analticos ou matemticos para verificar as relaes entre os vrios fatores e alternativas na forma de modelos matemticos; e as rvores de deciso, que auxiliam o gestor a visualizar os possveis resultados das alternativas envolvidas nas decises pblicas. III. O plano a ltima fase do processo de planejamento e considerado como o resultado do processo de implementao do planejamento. Assim sendo, um plano um curso de ao sobre um perodo especificado de tempo. Assinale: (A) se somente a afirmativa I estiver correta. (B) se somente a afirmativa II estiver correta. (C) se somente a afirmativa III estiver correta. (D) se somente as afirmativas I e II estiverem corretas. (E) se todas as afirmativas estiverem corretas.
76
CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS 17. (CESPE/VRIOS) A respeito dos tipos de avaliao, analise as assertivas abaixo e assinale a correta. a) Monitoramento a avaliao centrada nas mudanas quantitativas e qualitativas do programa, a qual tem como critrio a efetividade e como suposio a existncia de relao entre variveis. b) A avaliao poltica centrada no desenvolvimento do programa, visando aferir-lhe a eficcia e efetuar correes durante a implementao. c) Avaliao de processo a emisso de juzo de valor em relao poltica ou programa com base em critrios e princpios polticos que fundamentam a concepo de bem-estar humano. d) Avaliao de impactos uma atividade contnua e gerencial que visa aferir o controle de entrega de insumos, conforme as metas e o calendrio, tendo em vista a garantia da eficincia do programa. e) A avaliao formativa realizada com o intuito de gerar feedback para a melhoria do programa, da poltica ou de qualquer outro objeto a ser avaliado, tendo, portanto, natureza de avaliao de processo, enquanto a avaliao somativa visa julgar o mrito do programa, tendo natureza de avaliao de impacto.
4.2 GABARITO
1. B 2. B 3. E 4. D 5. B 6. E 7. A 8. B 9. E 10. E 11. B 12. B 13. E 14. E 15. C 16. D 17. E
5 Leitura Sugerida
Avaliao de Polticas Pblicas e Programas Governamentais, Mnica Cavalcanti http://www.socialiris.org/antigo/imagem/boletim/arq48975df171def.pdf
77

Aula 05

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Aula 05

Transféré par

Droits d'auteur :

Formats disponibles

CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS

LEITURA SUGERIDA ........................................................................................... 77

Prof. Rafael Encinas

CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS

1 Indicadores de polticas pblicas

Prof. Rafael Encinas

1.1 ATRIBUTOS DOS INDICADORES

Prof. Rafael Encinas

1.2 EFICINCIA, EFICCIA E EFETIVIDADE

Prof. Rafael Encinas

Prof. Rafael Encinas

Prof. Rafael Encinas

2 Avaliao de Programas Governamentais

Prof. Rafael Encinas

Prof. Rafael Encinas

2.1 CONCEITOS BSICOS

Prof. Rafael Encinas

Prof. Rafael Encinas

2.2 TIPOS DE AVALIAO

Prof. Rafael Encinas

Prof. Rafael Encinas

Prof. Rafael Encinas

Prof. Rafael Encinas

Prof. Rafael Encinas

CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS

2.3 TENDNCIAS NA AVALIAO

2.4 MODELO LGICO E TEORIA DO PROGRAMA

Prof. Rafael Encinas

O MPOG define o Marco Lgico como:

Prof. Rafael Encinas

CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS

Baixa Qualidade de Vida

Baixa Sade da Comunidade

Baixa Produtividade na Famlia

Falta de Acesso aos Programas Assistenciais

Falta de Saneamento Bsico

Falta de Conhecimento do Pr-Natal

Baixa Renda Familiar

Falta de Publicidade dos Programas Assistenciais

Prof. Rafael Encinas

Sade da Comunidade Aumentada

Produtividade na Famlia Aumentada

Renda Familiar Aumentada

Reduo do ndice de Mortalidade Infantil

Aleitamento Materno adequado

Aumento do Acesso aos Programas Assistenciais

Aumento do ndice de Nutrio

Saneamento Bsico Aumentado

Aumento do Conhecimento do Pr-Natal

Aumento da Renda Familiar

Aumento da Publicidade dos Programas Assistenciais

Prof. Rafael Encinas

Prof. Rafael Encinas

CURSO ON-LINE POLTICAS PBLICAS CGU PROFESSOR: RAFAEL ENCINAS

2.5 ANLISE CUSTO-BENEFCIO E CUSTO-EFETIVIDADE

Prof. Rafael Encinas

Prof. Rafael Encinas

Prof. Rafael Encinas

Alternativas Treinamento de professores Computadores Infraestrutura

Prof. Rafael Encinas

3 Coleta, Anlise e Interpretao de Informaes

Prof. Rafael Encinas

Prof. Rafael Encinas