Apostila To Monitor Amen To e Avaliacao de Projeto Sociais

Planejamento, Monitoramento
e Avaliação de Projetos Sociais.
Prefeitura
Municipal de
Curitiba
Instituto
Municipal de
Administração
Pública – IMAP
Área:
Desenvolvimento
Social
Luciano Ducci
Prefeito Municipal
Carlos Homero Giacomini

Presidente
Maria do Carmo A. de Oliveira

Superintendente
Elaine Rossi Ribeiro

Diretora da EAP
Elaboração:
Lycia Tramujas Vasconcellos Neumann
19/05/2010
PLANEJAMENTO,
MONITORAMENTO E
AVALIAÇÃO DE
PROJETOS SOCIAIS
Oficina ministrada para técnicos da Prefeitura Municipal de Curitiba - 2010
Objetivos da Oficina
Há dois propósitos principais para esta oficina:
Promover a troca de conhecimentos sobre teorias e

práticas em Planejamento, Monitoramento e
Avaliação de programas e projetos Sociais.
Levar os participantes a desenvolverem um olhar

avaliativo e uma lógica de planejamento e gestão
voltada para melhores resultados em programas e
projetos sociais.
1
19/05/2010
Agenda de Trabalho
Esta oficina foi dividida em 2 partes:
Concepção e planejamento políticas e projetos

sociais (12h)
Elaboração, gestão e avaliação de projetos sociais

(20h)
PLANEJAMENTO,
MONITORAMENTO E
AVALIAÇÃO DE
PROJETOS SOCIAIS
Dia 1: Elaboração de Políticas
2
19/05/2010
Para reflexão
“O planejamento não diz respeito a decisões

futuras, mas às implicações futuras de
decisões presentes.”
(Peter Drucker)
Alinhamento Conceitual
Políticas, programas e projetos
3
19/05/2010
O que se define por política?
Um curso ou método claro de ação, escolhido (pelo

governo, instituição, grupo ou indivíduo) dentre algumas
alternativas e a partir da análise de determinadas
condições, que normalmente determina as decisões
presentes e futuras. (adaptado de Webster’s)
Conjunto de princípios básicos e diretrizes a eles

associadas, formulados e implementados pelo grupo
gestor da organização, para direcionar e limitar suas
ações visando o alcance de objetivos de longo prazo.
(adaptado de Business Dictionary.com)
Políticas institucionais
Política é como a organização decide atuar com relação
a determinados temas.
Existem políticas que determinam o funcionamento

interno da organização (ex.: Recursos Humanos,
Prevenção de Acidentes de Trabalho)
E políticas que determinam a atuação técnica da

organização – através das quais ela busca realizar sua
missão e alcançar sua visão de futuro.
4
19/05/2010
Políticas públicas - conceitos
“É o Estado em ação: o Estado implantando um projeto

de governo, através de programas, de ações voltadas
para setores específicos da sociedade”.
(Gobert & Mueller, citado por Höfling)
Para reflexão
“Política Pública não é o mesmo que Decisão Política,

pois, uma Política Pública envolve mais que uma
decisão e requer diversas ações estrategicamente
selecionadas para implementar as decisões tomadas”.
(Pereira, 2007)
5
19/05/2010
Políticas Sociais
Existem 3 níveis de formulação de ação social:

o nível dos grandes objetivos e eixos estratégicos de
ação: a Política
um nível intermediário em que as políticas são
traduzidas em linhas mestras de ações temáticas e/ou
setoriais: os Programas
o nível das ações concretas, delimitadas no tempo, no
espaço e pelos recursos existentes, que possam
realizar os programas e as políticas: os Projetos
(Armani, citado por Pogoda, Pires e Moretti, s.d.)
Do Estratégico ao Operacional
POLÍTICA
PROGRAMAS
PROJETOS
6
19/05/2010
Do Estratégico ao Operacional
Programas e projetos tornam operacional uma política

na medida em que traduzem com clareza seus
objetivos e concretizem sua implementação mediante a
aplicação de recursos.
Ciclo de um Projeto
Design Estratégico
da Política
Reformulação,
expansão,
Formulação do Programa/ Projeto redução,
encerramento.
Início da Implementação
operacionalização
7
19/05/2010
Fases das Políticas Públicas

1. Formação de Agenda
Com questões que merecem políticas definidas.
Elaboração - É a preparação para a tomada de decisão.

2. Formulação
Definição dos objetivos, marco jurídicos, administrativo e
financeiro.
3. Implementação
Elaboração dos planos, programas e projetos que permite
executar a política.
4. Avaliação
Compara os fins alcançados aos meios mobilizados e aos
objetivos inicialmente estabelecidos.
Elaborando Políticas
Baseado na metodologia de
“Policy Analysis” de Eugene Bardach
8
19/05/2010
Passos críticos na elaboração de

Políticas
1. Defina o problema
2. Colete as evidências
3. Construa alternativas de ação
4. Selecione os critérios
5. Projete os resultados
6. Reflita sobre as desvantagens
7. Tome a decisão
8. Conte sua história
Comece com uma definição clara e objetiva sobre o(s)

problema(s) que procura resolver ou minimizar com a
política.
Isto lhe dará a razão para realizar todo este trabalho e

norteará a coleta de informações e evidências.
As primeiras definições do problema poderão ser revisadas

quando mais conhecimento for construído sobre as questões
envolvidas.
9
19/05/2010
Dicas na definição do problema:

Pense em faltas e excessos (ex.: há muito disso, há pouco daquilo);
Evite o uso de termos subjetivos (ex.: bom ou ruim, insatisfatório, etc.);
Quantifique se possível (mesmo que os números não sejam definitivos,

darão uma boa idéia do tamanho do problema);
Condições que causam o problema também são problemas (busque
identificar a relação causal entre os problemas e suas condicionantes);
Perder oportunidades também é um problema.
2. Colete evidências
Definido o problema é hora de analisar o contexto no qual a

política será implementada e coletar dados e informações para
evidenciar a questão sobre seus vários ângulos.
Nesta etapa são analisados “o que”, “o onde”, “o quando” e “o

porquê” do problema identificado.
Para isso deve-se mergulhar na literatura e documentos já
produzidos, realizar pesquisas, entrevistas e análises de
tendências.
10
19/05/2010
Dados: são fatos ou representação de fatos sobre o mundo. São
normalmente valores, medidas, estatísticas, mas podem ir além
disso.
Informações: são formadas por um conjunto de dados
devidamente ordenados e organizados de forma a terem
significado.
Evidências: tudo aquilo que pode ser usado para provar que uma
determinada afirmação é verdadeira ou falsa.
“Evidências são informações que afetam as crenças das

pessoas (inclusive as suas) sobre aspectos significantes do
problema que está sendo estudado.”
(Bardach)
Razões para buscar evidências:

Para compreender a natureza e a dimensão do(s)
problema(s) que está tentando definir;
Para conhecer e analisar características particulares do
contexto onde a politica atuará;
Para avaliar boas práticas, políticas que se mostraram
efetivas em situações semelhantes.
O material coletado ajudará não só na melhor formulação do

problema central, como na construção de alternativas de ação e na
definição de resultados esperados.
11
19/05/2010
3. Construa alternativas
Pense nas diferentes políticas, cursos de ação ou estratégias de
intervenção que podem ser adotadas para minimizar o problema.
Dicas na construção de alternativas:

Comece abrangente e termine bem focado, com no máximo 4
alternativas.
Considere as alternativas propostas por atores-chave no processo
decisório (técnico e político).
Sempre inclua a alternativa “status quo” nesta análise (ou seja, a
manutenção da situação como está).
Identifique o conceito central de cada alternativa e procure
descrevé-lo de forma simples.
Faça a distinção entre a alternativa básica e suas variações.
4. Selecione critérios de avaliação

Selecione critérios para avaliar os potenciais resultados de
cada alternativa, e não a alternativa em si.
Um dos principais critérios é o quanto os impactos esperados

com a política diminuirão ou resolverão o problema
identificado (efetividade).
Outros critérios comumente usados são: viabilidade,

eficiência (custo-efetividade/ custo-benefício); equidade,
tempo, ética, legalidade, aceitação política.
12
19/05/2010
Nesta etapa é importante pensar em todos os potenciais

resultados e impactos das alternativas de ação.
É a etapa mais difícil!
Procure ser o mais realista possível!
Perguntas para avaliar a potencial efetividade:

1. Qual é o nível mínimo aceitável de efetividade?
2. Que processo pode produzir este nível de efetividade?
3. Quão provável é que este processo alcance este
resultado?
4. Qual a probabilidade de fracasso?
Elabore uma matriz de resultados, cruzando alternativas
com os critérios selecionados:
Critério 1 Critério 2 Critério 3
Alternativa 1 Resultado Resultado Resultado
Cuidado:
Deve ficar claro nos critérios a unidade e o “valor” que será considerado na
análise dos resultados (ex: % de redução de emissão de gases, ou tempo de
implantação em meses).
13
19/05/2010
6. Reflita sobre as desvantagens

Algumas alternativas podem se mostrar superiores nos
vários critérios e se tornarem alternativas dominantes.
Mas, normalmente, uma alternativa é superior em um
critério e inferior em outro. É a hora de pesar vantagens
x desvantagens de cada uma.
Desvantagem = quando você tem que abrir mão de algo valioso
ou desejável
A análise mais comum de vantagens x desvantagens é entre uso de

mais recursos para gerar mais benefícios aos cidadãos.
Ex.: Vale a pena gastar R$100.000/ mês para manter a biblioteca da

universidade aberta todos os dias da semana? Ou é melhor manter
os gastos atuais e fechá-las nos finais de semana?
7. Decida
Mesmo que a decisão final não seja sua, se nesta etapa

você ainda não tiver segurança sobre a melhor
alternativa é porque as vantagens e desvantagens não
foram bem pesadas, ou porque alguns aspectos sobre
as alternativas não ficaram bem claros.
Revise o processo e busque aprimorá-lo.
Consulte importantes “stakeholders” para evitar futuras

resistências.
14
19/05/2010
O teste do motorista de táxi

Você acabou de chegar no aeroporto e pegou um táxi. No
trajeto até o hotel o motorista pergunta o que você faz.
Você responde que trabalha na Prefeitura de Curitiba e está
atualmente está trabalhando com o problema X.
Interessado ele pergunta “qual é a solução para este
problema?”
Você tem 1 minuto para apresentar a resposta de forma
clara, coerente e muito simples, antes que ele te acuse de
ser um intelectual incompreensível ou uma pessoa muito
confusa.
Ao elaborar o relatório, tenha sempre em mente a audiência

(direta e indireta).
Seja na forma escrita ou oral, a apresentação do relatório

tem que fluir, demonstrando consistência e lógica.
Evite longas digressões e considerações de caráter filosófico.
Seja direto, objetivo e preciso no uso da linguagem.
Não caia na armadilha de descrever todas as etapas vividas

e os aprendizados. Mantenha o foco no que é importante,
considerando a audiência.
15
19/05/2010
O produto final
O que temos ao final deste processo?

O problema que precisa ser resolvido ou minimizado.
Algumas alternativas de ação que podem ser tomadas.
Para cada alternativa, uma série de resultados potenciais.
Se nenhuma alternativa é dominante considerando os
critérios selecionados, as alternativas são analisadas
segundo vantagens x desvantagens identificadas.
Quando solicitado, pode-se apresentar recomendações
sobre qual a melhor alternativa de política.
PLANEJAMENTO,
MONITORAMENTO E
AVALIAÇÃO DE
PROJETOS SOCIAIS
Dia 2: Tendências em Projetos Sociais
16
19/05/2010
Programas e Projetos Sociais

Projeto - conceito
“Um projeto é um empreendimento planejado que

consiste num conjunto de atividades inter-relacionadas
e coordenadas para alcançar objetivos específicos
dentro dos limites de um orçamento e de um período de
tempo dados”.
(ONU, citado por Almeida, s.d.)
17
19/05/2010
Programa - conceito
Programa é um conjunto de projetos de caráter institucional,
com diretrizes bem definidas, voltado para um ou mais
objetivos de uma instituição.
Geralmente se acha sob a responsabilidade de um coordenador ou
equipe de coordenadores
Na elaboração de vários projetos sobre o mesmo tema e objetivo,

eles devem ser reunidos e organizados de forma mais ampla em
um programa. Assim, os recursos e esforços podem ser otimizados
e integrados.
(São Paulo.Secretaria do Meio Ambiente, 2005)
Para Reflexão
“O termo projeto carrega o sentido de organizar idéias,

pesquisar, analisar a realidade e desenhar uma
proposta articulada com intencionalidade”.
(Marcos José Pereira da Silva)
18
19/05/2010
Projetos Sociais - conceito
Projetos são ferramentas de ação que delimitam uma

intervenção quanto aos objetivos, metas, formas de
atuação, prazos, responsabilidades e avaliação.
Projetos sociais são uma forma de organizar ações para

transformar determinada realidade social.
(baseado em Schuckar, 2005)
Para reflexão
“Os projetos são pontes entre o desejo e a realidade.(...)

Os projetos sociais tornam-se, assim, espaços
permanentes de negociação entre nossas utopias
pessoais e coletivas – o desejo de mudar as coisas –, e
as possibilidades concretas que temos para realizar
estas mudanças – a realidade”.
(Stephanou, Muller e Carvalho)
19
19/05/2010
Projetos Sociais
Riscos da ação social sob a forma de projeto:

Fragmentação e duplicidade das ações;
Orientação pela linha do financiador e não pela missão

institucional;
Descontinuidade de ações;
Dificuldade de avaliar a efetividade das ações e interpretar

seus desdobramentos.
Projetos Sociais – contexto atual
Tendências e desafios:
Ênfase na ação local;
Gestão compartilhada;
Flexibilização de programas e serviços;
Gestão em rede;
Participação social nas decisões, controle e execução de
projetos ou programas.
(baseado em Stephanou, s.d.)
20
19/05/2010
Tendências em projetos sociais

Redes Sociais
Rede - conceito
“Rede é um sistema de nós e elos capaz de organizar

pessoas, organizações e instituições, de forma
igualitária e democrática, em torno de um objetivo
comum, descentralizando a informação, estimulando a
participação cooperativa e garantindo autonomia a cada
um de seus integrantes”.
(Instituto Ecoar para a Cidadania, 2010)
21
19/05/2010
Redes: componentes
Nós: são os integrantes (pessoas, organizações, territórios),

atores sociais às vezes organizados em grupos e sub-grupos
em torno de propostas comuns.
Elos: são os fios que dão consistência à rede; as trocas de
informações e a comunicação entre seus integrantes.
A força de uma rede não se mede pelo número de integrantes,

mas pela qualidade da comunicação entre eles.
Redes de Compromisso Social
“Redes em que parcerias são mobilizadas a partir da

percepção compartilhada de situações ou problemas
que rompem ou colocam em risco o equilíbrio da
sociedade ou as perspectivas de seu desenvolvimento e
para cujo equacionamento não é suficiente a ação
isolada de organizações públicas e/ou privadas”.
(Inojosa, citada por Schlithler, 2004)
22
19/05/2010
Para reflexão
“A interligação em rede, de pessoas e/ou entidades, se

estabelece a partir da identificação de objetivos comuns
e/ou complementares cuja realização melhor se
assegurará com a formação da rede”.
(Whitaker, 1993)
Tendências em projetos sociais

Mudança de olhar = nova abordagem
23
19/05/2010
Tendência em projetos sociais

Desde a década de 90, o objetivo dos investimentos sociais
passa a ser desenvolver a capacidade das pessoas para o
auto-desenvolvimento.
As pessoas devem ser as protagonistas do processo de
desenvolvimento.
“Ser protagonista significa ser “o primeiro lutador”, ou proto

agonistes em grego; ser, portanto, o primeiro agente de
transformação”.
(Neumann e Neumann, 2004)
Mudança de Olhar
deficiências e necessidades
talentos e recursos
Toda pessoa, assim como toda comunidade é um copo meio

cheio, meio vazio.
O olhar determina o movimento. Se o copo é vazio, procura-se
enchê-lo. Se dá para ver água no copo, busca-se completá-lo.
24
19/05/2010
De clientes para cidadãos

Clientes são aqueles que dependem de outros para viver e
que, enxergando apenas seus defeitos, esperam que outros
também vejam suas deficiências e os ajudem, atendendo às
suas necessidades.
Cidadãos, ao contrário, são aqueles que vêem seus
problemas e dificuldades, mas que também percebem suas
qualidades, capacidades e potencial para mudar a realidade.
Eles acreditam no poder coletivo e buscam parceiros com
quem possam construir um futuro melhor.
De “máquinas de refrigerante”...
De um lado estão as instituições públicas e privadas que
desenvolvem projetos e programas sociais baseados nas
deficiências e necessidades das comunidades e dos
beneficiários das ações.
Atuando como meros provedores de serviços, as instituições
são como “máquinas de refrigerante”: ao terem seus botões
acionados, ofertam produtos e serviços baseados em modelos
padrão e desenvolvidos para “consertar” pessoas e suas
realidades.
25
19/05/2010
... a Construtores de Celeiros

De outro lado, estão as instituições que, em vez de simplesmente
proverem serviços, atuam como “construtores de celeiros”.
Promovem o engajamento dos cidadãos no desenvolvimento de
projetos e programas, fazendo com que estes se tornem co-
responsáveis pela busca de alternativas para sua promoção social
e econômica.
Quando se deparam com um novo problema, esses cidadãos não
perguntam “O que o governo ou as ONGs farão por nós?”, mas,
sim, concentram-se em definir “O que nós vamos fazer, juntos,
para resolver esta questão?”
(Neumann e Neumann, 2004)
Para reflexão
“Bons clientes são péssimos cidadãos.
Bons cidadãos constróem comunidades fortes.”

(Osborne e Gaebler)
26
19/05/2010
Parceria
O que é e como construir
Parceria - conceito
“A relação entre duas ou mais partes que, tendo

objetivos compatíveis, estabelecem um acordo para
fazer alguma coisa juntos. Parcerias são pessoas
trabalhando juntas em uma relação mutuamente
benéfica, muitas vezes fazendo juntos o que não
conseguiriam realizar sozinhos”.
(Frank & Smith, 2000)
27
19/05/2010
Diferentes Graus de Parceria

COLABORAÇÃO
COOPERAÇÃO
CONSULTA
INFORMAÇÃO
1. Informação – é o primeiro estágio de qualquer parceria. Quando os parceiros

passam a se conhecer melhor e a compreender como se afetam mutuamente.
2. Consulta– quando os parceiros passam a trocar idéias sobre como fazer
determinadas coisas. Requer que os parceiros se conheçam e se respeitem.
3. Cooperação– quando um parceiro precisa da ajuda de outros para
operacionalizar uma idéia. Nesta etapa, o planejamento e a tomada de decisão
sobre o que será feito ainda é unilateral.
4. Colaboração – é o grau maior e mais complexo de parceria. Quando os
parceiros planejam juntos o que fazer e como, tornando-se conjuntamente
responsáveis pelo projeto e seus resultados. Neste estágio o poder pela tomada
de decisão é compartilhado.
Colaboração
Segredos e desafios
28
19/05/2010
Colaboração
Considerada a “marca” da década de 90, quando

profissionais e pesquisadores passaram a recomendar
parcerias colaborativas entre múltiplos setores como
estratégia para tranformações sistêmicas em áreas
como: desenvolvimento humano e social, governo e
mobilização comunitária.
Para reflexão
“Colaboração é um processo através do qual atores

que vêem diferentes aspectos de um problema ou
questão podem construtivamente explorar suas
diferenças e buscar soluções que vão além dos
limites de sua visão”
(adaptado de Gray, citado por Borden e Perkins)
29
19/05/2010
Tipos de colaboração
Dentro da hierarquia de uma organização, as
colaborações podem ser:
Interinstitucional no nível estratégico – com o propósito
maior de coordenação de programas e serviços
Interinstitucional no nível operacional – com o objetivo de
criar uma rede entre os prestadores de serviço
Intrainstitucional – quando envolve parcerias entre os vários
níveis hierárquicos de uma mesma organização
Técnico-família – quando a parceria é criada com as
famílias para prover serviços mais efetivos e
individualizados aos beneficiários.
(adaptado de Hodges, Nesman & Hernandez, 1999)
Elementos críticos para o sucesso
Objetivo maior ou visão de futuro compartilhados

Comunicação eficaz
Confiança e comprometimento
Preservação da identidade e autonomia
Respeito à diversidade
Papéis e responsabilidades claras
Participação voluntária
Estrutura de governança que favoreça a troca de
informações e as tomadas de decisão
Avaliação contínua
30
19/05/2010
Articulação ≠ Integração
Quando falamos em integrar as ações, torna-se comum

o entendimento de que cada qual vai deixar de fazer o
que faz para realizar um novo trabalho.
Articulação significa cada um trazer seus
conhecimentos, habilidades e práticas e através de
parcerias descobrir novas formas de trabalhar em
conjunto e ser mais efetivo.
(Curitiba. Prefeitura Municipal, 2002)
Para reflexão
“O objetivo maior de uma colaboração deve ser

estabelecer um processo contínuo de
resolução de problemas, e não ser um fim em
si mesmo”.
(Hodges, Nesman & Hernandez, 1999)
31
19/05/2010
PLANEJAMENTO,
MONITORAMENTO E
AVALIAÇÃO DE
PROJETOS SOCIAIS
Dia 3 – Planejamento de Projetos Sociais
Elaboração de Projetos Sociais
32
19/05/2010
Ciclo de vida do projeto social
1. Elaboração: é o momento da identificação do problema, definição dos

objetivos, programação das atividades e confecção da proposta técnica do
projeto.
2. Estruturação: uma vez decidido que o projeto vai ser realizado, é hora de
organizar a equipe executora e mobilizar os meios necessários para
executá-lo.
3. Realização: é o período quando as atividades previstas são realizadas e
acompanhadas, de acordo com o planejado. Por vezes é necessário alterar
a programação, em razão de fatos não previstos.
4. Encerramento: ao término do projeto é preciso analisar seus resultados e
impactos, comparando-se o que se pretendia originalmente com o
realmente alcançado. Também é o momento de cuidar da desmobilização
do projeto, caso não haja prosseguimento.
(Campos, Abegão e Delamaro, 2002)
Para reflexão
“Elaborar projetos é uma forma de independência.

É uma abordagem para explorar a criatividade
humana, a mágica das idéias e o potencial das
organizações. É dar vazão para a energia de um
grupo, compartilhar a busca da evolução”.
(Rosana Kisil)
33
19/05/2010
Elaboração de projetos sociais

Dois importantes momentos:
Concepção: o grupo deve dedicar tempo para realizar um bom

diagnóstico sobre o contexto e a situação problemática que
pretende enfrentar. Em seguida, construir seu caminho.
É aconselhável que todas as pessoas envolvidas no projeto dele
participem diretamente na fase de concepção com visão ampla e
criatividade na busca de sua viabilidade.
Dicas para o êxito na concepção de um projeto:
Realizar um diagnóstico consistente.

Ter objetivos e resultados claramente definidos.
Construir um clima de colaboração e envolvimento da equipe.
Sempre que possível contar com a participação de potenciais
beneficiários diretos do projeto no planejamento das principais
atividades.
Ouvir todos os integrantes envolvidos de forma a harmonizar
divergências.
(baseado em Armani, citado por Almeida,s.d.)
34
19/05/2010
2º momento:
Redação: é um exercício de síntese do processo anterior. Nele, é
melhor contar com poucas pessoas do grupo. Tudo que foi
produzido no tempo anterior será agrupado em um roteiro que
demonstre, de modo objetivo, o que será realizado.
(adaptado de Silva, 2010)
Theory of Change - TOC

Teoria da Transformação
35
19/05/2010
TOC - Origens
Inicialmente usada como ferramenta de avaliação, a Teoria da
Tranformação vem sendo aprimorada e disseminada como uma
ferramenta simples e prática que ajuda a retratar a complexidade
envolvida em promover efetivas tranformações sociais.
A TOC é considerada a melhor forma de descrever as condições

que explicam:
de um lado os passos que levam ao alcance dos objetivos de longo prazo;
de outro as conexões entre as atividades do programa e os resultados que

devem acontecer ao longo do caminho.
Resultados: conceito
Outcome = Efeitos ou transformações provocadas pelo

programa ou projeto em seus beneficiários.
Normalmente referem-se a mudanças de conhecimento,
percepção, habilidades, atitudes, opiniões, aspirações,
motivação, comportamentos, práticas, condição ou status.
Que diferença o programa faz?
36
19/05/2010
Exemplo do cotidiano
Situação: Você está com uma dor de cabeça terrível. O
que fazer?
Consegue Toma o Sente-se

o remédio remédio melhor
Qual é o resultado?
Para reflexão
“Não é sobre quantas minhocas o

pássaro alimentou seus filhotes,
mas quão bem os passarinhos
conseguiram voar”
(United Way of America)
37
19/05/2010
A relação de causalidade
TOC - Conceitos
A Teoria da Transformação define todos os marcos que
são necessários para o alcance de um objetivo de longo
prazo.
Esses marcos - muitas vezes chamados de resultados,

efeitos, realizações ou pré-condições – são
representados em um mapa chamado de “caminho da
transformação”, que ilustra graficamente o processo de
transformação e a relação de causalidade entre seus
componentes.
38
19/05/2010
O caminho da transformação
Visão de
Futuro
Pré- Resultados de médio prazo

condições
necessárias Resultados de curto prazo
Exemplo: Projeto Supermulher

Mulheres vítimas de violência doméstica com emprego fixo e bom salário
Mulheres que foram

vítimas de violência Pressuposto: premissa que embasa o Projeto,
precisam estar justificando as estratégias adotadas, a partir
emocionalmente
preparadas para
dos resultados esperados.
trabalhar.
(baseado no projeto desenvolvido por ActKnowledge e

Aspen Institute Roundtable on Community Change, 2003)
39
19/05/2010

Mulheres sabem como obter Mulheres participam de estágios em

ajuda e lidar com suas empresas e organizações
questões
Mulheres Empregadores são

Mulheres participam de Mulheres sensibilizados e
participam de palestras sobre as participam de preparados para
aconselhamento expectativas do capacitação trabalhar com
entre pares mercado profissional estagiários

Mulheres sabem como obter ajuda e Mulheres participam de estágios em empresas e

lidar que suas questões organizações
Mulheres participam de Mulheres Empregadores são

Mulheres participam palestras sobre as participam de sensibilizados e
de aconselhamento expectativas do capacitação preparados para
entre pares mercado profissional trabalhar com estagiários
Mulheres inscrevem-se no Projeto
Mulheres contam com creche Mulheres estão prontas e comprometidas

para seus filhos em participar do Projeto
40
19/05/2010
Finalidades da TOC
1. Compreender e comunicar uma iniciativa já existente.
2. Planejar uma nova iniciativa.
3. Repensar e reorganizar uma iniciativa.
Que diferença faz a TOC?
Retrata a complexidade das iniciativas delineando um

plano para seu sucesso.
Orienta a avaliação dos resultados mais estratégicos,

no momento e na sequência corretos.
Ajuda a compreender e explicar porque uma iniciativa

teve sucesso ou não, e o que exatamente não
funcionou.
41
19/05/2010
Passos para construção da TOC

1. Forme o grupo e estabeleça os princípios de trabalho
(colaboração)
2. Garanta o consenso sobre a questão central a ser
trabalhada com o projeto
3. Defina o Objetivo de Longo Prazo (a visão de futuro)
4. Estabeleça as pré-condições para que este Objetivo se
concretize (resultados de médio e curto prazo)
5. Paralelamente, registre os pressupostos identificados (as
premissas que justificam a relação de causalidade)
6. Procure chegar até o nível operacional (a descrição do que
o projeto deverá fazer)
Para reflexão
A demonstração de uma Teoria da Transformação oferece

um retrato dos marcos importantes e nos guia quanto
ao que devemos encontrar ao longo da jornada para
garantir que estamos no caminho certo.
(baseado em Annie E. Casey Foundation)
42
19/05/2010
PLANEJAMENTO,
MONITORAMENTO E
AVALIAÇÃO DE
PROJETOS SOCIAIS
Dia 4 – Redação e Gestão de Projetos Sociais
Redação de Projetos Sociais

Colocando no papel o projeto concebido
43
19/05/2010
Roteiro para alinhamento: 7W3H

Sigla Tradução Conceito
1W: Who Quem Quem vai realizar o projeto
2W: What O que O que será feito
3W: Why Por que Por que deve ser feito

4W: to Whow Para quem Quem serão os beneficiários
5W: for What Para que Que diferença o projeto vai fazer
6W: When Quando Quando o projeto acontecerá
7W: Where Onde Onde o projeto acontecerá
1H: How Como Como o projeto acontecerá

2H: How much Quanto custa Quanto custará realizá-lo
3H: How many Quantos Quais são as metas do projeto (produtos e
beneficiários)
Do roteiro para o projeto

Sigla Tradução Conceito No projeto
1W: Who Quem Quem vai realizar o projeto 1. Apresentação da
instituição
2W: What O que O que será feito 3. Proposta
3W: Why Por que Por que deve ser feito 2. Justificativa
4W: to Whow Para quem Quem serão os beneficiários 7. Público-alvo
5W: for What Para que Que diferença o projeto vai fazer 4. Objetivos
6W: When Quando Quando o projeto acontecerá 9. Cronograma
7W: Where Onde Onde o projeto acontecerá 8. Localização

1H: How Como Como o projeto acontecerá 6. Metodologia
2H: How much Quanto custa Quanto custará realizá-lo 10. Orçamento
3H: How many Quantos Quais são as metas do projeto 5. Metas

(produtos e beneficiários)
44
19/05/2010
Estrutura do projeto
1. Apresentação – identificação e histórico da instituição proponente (ressaltar se há parceiros
na execução)
2. Justificativa – apresentação das razões para a realização do projeto (caractericação do
problema)
3. Proposta – o que é o projeto, o que ele se propõe a realizar
4. Objetivos – o que se quer transformar a partir do projeto (normalmente apresentados em
Geral e Específicos)
5. Metas - apresentação dos resultados a serem atingidos pelo projeto (quantitativos e
qualitativos)
6. Metodologia – as ações revistas para a realização do projeto (devem ser claramente
descritas e relacionadas aos objetivos específicos)
7. Público-alvo – identificação do(s) público(s) ao qual o projeto se destina
8. Localização – descrição da comunidade ou local onde aconterá o projeto
9. Cronograma – apresentação das etapas ou principais ações do projeto na linha do tempo
10. Orçamento - iIndicação dos recursos financeiros necessários para execução do projeto, com
valores unitários e totais.
Gestão de Projetos Sociais

A partir da lógica avaliativa
45
19/05/2010
Ciclo de gestão tradicional
Planejamento
Avaliação
Controle Desenvolvimento
Ciclo de gestão de projeto social
Marco
Zero
Elaboração do Implementação
Projeto,
Negociação

Análise Avaliação de
Situacional Processo
Institucionalização
Avaliação de
Replicação Utilização Resultado
Comunicação
(adaptado de Marino e Cancellier, 2004)
46
19/05/2010
A Implementação do Projeto
IMPACTOS
RESULTADOS
PRODUTOS
ATIVIDADES
RECURSOS
Produtos ≠ Resultados ≠ Impactos

Todo projeto resulta em:
Produtos (Outputs) - bens ou serviços criados ou
fornecidos pelo projeto através de suas atividades.
Resultados (Outcomes) – benefícios ou transformações

para os participantes gerados durante ou logo após sua
participação no projeto.
Ex.: mudanças de consciência, conhecimentos, habilidades,
comportamentos, aspirações e motivação.
Impactos (Impact) – benefícios de médio e longo prazo
para os participantes e beneficiários indiretos do projeto
(suas famílias e comunidades).
47
19/05/2010
Program Logic Model

Modelo Lógico de Gestão de Projetos -
MLGP
Modelo Lógico de Gestão do

Projeto
É um instrumento visual e sistêmico de apresentação
e compartilhamento de informações sobre os recursos
alocados em um projeto, as atividades previstas, os
resultados e as mudanças que se espera alcançar.
De forma simples, o MLGP retrata as relações causais

e os pressupostos que são base da operacionalização
do projeto.
48
19/05/2010
A Visualização
É um instrumento importante no desenvolvimento de um
trabalho participativo porque facilita o processo de comunicação,
ao mesmo tempo que objetiva o trabalho do grupo.
As principais vantagens da visualização:

◦ Facilita a participação ativa – permite a cada participante ver suas
contribuições e identificar sua parcela no trabalho conjunto;
◦ Aumenta a qualidade da comunicação – facilita a estruturação de
idéias; possibilita representar de forma didática situações complexas.
◦ Fortalece o efeito da aprendizagem – racionaliza a discussão
possibilitando seu aprofundamento.
◦ Aumenta a integração do grupo – torna transparente o processo de
trabalho.

Projeto
Além disso, MLGPs são úteis para todas as partes envolvidas
em uma iniciativa, pois são capazes de:
comunicar o propósito fundamental do projeto;
demonstrar porque o projeto é importante;
apresentar o que se espera resulte do projeto;
descrever as atividades que levarão ao alcance dos
resultados esperados;
servir de base para determinar se as atividades planejadas
serão capazes de levar aos resultados esperados.
tornar-se uma linguagem comum e um ponto de referência
para todos os envolvidos no projeto;
(W.K. Kellogg Foundation, 2001)
49
19/05/2010
MODELO LÓGICO DE GESTÃO DE PROJETOS
OBJETIVO GERAL PÚBLICO-ALVO

A “missão” do projeto Beneficiários diretos do projeto
RECURSOS OBJETIVOS ESTRATÉGIAS PRODUTOS RESULTADOS IMPACTOS

ALOCADOS ESPECÍFICOS / ATIVIDADES Impactos de Médio prazo:
Bens/ Serviços
Humanos Situações O que faz ofertados curto prazo: Mudanças
(equipes e para a em:
SITUAÇÃO ANTERIOR
voluntários)
esperadas por
PRIORITÁRIAS
conseqüência realização de Transformação •Atitudes

QUESTÕES
Materiais do projeto = cada Objetivo em: •Práticas

(próprios ou Específico Beneficiários •Consciência •Tomadas de
benefícios
doados) •Conhecimento decisão
esperados ao
Financeiros público-alvo •Habilidades Longo prazo:
•Opinião Mudanças
Tecnológicos
•Aspirações em:
Parcerias •Motivação Condições
Sociais,
Econômicas e
Ambientais
PRESSUPOSTOS FATORES EXTERNOS
A Relação de Causalidade
OBJETIVO GERAL
IMPACTO
OBJETIVOS ESPECÍFICOS
RESULTADOS
ESTRATÉGIAS
PRODUTOS
ATIVIDADES
PARA QUE FAZ
O QUE O PROJETO FAZ

O QUE RESULTA DELE
50
19/05/2010
MLGP vs. TOC
MLGP ≠ TOC?
Modelos Lógicos de Gestão ilustram os componentes
do programa e construí-los ajuda os vários atores a
identificarem claramente os resultados esperados,
recursos que estão sendo alocados e atividades que
serão desenvolvidas.
Teorias da Transformação buscam ligar resultados
esperados às atividades do projeto para explicar como
as transformações desejadas vão acontecer.
51
19/05/2010
MLGP ≠ TOC Como?
Modelos Lógicos de Gestão normalmente começam

com a definição de um programa e ilustram seus
componentes.
Teorias da Transformação podem começar com um

programa, mas são melhores quando iniciadas a partir
de um Objetivo de Longo Prazo para então definir que
abordagens programáticas são necessárias.
TOC + MLGP?
A combinação das duas ferramentas é um poderoso

instrumento para a gestão com foco em resultados.
1. Começar com a Teoria da Tranformação para saber:

onde se quer chegar e o que deve ser feito para
chegar lá.
2. Detalhar o projeto no Modelo Lógico de Gestão para

garantir alinhamento entre o que o projeto faz e o
para que faz.
52
19/05/2010
Para Reflexão
“Se você não sabe para onde está indo, como vai saber
quando chegar lá? “
(Yogi Berra)
PLANEJAMENTO,
MONITORAMENTO E
AVALIAÇÃO DE
PROJETOS SOCIAIS
Dia 5 – Gestão com Foco em Resultados
53
19/05/2010
Gestão com Foco em Resultados
Elementos críticos para o sucesso
Foco claro
MLGP
Consistência
Persistência
54
19/05/2010

Projeto
Para a gestão = é um instrumento visual e sistêmico de
apresentação e compartilhamento de informações sobre
o que é o programa e seus objetivos, e como ele está
sendo operacionalizado. Permite a rápida identificação
de “desvios de rota” e orienta a busca por novos
recursos.
Para a avaliação = é o primeiro instrumento de
avaliação. Apresenta o programa como ele vem sendo
implementado, e destaca os componentes a serem
monitorados e avaliados para análise de sua
performance.
MODELO LÓGICO DE GESTÃO DE PROJETOS
OBJETIVO GERAL PÚBLICO-ALVO

A “missão” do projeto Beneficiários diretos do projeto
RECURSOS OBJETIVOS ESTRATÉGIAS PRODUTOS RESULTADOS IMPACTOS

ALOCADOS ESPECÍFICOS / ATIVIDADES Impactos de Médio prazo:
Bens/ Serviços
Humanos Situações O que faz ofertados curto prazo: Mudanças
(equipes e para a em:
SITUAÇÃO ANTERIOR
voluntários)
esperadas por
PRIORITÁRIAS
conseqüência realização de Transformação •Atitudes

QUESTÕES
Materiais do projeto = cada Objetivo em: •Práticas

(próprios ou Específico Beneficiários •Consciência •Tomadas de
benefícios
doados) •Conhecimento decisão
esperados ao
Financeiros público-alvo •Habilidades Longo prazo:
•Opinião Mudanças
Tecnológicos
•Aspirações em:
Parcerias •Motivação Condições
Sociais,
Econômicas e
Ambientais
PRESSUPOSTOS FATORES EXTERNOS
55
19/05/2010
Os Componentes do MLGP
Questões Prioritárias:
As questões ou problemas que o projeto quer
resolver ou minimizar.
A definição clara e precisa dos problemas que o

projeto quer resolver é o primeiro requisito para
alcançar o impacto desejado .
Para maior alinhamento e consistência, pode-se usar ferramentas

para ajudar na identificação da relação de causalidade entre as
questões levantadas. Ex.: árvore de problemas
Objetivo Geral –
É a contribuição maior que o projeto fará e que deve
corresponder à solução ou redução do problema central
identificado nas questões prioritárias.
Só deve haver um Objetivo Geral por projeto.
É a missão do projeto!
Exemplo:
Problema – Alta incidência de mortalidade infantil na região X.
Objetivo Geral – Reduzir a mortalidade infantil na região X.
56
19/05/2010
Objetivos Específicos:
O que o projeto espera alcançar para realizar seu
Objetivo Geral.
Devem descrever condições ou transformações a

serem obtidas para que o Objetivo Geral se concretize.
O Objetivo Geral do projeto deve estar diretamente ligado à grande

questão identificada e os Objetivos Específicos às questões
identiificadas como causadoras da questão principal.
Estratégias:
As alternativas de ação escolhidas para o alcance dos
objetivos propostos.
Refletir sobre as estratégias ajuda a clarificar o
propósito das atividades realizadas e a garantir mais
qualidade nos processos de trabalho.
Atividades:
Ações que o projeto realiza, dentro de cada estratégia,
para alcançar os objetivos específicos
57
19/05/2010
Produtos:
Bens ou serviços criados ou fornecidos pelo projeto
através de suas atividades e a quem beneficiam.
Por serem o resultado direto da realização de cada

atividade, sua descrição e quantificação comprovam a
realização e a dimensionam.
Exemplo:
Atividade – Oferecer cursos de inglês para os jovens.
Produtos – Cursos oferecidos
Jovens beneficiados
Resultados:
Benefícios ou transformações para os participantes
gerados durante ou logo após sua participação no
programa.
Normalmente referem-se a mudanças de consciência,

conhecimentos, habilidades, comportamentos,
aspirações e motivação.
Muitas vezes os resultados são resultados de mais de

uma atividade ou até estratégia.
Os resultados comprovam a diferença que o programa está

fazendo na vida dos participantes.
58
19/05/2010
Impactos:
Benefícios ou transformações de médio e longo prazo
para os participantes e beneficiários indiretos do projeto.
Os efeitos (esperados ou não-esperados) de um projeto

nos seus beneficiários, suas famílias, comunidades e
sociedade em geral.
Quanto mais de longo prazo, mais a concretização dos

impactos depende não só da efetividade do projeto, como
também de outros fatores “externos” à sua gestão e mandato.
Recursos – Os recursos financeiros, humanos, materiais e
tecnológicos com os quais o projeto/ programa conta para
realizar suas atividades.
Pressupostos – As premissas que norteiam a definição

de objetivos e atividades e as condições necessárias para que
as relações causais levem ao alcance dos resultados e
impactos esperados.
Fatores Externos – Fatores e/ou condições externas ao

controle do projeto que podem influenciar no atingimento de
seus objetivos.
59
19/05/2010
PLANEJAMENTO,
MONITORAMENTO E
AVALIAÇÃO DE
PROJETOS SOCIAIS
Dia 6 – Avaliação como Instrumento de Gestão
Avaliação
60
19/05/2010
Conceito de avaliação
Do dicionário:
“avaliar é determinar ou estabelecer o valor de;

examinar e julgar”
(Worthen, 2004)
Como nasceu a avaliação

A estória da Avaliação segundo Gênesis:
No início, Deus criou a Terra e o Céu. Ele olhou para tudo que havia criado e disse: “isso
está muito bom”. No 7º dia ele descansou.
Foi quando chegou seu arcanjo, ou coordenador de avaliação, e perguntou: “Senhor,
como você sabe que o que criou é muito bom? Qual são seus critérios, e que dados usou
para fazer seu julgamento? Que impactos estava esperando ter com esta criação? O
Senhor não está perto de mais de todo o trabalho para fazer um julgamento imparcial?
Deus pensou sobre todas essas questões durante o dia todo e seu descanso foi
seriamente perturbado. No 8º dia, Deus disse:
“VÁ PARA O INFERNO, LÚCIFER!” ...e nasceu a avaliação.

(adaptado de Patton, 1999)
61
19/05/2010
Alguns Mitos sobre Avaliação
Muitas pessoas vêem a avaliação como uma

atividade inútil que gera um monte de dados chatos e
leva a conclusões sem utilidade.
Este era o problema no passado quando as metodologias de
avaliação eram escolhidas com base na sua precisão
científica, confiabilidade e validade.
Mais recentemente, especialmente pelo resultado do trabalho
de Michael Patton com a Avaliação com Foco na Utilização, a
avaliação passou a ter seu foco na utilidade, relevância e
praticidade tanto quanto na validade científica.
Alguns Mitos sobre Avaliação
Muitas pessoas acreditam que avaliação é sobre provar

o sucesso ou fracasso de um programa.
Sucesso é estar aberto para periódico feedback e fazer os
ajustes de acordo. A avaliação oferece este feedback.
Muitas pessoas acreditam que a avaliação é um

processo único e complexo que deve sempre acontecer
no mesmo momento, de uma certa maneira e
normalmente por especialistas externos.
Elas acreditam que deveriam entender termos como validade e
confiabilidade, e na verdade não precisam. Precisam é saber
que informação necessitam para tomar decisões sobre o projeto
e suas deficiências.
(adaptado de Carter McNamara, 1999)
62
19/05/2010
Para Reflexão
“O que se define por avaliação e o nome dado à

uma avaliação em particular é uma questão de
discussão, clarificação e negociação.”
(Michael Quinn Patton)
Definições
Monitoramento
Processo contínuo de coleta e análise de dados
implementado para avaliar um projeto (programa ou política)
e compará-lo com a performance esperada.
Avaliação
Análise sistemática e objetiva dos resultados alcançados por
um projeto, programa ou política, realizada com o objetivo
de avaliar sua relevância, coerência, a eficiência da
implementação, sua efetividade e impacto, e sua
sustentabilidade.
(Instituto do Banco Mundial, s.d.)
63
19/05/2010
Monitoramento ≠ Avaliação
Monitoramento Avaliação
Atividade de gestão interna e Atividade interna ou externa
contínua
Acontece durante a implementação Pode acontecer antes, durante ou
do projeto depois da implementação de um
projeto
Compara o que está sendo realizado Com base em dados levantados pelo
com o que foi planejado monitoramento e outras fontes, julga o
desempenho de um projeto de acordo
com critérios pré-estabelecidos
A avaliação usa extensivamente os dados gerados pelo sistema de

monitoramento, mas além dele usa outras fontes de informação.
Principais Critérios de Avaliação
Eficácia: cumprimento e alcance das metas e objetivos

propostos
Fizemos o que dissemos que íamos fazer?
Eficiência: uso otimizado, com economia e qualidade, dos
bens e recursos empregados na execução das ações.
Estamos usando os recursos da melhor maneira possível?
Efetividade: o alcance dos resultados e impactos
esperados.
Que diferença o projeto faz?
Equidade – a capacidade de contribuir para a redução das desigualdades e da

exclusão social.
Sustentabilidade – a capacidade de desencadear mudanças sociais
permanentes, que alteram o perfil da própria demanda por políticas/programas
sociais.
64
19/05/2010
Avaliação de Programas
“É a coleta cuidadosa de informações sobre um

programa ou um aspecto do programa para que sejam
tomadas as decisões necessárias sobre ele.”
(McNamara, 1999)
“É a coleta sistemática de informações sobre as

atividades, características e resultados dos programas
para propiciar julgamentos sobre ele, melhorar sua
efetividade, e/ou subsidiar decisões sobre a criação de
novos programas.” (Patton, 1997)
Tipos de Avaliação
Uma avaliação de programa pode incluir um ou mais

dos 35 tipos de avaliação que existem: ex-ante, ex-
post, formativa, somativa, de processo, de resultado,
de impacto, custo x benefício, etc.
O tipo de avaliação que deve ser realizada para subsidiar o

aprimoramento de um programa depende do que se quer saber
sobre ele.
65
19/05/2010
Para Reflexão
“Não se preocupe com o tipo de avaliação que deve

ser feito, preocupe-se em definir o que você precisa
saber para tomar importantes decisões sobre o
programa, e como a informação pode ser
corretamente coletada e analisada”.
(Carter McNamara)
Desmistificando a Avaliação
Avaliação como Instrumento de Gestão
66
19/05/2010
Para Reflexão
O que é avaliado, é feito;

Se você não mede resultados, não pode separar o
sucesso do fracasso;
Se você não vê o sucesso, não tem como premiá-lo;
Se você não premia o sucesso, está provavelmente
premiando o fracasso;
Se você não vê o sucesso, não pode aprender com ele;
Se você não reconhece o fracasso, não pode corrigi-lo;
Se você demonstrar resultados, ganhará apoio público.
(adaptado de Osborne & Gaebler, 1992

Premissas de um Governo Orientado para Resultados)
Avaliação como Instrumento de

Gestão
Permite:
Compreender, analisar e aumentar o impacto das
políticas, programas e projetos desenvolvidos pela
instituição;
Aperfeiçoar os métodos empregados para aumentar a
eficiência, eficácia e efetividade das ações;
Facilitar a gestão e o estabelecimento de novas
diretrizes de trabalho;
Produzir informações que possam ser utilizadas junto
à sociedade, financiadores e outros parceiros.
67
19/05/2010
Mudança de Paradigma
DE: Mecanismo de Controle PARA: Processo de Aprendizagem

Tarefa imposta às equipes pelos Valioso instrumento para ajudar a organização
dirigentes ou financiadores. a perseguir sua missão.
Considerada tarefa tediosa e que toma Considerada um trabalho de todos. Todos da

tempo de “trabalho real”, representando organização levantam informações e se
um luxo para a organização. perguntam: "O que e como podemos fazer
melhor?”
Resultados da avaliação pouco Resultados da avaliação orientando o

incorporados no planejamento e desenvolvimento dos projetos e as mudanças
tomada de decisões da organização. de direção.
Temor de que resultados pouco Ambiente onde não existe medo de se correr
satisfatórios tragam conseqüências risco; onde as pessoas podem examinar algo
negativas, tais como a perda do que não deu certo sem medo de
trabalho dos envolvidos. conseqüências negativas.
A avaliação é complexa e onerosa Os instrumentos e metodologias são simples,
financeiramente, já que deve ser feita não onerosos e podem ser adaptados a
por especialistas. diferentes realidades e necessidades.
(baseado em Marino, 2001)
68
19/05/2010
Avaliação no Ciclo do Projeto
Avaliação no Ciclo do Projeto
Marco
Zero
Elaboração do Implementação
Projeto,
Negociação

Análise Avaliação de
Situacional Processo
Institucionalização
Avaliação de
Replicação Utilização Resultado
Comunicação
(baseado em Marino e Cancellier, 2004)
69
19/05/2010
Análise Situacional
Também chamada de Avaliação Diagnóstica ou apenas

Diagnóstico.
Tem por objetivo organizar informações que caracterizem,

dimensionem e evidenciem as questões ou problemas que o
projeto vai buscar resolver ou minimizar.
Neste momento, sempre que possível, deve-se reunir outros

stakeholders para caracterizar o problema sob vários pontos
de vista.
Avaliação de Marco Zero
A partir da análise situacional e dos resultados

esperados, deve-se realizar a avaliação de marco zero
que aprofunda aspectos identificados na análise
situacional, servindo de base norteadora para as
equipes do projeto.
Deve ocorrer antes do início de qualquer atividade do

projeto pois produzirá os parâmetros de julgamento
para a avaliação de resultados.
70
19/05/2010
Avaliação de Processo
Visa determinar o grau em que o programa está operando

conforme o planejado.
Analisa o que faz o programa e quem são seus beneficiários.
Identifica quais são os elementos essenciais para que os
objetivos do programa sejam alcançados.
Em geral, responde a perguntas em duas categorias:
Cobertura: analisa o alcance do projeto e as características dos
beneficiários.
Processo: analisa a consistência do projeto e a qualidade de sua
implementação.
Avaliação de Resultados
A avaliação de resultados analisa os benefícios/transformações
proporcionados aos participantes (que são resultantes dos
esforços do projeto) durante e/ou logo após a sua participação no
mesmo.
Deve ser realizada a partir da fase intermediária e próximo ao final do
projeto.
Pode-se também avaliar os resultados do projeto junto aos parceiros,
equipe responsável e outros stakeholders.
Por que medir resultados?

Para saber se o programa realmente faz diferença.
71
19/05/2010
Parâmetros de Qualidade
Standards of Evaluation
Parâmetros de Qualidade
Princípios orientadores desenvolvidos em 1994 por um Comitê
formado por 16 associações profissionais dos Estados Unidos
(hoje aceitos por avaliadores em todo o mundo)
Um processo avaliativo de qualidade deve ter 4 atributos:
Utilidade – voltado para responder reais necessidades de
informação dos seus usuários
Viabilidade – realizado de maneira realística, prudente,
diplomática e moderada
Propriedade – conduzido dentro de normas legais e éticas,
respeitando todos os envolvidos no processo
Precisão – produzindo informações tecnicamente adequadas
sobre aspectos que determinam o mérito e a relevância do
programa avaliado.
(Chianca, Marino e Schiesari, 2001)
72
19/05/2010
A Lógica e os Valores do Avaliador
1. Ser claro = ser claro sobre os objetivos e propósitos; sobre o que

está sendo avaliado; sobre que dados serão coletados; sobre que
julgamentos serão feitos; sobre como os resultados da avaliação
serão usados; enfim, ser claro sobre tudo.
2. Ser específico = a pergunta favorita de um avaliador é: “o que
exatamente você quer dizer com isso?”.
3. Ter foco e prioridade = você não pode fazer ou cuidar de tudo.
Avalie com cuidado o que vale a pena fazer e saber.
4. Ser sistemático = Planeje o que fazer, e faça o que
planejou. Registre cuidadosamente o que acontece em cada
estágio da tomada de decisão e da coleta de dados.
A Lógica e os Valores do Avaliador

5. Ser claro sobre os pressupostos = defina com clareza os
pressupostos que norteiam o trabalho, e o que pode ou não ser
comprovado.
6. Fazer a distinção entre recursos, processos e resultados =
confundir processos com resultados é comum, cuidado!
7. Ter dados para apoiar empiricamente às conclusões = o que
significa assumir um compromisso de fazer a lógica e as
evidências se sobreporem às crenças e às intensidades das
emoções.
8. Separar “declarações de fatos baseadas em dados”, de
“interpretações” e de “julgamentos” = interpretações vão além
dos dados e precisam ser entendidas pelo que são –
interpretações. Julgamentos envolvem valores, determinando o
que é e o que não é desejável.
(adaptado de Patton, 1997)
73
19/05/2010
Construindo Avaliações Úteis

Duas abordagens para maior efetividade
A Avaliação com Foco na Utilização

(Utilization-focused Evaluation)
Baseada na premissa de que avaliações deveriam ser

julgadas pela sua utilidade e uso real.
Assim, o foco da metodologia está no futuro uso das
informações, conforme definido pelos principais clientes da
avaliação.
O avaliador atua como facilitador ajudando os principais clientes da
avaliação a definirem que tipo de avaliação eles precisam. Isso requer
muita negociação onde o avaliador oferece um menu de possibilidades
dentro da lógica do projeto, e dos princípios e modelos de avaliação.
74
19/05/2010
Construindo uma avaliação útil
Do início ao fim, o processo de avaliação deve ser

criado e implementado com o foco nas necessidades
dos principais clientes.
Eles têm a responsabilidade de fazer as coisas de maneira
diferente (tomar decisões, mudar estratégias, agir, mudar
políticas, etc.) por causa do seu comprometimento com o
processo e os resultados da avaliação.
(International Development Research Centre, 2004)
A Lógica da AFU
Os potenciais clientes da avaliação

tenderão a usá-la quanto melhor eles
compreenderem e se apropriarem do
processo de avaliação e seus resultados.
Eles compreenderão e se apropriarão

da avaliação quanto mais ativamente
forem envolvidos no processo.
Ao envolver ativamente os principais

clientes, o avaliador prepara-os para o
uso, cria base técnica para a utilização
da avaliação e reforça, ao longo de
todo o processo, a importância e a
utilidade das informações coletadas.
75
19/05/2010
Avaliação = entendimentos
compartilhados
A avaliação depende de e facilita uma comunicação mais
clara entre os atores.
Entendimentos compartilhados são especialmente importantes
no que se refere a resultados esperados
(Que resultados especificamente vocês estão comprometidos a alcançar? E
como vocês saberão se vocês os alcançaram?).
Quando realizada de forma apropriada, a avaliação facilita o

comprometimento compartilhado com os resultados de um
programa entre os vários níveis hierárquicos.
(adaptado de Patton,1997)
A Avaliação Participativa
“As pessoas que participam da criação de algo

tendem a se sentir mais donas do que foi criado,
percebem melhor sua utilidade e preocupam-se
mais em cuidar dele.”
(Michael Patton)
76
19/05/2010
Princípios da Avaliação
Participativa
O processo de avaliação envolve os participantes em um
aprendizado sobre a lógica e as técnicas de avaliação.
o Para isso, os participantes aprendem, por exemplo, sobre: o
estabelecimento de objetivos, a definição de prioridades, a
formulação de perguntas, a interpretação de dados, decisões com
base em evidências, e as conexões entre processos e resultados.
Os participantes definem o foco da avaliação em processos

e resultados que eles consideram importantes e com os
quais estão comprometidos;
Princípios da Avaliação
Participativa
Todos os aspectos da avaliação, incluindo os dados, fazem
sentido para os participantes.
O avaliador-facilitador reconhece e valoriza as diferentes

perspectivas e conhecimentos de cada participante, e
trabalha para que eles sejam reconhecidos e valorizados por
todo o grupo.
As diferenças de status entre o avaliador-facilitador e os

participantes são minimizadas.
77
19/05/2010
Para reflexão
“Aprender a ver o mundo como um avaliador o vê,

normalmente tem um impacto maior e mais
duradouro naqueles que participam da avaliação, do
que as informações que constam no relatório final”.
(Michael Patton)
PLANEJAMENTO,
MONITORAMENTO E
AVALIAÇÃO DE
PROJETOS SOCIAIS
Dia 7 – Construindo uma avaliação
78
19/05/2010
Planejando a avaliação
Passo a passo de uma avaliação formal,
interna e formativa de um programa ou
projeto
Avaliação formal
“Avaliação formal é:
um julgamento (porque envolve valores)
sistemático (porque baseia-se em critérios e procedimentos
previamente reconhecidos)
dos processos ou dos produtos
de uma política, programa ou projeto,
tendo como referência critérios explícitos, a fim de contribuir
para
o seu aperfeiçoamento, a melhoria do processo decisório, o
aprendizado institucional e/ou o aumento da accountability.
(Rua, 2000)
79
19/05/2010
Avaliação interna e externa

Interna – conduzida por técnicos das instituições
associadas com o programa, projeto ou objeto que está
sendo avaliado.
Externa – conduzida por um ou mais avaliadores que

não estão diretamente envolvidos na formulação,
implementação e/ou gerenciamento do objeto da
avaliação. Também chamada de avaliação
independente.
Avaliação formativa
Formativa - tipo de processo de avaliação usado

durante a implementação de um programa ou projeto,
para fornecer informações que permitam o seu
aprimoramento.
Usada para prover informações essenciais para que os gestores
possam introduzir mudanças a fim de melhorá-lo ainda durante
seu processo de implementação.
80
19/05/2010
Avaliação somativa
Somativa – conduzida após o término do programa ou

projeto.
Serve basicamente para julgar o mérito e a relevância de um
programa ou projeto em relação a determinados critérios,
possibilitando a decisão sobre sua continuidade, extensão,
reformulação ou encerramento.
(baseado em Chianca, Marino e Schiesari, 2001)
Plano de Trabalho
• Formação da equipe de avaliação
• Elaboração do Modelo Lógico de Gestão
• Análise de Avaliabilidade
• Identificação dos principais clientes da avaliação
• Definição das finalidades da avaliação
• Seleção das perguntas avaliativas
• Identificação dos indicadores de avaliação
• Definição dos métodos de coleta e análise de dados
• Coleta e análise dos dados
• Apresentação dos resultados
81
19/05/2010
1. Formação da equipe de avaliação
Sendo uma avaliação interna, a equipe deverá ser

formada por técnicos da organização que conduz o
programa.
No caso de projetos multisetoriais ou desenvolvidos em

parceria com organizações privadas, o ideal é que a
equipe seja formada por técnicos de todas as
instituições envolvidas.
A Avaliação de Projetos e o
Modelo Lógico
Uma efetiva avaliação de projeto faz mais do que coletar,
analisar e reportar dados. Ela permite que os stakeholders
tenham acesso e usem as informações para continuamente
aprender sobre e aprimorar os projetos nos quais estão
envolvidos.
O uso de avaliação e de modelos lógicos dos projetos resulta
em melhor planejamento, oportunidades de aprendizado,
melhor documentação dos resultados e um conhecimento
compartilhado sobre o que está funcionando e porque.
82
19/05/2010
2. Elaboração do MLGP
A elaboração do Modelo Lógico de Gestão do Projeto é
um dos momentos mais importantes da avaliação e deve
ser realizado com representantes de todas as
organizações responsáveis pela execução do projeto.
É fundamental que o MLGP retrate o projeto como está
sendo executado na prática, e não como foi elaborado e
consta no papel.
3. Análise de Avaliabilidade
É um processo que tem por objetivos: clarificar
informações sobre o design do programa/ projeto,
explorar sua realidade e ajudar a redefinir sua estrutura,
antes que seja feita a avaliação de seus resultados.
Ajuda a definir se o projeto pode ser efetivamente

avaliado e se sua avaliação contribuiria para melhorar
sua performance.
83
19/05/2010
As Etapas da Análise de
Avaliabilidade
Etapa 1: Conhecendo o programa
Identificação e análise da teoria ou lógica do projeto para avaliar
se as percepções dos stakeholders sobre como o projeto
funciona são razoáveis.
Um método comum para analisar as diferentes percepções

sobre o projeto é construir um Modelo Lógico de Gestão do
Projeto (MLGP).
O processo de construção do MLGP pode revelar que os

princípios conceituais do projeto são fracos ou inconsistentes.
Neste caso, os gestores devem repensar o projeto e seu design
antes de avaliá-lo.
As Etapas da Análise de
Avaliabilidade
Etapa 2: Analisando o grau de implementação do
projeto
Para isso, deve ser analisado:
se as instalações do projeto já estão funcionando;
se as equipes técnicas já foram treinadas;
se as atividades estão sendo implementadas mais ou menos como
foram planejadas;
se o público-alvo do projeto é o que de fato vem sendo atendido;
se o projeto já está em curso há tempo suficiente para produzir as
transformações esperadas.
Se falhas graves são encontradas, elas devem ser corrigidas antes que se
proceda a avaliação.
84
19/05/2010
Clientes de Avaliação
Identificando os principais clientes
Principais Clientes da Avaliação
Os principais clientes de uma avaliação são as pessoas e

grupos que:
são afetados pelos seus resultados,
estão em posição de tomar decisões sobre a avaliação, e
pretendem usar as informações sobre o processo e os resultados
da avaliação para definir futuras ações.
Os principais clientes de uma avaliação devem ser definidos

no início do processo e o avaliador deve manter contato
freqüente com eles para engajá-los e ter a certeza de que a
avaliação respeita seus valores e atende às suas
necessidades.
85
19/05/2010
Quem são os Clientes da

Avaliação?
São aqueles quem tem “vontade”, “autoridade” e “habilidade”
de usar os aprendizados do processo e resultados da
avaliação de alguma forma.
É importante distinguir entre os clientes e a audiência de

uma avaliação.
A audiência é um grupo interessado na avaliação, mas com uma
relação mais passiva com ela do que os principais clientes.
Identificando os clientes da
avaliação
1. Quem são os principais clientes da avaliação?
Para quem estamos fazendo este trabalho?
2. Quem são as audiências-alvo desta avaliação

Quem tem interesse nas informações que ela levantará?
3. Que grupos e pessoas serão mais afetados pela avaliação?
4. Que grupos e pessoas estão em posição de tomar decisões

sobre o projeto/programa a ser avaliado?
5. Quem terá suas ações e decisões mais influenciadas pelo

seu engajamento no processo de avaliação e seus
resultados?
86
19/05/2010
Pensando a estratégia
Após identificar os principais clientes da avaliação é

hora de planejar a estratégia de atuação junto a eles.
É hora de refletir sobre:

• Como os principais clientes da avaliação poderiam ser envolvidos
no processo?
• Que desafios e barreiras poderemos encontrar para identificar e
engajar esses clientes?
Para reflexão
Tentações que afastam do foco no cliente: os Sete

Pecados Capitais (Patton, 1997)
Os avaliadores fazerem deles próprios os principais clientes da
avaliação;
Identificar audiências vagas e passivas ao invés de pessoas reais
como clientes;
Selecionar organizações como clientes e não pessoas
específicas;
Focar nas decisões ao invés de nos tomadores de decisão;
Assumir que o financiador é automaticamente o principal cliente
da avaliação;
Esperar até ter os resultados da avaliação para então identificar
os clientes e futuros usos dela;
Colocar-se acima das questões pessoais e políticas.
87
19/05/2010
A importância de identificar os
futuros usos da avaliação
Enquanto a pergunta “quais são os futuros usos desta
avaliação?” parece simples e direta ela é uma das
questões mais críticas no planejamento de uma
avaliação.
A qualidade de muitos aspectos da avaliação depende

do grau com que eles respondem a esta pergunta.
Ao identificar e clarificar o futuro uso da avaliação para

clientes dela, a tarefa complexa de planejar uma
avaliação torna-se mais simples e com foco, e o
processo de avaliação, mais efetivo.
Como definir os possíveis futuros

usos de uma avaliação?
A definição dos futuros usos de uma avaliação envolve
uma negociação entre o avaliador (a pessoa que está
conduzindo o processo de avaliação e que é também
responsável por facilitar o seu uso) e os principais clientes.
Na maioria dos casos, uma avaliação terá múltiplos usos.
Ao envolver todos os principais clientes de uma avaliação

no processo de definição do tipo de avaliação que é
necessária, as várias perspectivas são consideradas e os
clientes acabam por obter consenso sobre os principais
futuros usos das informações coletadas.
88
19/05/2010
Perguntas para ajudar a identificar

futuros usos da avaliação
1. Quais são suas expectativas quanto aos resultados
deste processo de avaliação?
2. Como esta avaliação poderia contribuir para o
aperfeiçoamento do projeto em questão?
3. Quais decisões os resultados da avaliação poderiam
influenciar? Quem é o responsável por tomar essas
decisões?
4. Que dados e informações são necessários para esta
tomada de decisão?
5. Como nós poderemos saber no futuro se esta
avaliação foi útil?
PLANEJAMENTO,
MONITORAMENTO E
AVALIAÇÃO DE
PROJETOS SOCIAIS
Dia 8 – Construindo uma avaliação
89
19/05/2010
Perguntas avaliativas
Perguntas Avaliativas
“São as perguntas que dão direção, fundamento e foco à
avaliação. Especificam exatamente o que a avaliação vai
responder e guiam o projeto e o planejamento da avaliação”.
(Worthen, 2004)
A definição das perguntas avaliativas deverá ser feita a partir

da análise das perguntas trazidas pelos potenciais clientes e
considerando o que foi definido e acordado como as
principais finalidade da avaliação.
90
19/05/2010
Para Reflexão
“As perguntas avaliativas devem gerar as

informações necessárias para basear o
julgamento do valor de alguma coisa”.
Matriz de seleção de perguntas

avaliativas (Chianca, 2001)
Critérios PA 1 PA 2 PA 3
É relevante para os principais clientes?
Contribui para diminuir dúvidas existentes, trata de informações
que não estão disponíveis no momento?
Possibilita gerar informações importantes, que podem facilitar a
tomada de decisão sobre o projeto?
Está centrada em elementos críticos do projeto, que serão de
interesse constante das pessoas e não apenas de interesse
momentâneo?
Os objetivos e a amplitude da avaliação seria seriamente
comprometidos sem esta pergunta?
É possível responder com os recursos financeiros e de pessoal
disponíveis?
É possível responder com os métodos e tecnologias
disponíveis?
É possível responder dentro do tempo de que se dispõe?
Resultado Final (somatório de respostas positivas)
91
19/05/2010
Indicadores
O que são Indicadores
“Em projetos sociais, indicadores são parâmetros

qualificados e/ou quantificados que servem para
detalhar em que medida os objetivos de um projeto
foram alcançados, dentro de um prazo delimitado de
tempo e numa localidade específica”.
(Valarelli, citado em Pogoda, Pires e Moretti, s.d.)
92
19/05/2010
O que são Indicadores

São medidas quantitativas e/ou qualitativas que indicam o grau
de alcance dos objetivos e metas de um projeto. Permitem
analisar em que medida um resultado esperado está sendo
alcançado.
Como o próprio nome sugere, são uma espécie de “marca” ou

sinalizador, que busca expressar algum aspecto da realidade
sob uma forma que possamos observá-lo ou mensurá-lo.
Eles indicam mas não são a própria realidade. Baseiam-se na

identificação de uma variável, ou seja, algum aspecto que varia
de estado ou situação, variação esta que consideramos capaz
de expressar um fenômeno que nos interessa.
Exemplo
“O programa é a variável independente que se espera

cause alterações na variável dependente”.
(Banco Mundial)
Variável: saúde
Indicador: temperatura do corpo
Unidade de medida: graus Celsius
Instrumento: termômetro
Parâmetro: 37,5º = boa saúde
93
19/05/2010
Características de um bom
indicador
Ser válido – que meça o que se supõe deve ser medido;
Ser confiável – que seja verificável;
Ser relevante – aos objetivos do programa;
Ser sensitivo – às mudanças da situação que é observada;
Ser aceitável – pela população em estudo e pelos principais
clientes da avaliação;
Ser específico – adaptado aos objetivos do programa;
Ser oportuno – que possa ser constituído e reportado em
tempo hábil;
Ser tecnicamente viável – que os dados requeridos
possam ser coletados e mensuráveis;
Ser custo-efetivo – que os dados requeridos possam ser
coletados a um custo razoável.
Para reflexão
“Indicadores são referências que ajudam a

responder às perguntas avaliativas”.
(Thomaz Chianca)
94
19/05/2010
Construindo a matriz avaliativa
Componentes do
Pergunta programa a serem Descritores dos Fontes de Periodicidade da
Indicadores
Avaliativa avaliados Indicadores Informação Informação
(no MLGP)
PERGUNTA AVALIATIVA Qual o grau de alcance das metas e objetivos do

programa?
Objetivo Específico: Ampliar e melhorar a oferta de água para os produtores.
Estratégia: 1.1. Disponibilizar ponto de água confiável para grupos de 15 a 20 produtores.
COMPONENTES A SEREM INDICADORES DE Descritor Periodicidade F.I.

AVALIADOS PRODUTO do Indicador
1.1.1 Perfuração e recuperação 1. Nº de poços instalados no 1. Nº de Sistemas Simplificados de 1. Mensal

de poços tubulares período Abastecimento de Água (SSAA)
entregues à comunidade a partir de
poços, em condições de oferecer
água em quantidade e qualidade
adequadas para consumo animal.
2. Nº de produtores 2. Produtores pertencentes às

beneficiados/ comunidade/ comunidades do programa
município/ pólo beneficiados com os novos poços 2. Mensal
instalados. Técnicos
3. Produção potencial de da CERB
geração de água disponível 3. Capacidade potencial de
por poço instalado / produção de água dos poços 3. Mensal (dos
comunidade / município / instalados, medida em m³/hora. novos poços
pólo instalados)
4. Capacidade real de produção de
4. Produção efetiva de água dos poços instalados, medida 4. Mensal (dos
geração de água por m³/hora. novos poços
disponíbilizada por poço instalados
instalado/ comunidade /
município / pólo
95
19/05/2010
Definindo os Parâmetros de
Avaliação
Estes parâmetros, também chamados de padrões de referência ou
benchmarks, podem ser de vários tipos:
Padrão absoluto – as metas estabelecidas para o programa são o
padrão a ser perseguido;
Padrão histórico – o desempenho obtido em períodos anteriores são
a referência adotada para comparação;
Padrão normativo – compara o desempenho de um programa com o
de outros similares, considerados bem sucedidos;
Padrão teórico – determinado durante o planejamento do próprio
programa, a partir de referências teóricas de situações consideradas
ideais;
Padrão “com/sem” – comparações do tipo com/sem o programa, a
partir da criação de grupos de controle com pessoas com
características semelhantes aos beneficiários do programa, mas em
cuja realidade o programa não interviu.
(adaptado de Rodrigues, 1998)
Métodos de coleta de dados
96
19/05/2010
Métodos de Coleta de Dados
Métodos quantitativos têm a vantagem de permitir

mensuração, comparação e generalização das
informações obtidas, no entanto os métodos qualitativos
permitem análise mais aprofundada de questões
específicas sobre as experiências estudadas.
Métodos quantitativos possibilitam o levantamento de

informações junto a um maior número de respondentes,
a um menor custo. Além disso, permitem a realização de
análises estatísticas, o que favorece a comparação e
generalização dos resultados encontrados.
Métodos de Coleta de Dados

Os métodos de coleta de dados quantitativos mais
comumente utilizados são pesquisa de dados disponíveis
em sistemas de acompanhamento e monitoramento do
programa, e aplicação de questionários ou formulários
junto aos beneficiários e atores intermediários da sua
execução.
No caso de abordagens qualitativas, os métodos de

coleta de dados mais usados são entrevistas, grupos
focais e observação direta.
97
19/05/2010
Comparativo de Métodos
Método de coleta de Descrição Vantagens Desvantagens
dados
Pesquisa de dados Pesquisa focada em - Baixo custo e - Os dados disponíveis
disponíveis registros administrativos, rapidez na obtenção podem não ser
sistemas de de informações. adequados, precisos,
acompanhamento, válidos ou confiáveis
avaliações anteriores do para o que se quer
programa, outros avaliar.
relatórios e documentos,
dados de censos, etc.
Pesquisa de campo Aplicação de - Questionários e - O desenvolvimento e

questionários entrevistas bem a aplicação dos
padronizados com estruturados facilitam instrumentos requer
perguntas abertas ou a tabulação e análise bastante tempo.
fechadas. O questionário dos dados coletados.
pode ser auto-
administrável ou não, ser
aplicado em forma de
entrevista pessoal ou por
telefone.
Comparativo de Métodos
Método de coleta de Descrição Vantagens Desvantagens
dados
Observação de casos Observação direta de um - Adequada para - Pouco adequada para
ambiente ou situação, compreender a generalização dos
com ou sem o processos e formular resultados encontrados.
conhecimento dos hipóteses. - Parcialidade e
participantes. - Proporciona subjetividade do
descrição detalhada observador.
da realidade
encontrada.
Grupos focais Formação de grupos - São relativamente - A tabulação é análise
pequenos (de 6 a 12 rápidos de se realizar. consome muito tempo.
pessoas) para debate - Estimula a geração - Risco de parcialidade
sobre temas, obtenção de de novas idéias. por parte dos
informações e sugestões - Permite o exame de participantes e do
sobre a execução do diferentes facilitador.
programa. É essencial a perspectivas. - Necessidade de
presença de um bom - Contato direto com controlar participantes
facilitador. os beneficiários ou dominantes.
atores do programa.
98
19/05/2010
Métodos de coleta de dados
A definição do tipo de abordagem e método de coleta

de dados a ser utilizado depende das perguntas
avaliativas que se quer responder e dos recursos
disponíveis para a avaliação.
Na maioria das vezes o mais adequado é a utilização

mista de abordagens e métodos, o que proporciona
uma perspectiva mais completa da realidade
encontrada, e permite que as desvantagens de uma
sejam balanceadas pelas vantagens de outra.
A importância do pré-teste
Cada instrumento criado deverá ser pré-testado para

análise de sua consistência e clareza, e avaliação da
relevância e viabilidade dos dados por ele coletados.
Uma simulação da tabulação e análise dos dados

coletados no pré-teste também ajuda no
aprimoramento do instrumento antes da sua aplicação
generalizada.
99
19/05/2010
Trabalhando com amostras
“É importante comparar o perfil das

pessoas que responderam ao questionário,
ou que foram entrevistadas, com o perfil
geral da população que se quer estudar”.
Tipos de Amostragem
Probabilística ou aleatória – aquela em que cada elemento
da população tem uma chance igual de ser selecionado para
compor a amostra. Deve ser representativa da população como
um todo para que os resultados obtidos possam ser
generalizados como verdadeiros para toda a população.
Não-probabilística ou não aleatória – aquela em que a

composição da amostra é intencional e seleção dos seus
participantes depende ao menos em parte do julgamento do
pesquisador. Limitada na capacidade de generalizar a
informação para o todo da população estudada.
100
19/05/2010
Alerta
Quando a amostra é não-probabilística ou não aleatória

pode-se apenas relatar os resultados em termos de
porcentagem de entrevistados, sem generalizar para o
universo estudado.
Ex.: 60% dos jovens pesquisados afirmou estar satisfeito com seu
plano de saúde.
Análise de Dados
Todos os dados devem ser tabulados, ou seja

organizados de maneira a facilitar a sua interpretação,
e analisados tendo em vista as perguntas avaliativas
que se quer responder.
101
19/05/2010
Análise de Dados Quantitativos

Dados quantitativos são normalmente analisados
estatisticamente. As formas mais comuns de análise
estatística utilizadas são:
Freqüência – número de vezes em que determinada resposta
foi dada (ex.: 20 participantes do curso tinham mais que 60 anos;
ou, 25 dos 30 participantes disseram aprovar o conteúdo do curso).
Porcentagem – expressa a informação como um percentual
do todo (ex.: 83% dos participantes aprovou o conteúdo do curso).
Uma prática comum na apresentação de dados em porcentagem é

dizer o número total de casos a partir dos quais a porcentagem foi
calculada.
Análise de Dados Quantitativos

Medidas de tendência central – usadas para caracterizar o que é típico
para o grupo de respondentes. Normalmente calcula-se as três medidas e
se avalia qual a mais apropriada para relatar a situação avaliada.
Média – uma das formas mais comuns de apresentação de dados, é calculada a
partir da soma dos valores divididos pelo total de respostas.
Quando há valores extremos na relação de respostas, a média fica distorcida.
Moda – é a resposta ou valor mais freqüentemente obtido. É bastante usada
quando há um número grande de respostas obtidas, pois não sofre distorção
com valores extremos como acontece com a média.
Mediana – é o valor do meio, quando listadas todas as respostas em ordem
crescente.
Quando a listagem de respostas obtidas apresenta valores extremos e destoantes da
maioria, a mediana é mais precisa do que a média como valor representativo do todo.
102
19/05/2010
Análise de Dados Qualitativos
Dados qualitativos são compostos de palavras e não

números, por isso sua análise deve ser diferenciada.
Em uma avaliação, os textos e observações coletados vêm

de várias fontes como: respostas a perguntas abertas de
questionários, transcrições de grupos focais ou entrevistas,
roteiros de observação de casos, ou, ainda, resumos de
relatórios e documentos pesquisados.
Análise de Dados Qualitativos

“Agrupar as respostas em categorias específicas para calcular a
frequência de respostas para cada categoria é uma abordagem
comum para tratar dados pouco complexos, como as informações
geradas a partir de questionários com perguntas preestabelecidas”.
Quando os dados são mais densos e complexos, o grande desafio

é conseguir diminuir o volume de informação, identificar os temas
mais significativos e desenvolver uma estratégia para comunicar
aos diferentes interessados a essência do que os dados revelam”
103
19/05/2010
Cuidados na Análise de Dados

Qualitativos
Toda análise qualitativa é influenciada pela subjetividade
da interpretação do pesquisador. Para diminuir sua
interferência e aumentar a credibilidade dos resultados
encontrados, alguns cuidados devem ser observados:
Use várias fontes de informação – busque combinar, por

exemplo, entrevistas individuais com grupos focais, de
maneira a checar as informações obtidas e ter maior
confiança nas suas conclusões.
Cuidados na Análise de Dados

Qualitativos
Registre todos os passos do processo de análise – todas as escolhas
e procedimentos feitos devem ser registrados para que outros possam
entender como as conclusões finais foram obtidas.
Evite fazer generalizações – o objetivo da análise qualitativa não é

obter informações generalizadas sobre toda a população estudada.
Ao contrário, sua finalidade é fornecer dados sobre o objeto avaliado
a partir da perspectiva dos respondentes.
Identifique as limitações encontradas – todo estudo avaliativo tem

limitações que devem ser reportadas para facilitar o entendimento das
conclusões finais. Estas limitações podem ser de ordem
metodológica, ou relativas aos dados coletados.
104
19/05/2010
Apresentação dos resultados
Para Reflexão
“Processos e resultados da avaliação são úteis

quando contribuem para decisões informadas,
esclarecem as opções de tomada de decisão,
identificam pontos fortes e fracos, e fornecem
lições aprendidas e recomendações para
melhorar programas, políticas e estratégias”.
(Manuel Rojas Buvinich)
105
19/05/2010
Quando a avaliação não é útil
Apesar do uso dos resultados de uma avaliação ser sua

grande razão de existir e um dos pressupostos básicos
que devem nortear todo o seu processo de elaboração,
estudos demonstram que na maioria das organizações
há um aproveitamento muito pequeno das informações
fornecidas em um relatório de avaliação.
Quando a avaliação não é útil

Algumas características das avaliações analisadas refletiram no
seu mal aproveitamento como instrumento de gestão:
A maioria das avaliações foram realizadas apenas para atender
a interesses dos financiadores, sendo a disseminação de seus
resultados bastante limitada dentro da organização gestora do
programa;
Os relatórios de avaliação eram muito longos, técnicos e de
difícil entendimento;
Algumas avaliações deixaram de analisar aspectos importantes
da execução do programa;
Muitos relatórios ficaram prontos depois que importantes
decisões já haviam sido tomadas.
(adaptado de Hourton et al., 2003)
106
19/05/2010
Boa comunicação de resultados
A comunicação dos resultados de uma avaliação pode ser

feita de forma oral ou escrita, mas deve sempre ser
simples, direta e livre de jargões.
A ênfase deve estar nos importantes resultados obtidos e

nas recomendações, sempre com o foco nos principais
clientes da avaliação, suas expectativas e necessidades
de informação.
Estrutura do Relatório de Avaliação

Capa – título do relatório, autores, instituições patrocinadoras/ participantes, lugar e data.
Índice – capítulos e sub-capítulos do relatório.
Créditos – agradecimento a todas pessoas e instituições que fizeram o estudo possível.
Resumo Executivo – apresentação do estudo e seus objetivos, metodologia adotada, principais
resultados encontrados, conclusões/ recomendações. Deve ter no máximo 4 páginas.
Introdução – contexto e antecedentes da avaliação: caracterização do problema, justificativa do
estudo, finalidade da avaliação, perguntas avaliativas, circunstâncias especiais.
Metodologia – desenho da avaliação: coleta e análise dos dados, limitações. Texto curto com maior
detalhamento nos anexos (cópias dos instrumentos utilizados, cálculo de tamanho de amostra,
etc.).
Resultados – principais resultados encontrados apresentados em gráficos e tabelas com breve
análise.
Conclusões – síntese dos dados encontrados apresentados de maneira a responder às perguntas
avaliativas.
Recomendações – prescrição do que deve ser feito a partir das conclusões do estudo. O nível de
detalhe das recomendações depende da finalidade da avaliação e do perfil dos seus clientes.
Referências Bibliográficas – identificação de todo o aporte bibliográfico que norteou a avaliação.
Anexos – instrumentos para coleta de dados utilizados, procedimentos metodológicos adotados,
dados adicionais obtidos ou com maior desagregação, outros documentos relevantes.
107
19/05/2010
PLANEJAMENTO,
MONITORAMENTO E
AVALIAÇÃO DE
PROJETOS SOCIAIS
Oficina ministrada para técnicos da Prefeitura Municipal de Curitiba - 2010
Referências Bibliográficas
Este material foi desenvolvido tendo como
base as seguintes obras e documentos
108
19/05/2010
ActKnowledge; Aspen Institute Roundtable on Community Change. (2003). Theory of
Change. Guided example: Project Superwomen. Disponível em
www.theoryofchange.org
Alberta Consultative Health Research Network. (2001-2002) .Evaluability Assessment.
Disponível em http://www.achrn.org
Almeida, Maria Cristina Salomão. (s.d.). Roteiro para elaboração de projeto.
Disponível em www.fibrj.com.br/projetos_sociais.htm
Bardach, Eugene. (2000). A practical guide for policy analysis: the eightfold path to
more effective problem solving. New York: Seven Bridges Press, LLC.
Borden, L.M.; Perkins, D.F. (1999). Assessing your collaboration: A self evaluation
tool. Journal of Extension, Vol.37, No.2.
Buvinich, Manuel Rojas. (1999). Ferramentas para monitoramento e avaliação de
programas e projetos sociais. Unicef.
Canada. Federal/Provincial/Territorial Committee of Officials for the
Federal/Provincial/Territorial Ministers Responsible for Seniors. The Seniors’ policy
handbook: a guide for developing and evaluating policies and programs for
seniors. Junho de 2009.
Chianca, Thomaz; Marino, Eduardo; Schiesari, Laura. (2001).Desenvolvendo a cultura
de avaliação em organizações da sociedade civil. São Paulo: Editora Global.
Curitiba. Prefeitura Municipal. (2002). Modelo colaborativo: Experiência e
aprendizados do desenvolvimento comunitário em Curitiba. Curitiba: Instituto
Municipal de Administração Pública.
Frank, F.; Smith, A. (2000). The partnership handbook. Escrito para Human
Resources Development Canada. Disponível em www.hrdc-
drhc.gc.ca/common/partnr.shtml
GETS .Grupo de Estudos do Terceiro Setor; United Way of Canada – Centraide
Canada. Facilitando oficinas: da teoria à prática. São Paulo, 2002.
109
19/05/2010
Hodges, S.; Nesman, T.; Hernandez, M. (1999). Promising practices: building
collaboration in systems of care. Systems of Care: Promising Practices in
Children’s Mental Health, 1998 Series, Volume VI. Washington, D.C.: Center for
Effective Collaboration and Practice, American Institutes for Research.
Höfling, Eloisa de Mattos. Estado e políticas (públicas) sociais. Cadernos Cedes, ano
XXI, nº 55, novembro/2001.
Hourton, Douglas et al. (2003). Evaluating capacity development: experiences from

research and development organizations around the world. IDRC.
Instituto do Banco Mundial. (s.d.). Introdução ao monitoramento &

avaliação:apostila do participante.
Instituto Ecoar para a Cidadania. (2010). Oficina de Futuro. Disponível em

www.ecoar.org.br/website/edu_oficina.asp
International Development Research Centre.Identifying the Intended Use(s) of an
Evaluation. Abril de 2004. Disponível em www.idrc.ca
_________. Identifying the Intended User(s) of an Evaluation. Março de 2004.
Disponível em www.idrc.ca
Marino, Eduardo. (2001). Avaliação: a mudança do paradigma. Artigo parte do livro
Desenvolvendo a Cultura da Avaliação em Organizações da Sociedade Civil. São
Paulo: Instituto Fonte
Marino, Eduardo; Cancellier, Everton L. P. de Lorenzi. (2004). Ciclo de vida de
projetos Sociais: um estudo dos projetos de Vitae – Apoio à Cultura, Educação
e Promoção Social . Artigo escrito para o Programa de Liderança para o
Desenvolvimento Local Sustentável no Nordeste.
McNamara, Carter. Basic Guide to Program Evaluation. (1999). Disponível em
www.mapnp.org
Neumann, Lycia Tramujas Vasconcellos; Neumann, Rogerio Arns. (2004).
Desenvolvimento comunitário baseado em talentos e recursos locais - ABCD.
São Paulo: Editora Global.
110
19/05/2010
Neumann, Lycia Tramujas Vasconcellos; Neumann, Rogerio Arns. (2004). Repensando
o investimento social: a importância do protagonismo comunitário. São Paulo:
Editora Global.
Osborne,D., & Gaebler, T. (1993). Reinventing Government: How the
Entrepreneurial Spirit is Transforming the Public Sector. New York: Plume.
Patton, Michael Quinn. (1997). Utilization-focused evaluation: the new century
text.Londres: Sage Publications.
_________. (2000). Utilization-focused evaluation in Africa. Training sessions
delivered to the Inaugural Conference of the African Evaluation Association.
Pereira, Elson Manoel. (2007). Políticas públicas: conceitos e condicionantes.
Disponível em http://www.alesc.sc.gov.br
Pogoda, Cristina Fedato; Pires, João Teixeir; Moretti, Telma. (s.d.). Avaliação de
resultados de programas e projetos sociais. Estudo de caso elaborado para o VI
SEMEAD.
Rodrigues, Maria Cecília Prates. (1998). Avaliação e monitoramento. Texto base para
a disciplina de Monitoramento e Avaliação ministrada no âmbito do curso de
Gerência de Programas Sociais, promovido pela FESP/ISAPE/CPG.
Rua, Maria das Graças. (2000). Avaliação de políticas e programas: notas
introdutórias. Mimeo.
São Paulo (Estado). Secretaria do Meio Ambiente. Coordenadoria de Planejamento
Ambiental Estratégico e Educação Ambiental. Manual para Elaboração,
Administração e Avaliação de Projetos Socioambientais. São Paulo: SMA /
CPLEA, 2005.
Schlithler. Célia Regina Belizia. (2004). Redes de desenvolvimento comunitário:
iniciativas para a transformação social. São Paulo: Editora Global.
Schuckar. Myriam. (2005). Captação de recursos para projetos sociais. Disponível
em www.usc.br/assecom/encontropsm1.ppt
Silva, Marcos José Pereira da. (2010). Elaboração de projetos sociais. Artigo
publicado na Revista Carta na Escola. Disponível em www.acaoeducativa.org.br.
111
19/05/2010
Stephanou, Luis. (s.d). Projetos sociais: importância para a sustentabilidade.
Disponível em www.me.org.br.
Stephanou, Luis; Muller, Lúcia Helena; Carvalho, Isabel Cristina de Moura. (2003). Guia
para a elaboração de projetos sociais. Porto Alegre: Editora Sinodal e Fundação
Luterana de Diaconia.
United Way of America. (1996). Measuring program outcomes: a practical approach.
Whitaker. Francisco (1993). Rede: uma estrutura alternativa de organização. Série
Procurando entender – Textos para discussão.
W.K. Kellogg Foundation. (2001). Logic Model Development Guide: Using Logic
Models to Bring Together Planning, Evaluation, & Action.
Worthen, Blaine. (2004). Avaliação de programas: concepções e práticas. São
Paulo: Editora Gente.
Wright, J.D. ; Rodal, A.B. (1997). Partnerships and Alliances. New Public Management
and Public Administration in Canada.
Contato:
LYCIA TRAMUJAS VASCONCELLOS NEUMANN

(41) 9674-7490
lycianeumann@gmail.com
112

Apostila To Monitor Amen To e Avaliacao de Projeto Sociais

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Apostila To Monitor Amen To e Avaliacao de Projeto Sociais

Transféré par

Droits d'auteur :

Formats disponibles

Planejamento, Monitoramento

e Avaliação de Projetos Sociais.

Carlos Homero Giacomini

Maria do Carmo A. de Oliveira

Elaine Rossi Ribeiro

Promover a troca de conhecimentos sobre teorias e

Levar os participantes a desenvolverem um olhar

Concepção e planejamento políticas e projetos

Elaboração, gestão e avaliação de projetos sociais

“O planejamento não diz respeito a decisões

O que se define por política?

Um curso ou método claro de ação, escolhido (pelo

Conjunto de princípios básicos e diretrizes a eles

Existem políticas que determinam o funcionamento

E políticas que determinam a atuação técnica da

Políticas públicas - conceitos

“É o Estado em ação: o Estado implantando um projeto

“Política Pública não é o mesmo que Decisão Política,

Existem 3 níveis de formulação de ação social:

(Armani, citado por Pogoda, Pires e Moretti, s.d.)

Programas e projetos tornam operacional uma política

Fases das Políticas Públicas

Elaboração - É a preparação para a tomada de decisão.

Passos críticos na elaboração de

3. Construa alternativas de ação

6. Reflita sobre as desvantagens

8. Conte sua história

Comece com uma definição clara e objetiva sobre o(s)

Isto lhe dará a razão para realizar todo este trabalho e

As primeiras definições do problema poderão ser revisadas

Dicas na definição do problema:

Quantifique se possível (mesmo que os números não sejam definitivos,

Definido o problema é hora de analisar o contexto no qual a

Nesta etapa são analisados “o que”, “o onde”, “o quando” e “o

“Evidências são informações que afetam as crenças das

Razões para buscar evidências:

O material coletado ajudará não só na melhor formulação do

Dicas na construção de alternativas:

4. Selecione critérios de avaliação

Um dos principais critérios é o quanto os impactos esperados

Outros critérios comumente usados são: viabilidade,

Nesta etapa é importante pensar em todos os potenciais

É a etapa mais difícil!

Procure ser o mais realista possível!

Perguntas para avaliar a potencial efetividade:

Critério 1 Critério 2 Critério 3

Alternativa 1 Resultado Resultado Resultado

Alternativa 2 Resultado Resultado Resultado

Alternativa 3 Resultado Resultado Resultado

6. Reflita sobre as desvantagens

A análise mais comum de vantagens x desvantagens é entre uso de

Ex.: Vale a pena gastar R$100.000/ mês para manter a biblioteca da

Mesmo que a decisão final não seja sua, se nesta etapa

Consulte importantes “stakeholders” para evitar futuras

8. Conte sua história

O teste do motorista de táxi

8. Conte sua história

Ao elaborar o relatório, tenha sempre em mente a audiência

Seja na forma escrita ou oral, a apresentação do relatório

Evite longas digressões e considerações de caráter filosófico.

Seja direto, objetivo e preciso no uso da linguagem.

Não caia na armadilha de descrever todas as etapas vividas

O que temos ao final deste processo?