Concepo e Avaliao de Projetos

Principais conceitos na Concepo de Projectos

A importncia do desenho e avaliao de programas:

A mudana das organizaes como processo de resposta s necessidades de mudanas

externas, ou seja:
- Introduzir novos processos
- Encontrar novos e melhores procedimentos e prticas de trabalho
- Quebrar velhos hbitos para criar uma organizao mais dinmica e flexvel
- Ser capaz de reagir efetivamente s ameaas do mercado
- Procurar novas formas de manter a competitividade
- Procurar novos horizontes

O que um Projeto?

Caractersticas de um Projeto:
Tem um objetivo especifico que pode ser claramente definido;
nico porque pouco provvel que seja repetido da mesma forma, com o mesmo
grupo e com os mesmos resultados;
focalizado no cliente e nas suas expectativas;
No um trabalho rotineiro mas inclui tarefas rotineiras;
constitudo por um conjunto de atividades que esto relacionadas pois contribuem
para um resultado desejvel;
Tem restries de tempo claramente definidas e acordadas, ou seja uma data para
entregar os resultados;
complexo porque o trabalho envolve pessoas de diferentes departamentos ou
mesmo locais;
Tem de ser flexvel de forma a adaptar-se s mudanas que surgem no processo de
trabalho;
Envolve riscos (o trabalho, as capacidades requeridas ou constrangimentos externos),
que devem ser geridos de forma a no prejudicar os resultados;
Tem restries nos custos que devero ser claramente definidos e compreendidos
para assegurar que o projeto tem viabilidade no tempo;
Constitui uma oportunidade nica para se aprender novas capacidades;
Promove uma forma de trabalhar diferente uma vez que tem um tempo associado ao
projeto;

1
 Desafia as linhas tradicionais de autoridade, o que pode ser percebido como ameaa
ao status quo;
No uma atividade continuada de melhoria de servios, uma vez que essas
atividades so responsabilidades inerentes a um trabalho e no tem fim.
No uma atividade de resoluo de problemas (imediata, rpida e a um custo
mnimo para manter ou restaurar a produo). Se for uma soluo descoberta a ser
aplicada a longo termo e que requeira o desenho de sistemas e equipamentos novos,
ento transforma-se num projeto.

! Definio Projeto: um conjunto de atividades, ligadas e que so desenvolvidas de

forma organizada, com o princpio e o fim claramente definido, com o qual se pretende
atingir resultados especficos de forma a satisfazer as necessidades de uma organizao.

!Definio - Subprojecto: um elemento chave de um projeto, usualmente, implica

um conjunto de fases relacionadas entre si com objetivos e um tempo de execuo
determinado.

! Diferenas Projeto & Subprojecto: (sai no exame)

Projeto:
Requer pelo menos duas pessoas de esforo num ano e envolve mais do que
uma pessoa;
Compreende subprojectos, fases, tarefas e sub tarefas;
No tem de estar diretamente relacionado com outro projeto ativo;
Pode fazer diretamente parte de um programa ativo e estar relacionado com
outros projetos.

Subprojecto:
Requer pelo menos uma pessoa de esforo num ano e envolve mais do que uma
pessoa;
Compreende fases, tarefas e sub tarefas;
Est diretamente relacionado com um projeto ativo;
No est diretamente relacionado com um programa ativo exceto como parte
daquele projeto.

! O que um programa?
Programa um conjunto de projetos interdependentes geridos de forma coordenada
que juntos daro os resultados esperados.
Um programa faz sempre parte de uma estratgia ou plano e a interdependncia entre
projetos uma propriedade integral de um programa.

2
 ! Ciclo de vida de um projeto:
Identificao da Oportunidade novo produto, novo sistema ou processo. Se for
considerada uma oportunidade vlida
Fase Zero: Seleo A oportunidade examinada em detalhe e sujeita a uma seleo
rigorosa pelo grupo que faz a proposta.
Fase Um: Definio o comeo do trabalho, com a definio de objetivos a partir das
necessidades ou problema/oportunidade identificada (O projeto relevante para as
necessidades locais prioritrias?)
Fase Dois: Planeamento Envolve o planeamento e o estabelecimento de uma
calendarizao realista tendo em considerao os constrangimentos existentes (O
projeto exequvel e conduz a benefcios sustentveis?)
Fase Trs: Execuo Envolve o desenvolvimento do trabalho depois de toda a gente
ter compreendido o plano. Controla-se o processo, assegura-se que o plano se adapta
s mudanas que ocorrem. Uma vez o trabalho realizado com sucesso (Os resultados
esto a ser atingidos e os recursos usados de forma eficiente e eficaz? Que correes
importa fazer?)
Fase Quatro: Avaliao e Fecho As atividades de follow-up so identificadas e o
processo de avaliao est completo (Os benefcios foram atingidos e so sustentveis?
O que se aprendeu com a experincia?)

Critrios de qualidade:
Ser relevante e dirigido aos problemas reais das comunidades;
Ser exequvel, no sentido em que os objetivos devem ser atingveis de forma realista,
tendo em conta os constrangimentos existentes na envolvente e/ou decorrentes das
capacidades
Apropriao pelas comunidades locais;
Benefcios gerados so sustentveis.

Nota: no adeso no um risco, inapropriao

Oportunidade do Projeto e Preparao Inicial

3
Oportunidades do projeto:
Necessidades sentidas (bottom-up)
Decises estratgicas (top-down)
Oportunidades (ex. fontes de financiamento)

O incio muitas vezes confuso

A direo pouco clara
Existem incertezas acerca do que requerido da parte das pessoas interessadas nos
resultados
As pessoas no tomam uma perspetiva holstica
Desconhece-se como se pode atingir alguns dos resultados
No se sabe como avaliar os custos efetivos
Falta de uma ideia clara, que possa ser definida, dos benefcios
Falta de informao sobre os recursos disponveis
Falta de uma ideia clara sobre o tempo que tomar

A definio do projeto
Uma clara definio do projeto essencial para o sucesso; grande parte dos projectos
(mais de 75%) falha como consequncia de uma definio pobre e pouco clara.

Definies essenciais:
Quem o promotor do projeto?
Quem o cliente do projeto?
Quem utilizar os resultados / beneficirios?
Quem so os stakeholders? E os parceiros?
- Qualquer pessoa interessada no programa, agora ou no futuro (ex. clientes)

Lista de Stakeholders:
Quem que est interessado neste programa, agora e no futuro?

Stakeholders chave:
Os clientes
Os utilizadores finais
O responsvel
Os membros da equipa
Potenciais interessados
Departamento financeiro
Departamento de imagem
Empresas / consultores
O pblico, etc.

4
Ouvir as vozes que devem ser ouvidas
Caso contrrio pode conduzir mais tarde a conflito, rutura e interferncia.
Todos os stakeholders devem ser consultados sobre os inputs para:
1) Se obter uma perspetiva ampla das necessidades e requisitos reais
2) Se saber o que atingvel em tempo realisticamente determinado

Quais so os constrangimentos?
Geralmente, no existem recursos, oramento nem tempo ilimitado para um projeto.
Temos 4 categorias de constrangimentos:
1) Programas j existentes (competio)
2) Financeiros (custo do projeto, custos de capital, materiais, custos dos recursos)
3) Tempo (de obteno dos resultados, o tempo critico em que os resultados so
necessrios)
4) Qualidade (especificaes e standards a serem conseguidos)

Dados necessrios:
Resultados esperados
Custo esperado
Tempo esperado
Potenciais benefcios (financeiros, para a organizao, clientes)
Potenciais riscos

Preparao inicial:
1. Definio do problema e da sua oportunidade (anlise do problema atual e potencial
no futuro)
2. Definio da soluo descrio concisa da soluo/resultados;
3. Alinhamento com a estratgia atual;
4. Informao sobre os benefcios para os clientes e a organizao;
5. Posio competitiva;
6. Sumrio financeiro anlise de custo-benefcio para um perodo de 3 ou 5 anos;
7. Tecnologia/estratgia/tcnica filosofia de desenvolvimento;
8. Recursos necessrios avaliao preliminar das pessoas e necessidades de
competncias;
9. Constrangimentos esperados;
10. Potenciais riscos;
11. Tempo esperado;
12. Implicaes legais.

Resumo do Programa:
Dar um ttulo ao programa que identifique os objetivos

5
 25/30 Palavras que descrevam o objetivo do programa, ou seja os resultados
esperados
Data de comeo e finalizao do programa
Identificar os outputs do programa
Benefcios do Programa os benefcios devem ser quantificados, medidos em termos
do retorno para o cliente, etc.
Estratgia do Programa definir linhas de sucesso, explorar alternativas, envolver o
cliente, etc.
Competncias requeridas no programa experincia especfica e capacidades
tcnicas.
Relao com outros programas / projetos ativos maior rentabilizao no tempo,
custos e realizao.
Custo do programa

6
 Do problema definio do problema
Estratgias de identificao de problemas:
Os programas de interveno social so desenvolvidos para servir as necessidades
das pessoas e para promover um desenvolvimento positivo.
- Como decidir que existe um problema /necessidade?
- Quem decide?
- Que informao deve ser recolhida para demonstrar esse problema?

Fontes de informao:
Para a identificao do problema, importante obter informao atravs de:
- Indicadores sociais / dados epidemiolgicos (dados objetivos)
- Avaliao de necessidades (utilizadores/ populao; informantes-chave; levantamento
sobre servios existentes)
- Identificao pelo cliente
- Anlise da literatura

I) Indicadores sociais:
Medir o mau funcionamento ou o bem-estar difcil.
Uma alternativa medir variveis tais como:
- O abandono escolar
- Criminalidade
- Taxa de mortalidade /morbilidade
- Carncias alimentares
- Etc.

INDICADORES SOCIAIS: qual a sua utilidade?

Conhecimento da Realidade em Anlise: Interveno + Polticas Sociais = Controlo do

Fenmeno Social / Sade

7
Operacionalizao do contexto com recurso a diversos indicadores:
V. Demogrficas - Trabalho, famlia, sade, rendimento, atividades lazer;
Diferenas demogrficas e bem-estar;
Componentes cognitivos (avaliao de crenas, satisfao, das expectativas,
autoeficcia) e afetivos.

Indiciadores Sociais:
Definio: Conjunto/classe de medidas habitualmente existentes nos arquivos pblicos
ou bases de dados e que devem ser conceptualizadas enquanto ndices de sade ou
bem-estar de uma comunidade em anlise.
Permitem avaliar o progresso em relao a objetivos societais e comunitrios servios
sociais, sade, educao -, ilustrando as condies de vida da sociedade.

Indicadores sociais
Exemplos:
Abuso a crianas
Crime
Economia
Sade Mental
Sade Fsica/Clnica

! EPIDEMIOLOGIA:
Definio: Cincia que se ocupa do estudo da distribuio e dos determinantes de uma
doena ou fenmeno social em populaes humanas.

Inicialmente direcionada para o estudo de doenas infeciosas, a partir de 1980 os seus

princpios metodolgicos passam a ser igualmente aplicados a questes relacionadas
com a promoo da sade, da educao do emprego etc., nomeadamente no estudo
de problemas como o suicdio, o homicdio e o mau trato e a morte de crianas (Jason,
1984).

EPIDEMIOLOGIA: qual a sua utilidade?

Objetivos:
- Conhecer a extenso do fenmeno;
- Identificar as suas causas a nvel individual, ambiental e societal;
- Prever a ocorrncia e a distribuio do fenmeno;
- Controlar a sua distribuio atravs da preveno de novos casos e tratamento dos
existentes.

! Indicadores:

8
- Rcios: Entre a probabilidade de contrair uma doena e a probabilidade de no contrair
a doena, num determinado perodo de tempo.
- Risco Relativo: comparao da probabilidade de contrair a doena entre grupos que
diferem em determinada caracterstica.
- Prevalncia: n de casos que existem numa comunidade em determinado ponto do
tempo.
- Incidncia: n de casos novos identificados num perodo de tempo.
- Mortalidade: Nmero de bitos causados por determinada doena, em relao ao
nmero de habitantes.
- Morbilidade: Taxa de portadores de determinada doena em relao populao
total estudada, em determinado local e em determinado momento.

EPIDEMIOLOGIA / INDICADORES SOCIAIS: qual a sua utilidade?

O desenvolvimento de programas de interveno/preveno eficazes implica o
adequado conhecimento da forma como o fenmeno social /sade se manifesta num
dado espao geogrfico (comunidade) e temporal em anlise.

I) Indicadores sociais / sade

VANTAGENS:
- Dados quantitativos caracterizao do fenmeno
- Estabelecer comparaes
- Avaliar o impacto da interveno (antes e depois)
CUIDADOS:
- Fonte da informao
- Necessria uma teoria que ligue o indicador a uma necessidade e a necessidade a uma
interveno
- No utilizar exclusivamente esta fonte de informao.

II) Avaliao de necessidades:

Definio de necessidade:
Discrepncia entre o estado atual e:
- Um ideal (ex. constituio)
- A norma (ex. leitura)
- Um mnimo (ex. consumo de frutas e vegetais)
- Um estado desejado (ex. felicidade)
- Um estado esperado (ex. conhecimentos adquiridos)
Necessidade que as pessoas devem refere-se ao ter para estar num estado
satisfatrio, tendo em conta o seu contexto.

9
A definio de necessidade no implica que as pessoas estejam conscientes dessa
necessidade.
As pessoas podem:
- No ter conscincia da necessidade
- Negar a necessidade
- Fazer avaliao incorreta da necessidade.

Necessidades dos utilizadores:

Uma forma direta de avaliar as necessidades de uma populao questionar as pessoas
sobre as suas necessidades. As suas opinies so relevantes para o planeamento de
solues. (user-centered approach)

As suas opinies podem ser aferidas atravs de:

1- Questionrios
2 - Grupos focais / entrevistas
3 - Fruns de discusso

!Cuidado: Apesar de recordarmos e criarmos mais facilmente empatia face a casos

concretos, importante validar estes dados com dados mais representativos.

1 QUESTIONRIO:
Vantagens:
- Permite estimar a magnitude das necessidades e grau de aceitao de possveis
solues
Cuidados:
- Centrar as questes nas necessidades e no tanto nas solues
- Questes abertas so recomendveis para identificar necessidades, ou pedir, por
exemplo, para comparar dois problemas existentes.

2 - GRUPOS FOCAIS
Vantagens:
- Maior reflexo sobre as opinies do que em entrevista individual
- Bom para avaliar solues / servios, i.e., adequao, desejabilidade
Cuidados:
- Incentivos para participao
- Moderador deve assegurar que a discusso se mantm no tema
- Participantes no se devem conhecer previamente

3 - FRUNS DE DISCUSSO
Vantagens:
- Acesso livre a todos os que queiram participar

10
- Custo reduzido
- Possibilidade de gerar novas ideias
Cuidados:
- No representatividade das pessoas que decidem participar
- Criar falsas expectativas
- Utilizao da sesso para outros propsitos
Utilizao de Informantes-chave:
Pessoas que conhecem bem a comunidade e podem identificar as necessidades:
mdicos de famlia, enfermeiros, polticos, padres, lderes associativos,
assistentes sociais.
Pedir referncia de outros informantes-chave amostra tipo bola de neve
Vantagens:
- Proximidade com a populao que tem a necessidade.
Cuidados:
- Estimativas enviesamento quanto ao nmero de casos
- Tendncia para conceptualizar o problema de acordo com a sua rea de competncia.

Servios existentes:
importante avaliar para:
- Avaliar as necessidades no supridas pelos servios existentes
- Assegurar que os novos servios / solues no vo duplicar os j existentes
Exemplo:
Antes de abrir um servio de sade mental importa fazer um levantamento de
organizaes pblicas e privadas que fornecem terapia/apoio a estas pessoas.
Ex: clnicas, hospitais, associaes, psiclogos escolares, mdicos de famlia, assistentes
sociais, psiquiatras, etc.

III) Definio pelo cliente

Vantagens:
- Relevncia do problema
Cuidados:
- Definies vagas / enviesadas do problema
- Necessria a reformulao do problema

Do problema definio do problema

Do problema definio do problema:

Problemas socias / sade so prevalentes, muitos dos quais tm uma dimenso
psicossocial.
Ex. A primeira causa de cancro do pulmo o tabagismo.
Porque que tanta gente continua a fumar, mesmo sabendo os riscos que corre?
11
Como que este conhecimento nos pode ajudar a desenhar intervenes mais eficazes?

DEFINIO FORMAL DO PROBLEMA:

Qual o problema
Porque um problema
Para quem um problema
Quem o grupo-alvo para interveno
Quais so as causas do problema
Aspetos-chave do problema (Aplicado? Concreto? Psicossocial? Passvel de ser
resolvido / aliviado?)

Reformulao do problema:

1. Muitos dos problemas carecem de definio clara:

- No sendo muito claro o que o problema (um em cada sete estudantes universitrios
abandonam a universidade),
- Ou como devem ser trabalhados (a policia quer mais agentes de minorias tnicas).
2. Tem os de avaliar e esclarecer sobre a validade da perspetiva do cliente e as razes
da definio do problema de determinada maneira.
3. O problema definido de forma detalhada pode revelar que o problema real pode ser
diferente do definido inicialmente ou que no existe problema nenhum.
4. Ao reformular o problema pode concluir-se que as solues no passam pela
psicologia social.
5. Se existir uma dimenso clara da psicologia social no problema tem de se encontrar
uma teoria ou paradigma apropriado para o investigar.

Importncia de uma boa definio do problema:

- Permite perceber o que precisa de ser explicado, sugerindo literatura especfica
- mais fcil passar para a fase seguinte (desenvolvimento e teste do modelo
explicativo)
- Se o problema no bem definido, provvel que a interveno falhe. (ex.: aparelhos
para exerccio fsico).

1) Qual o problema?
Os residentes desta freguesia no so ambientalmente conscientes-- Chegar a uma
definio precisa do problema.
D pistas sobre as causas e origens do problema; manter abertura para outras causas
/ origens.

12
 Por vezes necessria uma reformulao do problema, dentro dos interesses do
cliente, persuadindo-o a adotar uma nova perspetiva; em casos extremos, pode haver
necessidade de renunciar o trabalho.

2) Porque um problema?
Como que o problema se expressa? Quais so as suas consequncias? O que as torna
problemticas?
Quando que apareceu?
1) Pode revelar que afinal no existe problema
2) Revela quando que o problema se tornou saliente / definido como problema
3) Porque que a severidade se agravou
Escrutnio permite ir alm das causas mais imediatas e perceber outras causas mais
profundas.

3) Para quem um problema?

Apenas para o cliente ou outras pessoas tambm?
Ser que percecionam o problema da mesma maneira?
Se o problema definido de forma diferente pelas vrias partes, tem de se trabalhar
primeiro para chegar a uma viso consensual do problema.

4) Causas do problema
O que parece causar o problema? Como que estas causas afetam o problema?
Causas distais vs. Causas proximais
Permite estabelecer um modelo causal do problema que essencial para o desenho
do programa de interveno.

5) Grupo-alvo
Quem tem de ser convencido da existncia de um problema?
De quem necessria cooperao para o problema ser resolvido?
Importante para a definio de solues / estratgias (ex. nvel de literacia)

6) Aspetos essenciais do problema:

PROBLEMA APLICADO?
- Problemas que requerem interveno
PROBLEMA CONCRETO?
- Problema deve ser operacionalizado e definido o mais especificamente possvel (ex. o
que entendido por bullying?)
- Definir o tipo de comportamentos que se pretende modificar e pensar como medi-
los.
PROBLEMA PSICOSSOCIAL?

13
- As causas so (essencialmente) psicossociais? Ou so econmicas/polticas
/tecnolgicas?
- Em alguns casos, a perspetiva psicossocial pode ser interessante, mesmo quando
existem outras. Trabalho em equipa/multidisciplinar.
PODE SER RESOLVIDO / ALIVIADO?
- Anlise de viabilidade de diferentes solues
- Soluo mais eficaz nem sempre a que o cliente deseja
- Solues devem ser adequadas de um ponto de vista tico.
- Solues teoricamente mais eficazes nem sempre so passveis de serem colocadas em
prtica.

14
 Conceptualizao do problema e explicaes
baseadas na teoria

Definio do Problema:

Especificao da varivel de resultado.

Varivel de resultado = varivel que se pretende mudar e que deve ser definida em
termos da situao final desejada (ex.: tolerncia em relao a agentes policiais de
grupos minoritrios).
Desenvolver e testar o modelo de processo.

Normalmente o problema definido a um nvel macro (poluio ambiental, crime

armado, incidncia de cancro da mama).
Em muitos casos estes problemas a nvel macro so o ponto de partida para uma
interveno.
Os Psiclogos s podem afetar estes problemas de uma forma indireta, atravs da
introduo de mudanas num conjunto especfico de comportamentos, atitudes e
sentimentos especficos dos indivduos.

Num primeiro momento prefervel ter-se s uma varivel de resultado:

1) As variveis podem estar to relacionadas que a mudana num facto pode
automaticamente exercer mudana noutro facto (ex.: alimentao saudvel as
atitudes e comportamentos esto muitas vezes relacionados, ento, varivel
preferncia por comida saudvel).
2) Quando as variveis de resultado no esto diretamente relacionadas, muitas vezes
porque elas tm histrias ontogenticas diferentes e ento requerem diferentes
explicaes e intervenes.

Requisitos da varivel resultado:

1) Tem de ser relevante para o problema

- Deve decorrer, de forma lgica, da definio do problema.
- Dever refletir a situao desejada (ex. menor rotatividade de agentes; maior adeso
dieta mediterrnica)

2) Tem de ser especfica e concreta

- Deve ser descrita de forma especfica e concreta.
Ex: diminuio de comportamentos antissociais vandalismo? No deitar lixo no cho?
15
- importante, pois defini-la de forma vaga torna difcil desenvolver o programa e avali-
lo.

3) Tem de ser contnua

- A varivel deve ser definida de forma quantitativa (frequncia; intensidade). Duas

razes:
- Mais fcil gerar explicaes para o problema e descrever o modelo causal (ex.
frequncia do uso do carro ou comboio vs. escolha do meio de transporte)
- Ajuda a avaliar o sucesso do programa de interveno
- Quando no possvel, a varivel de resultado dever ser binria e o sucesso da
interveno ser medido em termos do nmero ou percentagem de participantes que
mudaram.

Conceptualizao do problema e racional terico

Conceptualizao terica:
A conceptualizao do problema e a compreenso das suas causas baseando-nos na
teoria e na evidncia emprica complexa e requer tempo.
No entanto, no o fazer pode implicar uma viso redutora do problema e ao
insucesso da interveno.
A interveno deve ser sustentada teoricamente e baseada na evidncia.

Explicaes para o problema:

I) A FASE DIVERGENTE:
Gerar o mximo de explicaes possvel e identificar as causas relevantes do
problema.
Validade cientfica interessa pouco; mais importante ser exaustivo.
O foco no que poder contribuir para diferenas na varivel de resultado.
Trs mtodos:
1. Tcnicas de associao-livre
2. Tcnicas empricas entrevistas ou observaes
3. Reviso de literatura

1. Associao livre
A associao livre pode levar de uma explicao a outra e h que distinguir entre
diferentes tcnicas de associao: associao ao problema, associao ao conceito, e
tomada de perspetiva.
a) Associao ao problema

16
A melhor forma comear pelo problema, ex.: grande nmero de acidentes causados
por jovens condutores do sexo masculino. O que pode explicar o problema?
b) Associao ao conceito
Olhar para fenmenos que podem ser conceptualmente semelhantes ao problema que
est a ser investigado. Por ex.: a conduo perigosa podem ser conceptualizada em
termos de risco, estatuto, otimismo, responsabilidade e normas sociais.
c) Tomada de perspetiva
Olhar para o problema segundo a perspetiva de diferentes intervenientes.
Primeiro, definir quais os indivduos que podero estar envolvidos no problema, e
depois colocarmo-nos na sua perspetiva.

2. Tcnicas empricas
Entrevistas: As entrevistas, nesta fase, tm uma natureza diferente das anteriores e
devem ser mais especficas e focar-se no porqu.
Observaes: Estruturadas, com base em instrumentos, como grelhas de observao
(hetero-observaes) ou dirios (auto-observaes).

3. Reviso de literatura
Estratgias indutivas bottom-up
a) A estratgia do tpico;
b) A estratgia conceptual;
Estratgia dedutiva top-down
c) Teorias gerais da Psicologia Social

A reviso deve ser, o mais possvel, sistemtica:

1. Definir bem a questo a que se quer responder
2. Estabelecer critrios de incluso e excluso
3. Estabelecer estratgia de pesquisa (ex. que bases de dados?)
4. Avaliar a qualidade dos dados a partir do design do estudo (ex. correlacional,
experimental, meta-anlise inferncias de causalidade).

II) A FASE CONVERGENTE

Reduo do N de Explicaes - Nesta fase pretende-se que s as explicaes
plausveis se mantenham.

Existem trs etapas nesta fase:

a) O n de explicaes reduzido atravs da sua redundncia e relevncia
(ex. Jovens condutores arriscam mais/otimismo irrealista)
b) A validade terica de cada uma delas testada
(ex. Otimismo irrealista em pessoas mais velhas)
c) Descartar explicaes no plausveis

17
(ex. Reciclagem normas vs. falta de conhecimento)

Anlise do problema: Explicaes baseadas na teoria:

1. Especificar a varivel resultado (comportamento, atitude ou emoo). Assegurar que

seja relevante, especifica, concreta e que possa ser descrita em termos contnuos. Focar
numa varivel de resultado de cada vez.
2. Tentar gerar explicaes atravs de tcnicas de associao. No se pode ser muito
crtico nesta fase. Gerar o nmero mximo de explicaes possvel.
3. Tentar encontrar as causas do problema. Perguntas como Porque que isto
acontece? o que que pensas que causa isto? Quem o responsvel? podem
tornar o processo mais claro. Quando possvel fazer observaes.
4. Tentar explicar o problema com base em teorias. Usar a abordagem de tpico e
conceptual, ou a teoria geral, olhando para as teorias da psicologia social.
5. Reduzir o n de explicaes atravs de:
- Combinar explicaes redundantes e eliminar as explicaes irrelevantes;
- Perceber a validade das explicaes baseadas na teoria
- Verificar a plausibilidade das explicaes.

Desenvolvimento do modelo terico de processo

Anlise do problema: Explicaes baseadas na teoria

A utilizao de teorias fundamental para evitar o insucesso de intervenes mal

desenhadas ou mal implementadas.
Para dar resposta aos problemas reais de sade pblica, todo o planeamento deve ser
orientado pela definio do problema e fazer uso de diversas fontes para a sua
explicao:
- Uma ou mais teorias
- Evidncia emprica (estudos, mas tambm a opinio e experincia de pessoas da
comunidade e tcnicos envolvidos)
- Novos dados do problema (ex. avaliao de necessidades)

O que um modelo de processo?

Um modelo de processo uma representao visual das variveis explicativas da
varivel resultado e das suas inter-relaes.
Cada varivel representada por um retngulo e as relaes com as outras variveis
so expressas atravs de setas com um sinal (-) ou (+), de acordo com a natureza da
relao entre as variveis.

18
 Permite ter uma viso estruturada do problema e identificar mais facilmente os alvos
da interveno.

Tipos de efeitos
Efeitos diretos: a variao numa varivel afeta diretamente uma outra (ex. andar com
preservativos na mala/carteira afeta diretamente o seu uso)
Efeitos indiretos (mediados): uma varivel afeta outra atravs de uma varivel
mediadora (ex. a inteno comportamental afeta o uso do preservativo atravs de
comportamentos preparatrios, como andar com preservativo)
Efeitos moderados: o efeito de uma varivel sobre outra afetado
(potenciado ou reduzido) pelo efeito de uma varivel moderadora (ex. o efeito da
atitude positiva na inteno comportamental diminui com o aumento da durao da
relao).

11 Regras para o desenvolvimento de um modelo de processo:

1. Fazer uma lista de possveis explicaes e das variveis envolvidas;
2. Assegurar que todas as variveis so da psicologia social / psicologia da sade, e que
so especficas, concretas e continuas;
3. Assegurar que estas variveis afetam comportamentos, crenas, atitudes ou
motivaes;
4. Desenhar a varivel de resultado no lado direito de um modelo de processo;
5. Mover do lado direito para o lado esquerdo do modelo e perguntar quais as variveis
que influenciam a varivel de resultado;
6. Colocar as ligaes entre variveis (direo) e o sinal da relao (+ ou -);
7. Ter a certeza que a relao entre as variveis no remota; Se assim for colocar uma
varivel mediadora;
8. Se surgirem novas variveis pensar acerca dos seus efeitos (diretos ou indiretos) para
reforarem efeitos noutras variveis do modelo;
9. Quando j tivermos as vrias variveis que influenciam a varivel de resultado,
trabalhar cada uma delas em detalhe e considerar as relaes entre elas, colocar uma
linha entre elas;
10. Na prtica, um modelo de processo no dever conter mais do que 10 variveis
(sem a de resultado) para que seja fazvel. O modelo deve ser parcimonioso e ao mesmo
tempo ter detalhe suficiente acerca de cada uma das explicaes;
11. Para desenvolver um modelo prtico no deve haver muitas etapas entre as
variveis de resultado e as variveis mais distais. O objetivo ter no mximo 4 etapas
para o modelo poder ser manejvel.

Testar o modelo de processo

H que especificar a fora e direo da relao entre as variveis de um modelo,
atravs da evidncia emprica descrita na literatura. As variveis com uma relao mais

19
forte sero as mais teis pois levam a uma mudana significativa nas variveis que
influenciam.
necessrio procurar investigao relevante com base nas estratgias de tpico,
conceptual e teorias gerais. No fcil:
1) Porque nem toda a investigao est publicada, sobretudo descrevendo efeitos nulos.
2) Nem toda a investigao publicada tem a mesma relevncia e qualidade.
3) Diversos artigos cientficos podem contradizer-se nos seus resultados e concluses,
da a importncia das meta-anlises.

Dimenso do efeito: Correlaes

As medidas de correlao avaliam a intensidade e o sentido da relao entre duas
variveis. Permitem avaliar a dimenso do efeito pela varincia explicada.
Os coeficientes de correlao variam entre r= -1 e r= 1. A intensidade da relao dada
pelo valor do coeficiente (em mdulo) e o sentido pelo sinal.

Cohen & Holliday (1982):

<0,19 correlao muito baixa
0,20-0,39 correlao baixa
0,40-0,69 correlao moderada
0,70-0,89 correlao alta
0,90-1,00 correlao muito alta

Preparar o desenvolvimento da interveno

Que fatores sero alvos de interveno?
1 - Alterabilidade
2 - Tamanho do efeito

1 - Alterabilidade
Grau em que possvel alterar cada uma das variveis do modelo de processo.
H trs questes que podem ajudar a excluir fatores que so de difcil mudana:
1) Diz respeito a um trao de personalidade estvel?
2) Est profundamente relacionado com valores polticos ou religiosos?
3) Est relacionado com condies estveis do meio?

2 - Tamanho do efeito
Nem todos os fatores do modelo de processo tem um impacto igualmente forte na
varivel resultado e por isso temos de nos centrar naquelas que tm maior poder.
A forma mais adequada de ver o tamanho do efeito pela evidncia emprica mas
uma vez que nem sempre possvel existem vrias fontes de informao que podem
ajudar a estimar os efeitos.
- Experincia passada em situaes semelhantes

20
- Evidncia relacionada/sobre fatores semelhantes

21
 Modelo Lgico de Conceo e Avaliao de
Programas

O que um modelo lgico?

Um programa pode ser descrito como a inteno de transformar recursos especficos
(inputs) em certas atividades (processos) para produzirem os resultados esperados num
contexto especfico.
Um programa uma hiptese: se um programa for implementado, ento os resultados
esperados aparecero.
O modelo lgico apresenta uma descrio plausvel sobre como o programa funciona,
dentro de determinadas condies ambientais, para resolver o(s) problema(s)
identificados.

Modelo lgico bsico

Modelos podem assumir diversas formas (em tabela, narrativa, pictogrfica)

Por vezes h necessidade de rever o modelo lgico, ao longo da implementao

O que um Modelo Lgico?

- Modelo que sumaria os elementos-chave do programa:
(1) Recursos e outros inputs do programa;
(2) Atividades;
(3) Outputs do programa (produtos e servios a serem criados);
(4) Resultados intermdios e finais (resultados a curto, mdio e a longo prazo);
(5) Fatores externos que podem afetar o programa;
(6) Relaes de causa e efeito entre os elementos no modelo, ou seja, que atividades
levam a que resultados;
(7) Relaes de causa e efeito entre os fatores externos e os resultados do programa.

- Modelo que descreve como o programa se desenvolve, em que condies, com que
problemas (identificados) e porqu.

22
Para que serve um modelo lgico?
Conceptualizar e planear um programa de forma especfica.
Definir hipteses de forma a compreender as premissas subjacentes e criar as
estratgias para as testar.
Compreender as relaes causais e o papel do contexto.
Descrever os elementos do programa e comunicar.
Testar a teoria subjacente ao programa.
Desenhar, conduzir e controlar o processo de avaliao.
Evitar custos suprfluos e perigos de validao.
Identificar os constrangimentos e qualidades do programa.
Preparar e apresentar resultados e recomendaes.

Relevncia do modelo lgico:

-> nfase na prestao de contas, gesto pelos resultados, exigncias de qualidade
(Unio Europeia, a nvel governamental) -> Necessidade de comunicar o programa de
uma forma que torne claros e explcitos os seus objetivos (a curto, mdio e longo prazo)
e que demonstre como estes objetivos sero/ foram atingidos, atravs de indicadores.
-> Na Comunicao:
- Desenvolver entendimento comum entre stakeholders
- Explicar o programa a terceiros de forma concisa e inteligvel
-Compreenso das responsabilidades entre membros da equipa

Fases de desenvolvimento do modelo lgico:

1. Recolher informao relevante
2. Definio clara do problema e seu contexto
3. Definio dos elementos do modelo lgico
4. Desenho do modelo lgico
5. Verificao do modelo

Antes de desenvolver o modelo lgico

Desenvolvimento do modelo lgico como um processo. A equipa e responsveis pelo
programa devem estar envolvido, assim como outros stakeholders.
O programa deve ser desenhado por esta equipa depois de treino nas tcnicas do
modelo lgico.
Usar uma linguagem comum.
Ver os modelos lgicos como uma parte duma mudana cultural a longo prazo.
O modelo lgico um processo iterativo; introduzir mudanas necessrias em
funo de alteraes no programa e contexto.

Fases do modelo lgico

(1) Recolha de informao relevante
Realizar entrevistas a pessoas associadas ou externas ao programa.

23
 Recolher informao de diversas fontes documentais (planos estratgicos, relatrios,
avaliaes prvias, legislao e regulamentao).
Fazer reviso de literatura.

(2) Definio clara do problema e do seu contexto

Compreender o problema, quem est envolvido e que fatores o causam.
Definir as necessidades do grupo-alvo.
Definir todos os fatores que causam o problema.
Definir quais os fatores que vo ser alvo do programa e quais os fatores que vo ser
alvo de outros programas.
Chegar a acordo relativamente ao problema alvo da interveno/programa ou definir
prioridades nos objetivos.

(3) Definio dos elementos do modelo lgico

Categorizar a informao recolhida em colunas duma tabela (recursos, atividades,
outputs, clientes /stakeholders, resultados a curto, mdio, longo-prazo).
Verificar se a informao est correta e completa, de forma a haver sequncia lgica
entre os diversos elementos do modelo.
Fazer perguntas: como (dir-esq), porqu (esq dir), seento?
Para quem so as aes e quem as realiza?

Recursos humanos, financeiros, parceiros sociais e institucionais. A avaliao das

necessidades dos clientes um recurso essencial do programa.
Stakeholders - so as pessoas que tm um interesse especfico e claramente definido
no projeto.
Atividades todas as aes necessrias para produzir os outputs do programa.
Produtos / Outputs produtos, bens e servios desenvolvidos para os
utilizadores/clientes do programa (ex.: relatrios; tcnicas/ informao que possa ser
utilizada por outros elementos da equipa; materiais e ferramentas desenvolvidos; aes
de disseminao / comunicao).
Assegurar que cada output (SMART):
Especfico definido de forma clara e relaciona-se com os resultados
Mensurvel pode ser quantificado e apreciado em termos de qualidade
Atingvel com o contexto e capacidades disponveis
Realista plausvel e passvel de ser concretizado
Com Tempo limite

Resultados mudanas ou benefcios resultantes das atividades e outputs do programa

(ex.: aprendizagem de novos skills pelos professores, aplicao das novas competncias
na sala de aula e aumento da aprendizagem dos alunos - impacto a longo-prazo).

24
Fatores contextuais externos Variveis antecedentes (caractersticas dos clientes,
variveis geogrficas, fatores econmicos) e variveis intermdias (mudana de equipa,
novas leis, novos programas).

(4) Desenhar o modelo lgico

(5) Verificao do modelo lgico

4 questes para avaliao do modelo:
(a) O nvel de detalhe suficiente para que se compreendam os elementos do modelo
e as suas inter-relaes?
(b) A lgica do programa est completa? Esto contemplados todos os elementos?
(c) O programa lgico est fundamentado teoricamente? Os elementos tm uma
ligao lgica entre si?
(d) Esto todos os fatores contextuais externos identificados e a sua potencial influncia
descrita?

25
 Desenvolver a Interveno: O Canal, Mtodo e a
Estratgia

Desenvolvimento da interveno:
1. Selecionar um canal;
2. Escolher um mtodo;
3. Desenvolver estratgias.

1 - O canal
O canal a via atravs da qual conseguimos chegar ao grupo-alvo

Os canais variam segundo:

Simples (rtulo) ou complexo (interveno comunitria)
Tipo de comunicao (por exemplo, informao escrita vs. visual; uma mensagem
simples a um conjunto de argumentos complexos)
Elevada intensidade (terapia) ou baixa intensidade (sinais de informao).

Os canais tambm diferem no potencial grupo alvo:

Atingir todos os utilizadores do produto, ou uma parte da populao;
Efeito ao nvel dos individuais pequenos (sticker) ou elevados (terapia de grupo).

Os canais podem ter diferentes tipos de efeitos:

Um rtulo apropriado para aumentar o conhecimento das pessoas; aconselhamento
mais apropriado para mudar comportamentos complexos e crenas/atitudes mais
profundas.

O canal escolhido com base:

- Na informao acerca do grupo alvo
- Das variveis relevantes
- Dos mtodos
- Das estratgias.

Questes acerca dos canais a utilizar para chegar aos grupos-alvo:

1) O canal escolhido a forma mais eficaz de atingir o grupo-alvo?
2) A exposio atravs deste canal suficientemente forte para causar a mudana
pretendida?
3) O canal apropriado para o mtodo e estratgia pretendidos?
4) Qual o impacto de usar este canal? (i.e., Quantidade de pessoas que participam x
n das que mudam efetivamente aps utilizao deste canal).

26
Impacto de um canal:
1) O efeito do programa atravs de um canal pode ser baixo
Mas...
2) Chegar a muitas pessoas
Neste caso, o impacto da interveno pode ser elevado
Impacto = efeito x n pessoas expostas

2 - O mtodo
A maior parte dos mtodos so derivados do enquadramento terico.
A seleo do mtodo depende da tabela de balana. Para cada varivel dever ser
escolhido um mtodo de interveno que seja til (i.e., teoricamente sustentado) na sua
mudana.
Mtodos frequentemente utilizados:
A. Estabelecimento de objetivos
Estabelecer objetivos especficos e concretos muito importante. Os objetivos dirigem
a ateno das pessoas e o esforo, criam expectativas e do a oportunidade a feedback
sobre o cumprimento do objetivo. Dividir objetivos maiores em mais pequenos
(autoeficcia). Ex: perderei 5 kg em 3 meses
B. Apelo ao medo
O apelo ao medo pode ser eficaz na motivao de certos comportamentos, quando
acompanhada por uma componente de autoeficcia (Witte, 2000). Caso contrrio, pode
gerar defensividade.
C. Modelagem
A modelagem refere-se aprendizagem atravs da observao de outros. A modelagem
til para aprender diversos tipos de competncias.
Diferentes tipos de modelagem:
Modelo positivo (mostrar o que a pessoa deve fazer) ou Modelo negativo (mostrar o
que a pessoa no deve fazer) ou Combinao?
D. Aprendizagem ativa
A forma mais eficaz de aprender uma competncia tentar fazer por si prprio. Numa
interveno as pessoas podem ser estimuladas a praticar certas competncias e receber
feedback.
E. Comparao social
A comparao social informao sobre como os outros fazem pode afetar o nosso
humor e bem-estar.
F. Implementao de intenes
Inteno para realizar uma ao particular numa situao especfica. Escrever duas
linhas sobre as intenes ajuda no comportamento desejvel.
Ex: Quando tiver vontade de comer um chocolate, como antes um biscoito baixo em
calorias.

27
 G. Punio e reforo
Exemplo do tabaco
Reforo guardar o dinheiro que se poupa
Punio governo aumentar o preo do tabaco
As pessoas tambm podem auto reforar-se e punir-se.
H. Feedback
Feedback sobre o sucesso da mudana essencial. As pessoas sem feedback tm menor
motivao porque no sabem se fizeram progressos.
Ex: medio do colesterol/tenso arterial aps mudanas alimentares.

3 - Estratgias
Os mtodos tm de ser traduzidos em estratgias especficas. A estratgia a
interveno delineada para o grupo especfico.
Ex: Canal televiso
Mtodo modelagem
Estratgia idade e gnero do modelo, o que vai fazer / dizer
Para se planearem as estratgias, dever ser planeado um plano global da interveno,
especificando os mtodos, canais, o grupo-alvo e as variveis a serem alteradas.

Desenvolvimento de estratgias - Fase divergente:

Associao direta interveno baseadas em todos os tipos de fontes
(e.g., televiso, que fazem sentido, descritas na literatura como eficazes, ou que as
pessoas j experimentaram com bons resultados).
Abordagem do mtodo direto Esta abordagem consiste em recolher estratgias que
tm sido usadas em situaes semelhantes.
Estratgias de debilitao pensar em estratgias que podero no ter efeitos ou
efeitos indesejveis no problema, para evit-las e pode ajudar a pensar em estratgias
potencialmente eficazes.
Entrevistas entrevistar pessoas do grupo alvo pode gerar ideias de estratgias.
Insights da teoria no mtodo de estabelecimento de objetivos, a dificuldade do
objetivo crucial; objetivos estimulam a realizao quando so difceis e so um desafio,
mas ao mesmo tempo so alcanveis pela pessoa. (ex. 2 kgs em 2 meses/20 kgs em 2
meses)
Insights de investigao pessoas so menos defensivas a processar informao
ameaadora quando a sua autoestima aumentada. Mtodo de apelo ao medo
precedido de aumento da autoestima. (ver seco de mtodo de artigos ex. Reed &
Aspinwall,1998)

28
Seleo de estratgias - Fase Convergente:
A estratgia deve ter em conta a teoria subjacente. Por exemplo, no caso da
modelagem, a teoria especfica que o modelo deve ser similar ou relevante para a
pessoa do grupo alvo.
prefervel que a escolha da estratgia seja baseada em evidncia emprica de estudos
anteriores (preferencialmente estudos em contexto real). Se no existem e a
interveno muito dispendiosa, convm conduzirmos ns mesmos o teste emprico.

Desenvolvimento do programa e pr-teste

Construo do programa:
Uma vez delimitadas as estratgias, a interveno pode tomar forma.
Muitas vezes isto exige a colaborao estreita com outros profissionais como, por
exemplo, designers e artistas. Alguns conselhos importantes:
- Ser especfico: escrever o guio, escolher o tipo de letra, etc.
- Deve ser claro desde o incio o tipo de liberdade dada ao grfico ou ao artista
- Se forem includas mais do que uma estratgia, importante que em termos grficos
elas tenham alguma coisa em comum.

Pr-teste:
O pr teste assegura que o grupo-alvo atender e compreender a mensagem.
Exemplo: mensagem persuasiva.
Pode ser feita de vrias formas:
Entrevista Ler um folheto e avaliar as suas reaes, quo eficaz a informao, quo
realista, o que gostaram ou no no contedo.
Avaliao quantitativa resposta a um questionrio de resposta fechada acerca da
interveno.

Construo do programa e pr-teste:

Memria para verificar quais os aspetos da interveno que as pessoas do grupo alvo
recordam.
Observao pode ser feita a observao para monitorizar o movimento dos olhos e
verificar quais os aspetos do estmulo prendem mais a ateno. Site tempo e cliques
nas vrias ligaes.
Opinies de Experts
Com base na informao terica e os dados do pr-teste, podem fazer-se alguns
ajustes na interveno antes de ser implementada.

29
 Implementao do Programa

Fases de implementao:
O processo de implementao tem como objetivo principal assegurar que a
interveno est a ser aplicada como era pretendido.
O modelo de difuso da inovao de Rogers (1983) descreve 4 fases (ex.: folheto de
combate violncia domstica):
Fase da disseminao O mdico de famlia tem conscincia da existncia do folheto
sobre violncia domstica e discute com os colegas.
Fase da adopo Nesta fase, o mdico est motivado a usar a inovao e a dar o
folheto aos pacientes que suspeita serem vtimas de violncia.
Fase da implementao Dar aos pacientes designados.
Fase da continuao Prtica normal.

Via de implementao:
Para garantir uma implementao adequada, a via de implementao deve ser clara.
Desenvolvimento do mapa da interveno envolve trs passos:
1) Mapeamento dos atores: mostra quem so os atores envolvidos e as redes que
estabelecem entre si (ex. mdicos, Ordem, Hospitais, APAV).
2) Identificar as motivaes e as barreiras de cada actor: entrevistas.
3) Identificar polticas relevantes: verificar se existem leis ou polticas que possam
limitar a nossa interveno de algum modo (ex. pode haver uma poltica dos hospitais
contra a distribuio de panfletos por mdicos).

Plano de implementao do programa:

Uma vez estabelecida a via para a implementao, devem ser estabelecidos:
Objetivos de implementao: metas que devem ser atingidas pelos diferentes atores e
organizaes envolvidas em cada uma das fases de implementao (ex.: 80% dos
mdicos dever ter ouvido falar nos folhetos sobre violncia domstica e pelo menos
50% j distribui um nos dois meses subsequentes)
Plano de ao: especificar todas as aes necessrias para atingir os objetivos previstos
(e quem as realiza)
Suporte implementao: Contacto com os atores, com o objetivo de os informar e
motivar para a implementao da interveno (ex.: contacto via e-mail, telefone,
anncio em revistas profissionais, workshops, reunies.

INTERVENO

30
 Avaliao de Programas de Interveno Social

Glossrio na Avaliao de Programas

Estudo de Caso: descrio e anlise de um programa no seu contexto.
Comparao entre grupos: compara os resultados do grupo de participantes includos
no programa com um grupo de controlo.
Estudo do Custo - Beneficio: compara os custos do programa com os ganhos do
impacto do programa.
Desenho de Avaliao: especifica (1) um conjunto de questes de avaliao, (2) os
dados que sero recolhidos e anlises subjacentes para responder s questes de
avaliao, (3) os custos e tempo estimado para a avaliao, (4) como que a informao
obtida na avaliao ser utilizada.
Desenho experimental e quase-experimental
Avaliao pr e ps tratamento
Modelo lgico
Outcomes: mudanas nos clientes ou comunidades como resultado das atividades ou
outputs do programa.
Outputs: produtos e servios criados para os clientes do programa.
Processo de Avaliao: compara os inputs, atividades e outputs atuais com os
desejados.
Programa: inclui recursos e outros inputs, atividades do programa e outputs.
Stakeholder: indivduos ou grupos abrangidos pelo programa.

Avaliao de Programas

O que a avaliao de programas?

a recolha sistemtica de informao acerca das atividades, caractersticas e
resultados de forma a permitirem fazer julgamentos acerca do programa, melhor-lo,
aumentar a sua eficincia e tomar decises acerca de futura programao.
Tomada de deciso e melhoria da qualidade abordagem da avaliao focalizada na
utilizao (Patton, 1997) e no numa abordagem de avaliao geral.

Mtodos de Avaliao

Quatro aspetos especficos na gesto dos programas:

(A) A monitorizao contnua da qualidade do programa

(B) A avaliao da implementao
(C) A demonstrao da eficcia do programa
(D) Decises acerca das modificaes necessrias para aumentar a eficcia

31
Avaliao de Programas (importante!)

Dois componentes (Johnson & LaMontagne, 1994):

(1) A avaliao formativa/Implementao orientada para o aperfeioamento do

programa Os dados servem para intensificar a implementao do programa, resolver
problemas novos e assegurar que os participantes esto a atingir os resultados
esperados (Patton, 1997).
Ex: avaliar as decises relacionadas com os objetivos do programa para alterar ou
implementar mudanas (avaliao do processo).
Ou seja,
Monitorizar o processo

(2) A avaliao somatria orientada para o julgamento do programa a avaliao

focaliza-se no mrito, trabalho ou valor do programa. Abordagem que envolve a
definio de critrios e standards para determinar o impacto do programa nos clientes,
na comunidade, custo-eficincia e responsabilidade (Scriven, 1996).
Ou seja, ter em conta dois aspetos:
Determinar se o programa foi implementado como foi desenhado (fidelidade e
integridade das variveis independentes);
Analisar os resultados obtidos com o programa (atribuem-se s variveis
independentes?)

Mas existem mais modelos (Scriven, 1991; Owen & Rogers, 1999; Rossi et al, 1998)

(3) A avaliao de Processo orientada para examinar comparativamente os servios

criados e os programados.
(4) Avaliao descritiva orientada para a descrio detalhada dos programas, por isso a
sua implementao pode ser comparada e replicada.
(5) Avaliao da monitorizao da realizao analisa o sistema de medidas, o feedback
das operaes do programa e os resultados.
(6) Anlise da implementao de um sistema/servio depois de ter sido formulado e
implementado num determinado contexto.

Para que serve a avaliao?

Ajuda a desenhar os programas

Valida programas e os seus resultados
Gera informao que assegura uma implementao de programas bem-sucedida
Melhora as operaes do programa de forma continuada
Fornece feedback que guia as polticas de interveno social

32
Demonstra o valor do programa

Questes para a Avaliao (prvias)

Questes necessrias para agendar uma avaliao (Hatry, Winnie, & Fisk, 1981; Wholey,
2004)

1.Os avaliadores e os promotores esto de acordo em relao aos objetivos e critrios

de avaliao que vo ser usados?
2.Os objetivos do programa so realistas dado o programa desenhado, os recursos
existentes e as atividades disponveis?
3. Pode a avaliao ser feita em tempo til?
4. Esto os dados disponveis?
5. Quanto tempo demora a recolher os dados necessrios para responder s questes
levantadas? A informao pode ser obtida a um custo razovel?
6. Podem os resultados da avaliao influenciar as decises acerca do programa?
As decises so acerca da continuao, modificao ou fecho do programa?
O programa tem suporte suficiente de forma a que seja pouco provvel que acabe? Pode
haver mudana em funo da avaliao?
7. O programa merece ser avaliado?
O programa implica uma grande quantidade de recursos?
A realizao do programa alternativa (marginal)?
Existem problemas com os recursos do programa?
um programa piloto com potencial de expanso?

Etapas chave para a avaliao ser possvel

(1)Envolver os decisores polticos, responsveis e equipa

Avaliar as suas expectativas, confront-las com o programa real e explorar as
implicaes de possveis mudanas nos objetivos e atividades do programa.

(2) Clarificar, entre promotores, a ideia sobre a inteno do programa

Pode haver uma estratgia deliberada na descrio vaga dos programas.
Para que o programa possa ser avaliado:
Clarificar as relaes entre inputs, atividades e resultados dos diferentes intervenientes.
Clarificar os objetivos do programa, expectativas, relaes causais, necessidade de
informao, prioridades chave dos clientes, indicadores de realizao, tipos de evidncia
etc.

Usar duas fontes de informao:

33
(a)Documentao do programa (legal, estudos de avaliao, etc.)
(b) Entrevistas

Caso no haja, produzir dois tipos de produtos:

(a)Modelo lgico
(b) Lista de indicadores de realizao que podem servir para a avaliao
Os avaliadores no desenham o programa, eles recolhem dados (documentao
relevante e entrevistas) para analisarem as relaes do modelo pelos diferentes atores.
Asseguram que o desenho do modelo aceitvel para se comear a realizar uma
avaliao.

(3) Observar o programa

Estipular a possibilidade de medir o nvel de realizao do programa e a probabilidade
dos objetivos serem atingidos com vista a poder:
Planear e desenhar a avaliao.
Utilizar como fontes de informao:
Documentao
Informao dos promotores
Comparar os objetivos com os inputs, atividades e resultados atuais; identificar
problemas que inibem a realizao e identificar medidas de avaliao.

(4) Explorar desenhos de avaliao alternativos

Que dados vo ser recolhidos
Que anlises vo ser realizadas
Custos, Calendrio

(5) Acordo sobre as prioridades da avaliao e utilidade da informao obtida

(6) Acordar sobre mudanas no programa

A partir da anlise da informao recolhida nas 3 fases anteriores, examinam-se as
implicaes do que foi conseguido (aprendido) e exploram-se opes de mudana e de
melhoramentos no programa antes de este vir a ser avaliado.

Mtodos de Avaliao Continua

A monitorizao contnua da qualidade do programa

Medidas

34
Escalas globais so preenchidas pelos tcnicos, so rpidas e eficazes e so aplicadas
numa primeira fase e num contacto subsequente com todos os clientes; do uma
medida de mudana e de comparao;
Satisfao do cliente so preenchidas por email, telefone, entrevista ou contacto e
podem ser obtidas ao longo do tempo.
Apresentam alguns enviesamentos: incluir somente clientes satisfeitos ou insatisfeitos;
relatarem o que esperado; haver diferenas sistemticas em grupos iniciais

Questes:

a) Avaliaes feitas pelos tcnicos podem ser enviesadas

b) As medidas globais podem no evidenciar mudanas especficas nos clientes
c) Os resultados a longo termo podem no estar relacionados com mudanas obtidas no
servio
d) No haver grupo controle pode no evidenciar que as mudanas se devem ao
tratamento
e) As medidas do fim do programa podem confundir eficcia com durao do servio
f) A avaliao de qualidade com uma amostra pequena pode no representar
adequadamente os resultados da populao que recebeu o tratamento

Avaliao da Implementao (tambm deve ser realizada no grupo de controlo)

Abordagem das duas etapas para a avaliao da implementao:

(A) Modelo cronolgico do desenvolvimento de um programa (Berk & Rossi, 1999).

4 fases:
Fase 1 Avaliar as necessidades e a praticabilidade (necessidades do grupo, que projetos
foram implementados para dar resposta, quais as boas prticas na rea, que recursos
so necessrios, entre as alternativas, qual a melhor escolha?)
Fase 2 Avaliar qual o planeamento e o desenho do programa (qual a teoria do
programa para atingir os resultados esperados, o que foi necessrio fazer para tornar a
teoria eficaz, o contexto de implementao do programa suportou ou impediu o
desenho do programa, que aspetos do programa desenhado necessitam de modificao
para se atingirem os resultados, como se monitorizou?).
Fase 3 A criao do programa (o programa serviu o grupo, os clientes desistiram,
porqu, foi implementado como foi desenhado, produziu os produtos, tem qualidade,
resultados a curto termo, que obstculos?)
Fase 4 Melhorar o programa (atingiu objetivos e alvos, existem os resultados
esperados, existem resultados no esperados (negativos e positivos), acontecimentos

35
internos ou externos, foras e constrangimentos, o que que tem de melhorar, os
esforos resultaram?).

(B) Selecionar um conjunto de mtodos prticos para avaliar cada fase

Fase 1 Reviso de literatura
Entrevistas a experts sobre implementao de programas na rea
Fase 2 Modelo lgico do programa
Template do programa (racional, misso e objetivos, estrutura organizacional e plano
de implementao do programa).
Hierarquia de resultados (definiu uma teoria para o programa, traduziu uma teoria num
programa para poder analisar/relacionar os resultados com a teoria, selecionou
medidas, definiu resultados a curto, mdio e longo prazo).
Fase 3 Anlise de cobertura (aceitao, participao e seleo do grupo)
Anlise de componentes (relao entre as operaes do programa e os resultados para
cada componente do programa referncia, seleo, incluso, avaliao, tratamento e
follow-up)
Registo do programa (processos dos clientes e dados administrativos, formas de
atividade tipo, durao, intensidade, unidades de servio).
Estudo de caso (integra informao quantitativa e qualitativa, de vrias fontes e em
profundidade sobre a implementao do programa, o contexto organizacional e o meio
envolvente).
Fase 4 Modelo do servio criado (diagrama que descreve as atividades chave do
programa criadas para atingir os resultados positivos esperados).
Feedback do cliente (focus, papel e lpis, entrevistas sobre as expectativas e resultados
atingidos)

O sistema de medidas de realizao so ferramentas de avaliao descritivas que

complementam, informam e suportam metodologias de avaliao rigorosas.
Tipos de medida de realizao
Recursos
Outputs
Produtividade (produo de outputs por unidade de um recurso especifico; ex: o
numero de clientes atendidos por um psiclogo de orientao vocacional)
Eficincia Rcio do output por euros. Custo de um determinado output ou servio dado
a um cliente.
Qualidade do servio medida por indicadores do processo (ex: tempo de espera, n de
erros, queixas) mas tambm pode ser avaliado pela qualidade dos outputs.

36
Avaliao de Resultado

Outcomes.
Custo benefcio. Est relacionado com as medidas do custo dos resultados.
Satisfao do cliente. Pode estar relacionada com a qualidade e eficincia do servio,
mas dever ser uma medida independente.
Qualidade das medidas (medidas compreensveis e com significado, acionveis e
ajustadas ao tempo, centradas nos objetivos e que tenham em considerao o custo e
a praticabilidade)

A demonstrao da eficcia do programa

Usar resultados de investigao anterior
Usar informao sobre a mudana do cliente obtida de forma rotineira
Desenvolver e usar comparaes normativas
Isto envolve definir: a) a populao alvo; b) a modalidade de servio; c) a seleo da
amostra de clientes; d) o tempo da avaliao; e) os instrumentos de medida; f) as
pessoas que fazem a avaliao.
Ver as mdias e as varincias entre os grupos

Questes para o planeamento da avaliao de resultados

Selecionar o servio de comparao

Selecionar os sujeitos
Consentimento
Descrio da amostra
Descrio dos servios prestados
Seleo das variveis preditoras
Seleo das medidas do resultado
Anlise dos resultados
Feedback dos resultados e processo de tomada de deciso

Seleo do servio de comparao ter em conta:

A) a relevncia do objetivo da comparao; B) e a oportunidade de selecionar uma
amostra capaz, obtendo o numero de sujeitos pretendidos e limitar o enviesamento do
processo

A) Servio de comparao
1)Listar as opes
2)Identificar os objetivos do programa sobre as quais vo ser julgados e avaliar a
importncia desses objetivos

37
3)Avaliar a probabilidade de cada um dos servios tendo em considerao os objetivos
do programa

B) Seleo da amostra No se devem comparar muitos grupos (mais de trs muito)

(sai na frequncia)
O tamanho da amostra depende de dois fatores:
1)O tamanho do efeito
2)A variabilidade dos resultados intra grupos que esto a ser comparados. Quanto mais
pequena for a diferena no resultado entre as estratgias do servio e maior for a
varincia dos resultados entre clientes dum grupo maior a amostra tem de ser. Mnimo
20 sujeitos A pool de sujeitos dever ser trs vezes maior do que a amostra necessria

! Resumindo.Avaliao da Qualidade

Objetivo da avaliao de grau de qualidade:

Determinar a eficcia - medida em que as atividades planeadas foram realizadas e

conseguidos os resultados planeados de acordo com os requisitos iniciais;
Determinar a eficincia - relao entre os resultados obtidos e os recursos utilizados.

Assim, existem dois aspetos centrais na definio da qualidade de um produto/servio:

A nfase dada s necessidades dos clientes. De facto, considera-se que um

determinado produto/servio tem qualidade quando est apto para satisfazer as
necessidades dos seus utilizadores e clientes (Instituto Portugus da Qualidade, 2001).
Deve procurar-se identificar no s grupos de pessoas com necessidades especficas,
como a rede social e grupos de interessados no programa (stakeholders), mas tambm
as suas famlias ou as prprias organizaes em que opera (Fantova, 2002).

A nfase numa abordagem por processos isto , atividades que recebem inputs e os
convertem em outputs, acrescentando valor para o cliente. Cada organizao pode ser
decomposta nos seus vrios processos que funcionam como caixas dentro da caixa que
a organizao (Fantova, 2002, pp. 191). Cada processo deve ser pensado em termos
das suas vrias caractersticas especficas tais como, os recursos de que necessita, os
seus subprocessos, o produto especfico que produz, etc.

38
! A avaliao da qualidade pode abordar-se de dois modos:

(1) Programas internos, que os servios especficos desenvolvem para melhorar os

problemas que detetam;

(2) Programas externos que so desenvolvidos por rgos centrais da administrao

pblica ou por unidades de investigao que definem nveis timos de qualidade num
determinado sector, aumentam a homogeneidade dos critrios utilizados e promovem
a qualidade dos programas das vrias instituies desse setor (Suol, 2002).

39