AVALIAO

Aspectos tericos DA
e metodolgicos

Comeo de conversa...
A ideia de uma universidade que dialoga com o
social

Concepo marcada pelo interao dialgica

pertinente e permanente com os distintos grupos
humanos e sociais, criando canais de comunicao e
participao para o desenvolvimento do potencial
humano.
A universidade, seus saberes
e valores, se fazem socialmente
teis.
A investigao e a docncia
se nutrem da ao social- repensam
o currculo e os projetos de investigao.

O que se sabe sobre o

tema?

A instaurao de processos avaliativos da extenso

universitria, nos ltimos anos, indica a forte
tendncia
de uma atividade extencionista que
intenciona diagnosticar suas aes na sociedade.

H um espao descoberto para a avaliao dos

programas e projetos quanto aos seus efeitos e
impactos na comunidade interna e na sociedade.

Dados de 2004- pesquisa

Forproext

IPES que declararam possuir um sistema

de avaliao implantado

Aes
Programas
Projetos
Cursos
Prestao de servios
Eventos
Produtos acadmicos

Total F% (n=38)
29
76,32
33
86,84
32
84,21
13
34,21
20
52,63
15
39,47

Histrico da CPAE
1999 XV Encontro Nacional, Campo
Grande - criao do GT Avaliao
2001 Publicao: Avaliao
Nacional da Extenso Universitria
FORPROEX-MEC/SESu
( UFPR )
2001 Criao da CPAE

Quatro elementos da
avaliao

(I) a atribuio de sentido aos processos avaliativos,

(II) o uso de mtodos e tcnicas de investigao da
realidade,
(III) a tica dos processos e
(IV) a necessidade de estmulo ao desenvolvimento
de capacidade avaliativa nos projetos.

O que nos falta?

Sistematizar

A sistematizao de um
processo de avaliao
til
para
o
aperfeioamento
dos
projetos existentes,
Construir
diferentes
formas de divulgao
do que a extenso
realiza e produz.

Divulgar

O que nos falta?

Multidisciplinaridade

Como
quebrar a lgica da
disciplinarizao e dos processos
de produo descontextualizados?
Quanto
mais
multidisciplinares
forem os grupos, maiores so as
condies de anlise, interveno e
compreenso
dos
problemas
sociais.

A crena na transformao confere

a universidade um sentido para os
conhecimentos que constri e
recria, propiciando uma cincia
com conscincia.

Extenso e avaliao
Se a extenso no tem um processo avaliativo constante, como podemos valorla?
Como podemos propor a repetio de uma ao?
Como incorporamos as aes de extenso na imagem da universidade?
Como comprovamos que os recursos foram ou sero bem investidos?
Como convencer alunos, tcnicos e docentes a participar das aes? E a
comunidade externa?

Extenso e avaliao
A necessidade da avaliao da extenso
origina-se da sua prpria dimenso extramuros ou extra sala de aula os outros
dois processos de aprendizado e
formao de conhecimento ensino e
pesquisa so naturalmente avaliados de
forma constante, tanto interna, quanto
externamente.

Por um comeo...
Os propsitos devem estar claramente identificados:
O que se deseja conhecer?Que decises se pretende
tomar?
Deve-se definir o pessoal responsvel pelo projeto.
Deve-se identificar os
mtodos e tcnicas
a serem utilizados.

Primeiro movimento- vontade poltica

a.

b.
c.

d.

e.

Estabelecer o grau de pertinncia, idoneidade,

efetividade/eficcia e eficincia/rendimento de um
programa, projeto ou servio.
Determinar as razes dos xitos e fracassos.
Facilitar o processo de tomada de decises para
melhorar e/ou modificar o programa ou projeto.
Analisar outros objetivos que podem ser
alcanados.
Resultar em uma cultura organizacional que preze a
melhoria continuada.

Definindo avaliao

A avaliao uma forma de pesquisa social

aplicada, sistemtica, planejada e dirigida; destinada
a identificar, obter e proporcionar de maneira vlida e
confivel dados e informao suficiente e relevante
para apoiar um juzo sobre o mrito e o valor dos
diferentes componentes de um programa... de forma
tal que sirva de base ou guia para uma tomada de
decises racional e inteligente entre cursos de
ao..., (Aguilar e Ander-Egg, p. 31-32).

Avaliao: em busca de um
sentido

O melhor sentido da avaliao que seja utilizada

como meio de melhorar os projetos existentes,
aprimorar o conhecimento sobre sua execuo e
contribuir para seu planejamento futuro, tendo como
pano de fundo sua contribuio aos objetivos
institucionais.

Projetos?

At que ponto a extenso trabalha com projetos no

sentido da experimentao e aprendizagem
contnua?
Projeto um empreendimento com objetivo
identificvel, que consome recursos e opera sob
presso de prazos,custos e qualidade( Kerzner,
2002).Se no podemos considerar nossa ao como
projetos ...fica difcil pensar na
avaliao.

Avaliar , acompanhar,
monitorar
O planejado foi realizado?
O monitoramento uma avaliao contnua e faz
parte integral do gerenciamento
do projeto.
-O monitoramento diz respeito
a observao regular e sistemtica do
desenvolvimento das atividades .
-a avaliao analisa criticamente o andamento do
projetos segundo seus objetivos, segundo as
informaes obtidas pelo MONITORAMENTO.

Avaliar , acompanhar,
monitorar
A avaliao conduzida
periodicamente tanto pela equipe do
projeto quanto pelos beneficirios e
com a ajuda de equipes externas.
Um sistema de monitoramento
requer a adoo de indicadores.
Indicador - O que demonstra a,
sinaliza a evoluo, o avano rumo
aos objetivos, as metas?

Avaliao: para qu???

Um processo de avaliao, para ter
sucesso, deve contar com a participao
efetiva dos avaliados.
Mas quem gosta de ser avaliado?
A avaliao considerada
Punitiva
Investigativa
Comparativa

Macro- indicadores

Eficincia quais os
resultado com menor
dispndio de recursos?

Eficcia- quais os resultados

alcanados com os meios
sob controle?

Efetividade- quais resultados

exitosos sob condies reais
no controladas?.

Impacto- quais resultados

foram mantidos ?

Princpios gerais

Definidos com preciso,

Consistentes,
Especficos,
Fceis de coletar,
Mostrar resultados materiais.

Conceitos-chave

Eficincia - refere-se rentabilidade econmica que,

em alguns casos, deve ser considerada dentro da
avaliao. Diz respeito ao custo do projeto em relao
aos resultados obtidos.
Eficcia, analisa-se at que ponto esto sendo
alcanados os resultados previstos e mesmo se os
resultados previstos so pertinentes

Exemplo:
Eficincia

Eficcia

Ex: o projeto foi eficiente pois em 3 meses atendeu 25

pessoas com cinco estudantes a um desembolso de
R$ 250, o que significa 5 pessoas por estudante, R$
10 por pessoa, mdia de 8,33 pessoas/ms; o projeto
no foi eficaz, pois em 60% das pessoas o nvel de
alfabetizao no foi suficiente para uma leitura de
um texto de 10 linhas em letra cursiva

Eficincia

Revela o grau de utilizao de recursos

Quantas horas?
Quantas salas?
Quantas cpias?
Quantas pessoas?
Quantas viagens, almoos, dirias?
Quanto custou?
Quanto rendeu?

Eficcia
Indicadores de eficcia

1. Sistema gerencial

2. Processo de divulgao e
informao

3. Processos de seleo de
agentes implementadores e
beneficirios
4. Sistema operacionalfinanciamento, gasto, proviso dos
recursos materiais
6. Processos de monitoramento e
avaliao interna

Como assim?

Capacidade
de
implementar
decises
Diversidade de canais, suficincia
e qualidade das mensagens
% de publico atingido, agilidade de
fluxo
Suficincia dos recursos, prazos e
fluxos qualidade da infra-estrutura,
material de apoio
Regularidade,
abrangncia
e
agilidade na identificao dos
desvios e incorrees, agilidade
para recomendar correes..

Indicadores de impacto/
efetividade

Efetividade

Como assim?

Impactosvariaes
mudanas na realidade

Efeitos sociais opinio e

satisfao dos atores

Efeitos
institucionais
sustentabilidade
reprodutibilidade

Taxas de crescimento de um
fenmeno, intensidade da
mudana
Avaliao do atores
Nveis
de
aprendizagem
institucional,
inovaes,
autonomia, transferncia de
metodologia,
institucionalizao
dos
processos.

Mais conceitos

Efetividade se refere ao resultado mais imediato

provocado pela interveno. Fizemos o que tinha que
ser feita?

Impacto se refere s consequncias ou aos produtos

finais que resultam, direta ou indiretamente, de uma
interveno e para os quais se pode atribuir um valor
substantivo ou objetivo.

Impacto

a anlise das mudanas duradouras ou

significativas, previstas ou no, na vida dos
indivduos, grupos familiares ou comunidades,
ocasionadas por determinada ao ou srie de aes,
decorrente de uma poltica, projeto social ou
programa. ( DRAIBE, 2001)

Impacto

O impacto se reflete nas mudanas na cultura ... a

permanncia dos novos hbitos e tambm a
expanso dos efeitos imediatos em espaos
colaterais que se verifica a mdio e longo prazos.
Lembramos que a avaliao de impacto no trivial.
H muita dificuldade de atribuio do impacto a um
determinado Programa ou Projeto pois, no mundo
social/relacional h inmeras fontes intervenientes
simultaneamente.

Quando avaliar?

Ex ante
Consiste na anlise da relevncia e viabilidade
poltica, tcnica , financeira e institucional para que
se possa decidir se o projeto deve ou no ser
implementado.

Qual o cenrio atual?

Ex-ante em extenso

Realiza-se antes de iniciar um programa ou projeto.

Tem o foco na formulao, ou seja, verifica o
cumprimento das condies requeridas para a
implementao do projeto;
Permite ajustar a formulao do programa ou projeto,
produzindo melhorias ainda no desenho;
Pontos a serem analisados: pertinncia (se responde
ao que se prope); coerncia interna (entre recursos,
objetivos, atividades, etc); factibilidade (se esto dadas
as condies no contexto para o desenvolvimento do
projeto);
realizada por algum externo ao programa ou projeto.

Quando avaliar?

Durante a execuo
Enfocando seus produtos, eficcia e repercusso.

At que ponto a proposta inicial est sendo cumprida?

Quais aes corretivas podem ser tomadas?

Quando avaliar?
Ex post
Ao final do projeto dimensiona sua eficcia, eficincia e
impacto.

Que lies extramos?

Sntese

Avaliao ex-ante- O projeto deve ser

implementado?
Monitoramento- Como est o processo?
Avaliao ex-post - Quais foram os resultados?

Tipos de avaliao

Externa(No incide sobre a extenso)

Interna( A avaliao interna realizada por tcnicos da
instituio mas independentes da unidade de
implementao, processo de reviso qualitativa,
realizado dentro de uma instituio para seu prprio
fim/uso (com ou sem o envolvimento de pares
externos).
mista
auto-avaliao- a auto-avaliao , necessariamente,
realizada por quem est directamente envolvido na
gesto e implementao do programa

Av. Externa e Interna

Av. Externa

- uma avaliao externa

nunca ter condies de
perceber e compreender
todos os contextos da aco,
ser sempre superficial,
situar-se- sempre nas
margens das atividades
Ser sobretudo uma
avaliao ao servio do
controle e da regulao

Av. Interna

Quem quer uma avaliao

ao servio da
compreenso, da entreajuda, da formao, da
melhoria e do
desenvolvimento
profissional defende uma
avaliao interna.

Processos e conversas
difceis

Quem deve fazer?

O coordenador da ao
Por qu? Para saber o esforo dispendido na ao,
para indicar o retorno do investimento, para
qualificar os recursos utilizados, indicar a
necessidade de substituio ou aquisio de novos
equipamentos ou servios...
Por qu? Para demonstrar a eficincia da PrReitoria de Extenso no atendimento das demandas
Far de boa vontade? No espere um sorriso
sincero.

Processos e conversas
difceis
Quem deve fazer?
A Pr-Reitoria de Extenso
Por qu? Para saber os recursos envolvidos na ao,
para verificar o retorno do investimento, para identificar
a demanda do pblico, para qualificar os recursos
utilizados, indicar a necessidade de substituio ou
aquisio de novos equipamentos ou servios...
Por qu? Para demonstrar a eficincia da Pr-Reitoria
de Extenso no atendimento das demandas
Far de boa vontade? Normalmente, sim,
mas ser que saber fazer????

Como se pode fazer?

O coordenador de extenso
Dever manter os registros da utilizao dos
recursos, do recebimento dos inputs solicitados, das
horas dedicadas ao, das razes de falha e dos
motivos de sucesso
Uma dica til: registro da forma de divulgao da
ao, dos motivos que levaram o pblico a buscar a
ao.

Como se pode fazer?

A Pr-Reitoria

Dever manter os registros da real utilizao

dos recursos solicitados, da entrega dos
inputs solicitados, das horas alocadas ao
pelo coordenador e equipe, das razes de
falha e dos motivos de sucesso da atitude da
Pr-Reitoria
Uma dica til: registro da forma de
divulgao da ao por parte da Pr-Reitoria,
um clipping

Como se pode fazer?

A partir de formulrios de ao bem construdos

A partir de roteiros de relatrios bem construdos
A partir de auditorias
A partir de entrevistas
A partir de sistemas de registro de aes concebidos
a partir da avaliao

Fala srio!

O Coordenador da ao NO faz essa avaliao de

forma espontnea... Se for forado a faz-la, por
conta de Resolues, o resultado poder ser ruim,
com colocaes genricas do tipo:
A ao foi executada como planejada;
Os resultados obtidos so plenamente satisfatrios
Todos gostaram muito.

Conversa difcil!

O processo avaliativo essencialmente poltico. Se

for adotado, a instituio tem que entender que isso
demandar:
Esforo
Tempo
Dinheiro
Estrutura
Metodologia
Regulamentao

D para simplificar?

Sim! Mas s depois de pensar no processo como um

todo e na forma de sua execuo. No h uma
soluo padro, pois a extenso uma caracterstica
de cada Universidade.
A forma mais fcil e vivel de retirar as informaes
necessrias facilitar a vida do coordenador.
Duas possibilidades bsicas:
Secretarias de Extenso
Sistemas informatizados de registro e relato de
aes

Passo a passo

Da ao
Da concepo da ao: capacidade de
planejamento do coordenador, diagnostico,
habilidade em determinar os recursos
necessrios, identificao correta do pblico
alvo, adequao dos horrios e locais
oferecidos...
Da realizao: capacidade do coordenador
em dirigir a ao, em buscar soluo para
problemas no previstos, facilidade de
comunicao com a Pr-Reitoria (ou se os
canais de comunicao so adequados),
previso correta de equipamentos, materiais,
do cronograma, da especificao

Passo a Passo

Do Coordenador
Durante a concepo: capacidade de
comunicao com a Pr-Reitoria e outros
docentes; conhecimento do problema e da
realidade da Universidade e do pblico;
observao de prazos e normas; destaque
dado ao nome da Universidade;
Durante a realizao: organizao dos
materiais, dos equipamentos, da sala;
cumprimento de prazos e normas para a
realizao do relatrio final; conhecimento dos
fluxos de processos

Passo a passo

Da Pr-Reitoria
Durante a concepo: como as normas e regras
so entendidas pelos coordenadores; como as
facilidades oferecidas pela Universidade e pela
Pr-Reitoria so acessadas pelos coordenadores;
como a equipe atende as solicitaes; como apia
a divulgao das aes planejadas
Durante a realizao: organizao dos materiais,
dos
equipamentos,
da
sala
solicitados;
cumprimento de prazos para o fornecimento dos
materiais solicitados; facilidade de atender
demandas inesperadas; atendimento no processo
de inscrio; identificao de salas...

O que se faz com isso?

Superar o achismo! Discusso da poltica de

extenso.

Desenvolvimento de projetos integrados em parceria

com setores da sociedade,
Deciso quanto a oferta de cursos de preparao de
projetos e avaliao,
Elaborao de manual de comunicao,
Lista de contatos emergenciais para atendimento de
demandas,
Comparao de custos entre aes,
Anlise de horrios, equipamentos e locais mais
adequados para cada tipo de ao,
Lista de possveis pblicos-alvo para prximas aes.

O que NO se deve fazer com

isso?

Punir
Restringir
Reclamar
Depreciar
Se nada de bom ser feito com a avaliao, a
poltica avaliativa deve ser revista
Se a avaliao propositiva e construtiva, um
ambiente de cooperao e sinceridade comea a ser
possvel...

Avaliar a favor de quem?

possvel afirmar que a avaliao ao longo dos

ltimos anos deixou de ser considerada um processo
exclusivamente tcnico...
O estudo das representaes sociais vieram mostrar
que o processo social permeado de elementos
culturais, sociais e econmicos, sendo compreendido
e vivenciado diferentemente pelos vrios atores que
dele participam

Conflitos, interesses...

A avaliao, portanto, levaria em conta a anlise

crtica de se determinado projeto se coadunaria ou
no aos valores culturais e expectativas dos vrios
atores sociais envolvidos, assim como s suas
realidades scio-econmicas (Atkinson, 1993)

Exerccio 1

Qual a poltica de extenso da sua instituio?

Os indicadores clssicos para avaliao desses
processos quantidade da oferta, quantidade de
atendimento/atingimento, tipos de aes, escala de
opinies, infra-estrutura e gesto, custos, ou seja,
indicadores da engenharia institucional e dos traos
constitutivos dos programas so necessrios mas,
no so suficientes.O que fazer?

Exerccio 2 - Construindo um projeto de avaliao da

extenso

-marco terico geral

-dimenses e variveis: definies conceituais e
operativas (principais linhas de ao)
Aspectos metodolgicos
-Optar pelas principais tcnicas: anlise documental,
anlise de registros (quali/quanti), entrevistas com
informantes-chave, reunies, oficinas, etc.
-fontes
-atores participantes
-cronograma de aplicao e foco

Um quadro sempre ajuda

Instncias

Categorias

Critrios para indicadores

Coordenao do
Projeto

Relevncia Acadmica

A proposta est em consonncia com a

concepo e
diretrizes de extenso
Tem potencial para o desenvolvimento
de
atividades de ensino e/ou pesquisa
Tem potencial para desenvolver
atividades
interdisciplinares
Prev envolvimento de alunos

Viabilidade

identificao clara de pblico-alvo

necessidade do parecer do Comit de
tica
os recursos humanos e financeiros esto
descritos
os agentes financiadores/parceiros esto
especificados

Relevncia Social

Aborda e/ou dissemina conhecimentos

sobre questes
sociais relevantes para a Universidade /
Sociedade

Instrumento

 A histria da extenso
nas universidades
tambm um registro das
dificuldades para definir
como pode ser desenvolvido
o compromisso social
dessa instituio com a
sociedade [...] Desde a sua
gnese, a extenso
universitria parece ser
uma compensao pelo
ensino alienado e pela
pesquisa descomprometida

"Hoje hoje , amanh ser amanh,

hoje que tenho a responsabilidade,no

amanh, se estiver cega.
Responsabilidade de qu.
Responsabilidade de ter olhos quando
os outros os perderam." Jos
Saramago
Texto extrado do livro "Ensaio sobre a
cegueira".
Sonia Regina Mendes
soniamen@superig.com.br