Síntese da Sessão 5

Domínio 4

O Modelo de Auto-Avaliação das Bibliotecas Escolares: metodologias de

operacionalização (Parte I)
Foram objectivos desta sessão:

• Compreender como é que a auto-avaliação pode ser concretizada para

demonstrar a contribuição da BE para o ensino e aprendizagem e a missão
e objectivos da escola.

• Ganhar familiaridade com o processo de auto-avaliação adoptado pelo

Modelo de Auto-avaliação RBE e capacitar para a sua aplicação.

• Conhecer as técnicas e instrumentos propostos, o modo como se

organizam e podem ser usados.

A actividade da sessão estruturou-se em três etapas, solicitando-se que:

1. Escolhessem, em alternativa, um dos seguintes Domínios/Subdomínios:

A.2. (Promoção da Literacia da Informação); B. (Leitura e Literacia) ou C.1.
(Apoio a Actividades Livres, Extra-Curriculares e de Enriquecimento
Curricular)

2. Escolhessem no Domínio/Subdomínio seleccionado dois Indicadores, um

que considerassem de Processo e outro que considerassem de
Impacto/Outcome, e analisassem detalhadamente esses indicadores.

3. Usando como pano de fundo a vossa biblioteca ou, nessa impossibilidade,

uma qualquer biblioteca à vossa escolha, estabelecessem um Plano de
Avaliação em profundidade daqueles dois Indicadores, recorrendo ao Texto
da Sessão e ao Documento de leitura obrigatória Basic Guide To Program
Evaluation.
A actividade realizada nesta sessão revelou-se de grande importância e
pertinência por ter constituído uma oportunidade dos formandos abordarem
mais uma vez o modelo, mas desta feita numa perspectiva prática de
operacionalização, marcando o início da planificação do respectivo processo de
aplicação.
Os trabalhos revelaram, em geral, um bom nível de qualidade, uma leitura
muito atenta da documentação fornecida e uma preocupação em seguir os
seus princípios na elaboração dos planos (poucos o não fizeram).
A experiência dos colegas que já testaram o modelo pode ter-se revelado, em
certos casos, uma mais-valia, mas verificámos que em relação a todos se
revelou muito pertinente a proposta de trabalho apresentada de construção de
um Plano de Avaliação, visto o ano passado ninguém o ter elaborado, uma vez
que não foi solicitado pela RBE. Neste momento, acreditamos que todos
compreendem a sua utilidade e farão uso, quando utilizarem o modelo, de mais
esta ferramenta de trabalho.
A forma como cada um apresentou o seu Plano foi muito variada. Uns optaram
pela execução de uma grelha, outros optaram por uma apresentação em texto
corrido, outros apresentaram ainda uma espécie de grelha corrida. No entanto,
todos de um modo geral, se fizermos uma leitura cumulativa, dado uns terem
sido mais exaustivos e outros terem elaborado planos mais gerais,
apresentaram:

Uma planificação e calendarização das actividades previstas inerentes
ao lançamento da avaliação, de enquadramento, diagnóstico,
reconhecimento do/s problema/s e objecto/s da avaliação;

Identificação dos factores críticos aplicáveis;

Selecção dos métodos e técnicas a utilizar;

Levantamento de necessidades/recursos necessários, intervenientes no
processo;

Aplicação dos instrumentos identificados para a recolha de dados;

Limitações, recolha e análise dos dados;

Interpretação, síntese e comunicação dos resultados, etc.

A terminologia utilizada também apresentou variações, percebendo-se, no

entanto, que na utilização dos diferentes termos se estavam a referir a um
mesmo tipo de elementos. Por exemplo: amostra / público-alvo / destinatários /
intervenientes; enquadramento / contextualização; limitações /
constrangimentos; motivação / sensibilização / envolvimento, etc.

As conclusões retiradas da leitura e análise dos diferentes trabalhos

elaborados oferecem-nos os seguintes comentários:
O primeiro pode ser sintetizado na seguinte frase: O Modelo não pode ser
visto ou antecipado como uma abstracção, vazia de conteúdos.
Quer isto dizer que quando, por exemplo, no Indicador B1 se identifica como
factor de sucesso a organização de actividades de promoção de leitura e se
remete na recolha de evidências para os registos dessas actividades, o que se
solicita à BE no final do processo global de auto-avaliação do Domínio não é
apenas que diga que organizou as ditas actividades, mas que as identifique,
apontando as evidências (dados) que lhe permitem sustentar o seu valor em
termos de desempenho da BE e /ou dos seus utilizadores. Isto implica um
planeamento dessas actividades onde à partida se incorpora, desde logo, a
preocupação da sua avaliação, através da recolha de evidências que, somadas
a outras, darão um retrato geral do trabalho da BE em relação com este
indicador. O Plano de Avaliação articula-se necessariamente com o Plano
de Actividades.
Se quisermos dar outro exemplo, desta feita sobre um indicador de impacto,
como o B3, o mesmo se lhe aplica. Não basta referir genericamente que os
alunos desenvolveram as competências a ou b. Devem identificar-se as
actividades concretas que foram realizadas em relação com esse objectivo e os
dados recolhidos, fazendo uso dos instrumentos mais adequados, e que
atestam que essas competências foram efectivamente desenvolvidas.
Isto significa que para avaliar um indicador, temos que utilizar como
“matéria-prima” actividades concretas e evidências concretas (tangíveis),
sejam elas relacionadas com as acções de gestão desencadeadas pela
biblioteca em relação com o domínio da leitura e da literacia, sejam elas
incidentes nos campos de aprendizagem ou da formação global dos alunos no
mesmo domínio.
Daqui resultaram duas abordagens diferentes à actividade proposta, uma mais
macro ou ampla, seguindo uma linha mais teórica e mais próxima do
documento do Modelo e dos textos de apoio; outra mais específica e facilitada
para quem cumpre funções de professor-bibliotecário e dispõe de um Plano de
Actividades com incidência no Domínio que se propôs planear.
Uma segunda observação, decorrente da primeira, pode sintetizar-se na frase
seguinte: A estrutura do Modelo em tabelas não configura em si mesmo
qualquer tipo de Plano de Avaliação.
Prende-se esta observação com o facto de alguns planos propostos se
restringirem à indicação dos indicadores, factores críticos do sucesso e
instrumentos de recolha/evidências, decalcando, deste modo, em grande
medida as tabelas do Modelo.
Em geral verificou-se que outros aspectos como, por exemplo, o das acções de
preparação e aplicação do modelo junto da escola, da indicação discriminada
dos intervenientes a implicar em cada uma das acções, do trabalho a realizar
sobre cada tipo de dados, de produção escrita e divulgação de conclusões ou
de indicação detalhada do calendário das diferentes acções aparecem
indicados de uma forma global numa introdução ou no final, não se cruzando
com as matérias de avaliação inscritas nas tabelas apresentadas.
Uma tabela de planificação do Modelo deve ser distinta das tabelas do
Modelo e, se possível, abarcar e cruzar todos os aspectos inerentes à sua
aplicação.

Uma terceira observação relaciona-se com a confusão na distinção entre

indicadores de processo e de impacto. Processos e impactos remetem para
aspectos de natureza diferente.
Os processos dizem respeito ao que a BE faz nos diferentes domínios da sua
actuação. Os indicadores (ou factores) de processo têm geralmente uma
redacção do tipo: “A BE desenvolve, colabora, assegura, realiza, etc.” Os
impactos dizem respeito às consequências em termos de novas
aprendizagens, desenvolvimento de capacidades, atitudes, etc., que aquelas
acções têm, fazendo uso de expressões como: “ Os alunos revelam, aplicam,
estabelecem, desenvolvem, usam, participam, etc.”.
O exercício de selecção de um indicador de processo e outro de impacto,
aparentemente tão simples, não era, contudo, tão linear, obrigando a um olhar
atento para a sua composição, através da análise dos respectivos factores
críticos. Por exemplo, quem escolheu o A2.1 sobre a formação de utilizadores
e o designou de processo, não reparou que o mesmo, ao contrário dos
restantes indicadores do A2, onde separámos sempre os processos dos
impactos, reúne 2 factores de processo (Ex: O plano de trabalho da BE inclui
actividades de formação de utilizadores ou A BE produz materiais informativos
e/ou lúdicos de apoio à formação dos utilizadores) e 1 factor de impacto
(Alunos e docentes desenvolvem competências para uso da BE revelando uma
maior autonomia na sua utilização após sessões de formação de utilizadores).
O mesmo acontece em relação ao C1.1 e C1.3, os únicos com factores de
impacto directos e que podiam ser usados como seu exemplo.
No Domínio B, B1 e B2 são claramente indicadores de processo no seu todo e
o B3 um indicador de impacto.

Finalmente, registamos uma observação que nos parece de grande relevância:

Instrumentos de recolha de evidências e evidências são coisas diferentes.
Verificámos alguma confusão em trabalhos realizados. Os PAA, PCT, Guias e
Guiões, trabalhos escolares, entre outros, são documentos dos quais podemos
extrair evidências, mas não são eles próprios evidências. Por outro lado,
sessões de formação, reuniões entre docentes, etc. são actividades. Os
registos associados a essas actividades fornecem-nos as evidências, mas
também elas não são evidências em si mesmas. Este lapso foi cometido,
sobretudo, pelos formandos que criaram na tabela uma coluna para a indicação
dos instrumentos e outra para as evidências, facto que não nos parece de
grande utilidade.
Acreditamos que todos os formandos serão capazes de se reconhecer nas
observações gerais referidas e fazer uma auto-avaliação do trabalho realizado.

Concluímos esta síntese, manifestando a nossa satisfação pela dispersão de

escolhas feitas pelos três domínios/sub-domínios dados, fazendo uso não
apenas da experiência obtida sobre determinada área no ano transacto, mas
aventurando-se em muitos casos na escolha de uma área nova na qual alguns
formandos já estão a pensar investir no próximo ano lectivo em termos de
avaliação, usando este exercício como uma primeira oportunidade de
exploração.
Continuação de um bom trabalho.

As formadoras
Regina e Rosário