UNIVERSIDADE FEDERAL DE SANTA CATARINA PROGRAMA DE PS-GRADUAO EM CINCIA DA COMPUTAO Universidade Federal de Santa Catarina

Srgio Bertoldi

AVALIAO DE SOFTWARE EDUCACIONAL Impresses e Reflexes

Dissertao submetida Universidade Federal de Santa Catarina como parte dos requisitos para a obteno do grau de bacharel em Cincia da Computao

Edla Maria Faust Ramos

Florianpolis, 1999.

I.INTRODUO

Comentrio:

Muito j tem se falado sobre o desenvolvimento e avaliao de software para a rea educacional e pouco se tem verificado de realizaes concretas. No momento, numerosas empresas oferecem produtos tecnolgicamente avanados com som, animao, cores e um sem nmero de recursos embora o contedo e a prtica pedaggica estejam esquecidos...Uma primeira observao que deve ser feita refere-se necessidade na formao dos professores e formao de engenheiros de computao em Informtica na Educao como um campo de conhecimento especfico e, isto inclui os avanos da didtica.

A particularidade da didtica em relao a outras reas reside na dimenso epistemolgica de sua problemtica que considera a especificidade do conhecimento a ser trabalhado. Este fato revela a importncia das situaes geradas onde determinado um valor f uncional aos conhecimentos, aos mtodos implcitos ou explcitos que determinam a interao aluno/professor relacionada s situaes e as dificuldades cognitivas que podem ser encontradas. A contribuio da didtica s pesquisas em Informtica na Educao, especificamente aos ambientes interativos de aprendizagem com o computador, so de ordem metodolgica e terica. Trata-se, na verdade, da caracterizao e da modelizao de situaes de ensino; da anlise das condutas e das concepes dos alunos diante de um contedo do conhecimento em um contexto; de estudos dos fenmenos de transferncia do saber; do estudo das formulaes do saber, e, dos mtodos de validao. Devemos incluir ainda os mtodos de avaliao.

Sob o ponto de vista da informtica, as ferramentas para a pesquisa podem colaborar essencialmente na observao detalhada das diferentes fases da introduo e da construo de um procedimento.

Desta forma, a integrao da informtica nas situaes de ensino introduzem uma nova complexidade no campo da didtica, pois permite abordar a modelizao computacional dos processos didticos. Esta modelizao uma nova rea de pesquisa, possui caractersticas prprias tais como a necessidade de constituio pelo aluno de representaes concernentes organizao e ao funcionamento do computador e interao desta habilidade com o contedo a ser trabalhado.

A figura, a seguir, demonstra o quadro de anlise de reas que esto relacionadas com a Informtica na Educao no momento da instalao de um projeto na instituio de ensino.

psicologia cognitiva

instituio

cincia da informtica

didtica das disciplinas

Figura1: Quadro de anlise das reas envolvidas para a instalao de um projeto de Informtica na Educao em uma instituio de ensino. (Mendelsohn, 1989)

O despreparo dos profissionais da educao para com a rea tecnolgica, faz com que no se tenha uma possibilidade de avaliao satisfatria dos softwares utilizados na educao, em conseqncia disto softwares que no possuem boa aplicao didtica so adquiridos mas por sua baixa qualidade no utilizados. Fazendo assim os laboratrios de informtica das escolas se tornarem espaos ociosos.

Pensando no problema da anlise dos softwares educacionais resolveu-se desenvolver um material acessvel visando facilitar a anlise dos mesmos atravs de chek-list e de mtodos discursivos. Atravs de leituras de embasamento terico, didtico e de outros trabalhos nesta rea desenvolveu-se ento este trabalho que se apresenta, dentro dos objetivos, satisfatrio.

II. TAXOMANIA CLSSICA E CARACTERSTICAS DAS MODALIDADES DE SOFTWARE EDUCACIONAL.

A forma at hoje mais utilizada para classificar as modalidades de software educacional foi proposta por Taylor em 1980 quando explicou que o computador em educao poderia ser utilizado como Tutor, Ferramenta ou Tutelado. Como Tutor, o computador desempenha o papel de professor, orientando o aluno para aquisio de um novo conhecimento; como Tutelado os alunos ensinam o computador e, como Ferramenta o computador utilizado para adquirir e manipular informaes. Kemmis (in Underwood & Underwood, 1990) apresentou uma nova maneira de classificao onde a utilizao do computador em educao estava voltada para 4 paradigmas: Instrucional, Revelatrio, Conjectural e Emancipatrio. Sthal(1991) afirma que Kemmis relacionou estes paradigmas com um continuum com as principais categorias de programas: CAI(Computer Assisted Instruction), Simulaes, Modelagem e Labor-saving (os programas no possuem contedo, o aluno tem o controle sendo, portanto, o programa centrado no aluno). Campos e Santos (1990) demonstram que Kemmis apresentou as formas de utilizao dos computadores baseadas em uma filosofia educacional. Estes paradigmas podem ser compreendidos da seguinte forma: -Paradigma instrucional: inclui instruo programada, exerccio e prtica; -Paradigma revelatrio: onde o aluno faz descobertas usando simulaes; -Paradigma conjectural: com o computador sendo usado para construo e avaliao de modelos; -Paradigma emancipatrio: no qual o computador usado como ferramenta para a manipulao de textos/nmeros, tratamento e recuperao da informao.

De toda forma, algumas modalidades de uso do computador tem sido consagradas e, por isso, abaixo esto relacionadas as definies, caractersticas e critrios para o desenvolvimento para cada uma delas.

Exerccio e prtica.

Forma tradicional em que os computadores tem sido utilizados em educao. o tipo de software mais fcil de ser desenvolvido e utilizado. Visa a aquisio de uma habilidade ou a aplicao de um contedo j conhecido pelo aluno, mas no inteiramente dominado. Pode suplementar o ensino em sala de aula, aumentar e/ou automatizar habilidades bsicas. Em geral utiliza feedback positivo e no deve julgar as respostas erradas. Os alunos trabalham com uma seleo randmica de problemas, repetindo o exerccio quantas vezes forem necessrias para atingirem os objetivos determinados no programa. As respostas erradas so rapidamente detectadas, o que reduz a possibilidade de reforo em procedimentos errneos.

Caractersticas:

- Existncia de recursos motivacionais, para despertar a ateno do aluno. n Acesso a ajudas, para encaminhar o aluno a respostas certas, sendo que o acesso a ajudas deve ser diminudo de acordo com a crescente complexidade da instruo. - Existncia de mensagens de erro. para encaminhar o aluno a resposta adequada.

n Uso de ilustraes, uso de animao, uso de cor. uso de recursos sonoros. para
despertar. manter e reforar a ateno e a motivao do aluno,

n Controle da sequenciao do programa pelo usurio, para respostas tambm sequenciadas e

capazes de oferecer situaes para a aquisio e reteno do contedo.

n Fornecimento de 'feedback". para melhoria do desempenho do aluno e assegurar o

conhecimento da habilidade desejada.

n Tratamento de erro do usurio, para conduzi-lo ao domnio do contedo n Gerao randmica de atividades. para a reteno, melhoria do desempenho e ateno. n Capacidade de armazenamento das respostas. a fim de verificar-se o desempenho do aluno. n Adaptablidade ao nvel do usurio. assegurando o domnio das habilidades necessrias. n Adequao do programa ao currculo da escola. n Integrao do programa com outros recursos ou materiais instrucionais, para o
enriquecimento do aluno. - Apresentao dos escores e resultados dos alunos para que este saiba a sua posio diante do contedo apresentado. - Resistncia do programa a respostas inadequadas assegurando a continuidade do programa. - Facilidade de leitura da tela a fim de obter uma interao adequada com o aluno.

Tutorial

Os programas tutoriais podem introduzir conceitos novos, apresentar habilidades, pretender a aquisio de conceitos, princpios e ou generalizaes atravs da transmisso de determinado

contedo ou da proposio de atividades que verifiquem a aquisio deste contedo. Servem como apoio ou reforo para aulas, para preparao ou reviso de atividades. entre outros aspectos.

Caractersticas:

- Existncia de recursos motivacionais, a fim de garantir a ateno do aluno. - Fornecimento de "feedback encaminhando para respostas corretas. - Adequando o vocabulrio ao nvel do usurio. garantindo a compreenso do contedo e do que est sendo pedido.

n Controle da sequenciao do programa pelo usurio. Especificando n caminhos alternativos que possam ser escolhidos e seu grau de dificuldade.
- Mensagens de erro. com o intuito de conduzir o aluno a resposta correta, desejada ou adequada. - Uso de Ilustraes, uso de animao, uso de cor, uso de recursos sonoros, para despertar a ateno do aluno e mant-la.

n Definio do tempo de resposta permitido que o aluno aprenda em seu prprio ritmo. n Adaptabildade ao nvel do usurio, promovendo a aplicao das habilidades j adquiridas e a
aprendizagem das novas.

n Existncia de ramificao para enfoques alternativos da instruo, facilitando a reteno e a

transferncia.

n Existncia do tratamento de erro do usurio, analisando as respostas do aluno, determinando ou

propondo segmentos corretivos ou mesmo fornecendo novas abordagens do contedo apresentado.

n Capacidade de armazenamento das respostas, para a verificao do desempenho final do aluno. n Possibilidade de incluso de novos elementos e/ou estruturas de contedo, tornando a substncia do
programa sempre atualizada e ao nvel da clientela.

n Indicao de outros materiais para enriquecimento do aluno. n Adequao do programa s necessidades curriculares da escola. e a conseqente integrao ao
currculo.

n Verificao dos pr-requisitos necessrios instruo afim de diagnosticar as necessidades do

aluno e situ-lo no programa.

n Orientao da aprendizagem atravs de segmentos propostos no menu n Resistncia do programa a situaes hostis.

n Facilidade de leitura da tela, facilitando a comunicao usuario -computador. n Passos da soluo de problemas implcitos no programa. n Capacidade de reformular o conhecimento, inferindo sobre o conhecimento j existente. n Existncia de recursos motivacionais. n Adequao do vocabulrio. n Controle da sequenciao do programa n Mensagens de erro. n Representao do conhecimento utilizando som, cor, animao e grficos. n Ramificaes do processo instrucional. n Armazenamento de respostas. n Diagnstico dos pr-requisitos. n Orientao da aprendizagem. n Robustez. n Facilidade de leitura das telas. n Suporte para anlises heursticas. n Respostas satisfatrias.
Simulaes e Modelagem.

a representao ou modelagem de um objeto real. de um sistema ou evento. um modelo simblico e representativo da realidade que deve ser utilizada a partir da caracterizao dos aspectos essenciais do fenmeno. Isto significa que a simulao deve ser utilizada aps a aprendizagem de conceitos e princpios bsicos do tema em questo.

A primeira abordagem sobre simulaes foi o uso de modelos em pequena escala para propsitos experimentais. A seguir, surgiram os computadores analgicos com possibilidade para se fazer

computao paralela, mas ainda limitados para clculos algbricos ou aritmticos.

A simulao induz a um nvel intermedirio entre o abstrato e o concreto, o valor pedaggico deste nvel intermedirio de abstrao entre o fenmeno real e o modelo abstrato inserido para um conjunto de relaes descrevendo o comportamento do fenmeno e que deve ser discutido. Deve-se a importncia para clarificar os processos do mundo fsico que so funcionalmente invisveis para os alunos em sua interao com outros objetos.

As simulaes so classificadas de acordo com o uso de computadores em educao como aprendizagem por descoberta, possibilitando aos alunos usar o computador e habilidades para explorar e solucionar problemas. Outra classificao encaixa a simulao como reveladora na qual so

ressaltadas as habilidades dos computadores fazerem experincias com modelos e a capacidade de variar as condies. Inmeros fenmenos podem ser representados neste modelo simblico e representativo da realidade. As caractersticas de realismo e imaginao so bsicas simulao: dependem do fenmeno trabalhado e de seu objetivo. Os componentes principais e invariveis de uma simulao so: (a) o sistema de apresentao: (b) o aluno; (c) o sistema de controle. e. (d) o sistema de gerenciamento. Na apresentao do sistema o contedo pode ser trabalhado sob diversas formas. desde que estimule o usurio. O usurio o elemento participante da simulao que controla o sistema, isto , as

variveis e os parmetros. O sistema gerenciador ajusta a simulao baseado na manipulao dos sistemas de controle pelos usurios. Cabe salientar que as simulaes podem ser estticas ou interativas.

A modelagem comptutacional um sistema dinmico e cada passo do clculo pode ser definido de maneira elementar. Os modelos so construdos passo a passo, modificando-se os modelos so visveis no podendo ser analisados. A

anteriores. No caso das simulaes os modelos no

vantagem da modelagem reside em verificar como atuam as variveis de um sistema.

A modelagem pode ser (a) dinmica, onde identifican-se variveis importantes que descrevem um sistema e especifica-se como elas variam ao longo do tempo, como os resultados dos valores de outras variveis e constantes. As regras para evoluo do sistema so regras para o clculo dos prximos valores de uma varivel; (b) autmatos celulares, consistindo em conjunto de clulas, cada uma com um nmero finito de estados. O estado de uma clula pode variar em funo do estado que se encontram seus prximos vizinhos. O conceito fundamental a evoluo da estrutura de comportamento do conjunto de objetos que compe o sistema: (c ) modelagem semi-quantitativa um modelo que parte da premissa de que em geral dispomos de muito poucos dados para formular um modelo quantitativo exato. O objetivo deste prottipo desenvolver um programa em que se possa representar quantidades sem se indicar nada acerca de seus valores absolutos, mas onde possvel indicar alteraes e sentido das alteraes. Construir um modelo significa criar e indicar nomes das variveis, lig-las com setas que indicam se uma varivel ao aumentar tem tendncia a provocar o aumento da

outra. Esse tipo de modelagem pode ser o primeiro passo para estudantes compreenderem sistemas cada vez mais complexos.

Caractersticas:

n Fornecimento de feedback. n Clareza nos comandos pedidos pelo programa. n Controle das sequencias reprodutoras do evento pelo aluno, facilitando a simulao da realidade. n Mensagens de erro claras e indicadoras do caminho correto a ser seguido pelo aluno. n Uso de ilustraes, uso de cor, animao e recursos sonoros para fornecer dados mais reais ao
aluno, suprindo deficincias que a palavra escrita possa apresentar.

n Facilidade de leitura da tela. n Apresentao dos resultados ao aluno tanto parcialmente quanto ao final da simulao. n Ramificaes para enfoques alternativos, apresentando as possibilidades diante do problema
simulado.

n Capacidade de armazenamento das respostas, a fim de conhecer-se a estrutura do raciocnio do

aluno diante do problema dado.

n Possibilidade de incluso de novas estruturas e/ou segmentos de programa a fim de manter o

contedo sempre atualizado e reproduzindo a realidade.

n Possibilidade de correo de erros realizados pelo aluno e detectados pelo prprio antes do
registro.

Jogos

Os jogos devem ser fo nte de recreao com vista a aquisio de um determinado tipo de aprendizagem. Geralmente envolvem elementos de desafio ou competio. Muitos jogos so confundidos com a simulao, pois utilizam algum tipo de habilidade. Os atributos motivacionais dos so vrios e podem ser divididos em duas categorias: individual e interpessoal. So considerados motivaes individuais o desafio, a curiosidade, o controle e a fantasia. So consideradas motivaes interpessoais a cooperao, a competio e o reconhecimento.

Os jogos correspondem a um certo nvel do desenvolvimento cognitivo. Os jogos so biolgica e culturalmente determinados, e o autor supe que h uma relao indissocivel entre capacidade de solucionar problemas e tipos de problemas que o indivduo enfrenta.

Com jogos aprende-se a negociar, a persuadir, a cooperar, a respeitar a inteligncia dos adversrios, a projetar consequncias de longo prazo em um cenrio, a ver o todo mais do que as partes.

Caractersticas: Existncia de recursos motivacionais para despertar, manter e fixar a ateno do aluno. Clareza dos comandos a serem pedidos pelo programa antes de seu incio. Controle da sequenciao pelo aluno Mensagens de erro claras Fornecimento de diretrizes no incio do jogo e sua manuteno, a no ser quando a descoberta for parte do jogo. Diagramao da tela de forma clara. Apresentao dos resultados do aluno e de seu nvel de desempenho. Adaptabilidade ao nvel do usurio, promovendo interaes que faciletem o alcance do objetivo do jogo. Capacidade de resistncia a situaes hostis. Fornecimento de feedbackpara facilitar o aumento do conhecimento e estimular o aluno- usurio.

HIPETEXTO / HIPERMDIA Hipertexto comumente definido como uma forma no linear de armazenamento e recuperao de informaes. Isto significa que a informao pode ser examinada em qualquer ordem, atravs da seleo de tpicos de interesse. Desta forma, um hipertexto tem como principal caracterstica a capacidade de interligar pedaos de textos ou outros tipos de informao entre si atravs do uso de palvras-chave. O termo hipertexto refere-se aos primeiros sistemas construdos com a filosofia de ligaes embutidas. Nelson (1960) ao inventar o termo hipertexto visava imprimir as idias de leitura e escrita no linear utilizando um sistema informatizado (XANADU). Tecnicamente um hipertexto descrito como um conjunto de ns conectados por ligaes. Os ns podem ser palavras, pginas, imagens, grficos, sequncias sonoros e documentos complexos. Os itens de informaes no so ligados linearmente

mas, sim atravs de ligaes como estrelas de forma reticular. Funcionalmente, o hipertexto um ambiente de Software para a organizao de conheciementos ou dados para a aquisio de informaes e para a comunicao. Hiperdocumento um documento de hipertexto construdo em parte pelo autor e em parte pelo leitor. Campos (1994), citando Macdaid (1991) define hipermdia como um estilo de construo de sistemas para criao, manipulao, apresentao e representao da informao na qual: A informao se armazena em uma coleo de ns multimdia. Os ns se encontram organizadas em forma explcita ou implcita em uma ou mais estruturas (habitualmente uma rede de ns conectados por links). Os usurios podem acessar a informao, navegando atravs das estruturas disponveis.

Hipertextos, hipermdia so particularmente adequados educao. Pode-se enfatizar que a interao ativa de um indivduo com a aquisio do saber pedagogicamente interessante. Com a multimdia interativa, isto , com a possibilidade de uma dimenso reticular, no linear, h o favorecimento de uma postura exploratria diante de um contedo a ser assimilado. Desta forma, hipermdia estaria relacionada uma aprendizagem ativa. Neste sentido, ressalta-se que o produto de hipermdia e o processo de desenvolvimento de uma aplicao interessam, ambos, educao. O produto de hipermdia consiste em sistemas que tornam possvel a disponibilidade de uma grande quantidade de material de aprendizagem estruturado. Este material acessvel a partir de uma mquina e, navegvel atravs de ligaes explcitas. O material de aprendizagem armazenado no produto de hipermda envolve comunicao de instrues baseada em diferentes canais (texto, grfico, audio, video, etc...). Segundo Ilabaca (1992) a estrutura de um hipertexto pode variar em diferentes modelos. Um tpico software de hipertexto consiste em um editor grfico, base de dados e ferramenta de brownsing para uma viso tridimensional. FCampos ((1994) em tese de Mestrado apresentada COPPE/UFRJ e em trabalhos conjuntos com Gcampos e Rocha (1993a e 1993b) estabeleceu caractersticas para hipertextos e hipermdia que so citados a seguir. Caractersticas Qualidade da documentao; Facilidade de entendimento da estrutura do hiperdocumento; Documento disponvel sobre os ns; Alterabilidade corretiva Clareza das informaes;

Facilidade de aprendizado; Eficincia de utilizao; Facilidade de lembrana; Facilidade de localizao; Clareza dos comandos; Adequao do vocabulrio ao nvel do usurio; Estabilidade; Existncia de recursos motivacionais; Controle da sequenciao do hiperdocumento; Diagramao das telas; Uso de ilustraes, animao, video, cor; Uso de marcas especiais; Uso de recursos sonoros; Facilidade de leitura de textos na tela; Tempo de troca de ns; Suporte de mltiplas janelas; Rolamento de telas e janelas; Uso de cones; Previso de realimentao; Seleo de auxlio; Integrao; Tutorial para leitura; Tempo de exposio de telas.

TUTORES INTELIGENTES O objetivo dos Tutores Inteligentes (ITS) trazer maior flexibilidade e interatividade no domnio da tutoria, sobretudo em Matemtica, programao e Medicina. Pode-se definir estes sistemas como uma tentativa de integrar tcnicas de Inteligncia Artificial e uma teoria da psicologia de aquisio de conhecimento dentro de um plano de ensino. Os objetivos dos ITS deve ser muito exato pois, o sistema deve fornecer capacidades de raciocnio e resoluo de problemas no domnio de aplicao. O ITS deve possuir conhecimento do perfil do aluno um

a fim de ser sensvel ao comportamento do estudante.

Evidentemente, o ITS deve possuir uma interface com linguagem natural e a capacidade de dilogo deve ser desenvolvida.

A diferena crucial entre ITS e CAI situa-se na separao do programa de decises e do programa de conhecimento. Ressalta-se que esta separao metodolgica essencial porque o objetivo principal torna-se uma compreenso mais profunda do sistema de tutoria para poder construir modelos apropriados. A estrutura de uma arquitetura de ITS

Mdulo Especialista Base de conhecimento Mquina de inferncia Modelo do aluno

Mdulo de Ensino

Inteface

fig(1) Fonte:( Fischetti & Gisolfi, 1990)

O mdulo especialista possui o conhecimento sobre o tpico a ser ensinado; o modelo de aluno gerencia a compreenso do estudante sobre o contedo, o mdulo de ensino explica as estratgias de tutorias adequadas e a interface lida com a forma da comunicao do conhecimento. Caractersticas: Conhecimento do domnio do problema; Representao do entendimento do aluno sobre o assunto durante a sesso de tutoria Conhecimento de estratgias pedaggicas Possibilidade de reconhecimento do raciocnio do aluno Dialogo intensivo e ativo com o aluno Modelagem do ensino Interface que modela o sistema, oferecendo possibilidades de utilizao de outras modalidades como simulao Possibilidade de uso de animao e uso de smbolos expressivos (cones) Possibilidade de diagnstico do conhecimento do aluno sobre o problema Pedido de resposta do aluno a fim de oferecer tutoria constante

Possibilidade de oferecimento de ajuda para soluo do problema Possibilidade de anlise estatstica do desempenho do aluno Possibilidade de inferncia do domnio do aluno sobre o tpico.

Werneck(1993) ressalta que alguns tutores inteligentes foram desenvolvidos a partir de sistemas especialistas. comparando esses dois sistemas constata-se que eles atendem a diferentes propsitos. Enquanto os sistemas especialistas tm a inteno de solucionar problemas, os tutores inteligente, alm de resolver problemas, constroem um modelo de soluo humana do problema para possibilitar o reconhecimento do raciocnio do aluno.

A TAXONOMIA DE MENDELSOHN

Mendelsohn (1990) ao estudar os ambientes inteligentes de aprendizagem (AIA) demonstrou que o surgimento e o desenvolvimento das tecnologias educativas podem provocar uma renovao da pesquisa cognitiva pois, as novas tecnologias de tratamento da informao permitem imaginar e realizar cenrios a fim de assistir e melhorar a eficcia da aprendizagem atravs do ensino. Trs argumentos so apresentados para serem pontos de partida para definio de ambientes: 1. A construo de sistemas informatizados dedicados ao ensino necessitam de contedos adaptados ao aluno; 2. A gesto da interao entre o sistema e o aluno, isto , considerar a concepo de interface; 3. As tecnologias permitem a construco de um sistema de coleta de dados sobre a aprendizagem e suas condies de realizao.

Os AIAs podem ser descritos em dois eixos ortogonais: um caracteriza o ambiente informatizado e o outro, as aprendizagem visada pelo sistema. O primeiro eixo representa a abertura do sistema informatizado em relao s aes que o sujeito pode realizar sobre o ambiente. O segundo eixo representa o tipo de conhecimento sobre o qual se prev que o software possa contribuir para a aprendizagem. Mendelsohn(1990) afirma que em uma das extremidades (eixo 1) se encontra as atitudes do metaconhecimento (planificao da ao e heurstica de resoluo de problemas) e sob o eixo 2 , os sistemas especializados construdos para permitir a aquisio de um

conhecimento bem definido. Este conhecimento tem a propriedade de ser dependente de um contexto especfico. O produto cartesiano destas duas dimenses delimita quatro zonas distintas nas quais os principais ambientes de aprendizagem disponveis podem ser explicitados (figura 1).

Os softwares aplicativos (tratamento de texto, planilhas, base de dados, software grfico, software para clculo, etc...) podem ser considerados como abertos do ponto de vista da informtica. Oferecem a possibilidade de construo de macro-comandos similares aos

procedimentos de linguagem de programao clssica. Sendo software especializados, destinam-se a uma atividade com contedo preciso como esquematizar, classificar objetos ou resoluo de problemas numricos. Os micro-mundos so sistemas informatizados abertos onde o aluno deve explorar um domnio com um mnimo de ajuda do sistema, combinando as primitivas de uma linguagem de programao (ex: LOGO). O aluno aprende a aprender utilizando o ambiente para espelhar seus conhecimentos e construir novos objetos. Os courseware so softwares educacionais clssicos que, a partir de uma situao interativa entre o aluno e um problema, leva o aluno a resolv-la. A gama de atividades possveis vasta mas, cada sequncia fechada por respostas interpretveis pelo programa. So considerados como parte de um ambiente que favorece pouco a iniciativa do aluno e so muito especializados em relao aos objetivos pedaggicos. A concepo deste ambiente repousa no dilogo interativo, e , a aprendizagem consiste no sujeito (aluno) realizar a sequncia de procedimentos associados a determinados conceitos. Os tutorias so como alguns coursewares onde caractersticas de resoluo de problemas acrescentou-se o componente tutorial onde so representados o modelo do aluno, o conhecimento e a tcnica do professor, e , a especializao do conhecimento a ser ensinado. A idia permitir aprendizagem de alto nvel (a lgica compreenso) atravs da tutoria entre o sistema do professor e o sistema do aluno. A concepo destes sistemas anloga s ajudas on line disponveis, por exemplo, nos aplicativos. Os ambientes inteligentes de aprendizagem permitem ultrapassar a oposio simplista entre os defensores da aprendizagem por induo (atividades exploratrias do sujeito) e os defensores de tutorias. Estes sistemas devem ser capazes de favorecer a aquisio de conceitos e procedimentos associados a um domnio do conhecimento, permitindo ao aluno transformar-se suas experincias em conhecimento organizado. Neste ambientes, considerase que a melhor forma de aprender conceber ferramentas que assistam aos alunos para que possam comunicar-se de forma eficaz.

METODOLOGIA PARA AVALIAO DE SOFTWARE EDUCACIONAL DE THOMAS REEVES

A metodologia proposta por Reeves em [Reeves, 1994] apresenta duas abordagens complementares na avaliao de software educacional. Uma delas baseia -se em quatorze critrios e a outra em dez critrios relacionados a interface com usurio. Os critrios so avaliados atravs de uma marca sobre uma escala no dimensionada representada por uma seta dupla. Em cada extremidade da seta so colocados os conceitos antagnicos que caracterizam o critrio. De modo que na extremidade esquerda fica situado o conceito mais negativo. A concluso a respeito da avaliao obtida graficamente analisando a disposio dos pontos marcados nas setas que devem ser ligados colocando-se as setas umas sobre as outras. A figura 4 mostra o procedimento grfico realizado nos critrios.

(...)

valorizao do erro Aprendizado com experincia

Aprendizado sem erro

Motivao Extrnseca Intrnseca

Figura 4: Procedimento grfico na metodologia de Reeves. A seguir so descritos os critrios que compe cada uma das abordagens.

Critrios Pedaggicos : 1. Epistemologia : diz respeito a natureza do conhecimento

Epistemologia Objetivista Construtivista

Epistemologia Objetivista: estabelece as seguintes facetas: Conhecimento existe separado do saber Realidade existe independente da existncia da experincia O conhecimento adquirido de forma objetiva atravs dos sentidos A aprendizagem consiste em adquirir verdades O aprendizado pode ser medido precisamente com testes

Epistemologia construtivista: estabelece as seguintes facetas:

O conhecimento no tem sentido sem a participao do homem

Embora a realidade exista independentemente, o que conhecemos dela, individualmente constudo. O conhecimento construdo subjetivamente baseado em experincias anteriores e em um processo metacognitivo ou reflexo O aprendizado consiste na aquisio de estratgias que atenda a um objetivo O aprendizado pode ser estimado atravs de observaes e dilogos.

2. Filosofia Pedaggica filosofia pedaggica Instrutivista Construtivista

Instrutivista:

Infatiza a importncia de metas e objetivos independentes do aluno Baseada na teoria comportamentalista O aluno visto como um agente passivo, como um recipiente vazio que ser preenchido de conhecimento.

Construtivista: Enfatiza a primazia da inteno, experincia e estratgias metacognitivas do aluno O conhecimento construdo individualmente pelo aluno Garantir um ambiente de aprendizado o mais rico possvel Diferente da instrutivista , o aluno visto como um indivduo repleto de conhecimento pr existente, atitudes e motivaes.

3. Psicologia Subjacente Psicologia subjacente Comportamental Comportamental: Os fatores do aprendizado no so estados internos que podem ou no existir, mas comportamentos que podem ser diretamente observados A instruo consiste na modelagem do comportamento desejvel obtido atravs de estmulorespostas. Cognitiva

Cognitiva:

D nfase nos estados mentais internos ao invs do comportamento psicolgico Reconhece que uma ampla variedade de estratgias de aprendizagem deve ser empregada considerando o tipo de conhecimento a ser construdo.

4. Objetividade

Precisamente focalizado

no focalizado

Precisamente Focalizado: forma empregada em tutores e treinamentos No- focalizados: forma empregada nos micro-mundos, simulaes virtuais e ambientes de aprendizado. 5.Sequnciamento Instrucional

Reducionista

Construtivista

Reducionista: o aprendizado sobre determinado contedo requer que todos os seus componentes sejam previamente entendidos. Construtivista: o aluno colocado em um contexto realstico, o qual ir requerer solues de problemas, o apoio introduzido de acordo com a necessidade individual do aluno.

6. Validade Experimental

Abstrato

Concreto

Abstrato: utiliza situaes que no pertencem ao mundo real do aluno. Concreto: se preocupa em sempre contextualizar o contedo apresentando situaes da realidade.

7. O papel do instrutor

Provedor de Materiais

Agente facilitador

Professor provedor de materiais : o programa instrutor considerado o dono do conhecimento. Agente Facilitador: o programa instrutor visto como uma fonte de orientao e consulta.

8. Valorizao do Erro

Aprendizado sem erro

Aprendizado com a experincia

Aprendizado sem erro: as instrues so organizadas de maneira que o aluno induzido a responder corretamente. Aprendendo com a experincia : apoia-se na mxima a experincia o melhor professor. Prov oportunidades para que o aluno aprenda com seus prprios erros.

9. Motivao

Extrnseca

Intrnseca

Extrnseca: a motivao vem de fora do ambiente de aprendizado Intrnseca: integrada ao ambiente de aprendizado.

10. Estruturao

Alta

Baixa

Alta: os caminhos so previamente determinados

Baixa: uma srie de opes oferecida de modo que o aluno possa escolher a ordem que desejar. 11. Acomodao de diferena individuais

No Existentes

Multi-facetadas

No existentes: considera os indivduos iguais(homogneos) Multi-facetada: leva em considerao a diferena entre os indivduos.

Controle do Aluno

No existente

Irrestrito

No Existente: todo o controle pertence ao programa Irrestrito : o aluno decide que sees estudar, que caminhos seguir, que material utilizar. Obs. Ainda uma questo em aberto at que ponto o controle irrestrito benfico. Embora essa classificao esteja na posio direita.

Atividade do Usurio

Matemagnico

Generativo

Matemagnico: ambientes de aprendizagem nos quais pretende-se capacitar o aluno a acessar vrias representaes do contedo. Generativo: ambientes de aprendizagem que engajam o aluno no processo de criao, elaborao ou representao do contedo.

Aprendizado Cooperativo

No suportado

Integral

No suportado: no permite o trabalho cooperativo entre alunos (em pares ou grupos). Integral: permite o trabalho cooperativo de modo que os objetivos sejam compartilhados beneficiando o aluno tanto instrucionalmente quanto socialmente. A seguir sero apontados dez critrios que avaliam a interface com o usurio, que de acordo com Reeves (1994)no so suficientes para fazer uma anlise completa de um software educacional, mas auxiliam a avaliar os aspectos artsticos e tcnicos que no so citados nos critrios de abordagem pedaggica. 1. Facilidade de Utilizao

difcil

fcil

2. Navegao

difcil

fcil

3. Carga Cognitiva

difcil

fcil

4. Mapeamento (se refere a habilidade do programa em rastrear os caminhos percorridos pelo aluno)

nenhum

Poderoso

5.Design de Tela

Princpios violados

Princpios respeitados

6.Compatibilidade Espacial do Conhecimento

Incompatvel

compatvel

7.

Apresentao da informao

confusa

clara

8.

Integrao das Mdias

no coordenada

coordenada

9.

Esttica

Desagradvel

Agradvel

10.

Funcionalidade Geral

No funcional

Altamente Funcional

AS NORMAS ISSO PARA AVALIAO DA QUALIDADE DE PRODUTOS DE SOFTWARE

A norma ISO/IEC 12119 trata de pacotes de software na forma como so oferecidos e liberados para uso. Nesta seo vamos verificar como a norma ISO considera a avaliao, o julgamento e a certificao. A avaliao o processo tcnico de mediao de qualidade. Julgamento a emisso de um juzo sobre a qualidade e a Certificao a emisso de uma declarao a respeito da qualidade, sendo portanto, uma atividade essencialmente administrativa. A avaliao do Processo de desenvolvimento de Software consiste no exame dos procedimentos operacionais e gerenciais, mtodos e tcnicas utilizados nas fases de desenvolvimento de um produto de software, com o objetivo de identificar prticas que possam provocar problemas na qualidade do produto e de estabelecer novas prticas que evitem estes problemas. Procura-se avaliar como est sendo desenvolvido o software atravs de: verificao de gerenciamento de configurao e controle de verses (manutenibilidade); uma adequada organizao de testes e procedimentos para controle de mudanas (confiabilidade); e testes internos bem elaborados que possam auxiliar no processo de reviso. A avaliao do Produto de software no exame de um produto final resultante de um Processo de desenvolvimento de software, ou de produtos resultantes de atividades de fases intermedirias desse processo. Deve -se avaliar a qualidade do produto liberado por diversas razes: identificar e entender as razes tcnicas para as deficincias e limitaes do produto, que podem manifestar-se atravs de problemas operacionais ou problemas de manuteno. Comparar um produto com outro, mesmo que indiretamente e formular um plano de ao de como fazer o produto de software evoluir. A avaliao do Processo d uma expectativa de gerao de produtos melhores mas, no garante a qualidade do produto final. Neste sentido, os dois tipos de avaliao so necessrios e complementares. Ambas as avaliaes tem como objetivo final melhorar a qualidade do produto em uso. Qualidade em uso o grau em que o produto pode ser usado por usurios especficos para

alcanar objetivos especificados com eficcia e satisfao num contexto especfico de uso (ISO/IEC 14598-1). Os aspectos tcnicos para a avaliao da qualidade do produto so abordados em trs normas: ISO/IEC 9126: Caractersticas de Qualidade de Software ISO/IEC 14598: Guias para Avaliao do Produto de Software ISO/IEC 12119: Requisitos de Qualidade e Testes de Pacotes de Software.

VALOR E VIABILIDADE NO SOFTWARE EDUCACIONAL

Neste sentido, o EDUCOM (uma associao americana com inmeros: colgios, escolas, universidades e outros tipos de organizao associadas) vem desenvolvendo pesquisa a fim de identificar quais famlias de software que possuem valor e so viveis. A definio de termos faz aqui importante, pois, valor significa a utilizabilidade educacional demonstrada basicamente por preos e resultados de avaliaes. O software vivel quando utilizado bastante e por um perodo longo de tempo no qual os desenvolvedores, distribuidores e usurios possam sentir -se satisfeitos com o retorno de seus investimentos individuais. O EDUCOM criou, ento, um projeto Valuable Viable Software Project cujos integrantes so acadmicos, editores de software e vendedores de hardware. Apresentam uma taxonomia do software vivel e com valor que reproduzimos abaixo Produtos de software criado para uso instrucional; Produtos worldware ( isto , produtos de software criados sem um propsito educacional e que mais tarde, so redesenhados, em parte, para uso educacional, com contedo).

UMA EXPERINCIA E SEUS RESULTADOS Em 1992, 1993 e 1994 foi realizada uma pesquisa de campo cuja amostra constou de 67 professores de diferentes disciplinas, em exerccios, seja na rede estadual ou em colgios particulares do Estado do Rio de Janeiro(Tese de Doutorado de Gilda H.B. CamposCOOPE/UFRJ-1994). O percentual da rea de atuao destes professores foi distribuidos nos dois anos da pesquisa em 50% de professores da cidade do RJ e de Niteri e, 50% de diferentes municpios do estado do RJ. A razo da distribuio desta amostragem deveu-se a realizao do I e II Curso de Informtica na Educao para graduados promovido pela Universidade Federal do Rio de Janeiro, UFJR, atravs da Coordenao

de Informtica no Desenvolvimento e Avaliao de Software Educacional onde foi aplicado um instrumento com o intuito de validar os critrios avaliativos a partir da opinio dos professores. Neste instrumento foi pedido aos professores que assinalassem o grau de relevncia de cada critrio que havia sido selecionado na literatura e em contato com especialistas. Ao analisar as respostas, verificouse logo que os professores compuseram trs grandes classes compostas da seguinte forma:
Requistos de Interface Apresentao do programa Interao do Software com o professor

Classe 1

Classe2

Classe3

A primeira classe, indicada pelo grupamento das respostas dos professores parece sugerir recomendaes par ao desenvolvedor quanto aos requisitos de interface. Sob a anlise efetuada das respostas dos professores durante esta pesquisa , verificou-se que este trabalho deveria estar ligado aos desenvolvedores de software j que no parece pertinente que o professor deva dominar a tcnica de programao ou mesmo a estrutura lgica. A segunda classe evidencia recomendaes quanto transparncia da apresentao do programa ao aluno. Poderia -se chamar esta classe de preocupaes didticas pois ela revela o lado pedaggico que um produto de software deve possuir. A terceira classe sugere facilidades para a interao do professor- software na prtica pedaggica, pois demonstra a pertinncia da interatividade em uma possvel construo conhecimento atravs das atividades propostas pelo ambiente. A utilizabilidade o objetivo mais importante para os professores, significando que o especialista em informtica deve estar presente no desenvolvimento do software educacional. Uma equipe multidisciplinar deve ser formada para o trabalho de desenvolvimento. Para seleo de um produto de software ningum mais representativo que o professor que domine o seu contedo, as estratgias pedaggicas e que esteja atualizado com as novas necessidades educacionais. Gostaria de acrescentar a importncia de se ouvir o aluno em relao importncia dos critrios para a avaliao da qualidade de software em sua a f se de desenvolvimento. Os alunos sabem apontar quais os mecanismos que despertam sua motivao. Agora pode-se pensar em critrios de avaliao da qualidade de um software educacional. Na verdade, so critrios para a avaliao da qualidade de um software que pode ser utilizado como educacional tambm. E isto importante, pois, estamos tratando aqui de produtos de software disponveis no mercado. Quando professores vo adquirir um software ou vo adquirir um software de

ou vo trabalhar em uma equipe de desenvolvimento, o que devem olhar? O que devem analisar e previlegiar? Abaixo esto listados alguns aspectos que devem ser considerados. Possibilidade de correo de contedo (alterabilidade) Facilidade de leitura da tela (amenidade ao uso) Clareza dos comandos(amenidade de uso) Independncia da linguagem (independncia do ambiente) Adaptabilidade ao nvel do usurio (Eficincia do processamento) Adequao do programa ao nvel do usurio (Validabilidade) Facilidade de leitura do programa (Clareza) Ausncia de erros no processamento do programa (Correo) Adequao do programa s necessidades curriculares (Rentabilidade) Independncia de hardware (Independncia do ambiente) Existncia de recursos motivacionais (Amenidade de uso) Previso de atualizaes (Validabilidade) Ausncia de erros de contedos (Validabilidade) Possibilidade de incluso de novos elementos (Alterabilidade) Resistncia do programa a respostas inadequadas (Robustez) Adequao do vocabulrio (Amenidade ao uso) Fornecimento de feedback (Amenidade ao uso) Apresentaes dos escores aos alunos (Validabilidade) Uso do tempo do equipamento (Rentabilidade) Integrao do programa com outros recursos (Rentabilidade) Capacidade de armazenamento das respostas (Eficincia do processamento) Existncia de tratamento de erro (Amenidade ao uso) Controle da sequenciao do programa (Amenidade ao uso) Diagramao das telas (Amenidade ao uso) Tempo de resposta (Eficincia do processamento) Existncia de ramificaes para enfoques alternativos (Amenidade ao uso) Existncia de mensagem de erro (Amenidade ao uso) Acesso a helps (Amenidade ao uso) Existncia de manual do usurio (Amenidade ao uso) Uso de ilustraes (Amenidade ao uso) Uso de cor (Amenidade ao uso)

Tempo de exposio de telas (Amenidade ao uso) Uso de animao (Amenidade ao uso) Existncia de gerao randmica de atividades (Amenidade de uso) Uso de recursos sonoros (Amenidade de uso).

No entanto, com o intuito de estabelecer preciso e fornecer garantia de seriedade nos resultados da avaliao apresentamos, a seguir, um mtodo que torna vivel a estruturao dos critrios avaliativos. AVALIAO DA QUALIDADE DE SOFTWARE EDUCACIONAL Neste trabalho procurou-se fornecer critrios de caracter genrico que so importantes para qualquer especificidades de cada modalidade de software educacional, onde forma identificadas caractersticas e critrios para Exerccios e Prtica , Tutorial, Simulao e Modelagem, Jogos,

Hipertextos e Tutores Inteligentes. Sei que o assunto no foi esgotado e que uma metodologia possui sempre um carater prescritivo. No entanto, acredito que a orientao para a realizao da avaliao sempre positiva.

CONSIDERAES

O software educacional alm de estar posicionando-se no mercado, vem despertando interesse crescente na comunidade acadmico cientfica quanto sua avaliao. Por ser um processo complexo, a avaliao de software, tanto em seu desenvolvimento como na seleo de produto, envolve inmeras questes a respeito do processo de ensino - aprendizagem como problemas concretos e operacionais relativos Engenharia de Software. A fim de identificar quais so os objetivos e fatores que determinam a qualidade do produto de software educacional, e para auxiliar na avaliao dos mesmos que foi desenvolvido este projeto procurando sempre dar um enfoque mais atualizado aos mtodos de avaliao. MTODO PARA A AVALIAO DA QUALIDADE O mtodo para avaliao da qualidade baseia-se nos seguintes conceitos. Objetivos de qualidade: determinam as propriedades gerais que o produto deve possuir.

Fatores de qualidade do produto: determinam a qualidade do ponto de vista dos diferentes usurios do produto.

Critrios: definem atributos primitivos possveis de serem avaliados. Processo de Avaliao: determinam os processos e os instrumentos a serem utilizados de forma a medir o grau de presena, no produto, de um determinado critrio.

Medidas: indicam o grau de presena, no produto, de um determinado critrio. Medidas agregada: Indicam o grau de presena de um determinado fator e so resultantes da agregao das medidas obtidas da avaliao segundo os critrios.

Os objetivos de qualidade so atingidos atravs dos fatores de qualidade, que podem ser compostos por outros fatores, que por sua vez, so avaliados atravs de critrios. Os critrios definem atributos de qualidade para os fatores. Medidas so os valores resultantes da avaliao de um produto segundo um critrio especfico. A partir do mtodo descrito e considerando-se que o software desenvolvido para atender as necessidades de seus usurios, determinados objetivos devem ser atingidos: Confiabilidade Conceitual dado que o produto precisa satisfazer s necessidades e requisitos que motivaram sua costruo. Confiabilidade de representao , que refere-se s caracterstic as de representao do produto que afetam sua comprenso e manipulao, e Utilizabilidade , que determina a convenincia e viabilidade de utilizao do produto ao longo de sua vida til. Para que um produto seja utilizvel so necessrias a confiabilidade conceitual e a confiabilidade de representao.

REFERENCIAS BIBLIOGRAFICA

Campos,Gilda Helena Bernadino de. Contrucao e Validacao de Ficha de avaliacao de produtos educacionais para microcomputadores. Dissertacao de Mestrado apresentada a faculdade de Educacao. UFRJ,1989.

Campos, Gilda Helena Bernadino de & Rocha, Ana Regina C. da. Manual para avaliacao da qualidade de software educacional. Relatrio tcnico do programa de Engenharia de Sistemas e Computacao. COPPE/UFHJ. 1990

Mendelsohn.P. Les environements intelligents. TCFA document, 9-17.Gnve. 1990

Campos, Gilda H. Bernadino de & Rocha, Ana Regina C.da . Critrios de avaliacao e modalidade do uso do computador como tutor. Congresso Latino americano de tecnologia . Caracas Anais . 1991.

Campos, Gilda H. Bernadina de; Campos, Fernandan C.A & Rocha, Ana Regina C.da. Avaliacao da qualidade de software educacional. Congresso Qualidade Total em Educacao. Universidade Gama Filho. 1993. Anais.

Campos, Gilda H.Bernadino de.Vers une mthodologie d`valuation des logiciels ducatifs. Fascicule de Didactique des Mathmatiques. Institut de Recherche Mathmatique de Rennes. 1992.

Cardoso, Rogrio H. B. Nesi Pereira.Predicao, Estimada e Medicao da confiaabilidade durante o ciclo de vida do software. Ddissertacao de Mestrado apresenta a COPPE, programa de Engenharia de Sistemas e Computacao

UFRJ,1990.

Davis,Carol J; Thompson Barrie & Smith, Peter. Industrial acceptance of Software Qualifiy Assurance Standards. IEEE, 1993.

Basili, Victor R.& Rombach ,Dieter H. Implementing quantitave SQA: A practical model. IEEE Software, september. 1987.

Baranson, Jack & Roark. Robin. Trends in north-south tranfer of high techonology.In, Natan Rosenberg & Claudio Fristack (Eds.) International

Technology transfer: Concepts,Measures and Comparisons. London, 1985.

Gras,Rgis. L nalyse des donnes: une mthodologie de traitement de questions de didactique. Recherches en didactique des mathmatiques,1992.12. (1).59-72.

Gras, Rgis & Larher . Annie. L`implication statistique, une nouvelle mthode d`analyse de donns. Mathmatique, Informatique et Science humaine.1993, 31(120).5-31.

Ilabaca,Jaime S. Informtica Educativa. Editorial Universitrio. Santiago de Chile.1993.

Reeves, Thomas. Systematic Evaluation Procedures for Interactive Multimedia for Education and Training. Multimedia computing: preparing for the 21 st century. Harrisburg, PA. Idea Group. 1994.

Kahn,Brian. Os computadores no ensino da cincia. Publicacoes Dom Quixote. Lisboa.1991.

Kahn,Brian. Os computadores no ensino da cincia. Publicacoes Dom Quixote. Lisboa.1991.

Ogborn,john; Teodoro . V.& Freitas, J. Modelacao com o computador: possibilidades e perspectivas. Desenvolvimento de sistemas educativos. GEP.1992.

Oliveira, Joo Batista Arajo & Chadwick, Clifton B. Tecnologia Educacional. Teorias da instrucao. Petrpolis, Vozes, 1984.

Panqueva A .H.G. Reflexion

acerca

del uso education

primaria y

secundaria.Informatica Educativa. Colombia (4),1.1991.

Pelgrum, Willem J.& Plomp, Tjeerd. The worwide use of computers: a description of main trends. Computers in education, vol.20 (4),323-332. Great - Britain.1993.

Pressman, Roger S. software Engineering. A practitioner`s Approach. Nem York: Macgraw-Hill, Nem York, 1992.

Rocha, A .R. C. da Campos, Gilda H. Bernadino de. Avaliacao da qualidade de software educacional. Em Aberto. Braslia. ano 12, (57), jan|mar. 1993.

Shepperd. M. products ,process and metrics. Information sand Technology, vol.34 (10). Out. 1992.

software

Stahl, Marimar M. Avaliaco da qualidade de software educacional. Relatrio tcnico do programa Engenharia de Sistemas e Computaco.COPPE/UFRJ,1988.