Vous êtes sur la page 1sur 22

Avaliao e Qualidade na Educao

Superior: tendncias na literatura e


algumas implicaes para o sistema
de avaliao brasileiro
MARCO GUILHERME BRAVO BURLAMAQUI
Pesquisador e Docente da Universidade de Braslia - UnB
marco@cead.unb.br

Resumo
O artigo pretende analisar as tendncias acerca da discusso terica que trata da
avaliao/qualidade no ensino superior. Para tanto, abordamos quatro principais enfoques
tratados na literatura: a perspectiva conceitual sobre a qualidade, a avaliao de sistemas, a
avaliao institucional e os indicadores. A partir disso, pontuamos algumas consideraes a
respeito do atual sistema de avaliao para o ensino superior brasileiro.
Palavras-chave: avaliao, qualidade, educao superior, polticas pblicas.

Resumen
El artculo tiene como objetivo analizar las tendencias acerca de la discusin terica centrada
en evaluacin/calidad en la enseanza superior. Para esto abordamos cuatro enfoques
principales tratados en la literatura: la perspectiva conceptual sobre la calidad, la evaluacin
de sistemas, la evaluacin institucional y los indicadores. Tomando esto como punto de
partida sealamos algunas consideraciones respecto del sistema actual de evaluacin para la
enseanza superior brasilea.
Palabras clave: evaluacin, calidad, educacin superior, polticas pblicas.

Abstract
This article analyzes trends in the evaluation/quality debate in higher education. Four main
approaches are discussed in the literature: a conceptual perspective on quality; systems
evaluation; institutional evaluation and performance indicators. Finally, some
considerations are advanced in relation to the present Brazilian higher education system of
evaluation.
Key words: evaluation, quality, higher education, public policies.

Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008 133


1 INTRODUO

O objetivo principal deste artigo analisar parte da discusso


terica que trata da qualidade/avaliao no ensino superior. Nele,
abrangemos alguns dos principais autores que, recentemente, tm
discutido essa temtica. Assim, percebemos e sistematizamos as tendncias
de abordagem sobre o tema, o que, consideramos, agrega discusso por
permitir uma viso mais orgnica.
Notamos que o debate a respeito da avaliao e da qualidade na
educao superior segue algumas linhas diferenciadas. A reviso da
literatura permitiu sistematizar quatro enfoques principais: o primeiro
abrange a perspectiva conceitual sobre a qualidade; o segundo, a discusso
focada na avaliao de sistemas; o terceiro, na avaliao institucional; o
quarto, nos indicadores. A organizao proposta possibilita a anlise
contextualizada de sistemas de avaliao, como o brasileiro, em suas
possibilidades e limitaes.
Alguns autores debatem a temtica da avaliao e/ou da qualidade
no ensino superior discorrendo sobre aspectos relativos a um ou mais dos
enfoques aqui tratados. Assim, possvel encontrar autores que, por
exemplo, abordam a qualidade de maneira conceitual e que discutem e/ou
propem modelos de avaliao de sistemas.
Cabe explicar que a literatura especfica a respeito da avaliao dos
cursos de graduao limitada, e o debate, nesse sentido, encontra-se
basicamente diludo nas discusses sobre avaliao institucional e de
sistemas, motivo pelo qual no trataremos a questo em tpico prprio. No
mbito dos cursos de graduao, h algumas discusses a respeito do
extinto Exame Nacional de Cursos ENC e do atual Exame Nacional de
Desempenho dos Estudantes Enade. Contudo, tais exames, isoladamente,
no podem ser caracterizados como modelos de avaliao de cursos, pois
representam apenas uma informao sobre conhecimentos e habilidades
adquiridos por alunos concluintes. Os exames sero tratados no subitem
Discusso sobre os indicadores.

2 A PERSPECTIVA CONCEITUAL SOBRE A QUALIDADE

A pesquisa permitiu levantar alguns eixos e dicotomias que ajudam


a compreender a questo de modo sistematizado. Essa sistematizao
talvez seja uma das principais contribuies deste trabalho, que permitir,
at mesmo, traar algumas caractersticas da avaliao de sistemas e da
avaliao institucional com base nas discusses presentes na literatura
134 Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008
relativa a cada um desses processos. Assim, no debate conceitual sobre a
qualidade destacam-se as noes de complexidade e de
multidimensionalidade, alm das seguintes dicotomias: qualidade a partir
dos enfoques qualitativo/quantitativo e de produtos/processos. Por fim,
observa-se na discusso uma linha que trata da eficcia e eficincia.

2.1 Qualidade: um conceito complexo e multidimensional

Avaliao e qualidade so dois termos intrinsecamente relacionados


quando utilizados na educao. Como Silva (2001) argumenta, a qualidade
o foco central da avaliao, porque qualquer processo avaliativo visa a
conhecer a qualidade ou, ao menos, seus indicadores; porm, segundo a
autora, a definio conceitual desse termo complexa.
Ferrer (1999) prope-se a discutir o conceito de qualidade na
educao, argumentando, inicialmente, que polissemia, indefinio e
ambigidade so caractersticas do termo qualidade, quando aplicado a
essa rea. Desse modo, tem significados diferentes para distintos
observadores e grupos de interesse, de maneira que h percepes
divergentes acerca do que deveria ser mudado, em termos de garantia da
qualidade.
Segundo esse autor, quando se fala de qualidade da educao, est-
se falando de uma realidade complexa, como um sistema, uma instituio
ou curso. Para ele, deve-se reconhecer expressamente a
multidimensionalidade do conceito quando aplicado rea educacional,
pois, quando falamos da qualidade de um curso ou de uma universidade
estamos nos referindo no s a um aspecto, mas a vrias dimenses desses
contextos. Em uma universidade h, por exemplo, a dimenso da gesto,
do corpo docente, do desempenho dos alunos, da pesquisa, da extenso, da
estrutura fsica, entre outras.
Cunha e Wertheim (2001), fazendo meno ao texto que trata das
implicaes da Declarao Mundial de Paris para a poltica do ensino
superior brasileiro, destacam que a qualidade da educao superior um
conceito multidimensional que inclui todas as funes e atividades: ensino,
pesquisa, fomento cincia, pessoal docente, estudantes, estruturas fsicas,
equipamentos, servios de extenso comunidade e o ambiente acadmico
em geral.
Nota-se, portanto, que falar da qualidade de uma instituio ou
curso implica, nessa perspectiva, a noo da complexidade estrutural e da
multidimensionalidade, no que tange a esses contextos. Essa noo pode
representar o cuidado quanto utilizao do termo qualidade

Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008 135


institucional de modo reducionista, tomando, por exemplo, apenas um
aspecto ou dimenso de um contexto como representativo do todo.

2.2 A dicotomia qualitativo/quantitativo na discusso sobre a


qualidade do ensino superior

A noo de complexidade de certa realidade a ser avaliada, como


um curso ou uma instituio, permitiu notar que utilizar apenas
informaes ou mtodos de natureza especfica (quantitativa, por exemplo)
pode representar a perda de informaes importantes de ordem mais
subjetiva ou qualitativa acerca desses contextos. Essa noo remete
utilizao de componentes quantitativos e tambm qualitativos na
avaliao, para uma viso integrada, uma vez que a prpria realidade
avaliada composta por tais elementos, com informaes de ambas as
naturezas passveis de serem levantadas. Contudo, possvel notar na
literatura alguns posicionamentos reducionistas sobre a questo, ora
enfatizando determinados aspectos, ora criticando.
Para Colho (2003), a utilizao excessiva de informaes
quantitativas como base da avaliao do ensino superior, alm de
pressionar os indivduos para que alcancem determinados indicadores
quantitativos, relativos, por exemplo, ao nmero de pesquisas e
publicaes, no capaz de garantir que se avalie a qualidade do trabalho
realizado. Para ele, deve-se utilizar metodologias de avaliao que
abarquem aspectos qualitativos ou subjetivos.
Sobrinho (2000), por outro lado, defende que as informaes
quantitativas e qualitativas sejam utilizadas de modo integrado na
avaliao, pois cada tipo de informao se refere a aspectos e dimenses
diferenciados acerca da realidade avaliada. Nesse sentido, o autor afirma:

Em muitos momentos do processo, a imbricao e combinao de perspectivas so


altamente desejveis e at mesmo necessrias. H casos em que a objetividade
quantitativa ou descritiva imprescindvel. Por exemplo, quando necessrio isolar
alguns aspectos do contexto para melhor e mais detalhadamente analis-los.
Importante que isso no impea a viso integrada e organizada do conjunto.
(p. 80)

Informaes de natureza quantitativa, como ndices de qualificao


do corpo docente, nmero de recursos por aluno e nmero de alunos por
professor, podem ser relevantes, at mesmo se cruzadas com outras
informaes (quando podero demonstrar, por exemplo, a sua contribuio
para o alcance de objetivos). Contudo, h outros aspectos que talvez sejam

136 Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008


importantes, e que informaes quantitativas podem no dar conta de
revelar, como a percepo subjetiva dos atores sobre o processo do qual
fazem parte, o clima institucional, a motivao, o compromisso dos atores
envolvidos, entre outros.
Naturalmente, informaes subjetivas sugerem anlises mais
trabalhosas; entretanto, possvel levantar e sistematizar essas informaes
de modo mais objetivo. Nesse sentido, a percepo dos atores a respeito do
processo poderia fomentar ndices, por exemplo, quanto satisfao
acadmica em relao aos cursos (h a possibilidade de agregar
informaes de vrios atores, o que resulta em um ndice que reflete a
percepo geral). Assim, a informao subjetiva pode-se transformar em
um indicador quantitativo.

2.3 A dicotomia produtos/processos na discusso sobre a qualidade do


ensino superior

A literatura tambm revela a valorizao ora de produtos, ora de


processos, no que diz respeito avaliao do ensino superior.
Tal qual encontramos, produtos dizem respeito ao que
alcanado ao final de determinados processos. Assim, processos se
referem aos meios para se alcanar determinado produto. No mbito
educacional, nota-se que o ensino corresponde a um processo que sofre a
interferncia de vrios aspectos ou variveis. Por exemplo: uma fraca infra-
estrutura, um corpo docente mal qualificado, um sistema de
acompanhamento deficiente e a falta de comprometimento dos atores
envolvidos podem representar interferncias negativas relativas ao
processo de ensino. Assim, ao trmino desse processo, possivelmente o
aluno ter uma formao precria, com conhecimentos e habilidades que
no atendem s suas necessidades, ou seja, o resultado ser negativo. A
esse resultado, justamente, alguns autores como Sobrinho (2000), Morosini
(1997), Leite e Morosini (1997), Colho (2003) e Schwartzman (1996) do o
nome de produto, podendo, no mbito da avaliao, ser levantado no s
no momento final de um processo educativo, mas tambm no subseqente.
Nesse sentido, so comuns pesquisas com formandos, com egressos e a
utilizao de exames que verifiquem os conhecimentos e as habilidades
adquiridos por alunos concluintes.
Alguns autores criticam a viso de avaliao que valoriza apenas os
produtos educativos, sobretudo a partir da implementao do ENC que
visava, a princpio, avaliar resultados educativos e surgia como o nico
instrumento de avaliao do ensino de graduao. Segundo Sobrinho
(2000),
Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008 137
...importam a, sobretudo, os produtos, na verdade aqueles que foram previamente
escolhidos como padro de qualidade, independentemente dos processos que os
produziram, dos contextos que lhes do significao mais completa, das condies
diferenciadas que os engendraram. (p. 162)

Na mesma linha, para Morosini (1997) a avaliao no pode ser nica e


exclusivamente de produto de desempenho. Ela deve considerar o processo, ou
seja, as condies que fizeram com que tal produto fosse obtido (p. 151).
Sem levar em conta os possveis estigmas gerados com a utilizao
desses termos poca da implementao do Exame Nacional de Cursos,
nota-se que o ensino corresponde a um processo permeado por vrios
aspectos ou variveis que, ao final, trar algum resultado (produto). Nesse
sentido, em uma perspectiva que compreende a complexidade e a
multidimensionalidade inerentes s realidades avaliadas, ambas as
dimenses fazem parte da avaliao.

2.4 Eficcia e eficincia na discusso conceitual sobre qualidade

Alm da nfase, ou crtica, acerca de aspectos ora quantitativos, ora


qualitativos, assim como de produtos e processos, evidencia-se, na
literatura sobre avaliao/qualidade no ensino superior, a tendncia do
enfoque a respeito da eficcia e eficincia na discusso conceitual sobre
qualidade. Desse modo, o pressuposto bsico que uma instituio de
qualidade deve ser eficiente e eficaz. Isso notado, sobretudo, quando
modelos de avaliao e sistemas de indicadores so propostos, como nos
trabalhos de Estrada (1999), Schwartzman (1996 e 1997), Lapa e Neiva
(1996) e Boclin (1999), entre outros.
Cohen e Franco (1993), ao tratarem de projetos sociais, expressam
que a eficcia diz respeito ao grau em que determinados objetivos e metas
so alcanados. Ferrer (1999), aplicando o conceito rea educacional,
concorda com tal definio, conceituando-a como o grau de cumprimento
efetivo dos objetivos educativos propostos. Segundo o autor, esses objetivos tm
sido compreendidos em termos de resultados de alunos, mensurados por
meio de testes ou de qualificaes atribudas pelos professores. Assim, essa
concepo enfatizou o produto educativo. Para Ferrer (1999), trata-se de
uma aproximao ao mercado produtivo, que considera a perfeio do
produto como critrio central da qualidade. Estrada (1999) tambm se
enquadra nesse enfoque. Segundo ele, a dimenso da eficcia diz respeito
ao alcance dos objetivos e propsitos estabelecidos. Dessa forma, uma
instituio ser de qualidade se seus estudantes e egressos demonstrarem
os nveis de aprendizagem de contedos, habilidades, atitudes e valores
138 Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008
propostos. Para Ferrer (1999), essa concepo apresenta alguns problemas,
como a falta de reflexo sobre a pertinncia do que medido e,
eventualmente, de objetivos claros e consensuados, o que s vezes
implicam decises unilaterais e a no-considerao de processos educativos
que influenciam nos resultados.
A qualidade da educao tambm vista pelo enfoque da eficincia.
Isso aparece, principalmente, quando se propem sistemas de indicadores
para o ensino superior. Segundo Ferrer (1999), eficincia diz respeito ao
grau de adequao entre os resultados obtidos e os recursos utilizados.
Para o autor, o desenvolvimento de estatsticas de recursos humanos e
econmicos, tais como a relao professor/aluno, taxas de egressos e de
evaso, relacionadas ao gasto em educao por aluno e outras, referem-se a
essa concepo de qualidade. Nessa perspectiva, um curso de qualidade
se utiliza adequadamente seus recursos, sem desperdcios. O problema
dessa tendncia, de acordo com Ferrer (1999), est relacionado a deixar de
lado os processos complexos que ocorrem em instituies educacionais.
Quanto a essa dimenso, Estrada (1999) afirma que uma instituio
ser eficiente se seus recursos e processos forem utilizados
apropriadamente e cumprirem sua funo. Desse modo, h a preocupao
com o uso adequado dos recursos e o desenvolvimento dos processos ante
os resultados alcanados.
Pode-se inferir que a eficincia corresponde a uma dimenso
relativa eminentemente gesto. Como exemplo, nota-se que dois cursos
diferenciados podem alcanar os mesmos objetivos; no entanto, um deles
despende muito mais recursos do que o outro, sendo, por isso, considerado
ineficiente.
Observa-se, tambm, que a dicotomia processos/produtos encontra-
se subjacente discusso sobre qualidade, com enfoque na eficcia e na
eficincia. A primeira pressupe o alcance de objetivos educativos que
podem ser caracterizados, em certo sentido, como produtos ou resultados.
Por sua vez, a perspectiva da eficincia presume a anlise de determinados
processos, em sua relao com o alcance de determinados objetivos.

3 QUALIDADE/AVALIAO NA PERSPECTIVA DA AVALIAO


DE SISTEMAS DO ENSINO SUPERIOR

De incio, percebe-se que os modelos de avaliao de sistemas


propostos por alguns autores tendem a valorizar e discutir informaes
quantificadas, ou seja, indicadores quantitativos, como nos trabalhos de
Estrada (1999), Boclin (1999), Schwartzman (1997), Castro (2003a) e
Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008 139
Gonzales (2003). Isso possivelmente ocorre, pois difcil propor um modelo
de avaliao nesse mbito que abarque informaes mais subjetivas, tendo
em vista que um sistema de ensino caracteriza-se por sua amplitude e
complexidade.
Kells (1996) discute a complexidade dos sistemas de ensino superior
na Amrica Latina, com vistas a propor um modelo de avaliao
generalizado. De incio, o autor afirma que os sistemas de avaliao do
ensino superior na Amrica Latina esto em fase embrionria, ou seja,
bastante incipientes, com mecanismos de avaliao pouco testados e
desenvolvidos. A partir disso, para construir um modelo generalista
aplicvel Amrica Latina, Kells (1996) discorre acerca das caractersticas
comuns aos sistemas de ensino superior desses pases. Um dos pontos que
destaca corresponde heterogeneidade. Assim, um sistema de avaliao
para tais pases abarcar diversos tipos de instituies de ensino superior.
Essa questo se refere no apenas aos diversos tipos de instituies
(universidades, centros universitrios, institutos, faculdades isoladas, etc.),
mas tambm, segundo Kipnis e Burlamaqui (2004), s prprias diferenas
regionais no que diz respeito, por exemplo, economia.
Essa complexidade, constituda pela diferenciao e amplitude dos
sistemas, pode ter implicaes quanto construo de um modelo de
avaliao, at mesmo no que se refere utilizao de exames como o ENC.
Pode-se inferir que sistematizar informaes de cunho subjetivo e muito
especfico sobre instituies dificulte, por exemplo, a comparabilidade. Da
a proposio, predominante na literatura, de modelos de avaliao
constitudos de indicadores quantitativos ou objetivos. Alm disso, na
discusso sobre a avaliao de sistemas, freqentemente h a preocupao
com a funo reguladora da avaliao, que pode ter implicaes sobre as
discusses e definies de modelos de avaliao nesse mbito. Martins
(2005) argumenta:

A avaliao um processo permanente de autoconscincia, tomada de posio,


reviso, retomada ou redirecionamento de rumos institucionais e de programas e
atividades. Tal processo, com certeza, fundamento indispensvel para a garantia
e a melhoria da qualidade. E seus resultados, obviamente, enriquecem e, at
mesmo, do sentido aos procedimentos de regulao. Tanto a auto-regulao, pelas
prprias instituies que fazem a educao superior, como a regulao que compete
ao Poder Pblico exercer. (p. 2)

140 Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008


Belloni (1997), por sua vez, declara que a finalidade da avaliao de
sistemas

... a melhoria da qualidade e da eficincia do funcionamento do sistema como um


todo, bem como o de cada instituio que o integra. Deve ser usada, tambm, para
fins de credenciamento, isto , para garantir que as instituies integrantes do
sistema cumpram os requisitos mnimos para integr-lo e para nele permanecer.
(p. 27)

Nota-se, portanto, que a funo de regulao do sistema pressupe


dificuldades no aprofundamento das realidades especficas das instituies,
em suas subjetividades e processos, implicando a utilizao de informaes
quantitativas ou mais objetivas.
Schwartzman (1997) observa que os modelos de indicadores
quantitativos, propostos para a avaliao de sistemas, precisam ser
desenvolvidos, pois, geralmente, as instituies tm fins bastante
diferenciados e insumos heterogneos que se combinam para produzir
informaes parciais e de qualidade pouco uniforme, controversas e com
pouco poder de comparabilidade (essa questo ser mais explorada no
tpico 5, que trata da discusso dos indicadores).

4 QUALIDADE/AVALIAO NA PERSPECTIVA DA AVALIAO


INSTITUCIONAL

Outra linha de discusso enfoca a avaliao institucional. Ou seja,


alguns autores analisam instituies especficas e no o conjunto delas que
compem um sistema, entre eles: Belloni (1997), Sobrinho (1997), Leite e
Morosini (1997), Gatti (1999), Amaral e Polidori (1999), Colho (2003),
Newby (1999).
Em geral, observa-se que tal discusso, diferentemente do foco em
sistemas, tende a valorizar informaes mais subjetivas/qualitativas e o
processo ocorrido no interior das instituies. Isso, possivelmente, pelo fato
de que pensar a avaliao de um tipo determinado de instituio, como a
universidade, permite maior aprofundamento em caractersticas especficas
dessa realidade, ao contrrio das possibilidades de um modelo pensado
para um sistema de instituies. Nesse sentido, segundo Belloni (1997), a
avaliao institucional tem como objeto a instituio em sua individualidade, isto
, est centrada nos processos e resultados das aes da instituio... (p. 26).
Schwartzman (1996) argumenta que as variveis de processo podem
ser abarcadas, sobretudo em avaliaes como a institucional e a auto-
Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008 141
avaliao. Para o autor, tais variveis dizem respeito, por exemplo, aos
mtodos de ensino, organizao curricular e gesto acadmica. Belloni
(1997) afirma que esse tipo de avaliao ...leva a decises precipuamente
internas instituio, seus agentes, seus processos, sua estruturao (p. 26). Alm
disso, a autora considera que ele , em si mesmo, processual, uma vez que
ocorre de maneira contnua.
Outra caracterstica refere-se valorizao de aspectos qualitativos,
considerando a subjetividade presente nas instituies como um fator
relevante. Nesse sentido, as interpretaes que os sujeitos institucionais tm
daquela realidade podem constituir informaes relevantes. Sobrinho
(1997) declara que a avaliao qualitativa abarca debates, negociaes das
divergncias, a compreenso de que os fenmenos sociais comportam
idias, crenas, regras e normas que requerem interpretao e disputas. Por
outro lado, para o autor, esse tipo de avaliao enfatiza as relaes
humanas, o modelo pedaggico, o clima institucional, a qualidade de vida,
os processos institucionais e as relaes de poder e saber. Colho (2003),
por sua vez, ao criticar os modelos de avaliao que valorizam apenas
produtos da universidade, argumenta que a subjetividade precisa ser
abarcada na avaliao, uma vez que os prprios sujeitos so historicamente
determinados, sendo livres e respondendo de modos variados aos desafios
e demandas que lhes so colocados.
Em geral, nota-se, com base na literatura levantada, que a avaliao
institucional pode ter tambm uma nfase interna e outra externa. A
avaliao interna, segundo Sobrinho (1997), realizada pelos agentes
internos da instituio, comportando vrias aes, como a sensibilizao da
comunidade e a definio de critrios e metodologias. Para Belloni (1997),
os sujeitos internos so os alunos, professores e servidores tcnico-
administrativos. Pode-se inferir que a avaliao interna corresponda
dimenso de auto-avaliao da instituio.
J a avaliao externa, segundo Sobrinho (1997), envolve outros
agentes normalmente membros da comunidade cientfica no pertencentes
instituio avaliada, reconhecidos pela sua competncia tcnica e tica.
Para Belloni (1997), os sujeitos externos podem ser tambm empregadores,
trabalhadores em geral e entidades sociais. Newby (1999) considera que
esse tipo de avaliao pode ser realizado por pares, que so especialistas
e/ou grupos de profissionais (peer review).
Algumas das caractersticas da avaliao institucional podem ser
vislumbradas a partir do Programa de Avaliao Institucional das
Universidades Brasileiras Paiub, implementado em 1993 e apoiado pela
Secretaria de Ensino Superior do Ministrio da Educao Sesu/MEC, que

142 Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008


representa um exemplo claro de alguns mecanismos desse tipo de
avaliao.
Para Leite e Morosini (1997), o objetivo principal do Paiub era
...rever e aperfeioar o projeto acadmico e sociopoltico da instituio, promovendo
a melhoria da qualidade e a pertinncia das atividades desenvolvidas (p. 132).
Segundo as autoras, a proposta previa as seguintes etapas: 1) Diagnstico
a partir de dados quantitativos existentes na instituio; 2) Avaliao
interna subdividindo-se em auto-avaliao, realizada pela comunidade
acadmica, e na consolidao dos dados, pela comisso de avaliao da
instituio; 3) Avaliao externa realizada por acadmicos de outras
instituies, profissionais da rea, representantes de entidades cientficas,
profissionais, empregadores, etc.; 4) Reavaliao interna com base em
todos os resultados avaliativos produzidos, propiciando uma anlise com a
comunidade acadmica, 5) Realimentao e difuso que implica na
reconsolidao dos dados, na tomada de decises a implementar e na
publicao dos resultados. Observam-se, com base nessas etapas propostas
no Paiub, mecanismos de avaliao interna (inclusive, auto-avaliao) e
externa (peer review).
Para Amaral e Polidori (1999), algumas caractersticas do Paiub
acarretaram problemas. Como os membros da comisso avaliativa eram
apontados pela prpria instituio, a avaliao externa no foi
independente, o que reduziu a credibilidade do processo. Ademais,
segundo os autores, foi dada demasiada liberdade s instituies nas
definies de seu prprio processo avaliativo, o que no garantiu a
comparabilidade dos resultados obtidos entre diferentes instituies.
Contudo, de acordo com Amaral e Polidori (1999), o principal problema
deveu-se ao fato de que as instituies no tiveram incentivos suficientes
para criar um sistema nacional efetivo. O processo tornou-se
demasiadamente lento, descentralizado e inconsistente, alm do tempo ter
sido insuficiente para a publicao da ampla quantidade de resultados.
A partir dessas colocaes, nota-se que a avaliao institucional
pode correr o risco de se tornar pouco eficaz, sobretudo se for somente
caracterizada por mecanismos de avaliao interna e/ou auto-avaliao,
estando sob responsabilidade dos sujeitos da prpria instituio. Gatti
(1999) atenta para essa questo quando afirma que os processos nessa
modalidade avaliativa s adquirem possibilidade de impacto se
considerados valiosos para a comunidade de referncia, com participao
efetiva. Por outro lado, infere-se que a no utilizao de mecanismos
externos, baseados em indicadores padronizados para as instituies, pode
implicar na pouca comparabilidade de resultados de diferentes instituies.

Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008 143


5 QUALIDADE/AVALIAO NA PERSPECTIVA DA DISCUSSO
SOBRE OS INDICADORES

A discusso sobre a qualidade do ensino superior, necessariamente,


perpassa a questo dos indicadores, como apontam Ferrer (1999) e
Spagnolo (1999). Segundo Macrae (1985), para que uma varivel seja
considerada um indicador deve ser til para a escolha de polticas pblicas
e/ou para a tomada de deciso. Para ele, isso implica saber como uma
varivel afeta um determinado valor final.
Remontando para a questo da avaliao da qualidade do ensino
superior, uma varivel ou estatstica para ser til deve influenciar um valor
final relativo a esse nvel de ensino. Nesse sentido, a questo relaciona-se
definio dessas variveis de valor final. O desempenho dos cursos no ENC
pode ser considerado uma varivel de resultado e/ou valor final. Assim,
por exemplo, a estatstica relativa ao nmero de alunos/professor (varivel
1), por si s, no tem relevncia para inferncias acerca de resultados de um
curso. Contudo, se essa estatstica expressa uma relao causal com a
varivel relativa ao desempenho de cursos em um exame (varivel 2), passa
a ter significao para a tomada de deciso nesse mbito, pois as anlises
da relao entre essas variveis tornaram possvel inferir os nveis da
primeira que afetam a segunda. Desse modo, um decisor de polticas
poderia apontar em que quantidade o nmero de alunos/professor
influencia negativamente o desempenho de um dado curso no exame
(varivel de resultado/valor final). Portanto, nessa viso para a construo
de indicadores, inicialmente, preciso que se tenha variveis relativas
instituio ou curso que possam ser analisadas no que diz respeito
dependncia com outras variveis.
A viso de Castro (2003b) coincide com a de Macrae (1985). De
acordo com a autora, para que sejam estabelecidos indicadores factveis
acerca de contedos, competncias e habilidades, necessrio definir
padres mnimos relativos infra-estrutura, gesto e oportunidades de
aprendizagem, e tambm realizar estudos acerca da relao entre variveis
referentes a esses aspectos e uma varivel dependente que se refere a um
valor final. Assim, por exemplo, se a estatstica relativa ao nmero de
alunos/professor no prejudica, at certo ponto, o domnio de
determinados conhecimentos e habilidades por alunos de um curso
(varivel relativa ao valor ou objetivo final), pode-se inferir que o nmero
de alunos possa ser aumentado, tornando o curso mais eficiente (menos
dispendioso) e efetivo (maior retorno sociedade).
Spagnolo (1999), com relao qualidade, expressa que necessrio
saber em que medida os resultados pretendidos e obtidos se relacionam
144 Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008
com os padres aceitos, com definies explcitas e consensuais de
exigncias a serem cumpridas e de nveis a serem alcanados, concluindo,
com base nessa colocao, que o problema dos standards algo inevitvel.
Essa viso da necessidade de se estudar relaes entre padres estipulados
e resultados obtidos/pretendidos demonstra uma concepo de
indicadores aproximada de Macrae (1985).
Outros autores, contudo, demonstram uma conceituao
diferenciada sobre indicadores. Ferrer (1999), ao tratar da construo de
indicadores de qualidade, prope uma srie de medidas/informaes que
podem ser utilizadas, como ndices de qualificao de professores, ndices
de egressos e outros. Para ele, dada a complexidade da realidade avaliada,
torna-se necessrio recorrer a vrios indicadores, buscando abarcar
dimenses diferenciadas dessa mesma realidade. Todavia, o referido autor
no utiliza o conceito de acordo com o sentido proposto por Macrae (1985).
Boclin (1999) tambm no utiliza (ao menos explicitamente) a
conceituao de Macrae (1985) sobre indicadores. No entanto, percebe a
mesma utilidade, expressando que um indicador deve ser relevante para a
tomada de decises.
Schwartzman (1996), ao abordar a metodologia para avaliao de
cursos, prope algumas informaes que so tratadas como indicadores
relacionados qualidade; contudo, no discute a necessidade de se analisar
como essas informaes afetam um determinado valor final, como implica
a conceituao de Macrae (1985).

Alguns aspectos relacionados utilizao de indicadores

Boclin (1999) afirma que a utilizao de indicadores, dentre outras


vantagens, ajuda a consolidar a cultura de informao, permitindo
correes imediatas e ajustes no processo de ensino-aprendizagem e em
todos os seus envolvimentos. Para Randall (2002), uma das vantagens do
uso de indicadores corresponde possibilidade de tornar as informaes
sobre as instituies explcitas ao pblico em geral e, em especial, aos
usurios do sistema.
Por outro lado, utilizar indicadores tambm pode causar alguns
problemas, como uma certa acomodao das instituies. Segundo
Newby (1999), a determinao de indicadores para avaliao pode
ocasionar uma atitude de conformidade da instituio, na medida em que
apenas precisam alcanar determinados padres para receberem uma boa
avaliao. Nesse sentido, de acordo com o autor ...qualidade no diz respeito a
fazer o suficiente para alcanar um determinado padro (...), mas, sim, fazer melhor
do que antes (p. 265). Estrada (1999), por sua vez, argumenta que a utilizao
Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008 145
do termo qualidade da educao remete ao propsito de melhoramento.
A avaliao representa a ferramenta metodolgica, o juzo crtico e as
propostas para essa melhora.
Kipnis e Burlamaqui (2004) argumentam que preciso cuidado com
a utilizao de indicadores que sejam condicionantes, uma vez que as
caractersticas e os potenciais das instituies so diferenciados; no se
pode exigir necessariamente as mesmas coisas de cada uma delas. Para
eles, devem-se evitar avaliaes reducionistas (baseadas em poucos
critrios e centralizadoras).
Outro problema diz respeito s informaes que servem de base
para o desenvolvimento de indicadores. Schwartzman (1997) considera que
as que se referem ao sistema de ensino superior brasileiro ainda so
bastante precrias. Em razo da pouca disponibilidade, e, sobretudo, da
falta de organizao das informaes no possvel desenvolver
indicadores confiveis. Segundo o autor,

... os problemas metodolgicos so inmeros e devem-se natureza peculiar da


instituio universitria: fins mltiplos e insumos heterogneos combinam-se para
produzir informaes parciais e de qualidade pouco uniforme, altamente
controversas e com pouco poder de comparabilidade. (p. 174)

No obstante, a utilizao de indicadores, independentemente da


conceituao que se tenha e dos possveis problemas, algo amplamente
defendido por vrios autores, como demonstrado no decorrer do texto.
Geralmente, os autores defendem o uso de vrios indicadores,
simultaneamente, para a avaliao. Para Ferrer (1999), dada a
complexidade inerente realidade avaliada, na maioria das vezes no
bastar apenas um indicador, mas vrios. Desse modo, para ele faz mais
sentido falar de sistemas de indicadores do que de indicadores isolados.
Boclin (1999), na mesma direo, afirma que mais adequado, para a
avaliao, a utilizao de indicadores mltiplos que possam ser
relacionados.

6 CONSIDERAES FINAIS

A partir de abril de 2004, foi institudo o Sistema Nacional de


Avaliao da Educao Superior Sinaes. O novo sistema manteve
algumas caractersticas do anterior, principalmente com relao sua
complexidade. Alm do Exame Nacional do Desempenho dos Estudantes -
Enade, que substituiu o Exame Nacional de Cursos ENC, o atual sistema

146 Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008


composto pela auto-avaliao institucional, pela avaliao institucional
externa, pela avaliao das condies de ensino e instrumentos de
informao (censo e cadastro), o que caracteriza, ao menos teoricamente,
um sistema abrangente e adequado noo de complexidade, debatida no
mbito da qualidade, conforme abordamos na discusso conceitual.
Salientamos, contudo, ainda no haver disponibilidade de dados a respeito
de como o sistema tem funcionado na prtica.
O exame aplicado aos estudantes concluintes da graduao Enade
avana em relao ao antigo, ao prever um teste de entrada aos alunos.
Desse modo, tenta-se medir o valor adicionado ou agregado dos cursos
sua formao prvia, mensurado pelo exame de entrada, o que era uma das
principais crticas ao extinto ENC, pois o desempenho dos alunos poderia
estar associado no ao curso, mas sua formao prvia, que
freqentemente est relacionada ao seu perfil socioeconmico. Burlamaqui
(2004) constatou que tais variveis tendem a estar associadas ao
desempenho mdio dos alunos em exames, como o ENC. Assim,
entendemos que o controle de variveis relativas ao perfil do alunado e ao
seu conhecimento prvio (como, por exemplo, condies socioeconmicas e
capital cultural) pode ser outra estratgia eficaz para minimizar o impacto
da associao dessas variveis sobre o desempenho de alunos concluintes
em um exame, o que, de fato, aparece como um problema.
Outro mtodo possvel, talvez menos dispendioso que um exame de
entrada, seria traar um sistema de informao da entrada de alunos,
baseado, por exemplo, na aplicao de um questionrio sociocultural que
permitiria levantar informaes relativas, precisamente, ao seu perfil,
quando do ingresso em determinado curso. A partir disso, na anlise
posterior dos resultados de um exame aplicado a concluintes de graduao,
essas informaes levantadas poderiam ser controladas. Outra alternativa
seria desenvolver um exame de entrada integrado. O Exame Nacional do
Ensino Mdio Enem est sendo utilizado por algumas instituies como
base de ingresso de seus alunos. Contudo, a adoo de um exame
integrado, em nvel nacional, poderia condicionar o sistema, minimizando
caractersticas prprias de cada contexto regional.
Uma das crticas feitas aos exames diz respeito sua possvel
utilizao como nico e/ou principal mecanismo avaliativo. Isso poderia
significar um condicionamento das realidades avaliadas, que precisariam
adequar-se s exigncias do exame, focando seus processos de ensino-
aprendizagem nessa direo. Entende-se que as instituies podem ter
mecanismos e objetivos de aprendizagem prprios, pois cada regio tem
caractersticas sociais e econmicas diferentes que podem implicar nas
definies da instituio. Alm disso, h a questo de que a realidade est
Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008 147
em constante transformao, sobretudo em um contexto de rpidas
mudanas, como a atual sociedade tecnolgica.
Nota-se, contudo, que esta discusso terica revela que alguns
pontos presentes na literatura explicam o sentido da utilizao de um
exame como parte integrante de um sistema de avaliao para o ensino
superior.
Uma vantagem com relao a exames corresponde possibilidade
organizativa do sistema. Os exames e informaes levantadas, junto a
alunos de todos os cursos de uma rea, no pas, permitem que se tenha
informaes, mesmo parciais, que possibilitam um panorama geral do
sistema. Nesse sentido, possvel, por exemplo, identificar as instituies
que tm, ao mesmo tempo, baixo desempenho em exames e a percepo
negativa de seus alunos a respeito das condies de ensino e estrutura
oferecidas. De todo modo, a associao dessas informaes poderia gerar,
facilmente, ndices que ajudariam a apontar, mesmo com informaes
parciais, instituies com maiores problemas em relao a outras. A partir
disso, outros dados, naturalmente, poderiam ser levantados e avaliados
com o intuito de que a viso parcial inicial, proporcionada pelas
informaes do exame e de questionrios, fosse complementada. Essa
funo organizativa pode ser considerada um aspecto relevante, sobretudo
por tratar-se de sistemas amplos e heterogneos, como o caso brasileiro.
Outro ponto diz respeito questo da eficcia. A qualidade, como
salientam alguns autores citados, freqentemente abordada com base
nesse enfoque. Outros autores, embora no utilizem diretamente o termo,
declaram que os objetivos da instituio ou do curso devem ser
constantemente revistos e alcanados.
A dimenso da eficincia de um curso ou de uma instituio, por
sua vez, tambm acaba perpassando a questo dos objetivos. Assim, a
adequao dos gastos analisada em relao ao alcance de metas ou
objetivos. Tanto com relao eficincia quanto eficcia, a pergunta que
surge a seguinte: uma instituio eficiente e/ou eficaz com relao ao
alcance de que objetivos?
Outros autores, como visto, apontam a necessidade de se trabalhar
com medidas relativas ao produto/resultado de uma instituio ou ao seu
desempenho com relao a algum parmetro. A conceituao de Macrae
(1985) sobre indicadores implica, ainda, que se desenvolvam medidas
relativas ao valor final e/ou aos resultados, que possam ser analisados com
relao dependncia de outras variveis, em relaes causais.
Infere-se da discusso, portanto, que difcil pensar em um sistema
de avaliao que no tenha alguma medida de resultado, relativa ao
alcance de objetivos, que sirva de base para a anlise e para uma maior
148 Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008
racionalidade na tomada de decises. Considerando que, em instituies
educacionais, os principais objetivos, provavelmente, se referem ao ensino
que so capazes de promover, entende-se que, em razo disso, decorre a
questo sobre o qu, efetivamente, foi apreendido por um estudante ou
adicionado sua formao. Embora um exame como o Enade no mostre,
necessariamente, o que foi acrescentado formao dos alunos, pode
revelar determinados conhecimentos e habilidades que eles possuem ao
final de um curso de graduao. Assim, de todo modo, seus resultados
podem relacionar-se aos objetivos de um curso. O perigo, contudo, est no
peso excessivo dado ao exame, que pode condicionar a realidade,
eliminando particularidades e potencialidades de cada contexto e regio.
Nessa direo e em uma perspectiva que considera a complexidade
das realidades avaliadas, seja no mbito de sistemas ou, especificamente,
de instituies ou cursos, avaliar e regular o ensino superior de graduao,
com base no peso de um indicador isolado, corresponderia a uma ao
reducionista que deixaria de considerar outros possveis elementos
relevantes, de ordem qualitativa e quantitativa, relativos aos resultados e
processos, importantes para o conhecimento do sistema e a tomada de
deciso. A complexidade das realidades avaliadas, nesse sentido, implica
um sistema de avaliao tambm complexo, constitudo de tipos
diferenciados de variveis, que possam ser analisados em sua relao e
permitir um conhecimento aprofundado do sistema, em suas vrias
dimenses. Pressupe-se que isso poderia auxiliar nos processos de tomada
de deciso.
Portanto, pelo que foi discutido teoricamente, um sistema complexo
e integrado de avaliao, baseado em diversos tipos de informaes que
permitam o conhecimento aprofundado do sistema de ensino superior,
parece a direo mais adequada. O sistema atual do MEC se adequa a essa
perspectiva, porm h outros pontos a serem considerados.
As variveis/indicadores tradicionais podem ser utilizados, mas,
para alm deles, a discusso terica demonstrou que h outras
informaes, por exemplo, de natureza qualitativa, regionais e relativas a
processos, que podem ser teis para o conhecimento do sistema e tomada
de deciso. Como exemplo, pode-se citar, dentre outros aspectos: a anlise
de linhas de pensamento e valores institucionais (cultura institucional); do
clima institucional; do comprometimento; da resistncia a mudanas; da
satisfao acadmica; da integrao acadmica; de mecanismos de tomada
de deciso e das potencialidades econmicas regionais. Nota-se que esses e
outros aspectos, embora, a princpio, de cunho mais subjetivo, podem
fomentar informaes quantitativas com a criao de ndices, como, por
exemplo, de integrao acadmica e, mesmo, relativos predominncia de
Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008 149
determinados valores culturais, que podem ser teis para a anlise de um
contexto institucional e tomada de deciso. Isso poderia minimizar a
problemtica da pouca comparabilidade e dificuldade quanto
organizao de informaes mais subjetivas.
Por fim, retomamos Belloni (1997) que explica que a avaliao visa,
dentre outros aspectos, identificar problemas e possibilitar sua correo. No
entanto, os erros precisam ser corrigidos rapidamente. Nessa perspectiva,
no basta apenas que se tenha um sistema complexo de avaliao,
fundamentado em diversos indicadores, que considere, inclusive,
particularidades regionais. Torna-se necessrio um mtodo objetivo,
baseado em informaes que possam ser levantadas com agilidade.
Nisso, temos muito no que avanar. Desse modo, a internet, como rede
interligada de dados, poderia ser usada para captar e sistematizar
informaes. Contudo, a utilizao desses recursos, como ferramentas teis
para a avaliao, implicaria pesquisas e vontade poltica dos decisores, nos
mbitos do sistema e das instituies.

REFERNCIAS BIBLIOGRFICAS

AMARAL, A.; POLIDORI, M. Quality evaluation in Brazil: a competency


based approach? Higher Education Policy. Grand Britain: Elsevier Science,
n.12, p. 177-199, 1999.

BELLONI, I. A Universidade e o compromisso com a avaliao


institucional na reconstruo do espao social. In: COSTA, M. J. J. (org.)
Avaliao institucional: desafio da universidade diante de um novo sculo.
Belm: EFPA, p. 17-34, 1997.

BOCLIN, R. Indicadores de desempenho: novas estratgias da educao


superior. Ensaio: avaliao e polticas pblicas em educao. Rio de Janeiro:
Fundao Cesgranrio, v. 7, n. 24, p. 299-308, jul./set. 1999.

BRASIL. Lei n. 10.861, de 14 de abril de 2004: Institui o Sistema Nacional


de Avaliao da Educao Superior (Sinaes) e d outras providncias.

________. Portaria MEC n. 20.051, de 9 de julho de 2004: Regulamenta os


procedimentos de Avaliao do Sistema Nacional de Avaliao da
Educao Superior (Sinaes).

150 Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008


BURLAMAQUI, M. G. B. Qualidade no ensino superior: um estudo sobre a
influncia de determinados fatores no Exame Nacional de Cursos. Braslia,
DF, 2004. Dissertao (mestr.). Universidade de Braslia.

CASTRO, M. H. G. O Novo debate sobre o uso de padres na educao.


Disponvel em: <http://www.inep.gov.br> Acesso em: 25 ago. 2003a.

________. Education assessment and information systems in Brazil. Disponvel


em: <http://www.inep.gov.br> Acesso em: 25 ago. 2003b.

COLHO, I. M. Educao superior: por uma outra avaliao. In:


DOURADO, L. F.; CATANI, A. M.; OLIVEIRA, J. F. de (orgs.) Polticas e
gesto da educao superior: transformaes recentes e debates atuais. So
Paulo: Xam; Goinia: Alternativa, 2003.

COHEN, E.; FRANCO, R. Avaliao de projetos sociais. Petrpolis: Vozes,


1993.

CUNHA, C.; WERTHEIN, J. Polticas de educao: idias e aes. Braslia:


Unesco, 2001 (Cadernos Unesco Brasil. Srie educao, 5).

ESTRADA, L. R. G. Hacia un modelo de evaluacin de la calidad de


instituciones de educacin superior. Revista Iberoamericana de Educacin.
OEI, n. 21, set./dez. 1999.

FERRER, A. T. La Evaluacin y la calidad: dos cuestiones sometidas a


discusin. Ensaio: avaliao e polticas pblicas em educao. Rio de
Janeiro: Fundao Cesgranrio, v. 7, n. 22, p. 25-46, jan./mar. 1999.

GATTI, B. A. Ensino superior e avaliao institucional: um modelo em


implantao. Revista Brasileira de Estudos Pedaggicos. Braslia: Inep, v. 80,
n.194, p. 148-155, jan./abr. 1999.

GONZALES, E. J. Evaluation systems in Latin America. Disponvel em:


<http://www.inep.gov.br> Acesso em: 25 ago. 2003.

KELLS, H. R. Higher education evaluation systems for Latin America: an


analysis of recent experiences and the formulation of a generalized model.
Higher Education Policy. Grand Britain: Elsevier Science, v. 9, n. 3, p. 239-256,
1996.

Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008 151


KIPNIS, B.; BURLAMAQUI, M. G. B. Heterogeneidade das universidades
pblicas federais: implicaes para o processo decisrio. In: Encontro de
Pesquisa em Educao da Regio Centro-Oeste EPECO, 7. Anais do...
Goinia: EFG/ECG, 2004.

LAPA, S. J.; NEIVA, C. C. Avaliao em educao: comentrios sobre


desempenho e qualidade. Ensaio: avaliao e polticas pblicas em
educao. Rio de Janeiro: Fundao Cesgranrio, v. 4, n. 12, p. 213-236,
jul./set. 1996.

LEITE, D. B. C.; MOROSINI, M. C. Avaliao institucional como um


organizador qualificado: na prtica, possvel repensar a universidade? In:
SGUISSARDI, V. (org.) Avaliao universitria em questo: reformas do
Estado e da educao superior. Campinas: Autores Associados, 1997. p.
123-148.

MACRAE JR., D. Policy indicators: links between social science and public
debate. Chapel Hill: The University of North Carolina Press, 1985.

MARTINS, R. C. R. Novos encontros, novas snteses. In: XIMENES, Daniel


de Aquino (org.) Avaliao e regulao da educao superior: experincias e
desafios. Braslia: Funadesp, 2005, p. 41-66.

MOROSINI, M. Avaliao institucional e qualidade universitria. In:


COSTA, M. J. J. (org.) Avaliao institucional: desafio da universidade diante
de um novo sculo. Belm: EFPA, 1997. p. 141-153.

NEWBY, P. Culture and quality in higher education. Higher Education


Policy. Pergamon, n.12, p. 261-275, 1999.

NUNES, E. Futuros possveis, passados indesejveis. Rio de Janeiro:


Garamond, 2001.

RANDALL, J. Quality assurance: meeting the needs of the user. Higher


Education Quaterly. USA: Blackwell Publishers, v. 56, n. 2, p. 188-203, abr.
2002.

________. Seminrio Avaliao da Educao Superior: a experincia do Reino


Unido e do Brasil em debate. Braslia: Inep, 2001.

152 Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008


SAMPAIO, H.; LIMONGI, F.; TORRES, H. Eqidade e heterogeneidade no
ensino superior brasileiro. Braslia: Inep, 2000.
SCHWARTZMAN, J. Uma metodologia de avaliao de cursos de
graduao. Ensaio: avaliao e polticas pblicas em educao. Rio de
Janeiro: Fundao Cesgranrio, v. 4, n.12, p. 237-264, jul./set. 1996.

________. Um sistema de indicadores para as universidades brasileiras. In:


SGUISSARDI, V. (org.) Avaliao universitria em questo: reformas do
Estado e da educao superior. Campinas: Autores Associados, 1997, p.
123-148.

SPAGNOLO, F. O Sistema britnico de garantia de qualidade do ensino


superior: lies para o Brasil. Revista Brasileira de Estudos Pedaggicos.
Braslia: Inep, v. 80, n. 196, p. 508-526, set./dez. 1999.

SILVA, J. C. O Exame Nacional de Cursos: a utilizao de resultados por


instituies do Distrito Federal. Braslia, 2001. Dissertao (mestr.)
Universidade de Braslia. 155 f.

SOBRINHO, J. D. Avaliao da educao superior. Petrpolis: Vozes, 2000.

________. Avaliao institucional e qualidade universitria. In: COSTA, M.


J. J. (org.) Avaliao institucional: desafio da universidade diante de um novo
sculo. Belm: EFPA, 1997. p. 35-54.

Recebido em: maio 2007

Aprovado para publicao em: setembro 2007

Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008 153


154 Estudos em Avaliao Educacional, v. 19, n. 39, jan./abr. 2008