notas e comentrios

1. Introduo:

2.

o processo

de avaliat1o;
3. Os usos da avaliao;
4. O comportamento dos consultores: um modelo
, ,
de simulao;
5..A p!f-gradU4ovista pelas avaliaes;
6. Algumas concluses.

Avaliando as
avaliaes da
Capes*
Cludio de Moura Castro
Glucio Ary Dillon Soares

como mecanismo de si.,alizao para o apoio fmanceiro

ps-graduao,
' ,
No obstante, tal teste perante o grande pblico serviu para consolidar a sua legitmdade junto sagncias
financiadoras do sistema decnca e tecnologia bem como perante a comunidade acadmica. Confirmou-se, assim, a estabilidade e a robustez de um ambicioso sistema
de avalao da ps-graduao braslera. de
notar
que tais incidentes coincidiram com o fnal da implementao, na Capes, de uma srie de mecanismos que vinculavam os auxlios a uma boa nota na avaliao. Mais ainda, foram criados dispositivos que condicionaram o auxlio aos bons cursos ao compromisso, das universidades,
de definir uma poltica realista para os seus cursos mais
fracos, em outros departamentos.

se

Devido sua importncia prtica, o sistema de avaliao da Capes passou a merecer a ateno de um pblco mais amplo. Este artigo uma tentativa de descrever
esse sistema, bem como de apresentar uma srie de exerccios estatsticos que buscam explorar a fidedignidade
dos conceitos atribudos por ele}
O .sistema de avaliao abrange todos os cursos de
mestrado e doutorado. A dimenso da ps-graduao
brasileira, com cerca de mil cursos, oferece um desafio e,
ao mesmo tempo, possibilidades de anlise quantitativa
inexistentes em sistemas menores.
Desde 1977, os comits da Capes vm avaliarido cada um dos cursos de mestrado e doutorado que operam '
no Brasikatrbundo a cada um deles uma nota ou conceito. Para:lelamente ao crescimento quantitativo da psgraduao, os mecanismos de avalao vm aumentando
a sua abrangncia, tornando-se mais complexos e cobrindo um nmero mais amplo de dimenses ou critrios.

, A~ avaliaes realizadas em fns de 198'1, referentes

. ao desempenho dos cursos de mestrado e doutorado brasileiro no perodo de julho de 1980 a junho de1981, demonstram que h enorme variedade de desempenho,havendo 292 cursos que obtiveram a nota mxima (A) e 56
que obtiveram a mnima (E).
1., INTRODUO
,Por motivos que ficaro claros ao longo do texto, a
_ 'avaliao de cada curso mantida em estrito sigilo, senEste um estudo na rea da poltica educacional, descredo apenas divulgada ao coordenador do prprio curso.
vendo e analisando a formulao, a avaliao e o aperfeiNo obstante, exceo feita aos cursos que obtm conoamento de instrumentos, de avaliao dos programas
ceito A - a dvulgao do seu nome se constitura em
,de ps-graduao existentes no Brasil, com implicaes
um estmulo e I reconhecimento ao seu desempenho. O
para a alocao de recursos pblicos.
anexo 1contm a lista destes cursos.
Em meados de 1982, um momento de grande excitao na comunidade acadmica brasileira foi provocado
pela publicao da lista dos 56 cursos deps-graduao
que obtiveram o pior conceito (nota E), na avaliao da
2.' O PROCESSO DE AVALIAO
Capes. Esse vazamento para O Estado de So Paulo, um
\
dos mais tradicionais e respeitados jornais do Brasil, culNeste item, descrevemos os mecanismos de obteno das
minou um debate que obteve considervel espao e coinformaesacerca dos programas de ps-graduao," as
res vivas na imprensa
formas
de registro dos dados e as visitas aos cursos. Em
A divulgao oficial, pela, Capes, da lista dos melhoseguida; discutimos o funcionamento do sistema, sua
res cursos (nvel A) havia iniciado uma polmica que exaderncia ao julgamento dos pares, seus critrios, prioritravasou os circunspectos muros acadmicos. Em seguidades e o produto fmal.
da, a revistaPlayboy, em artigo sobre a qualidade do ensino, referiu-se, reiteradamente s avaliaes da Capes.
2.1 A obteno dos dados objetivos
Mas foi com as entrevistas ,dos indignados e vociferantes
responsveis pelos cursos considerados "sem condies .O sistema de avalialo da Capes separa o julgamento dos,
mnimas de funcionamento" que a controvrsia atingiu
cursos da coleta de tkdos, que a matria-prima para o
o seu clmax. Alguns chegaram Jl pensar que, estaria
ameaado o sistema de avalialo e as suas conseqncias
jul~ento.
H um deliberado esforo em tratar, de for. A valillt1er da Cape,

. Rio delaneUo.

23(3)113-73

juL/set. 1983

m estanque, dados.e julgamentos: os funcion dos da

Capes coletam os dados; os consultores externos .avaliam.
Cumpre equipe interna a busca de mformaes, de.preferncasistemtcas, sobre os cursos, sua: depuralo e
critica Entretanto, somente. os:consultores, recrutados
entre renomados especialistas da comunidade acadmica,
julgam oscurs'os. Esta divislo de tr!lbalho til Os consultores no se preocupam com a coleta de dados; contudo, as informaes stemtcas, s vezes,contrariam os
seus julgamentos iniciais. Por outro lado" o. seu conhecimentode primeira mio permite identificar falhas nos
dados que, corrigidas, aperfeioam o sistema.
DuraJlte a ltima dcada, a Capes teve que conviver
com um aumento vertgnoso no n~ero de bolsas concedidas, passando de 1.043, em 1971, para cerca de 8
mil, em 1981 -aumento que comensurvelcom a expanso numrica da ps-graduao que tem cerca de'j40
mil alunos matriculados. O aumento, no nmero de bolsas gerou srios problemas para a operao dos mecanismos de concesso, As bolsas concedidas, para estudos em
'programas brasileiros podem ser administradas' pelo pr.pro programa, transferindo para estes ,grande' parte da
responsabilidade na seleo dos bolsistas. De fato, quem
conhece melhor o perfl.de exigncias para os alunos que
cursaro, por exemplo, um determinado mestrado de ff
, 'scado estado slido 810 os prprios professores desse
curso.
Assim, a questo de selecionar CIlndkJatos foi resolvida de forma descentralzada," Mas criou-se, ipso lacto.
uma. necessidade de selecionar programas e, para cada
um deles, o nmero de bolsas que seriam distribudas. A
origem da avaliao da Capes responde necessidade de
alocar mais bolsas aos melhores programas - avaliar CU1'sou. no candidatos.
A decso de coletar dados primriossobre a psgraduao resultou da inexistncia de opCies, uma vez
queno havia dados sistemticos, comparveis e dispo, nveis. O instrumento utilizado, o Chamado relatrio da
ps-graduao, vem sendo distribudo anualmente,de&o
de 1977, a todos os cursos. Uma fraA'o crescente vem'
respondendo a esses formulrios, atingindo hoje a quase
totalidade dos cursos de mestrado e doutorado. Aque~s
que acompanham a transformao do processo de avaliao da Capes atestam que os formulrios captam, cada
vez mais, aquelas dimen~s consideradas qtias no processo de apreciar a maturidade e a excelncia de um curo
so de ps-graduao.
I

compUtador,' os dados slo devolvidos ao curso em

to diferente de apreseptafQ, pra que, sejam confe ds e a' sua correo atestadapelo responsvel do

'faO
fi

Esses procedimentos, que melhoram a qualidade da

ormalo e, reduzem as exigncias de trabalho, passaa ser possveis nos ltimos dois anos, quando os arvos de d~dos foramcomputadorizados,
Note-se que
h "avalia'o por computador", mas apenas o arq vamento dos dados. e uma 'aprescmtao mais aprop da para o exame por parte dos consultores.
A carga de trabalho gerada pelo nmero elevado de
rsos, combinada com a falta de fanriliaridade dos consu teres com a forma de apresentao dos dados - a alta
,ro tividade dos consultores essencial ao sistema - toro
o. muito importante a apresentao correta e visualmente apropriada dos dados. Premidos pelo tempo, muitos
c ' sultores no podem deixar de se impressionar com
que apresentam um elevado nmero de professore , no tendo tempo para verificar que muitos so mete horstas ou, mesmo, alguns apenas convidados
a UI1 par de conferncias. Uma lista de publicaes,
s vezes, .inclui muitos ttulos apresentados em perdque no poderam ser considerados veculos de dsseafo cientfica. O processamento eletrnico dos dad s permite listar, separadamente, aqueles, professores
q e dedicam grande parte do seu tempo ao curso, distinsu do-os dos horistas e dos. conferencistas visitantes, sepa do-as publicaes acadmicas e cientficas das de'm s, Toma-se, tambm, fcil a constru9A'0 de quadros e
ta las que permitem comparar diferentes cursos da mesrea Fica, igualmente, registrada a ubiqidade de alsprofessoresque
possuem "tempo integral" em vuniversidades, o que, infelizmente, comum.
Um progresso importante nos ltmos anos foi a unifi lo dos instrumentos de coleta, que hoje abrangem
.Ca S, CNPq, CFE e FINEP, reduzadoconsderavelmente trabalho .de prestar infonnaA'O, ao mesmo tempo '
qa permite concentrar esforos na qualidade da nforlo gerada

Pretende-se Criar Uma memria da ps-graduao,

nvetgindo as informaes disponveis para um nico
. , na Capes. Essesprocedmentos j reduziram eonsavelmente a margem de erroe os custos ..

o ciclo de visitas

A qualidade das respostas varivel: respostas em

V rificou-se, por um lado, que a nformao trazida pe.
branco,compreensA'o incorreta do que elitava!IeDdo. peI consultores eransufcente.para formular um relatdido, enganos, falta de registro no prprio curso e, fmal
dcompleto;
por outro ladb, o conhecimento de prmemente, dolo e m f do os problemas mais encontrados,
ra nilo dos programas no pode ser substitu{do por inpor ordem' decrescente' de freqncia O treinmnto
de
pessoal para preenchimento, asexortaes e:a sofisticaformaOesobtidas ,por um relatrio. Visitas ocasionais
.A'0dos instrumentos' de coleta tm tido alguni xito paconfirmaram a importncia desses contatos pessoais. A
partir de 1980, a Capes iniciou um ciclo bienal de.visitas
ra melhorar a informafo. Nloobstante" foi a crescente
percepo das conseqncias administrativo-aClj.deIliCils'
de .consultoresaoScursos.
Apesar do esforo, no foi
possvel realiur em 1981 mais do que 200 visitas, o que
"da avaliaio que, nos ltimos anos, acarretou enorme
.melhora das respostas, No ltmoano.. o formulrio foi
alterou a periodicidade w.s visitas que de fato passaram
a ser trienais.' As visitas foram iniciadas fora dos grandes
.substtudo por uma sada de computador individualiz.
centros, sbretudo noscursos novos, que tendem a ser
da para o curso, onde so deixados espaos pra o preenchmen 10 de informl(les, bem como p.-aatuaJiq"
menos conhecidos. Essa prioridade mostrou haver cons,de_I.
deSCOOheciinento do trabalho promissor' realizade outras que no mudam muito ~ano 1Il0(reJafo
de professores, disclplinllS tc.). Uma vez-UanterltoS.,.
cJc1Iik~nfluns PJoputlasde c:riaA'omaisrecente.
64

2.3

Ojulgamento dos pares: a montllg."dewnristema

Desde o incio da avaliao em 1977, os pares tem sido a

nica fonte .dos julgamentoaB procedente comparar o
sistema da Capes com a tradio norte-americana de peer
reviews, que vem sendo aplicada h muitas dcadas e que
feita com base na reputaiJo dos programas. Parte-se,
nestes estudos, da hiptese de que os juzes dominam toda a informaa:one~ria
para julgar. Entretanto, o sis,tema da Capes distancia-se de$~ paradigma porque arquivo de dados objetivos tem' uma utilizao cada vez
maior no julgamento. Ainda MO houve, na nossa jovem
ps-graduao, tempo para que se desenvolvessem reputaes que reflitam de forma fidedigna suas 'realizaes.
Os prprios avaliadores relatam, ao manusear os relatrios, seu desconhecimento do que muitos cursos vm fa.zendo. A disponibilidade de uma' base factual confivel
e bem apresentada reduz o chamado "efeito de halo".4

A gerncia de uma carteira de consultores bem como a sua escolha inicial apresentam. problemas. Por um
processo de tentativa e' erro, a Capes chegou ao perfil do
consultor procurado: deverser um cientista destacado
em sua rea, tal como atestado pelo seu curriculum vitae,
mas a experincia no ensino tambm necessra -os
lobos solitrios da pesquisa se revelaram ingnuos epouCO vontade nesse trabalho. Ademais, o gosto por esse
tipo, de atividades essencakcomo demonstram muitas'
tentativas frustradas de se trabalhar com excelentes pesquisadores que, desinteressados, so incapazes de concentrar-se por algumas dezenas de horas nesse tipo de
trabalho;
. Busca-se uma certa variedade naselefo dos consul.tores, seja na orientao terica, seja na origem geogrfl"ca .A experincia, contudo, demonstra a importncia de
que o consultor represente apenas a sua prpria conscincia critica e nogrupoareges.ou associaOes. O eonsultor no chamado para defender o interesse da comunidade acadmica, da sua universidade Gude sua prpria
profisso, mas para expressar, sem censura, suas convc-.
es de cientista e cidado bem informado.
Cada rea do conhecimento tem uma lista de consultores e um presidente de comsso, escolhido por um J?t
rodo de dos anos, pelos seus prprios pares, e homologado pelo Conselho da Capes. Desta lista original - que
elstica e vai aumentando por sugestlo de seus pr6prios
membros - so escolhidos OS participantes das runi(Jes
anuais, prevendo-se que, em cada ano, apenas 50% dos
nomes do ano anterior sejam repetidos. Esse limite de
dois. anos impede o enquistarnento, bem como a organzao e ao de mecanismos de. presslo sobre os consultores. Entretanto, h uma t6cnica de trabalho e uma uadifo, assim comocomPtu'aOes no tempo que SIo prejudicadas pela estreiteza d\:>perodo. Com freqncia ou- \
vem-se queixas de que, j6stamente quandO aprendiam a
trabalhar, chegou o fm do perodo,nacomisslo.
Ligado durao dos perodos estA.o papel da Capes' de manter a memrllcdo processo. Na:o h ~bra qa
neutralidade da intelVeno da Capes ao explicar, a cada
ano, o funcionamento administrativo do sistema aos CIl:
sultores; contudo\h uma rea limtrofe de in~o
no estabelecimento dos critmos de avaJial: A equipe
tcnica da Ca~s tran$Jlli~ a~
JNPO'4e ~
.
4~

dtI

c:."".

.os cri~riose' as prioridades que vinham sendo utilizados

nos perodos anteriores. Transmite, tambm, comentrios, crticas e sugestOes oferecidos ou acumulados ao
longo de um ano de dilogo com os programas de p6~
graduao. Indo mais longe, sugere mudanas de critrios, a partir de suas percepes acerca da evoluo da
ps-gradua, Assim, a partir de 1979, a direo da Capes vem-se preocupando com o excesso de cursos e com
a fragilidade de muitos deles, sugerindo aos consultores
que enfatizem a excelncia dos cursos, mais do que o nmero de alunos titulados. Em outras palavras, no h
qualquer interferncia na identificao de quem me- .
lhor; contudo, h um certo grau de interao entre a Capeis e os consultores na def'lIlia:o'das dimenses da excelncia e 0\ peso a ser dado a essas dimenses. Como
exemplo, citaramos a avaliao de 1981 quando a Capes
insistiu com os consultores das reas aplicadas para que
dessem maior ateno e peso a prottipos, patentes, novas tcnicas. etc. Anteriormente, haviam sido feitas mui. tas crticas nfase exclusiva em. publicaes, prejudicando os cursos orientados para realizaes prticas.
Se, de um lado, os consultores .tm total liberdade
de escolher, interpretar e ponderar os critrios como
queiram, de outro, h certa establdade dos critrios mantida por tradio oral. No obstante, h mudanas.
Por exemplo, hoje h maior preocupafo em diferenciar
o tratamento das reas, em contraste com uma avaliao
mais homognea anteriormente adotada. Os critrios
quantitativos, como o nmero de titulados so, hoje, menos importantes do que a qualidade do aluno e da pesquisa.
.
.A avaliaa:o Se materializa em conceitos(A, B, C, De
a cada curso. A comissa:o indica tambm os critrios utilizados no seu julgamento e, em cada caso, comenta sobre cada uma das
variveis que utilizou ao avaliar o programa. So, tambm, aPresentadassugestoes
e recomendaes para o
programa. Portanto, o resultado da avaliao se consabstancia em um conjunto de conceitos e laudos comentando o desempenho de, cada programa de ps-graduao,

E; sendo A o masaltojatrbudos

. 3.
.

OS USOS DA AVLIAO
\

NIo hhmbigidades ou dvidas quanto ao apoio que ser dado a um curso que recebe conceto , ou mesmoB.
Contudo, SQponha-~ que um curso obtm C, D ou E. .O
tratamento que rceberde uma q!ncia governamental
tem, naturalmente, a ver com 'as razOes que levaram a
esse julgamento. Tem havido presso, originada em universidades em AJeas pouco desenvolvidas, por um trataineIlto mais genel'OlO para os cursos dessas regies. Na
quele momento, a Capes def'miu sua poltica atrvs de
uma metf'ora ainda usada I)oje: "O termmetro o mes.mo para todos os pacientes. O diagnstico e a terapia p0dem variar de acordo com o caso." Fica, assim, entenddo que os critrios de avallalo nada
a ver com histria do curso, seus esforos.ou as dificuldades que encontram. O tratamento-diferenciado que' se pode justif'icar em muitos asos nlo deve. contaminar a atribuilo do
conceito. Oextraoldinrio esforo deum grupo do Nordestepo4e._lOrapoiaco.mas;noj~ento
do re-

tm

65

sultado, .ser comparado com todos os demais, reeebendo um conceito que meramente reflete suas realizaes.
O uso mais imediato da avalialo , exatamente,
aquele que motivou a sua criao: a distribuilo de bolsas. No caso das "bolsas de demanda social"! as quotas
atribudas a cada ma do conhecimento 810' alocadas pelos cursos existentes, de forma proporcional ao conceito. Assim, os cursos de nvel A recebem 52% do total
das bolsas; os cursos B recebem uma quota bem menor,
29%; alguns cursos C podem receber uma quota residual
ou simblica; os demais no recebem nenhuma bolsa. O
programa PICD, fiel sua.nteno de desenvolvimento
nsttuconal.valoca bolsas s nsttues para que sele:
cionem os seus melhores professores para cursarem mestrado e doutorado no pas.6 A seleo desses mestrados
se faz dentre uma lista que contm apenas aqueles cursos
de melhor qualificao no processo de avalao. O chamado "listo Capes" contm os cursosA e, em reas em
que o nmero deA insuficiente, algunsB.
A partir de 1981, o credenciamento de cursos de
ps-graduao pelo Conselho Federal de Educalo passou a utlzar as avaliaes realizadas pela Capes, .Dlo apenas a ltima avaliao disponvel no momento em que o
credenciamento pedido, mas tambm as dos anos anteriores, mostrando a trajet6ria do curso ao longo do tempo. Ao aumentar a abrang!nci' temporalem que o curso
considerado, ao expandir o nmero de pessoas que visitam e opinam. sobre o curso, reduzem-se as incertezas, erros e arbitrariedades do processo de credenciamento.
Ademais, os mtodos de coleta de informaes foram
simplificados e os procedimentos de visita e avalialo
aperfeioados como resultado de discusso entre a Capes
e o CFE. Ao dar um parecer sobre o curso, o conseJh.eiro
do CFE est hoje muito melhor informado e respaldado.
Tambm a partir de 1981, a discusso oramentra
das universidades federais passou a ncorporar uma considerao acerca do nvel de qualidade da ps-graduao,
tal como captado pelas avaliaOes. Universidades com
cursos de melhor nvel receberam um tratamentoprivilegiado na distribuio de recursos adicionais e em projetos. F oi uma primeir experincia e.:seria prematuro
julg-la de momento. 7
Finalmente, h um uso que se toma cada vez mais
importante e que tem muito a ver com o processo delegitmao da avaliao diante da comunidade acaderilica.
Trata-se de levar ao conhecimento do curso, aos reitores
e pr-reitores os resultados' da avalao; bem como as
sugestes feitas pelos consultores. Esta uma fertilssima fonte de atritos, tenses polticas e terremotos administrativos. Alguns cursos no aceitam os julgamentos. Asperos passados a seu respeito; outros consideram improcedentes as avaliOes. Pode haver uma reviso da.av~
. liao. Em um nmero pequeno de casos, h~e e,quvocos ou ambigidades QO julgamento. A baixa proporo
de erros identificados por esta auditoria aumenta a con~
fiana imputada aos conceitos. H apenas um ano que os
laudos de avaliao comearam a ser enviados aos cursos;
seria leviano julgar o seu impacto em tempo tio curto.
Contudo, em um nmero elevado de casos, jl houve certo impacto e, em alguns, ocorreram modifica(Jes tangveis. Esta dimenso da avaliafo pode vir a ler a SQamais
importante dimenso, a de aperfeioar o sistema.
66

'4.

~OCOMPORT.AMENTo DOS CONSULTORES:

UM MODELO DE SIMULAO

At aqui smplesmentedescrevemos
o sistema da avaliao, No que segue, tentamos aplicar alguns procedimentos estatsticos com o objetivo de melhor entend-lo e
testar suas propriedades. .
Seja do ponto de vista de quem gerencia o sistema;
seja do ponto de vista de quem avaliado, o comportamento dos consultores uma "caixa preta". Estes recebem instrues para identificar a excelncia acadmica,
onde quer que esta se encontre. e dizer o que vem a ser
em cada QSO est excelncia. Seu julgamento fmal; salvo casos raros, ho objeto de nova anlise ou contes'tao,
O .aprofundamento de episdios individuais - tais
como o reexame de uma avaliao contestada - e a impresso daqueles que lidam com a avaliao que ela faz
sentido: os conceitos correspondem reputao dos cursos. Isto, contudo, ainda pouco.
Neste item apresentamos uma tentativa de simular
ou reproduzir o comportamento dos consultores atravs
de um modelo estatfstco, 8'Perguntamos se h regularidades' observlveis no seu comportamento, se esse comportamento pode ser descrito por um sistema de equaes e se ele consistente com as suas prioridades declaradas. Finalmente, at que ponto ele incorpora as variveis quantificveis?,
Note-se que 1160 se trata em absoluto de um modelo
estatstico de avalialfo, onde definido um algoritmo
que atribuilltas ou conceitos a um curso. Pelo contrrio, trata-se de uma. tentativa de .modelar o comportamento dos consultores, ist , reconstruir matematicamente as suas formas de juJgamento. Os usos de tal modelo se restringem ao que aqui fazemos, oU seja, entender como operam os consultores.
Tal advertncia partcularmente importante 'porque os autores deste trablllho entendem que avaliao
nllo pode se reduzir a uma funo mecnica, passvel de
ser substituda por um modelo matemtico. No apenas
cada curso dever ser ju1pdo em sua individualidade e
com suas idiossincrasias, mas esse julgamento dever incluir componentes que:niopodem ser quantificados, tais
como qualidadeda pesquisa, atmosfera, entusiasmo. etc.
Esta observao nfo define apenas a posio da Capes,
mas estatisticamente confirmada pela anlse subseqente.
O modelo utilizado bastante simples, o que se justifica, antes de tudo, pelo nosso. desconhecmento diante da questo, Tomamos como varivel dependente os
eoncetos de A a E, tran.sformados em nmeros de cinco
a um. As vaiiaes nesses conceitos devero ser explica- .
das por variaOes de conceitos quantificlveis contidos
n relatbrio dos cursos.
A confJgUrafo estatstica mais bva para o modelo
6 uma equao de regressfo linear mltipla por passos
das etapas (stepw;se). Nesta formulao, variaes da varivel dependente (as avaliaOes) do associadas linearmente s variveis explicativas dos dados objetivos, buscandO-$e aquela que melhor ajustamento oferece. Interrompe-ie a introdulo de novasvarilveis no momento
em que a con~ibuifo de C(ualquenarivel adicional deiX4 de ler significativa. Eae proeedmento 6 exploratrio

e .no um teste de hipbtes,porque nI existe qualquer

pressuposifo quanto .. natureza ou confJgUraio das
variiveis, isto 6, no h modelo a priori sendo testado.
Por ocasifo de uma reuilo de consultores, foi-11les
pedido listar, por ordem decrescente de importncia,
aqueles' crtros que considezavam mais' relevantes ao'
avaliar um curso. Cada rea do conhecimento produziu
sua prpria lista, usualmente contendo cerca de cinco
crtros, Houve, em seguida, uma tentativa de consohdar estas diferentes listas, buscando-se denominadores
comuns de crtros de avalialo. A comparao desses
crtros com aqueles produzidos implicitamente pelos
coeficientes de regressfo permite testar a consistncia
entre o comportamento declarado e o comportamento
efetivamente manifesto na avaliaio. Trata-se de questa'O
de forte mportnca para a legitimidade da avaliaio.
As variveis podem ser classificadas em trs grande
grupos, onde cada grupo representa uma dimenso de caractersticas dos cursos de p5-graduafo:
a) grupo 1: "sistema de processamento de alunos";
b) grupo 2: "corpo docente do curso";
c) grupo 3: "produo cientfica do curso".
Assim, fazem parte do grupo 1 variveis tais como
nmero de candidatos, nmero' de alunos novos, nmero
de alunos cursando disciplina, nmero de alunos elaborando tese, nmero de bolsas de estudo etc.; fazem parte do grupo 2 variveis tais como total de professores do
curso, total de professores que possuem doutorado,total
de professores que possuem mestrado, nmero de doutores em tempo integral, nmero de doutores que orientam
tese etc. Finalmente, fazem parte do grupo 3 variveis
tais como o nmero de livros publicados nopas e no exterior, nmero de artigos publicados em peridicos na-o
cionais e internacionais, nmero de .comuncaes em
congressos no pais e no exterior, etc. No total;.38 vari,veis "brutas" foram seleconadas, A. estas foram adicionadas 49 varivei~ com~ostas, represen.tando ~di~s,
obtidos pela combnao de duas ou mais das variveiS
"brutas", resultando um total ge...t de 87 variveis. O
nmero de teses defendidas dividido pelo nmero total
de alunos novos, o nmero total de doutores dividido
pelo nmero total de professores, o nmero de artigos
publicados' divididci pelo nmero de docentes so exemplos tpicos destasvativeis compostas.
Um nmero to grande de variveis no pode ser tratado em um modelo de regressio. Equaes to grandes
so muito instveis, pouco confiveis' e de difcil interpretao. Como procedimento preliminar, ento, foi.
ajustada uma matriz de correlao de ordem zero entre
todas as variveis, includas a as variveis dependentes.
Embora seja possvel utilizar procedimentos mais complexos ou sofstcados, optamos por simplesmente eliminar, em uma primeira rodada, todas aquelas variveis que
no se correlacionassem quer com outras do mesmo grupo, .quer com a varivel critrio. Eliminamos em uma segunda instncia. aquelas cujos coeficientes, ainda que
fortes em alguns casos, se revelaram irregulares ou inconsistentes. Dessa forma, reduzimos a equafo para apenas
nove variveis independentes, o que rqoivel para esae

tipo de modelo. Para se chegar a esse nmero, foi dada

preferncia quelas variveis de baixa correlao entre si,
a fim de evitaramuIticolinearidade.
A seguinte lista de variveis foi utilizada no modelo
de regresso:
~ nmero de candidatos;
- nmero de alunos novos;
- total de bolsas de estudo do curso;
- ~dice de concentrao de professores na rea de conhecimento;
- nmero de doutores que orientam teses;
- nmero de publicaes em peridicos internacionais;
- nm~ro de publicaes em peridicos nacionais;
- nmero de comunicaes em congressos no pas;
-: nmero de comunicaes em congressos no exterior.
Foram ajustado~ modelos para trs tipos de sries estatsticas:
a) inicialmente, com o objetivo de maximizar o tamanho
daamostra, foram, reunidas as seis reas do conhecmen- '
to analsadas" em um nico grupo, agregando-se ao mesmo tempo as avalises de dois anos;
b) em segundo lugar, foi ajustada a equao para o peno-

do de um ano;

c) por fim, foram feitos ajustamentos individuais por

rea do conhecimento.
Esta ltima 6 a confgurao mais correta, do ponto
de vista terico, em vista da falta de comparabilidade das
condies de trabalho e dos conceitos emitidos entre
reas diferentes. Todavia, apresenta problemas estatsticos prticos, resrltantes .de um nmero de cursos freqentemente inferior alO.
Na primeira regresso, tomando todos os dados de
forma agregada, o R 2 ou coeficiente de determinao que expressa a proporo da varincia da varivel critrio explicada pelas variveis includas na equao - chegou prximo. a 0,50. Em estudos desta natureza esse pode ser considerado um coeficiente bastante alto.
Contudo, uma inspefo inicial' da equao revelou
um coeficiente de correlao parcial acima de 0,8 para a
vaiivel "total de bolsas". Na verdade, essa uma relao
tautolgica, j que o nmero de bolsas 6 distribudo em
funo da avalao, Foi repetida a equao, eliminando-se
essa varivel, caindo ento o coeficiente de determinao
para 0,35. Repetindo os ajustamentos de forma separada
de ano a ano, no houve diferenas considerveis, mostrando que nfo 6 insuficiente o nmero de observaes de
uni s ano e' que, tambm, no hi modificaes consderiveis nos crit6rios e formas de avaliaio, entre dois pe-

Avalia<1e8 da Capa

67
--'---~~~-~--~

._-~~

rodos anuais -, ou seja, as relaOes do rUDavelmente

estiveis.
Portanto, temos Um conjunto de equaOes com considervel poder de explicao. Note-se que o modelo 1140
testado em condies favorveis, em conseqncia da
heterogeneidade das ire~s reunidas, pelas diferenas d'
critrios usados nas respectivas ireas e pela incomparabilidade mtrica dos conceitos utilizados (um A em. fsica
nfo a mesma coisa que um A em psicologia; no entanto, a equao trata como se o fosse).
.
, As equaes feitas separadamente, por rea do conhecimento, revelaram coeficientes de determinalo
muito mais elevados, situando-se prximos de 0,8, N
entanto, a grande variabilidade bem como o peClU-~otamanho da amostra tornam pouco confiveis as conclu, SOestiradas de sua anlise individual.
A partir desses exerccios estatsticos cabe um bom
nmero de inferncias:
I

a) o comportamento dos consultores regular e",previsvel, As equaes para o conjunto <lasireas explicam algo ,
mais que um tero da varncaVras que as tratam em
separado explicam muito mais;
,

'

b) inversamente, mesmo nos casos mais favorveis, h

um resduo ~onsidervel de varincia nIo explicada pelas variiveis quantitativas. Isto. significa que wn modelo
estatstico no poder substituir o trabalho dosconsultores: os resultados do seriam equivalentes. O resduQ
no explicado pode derivar de erros de juJgamento dos
consultores, de variveis no includas na equao
(atmosfera de trabalho, motivalo.diferencial, qualidade
'. dos trabalhos .publicados etc.) e ~e outros.fatores, Nio .
possvel, .nesse estAgio, identificar as explicaes. RazOes
heursticas sugerem que mais apropriado tomar o resduo como sendo gerado por variveis no includas no v
modelo;
c) quando confrontamos as variveis privilegiadas pelo
modelo (aquelas que aparecem em primeiro lugar na
equao de regresso) com as prioridades declaradas pelos consultores, verificamos que, de fato, eles julgam os
cursos pelas dimenses que haviam prvlegiado em sua
lista; em outras palavras, os critrios manifestos e oS,critrios efetivamente utilizados concidem ..

S.

A PS-GRADUAO VISTA PELAS

AVALIAOES
\.
,

O que ficamos sabendo da ps-graduao por fia das avaliaes? Os modelos mencionados e um exerccio Qe anlise fatorial, realizado subseqentemente, permitem uma
anlsebastante
til da ps-graduao, de seus problemas, bem como uma, discusso de limites e ontrovrsas
da avalialo.

5.1

O perfil da excelncia

O grau de excelncia imputado a um lJrSO,qualquer quf

.seja o momento ou. irea, do conhecimento,' tem .a ver
com alguns critrios estveis:
.

.a) 'tompethu:ia PfO/lltiftaJ doldocehtes (evidenciada

por sua titulaio ou qualificaes equi\ralentes);
.

4t,

b) dedicafo efetiva dos professores ao curso, sobretudo

aqueles que atuam no prprio ncleo disciplinar do pro- .
grama (e~ oposilo. queles de reas 'nstrumentas ou
domnios bort~os);
c) produo ientfica do curso (qualidade, volume, regularidade de artigos em reviStas cientficas, livros, publica~s, ianais de congreOs,relat6rios de pesquisa).
,

Dent~ deste marc~ de referncia, geral, emergem as

idiSsincr.sias das reas do conhecmento. 'Em algumas,
como sociolo~
aspubliC8es nacionais 810 privilegia'das; em oatras, como qumia, as intemaci,onais. O ritmo de produo, tal como captado pelo nmero de artsos,'6 extremamente varado, contrastando-se, por exemplo,.a rna~mtica com a botnca,
Nio obstante; a exstnca de variveis cu~a influncia 6 fort." qualquer que seja fi rea cOMiderada, indica
c1arament, que a exCelncia nlo se faz com ingredientes
tio distin~os de uma Areapara outra, embora haja alguns
temperos prbprios, defmindo o sabor de cada rea.
l!.de se notar que, embora os indicadores quantitativos u~dos
captem diferentes dimenses da qualidade, estes ab apresentam associados entre' si. Por exemplo,
cursos com mais doutores em tempo integral publicam
qWs. BO~ resultados em Um ndeador aumentam a probabilidade! de que. se .observem resultados favorveis em
outros.
.
. A p6$-gradualo produz pesquisas e pessoas capazes
de realiz.~.
pesquiS, na verdade, termina sendo um
indicador ~
tangvel do resultado do curso. Teses e
pesquisas prodUZidas no programa podem ser contadas e
tabuladas. Estas sIo, em princpio, medidas puramente
quantitativas da produlo .,.. enio haver pejo em admti-lo ..Nlo obstante, h certos controles de qualidade imo
plcitos ne.ssas m~didas: os peri6dicos cientficos mais s-,
rios tm comitse~toriais muito severos; o mesmo se d
com as boas e~toras comerciais; bons congressos e semiDirias examinam as contribuiGes enviadas antes de acetlas. Assim, com algUm cuidado na classificao da entidade que publica, possVl estabelecer limites de qualidade. cuja importncia nlo desprezvel. Nossos resultados estatsticos confirmam o enorme peso que a produfode pe~isas e teses tem tido sobre a avalao efetuada pelos Consultores.
Ao contrro do que pensaram. atiUns crticos mais
ingnuos, aquelas variveis que buscam capturar caractersticas do processo de ensino no tiveram maior poder
explicativo. Estatsticas de funcionamento do. curso, tal
como as relaes entre alunose'professores e as cargas de
aula, tm pouco poder explicativo. Analogamente ao que
tem sido. observadopara as escolas de- 19 e 29 graus, no
h as~alo
estatisticamente forte entre a qualidade do .
produto e uma enorme. variedade de medidas desse tipo.
Nio obstante, h uma exceo: o regime de trabalho dos
professores de mais alta qualifical'o.Emergem
como
melhores programas aqueles onde seus mais notveis professores trabalham em tempo integraL A qualidade do .
p~
depende mais de um ncleo d professores alt_oate
'qualificados;
que trabalham em dedicalo ex.
.\
'

68

clusiva, do que de um 8rande nmero de professores menos qualificados.

\

Cumpre .menconar a aus6ncia de algumas variiveis

perfeitamente quantificiveis nas anli.sesrealizadas:

.a) a experincia norte-americana revela uma forte asscao entre o acervo das bibliotecas eqJecializodas se~vindo ao curso e a sua reputal'o. EventUalmente, ess
informao poderia ser coletada para.o caso brasileiro;
""

..

b) h forte heterogeneidade nas exgncas de qualidade

de peridicos cientficos. Sabe-se que publicaes em peridicos mais exigentes refletem em mdia um nvel superior de qualidade do trabalho. Esta triagem e a\'aliao est sendo realizada na Capes, visando melhorar o
modelo;
c) as citaes e referncias a trabalhos, pesquisas e publiaes de professores e alunos do curso Slo um critrio
importante, pass~l de lncorporao, Agregam uma. dimenso qualitativa, ainda que ela tambm seja quant~vel, ao nmero de publicaOes significarido a aceitao
por, e o impacto sobre, outros profissonas e cientistas
da mesma rea;
d) fmalmente, h urna varvel da maior importncia,
que o destino profISsional dos graduados. Obtm bons
empregos? So frteis produtores de ~encia?Pr()gridem
na carreira? Estio sendo realizados estudos de acompanhamento de formados que, no futuro, permitro, pelo
menos em parte, responder a essas perguntas.
O porte ou tamanho do curso foi exminado de
duas maneiras. Atravs da anlise fatorial vel'ificou-se
que o nmero de alunos e a.produo discente ti~ram
forte impacto sobre a avaliao at 1977; isto , rcebr
muitos alunos e graduar tambm muitos era consderado
uma das medidas de excelncia. A partir de ento, poder explicativo deste conjunto de variveis caiu, passando a ser pouco significativo em anos recentes. Isto reflete, claramente, a.cresente preocupao com a qualidade
e uma a teno menor para a capacidade de receber e titular alunos. Fica destrudo um mito da avalia,lo, que
sobrevivia na cabea de alguns.
No obstante, h uma outra dimenso do tamanho,
indiretamente captada pelas matrizes de-correlao. As
variveis de produtividade cfentfica foram definidas
tambm em termos per capita. Curiosamente, as variveis
per capita revelaram-se sempre fraqussimas, em confronto com as suas contra-partidas defmidas
termos absolutos. Em outras palavras, um curso bom pelo volume
de publicaes e no pela produtividade de cada um dos
pesquisadores (mdia anual, comparativamente muito
baixa, de 0,4 artigos .por docente). A rttdia dacompetncia dos professores pesa muito menos do que a pre. sena de vrios professores altamente competentes. Se o
tamanho no est sendo valorizado, .como demonstra o
pargrafo anterior, tampouco as verses compactas recebem aplauso.
Por via da anlise fatorial, foi possvel identificar
uma aparente disfuno na distri~uiio de produl'o cientfica. Revelou-se nma separao tentre .os progrlUJlU
cujos membros participam. atiVlUIlOntede cons.feuo,..

em

A IIfllia~, diz Cape'

etc. e os queesCl'evem u-iros e artigos. Assim, a

discriminafo importante no entre programas participantes e programas inativos em Um fator geral de participao na. produlo .. Comointerpretar essa ~ssociao? .
Estaria 8I1arecendo uma nova forma de produo docente: a participafo em congressos e similares, que nIIo conduz ao aumento da produo docente em forma de artigos e livros? Seria esta forma um fm em si? Talvez este
seja um estllgiopreparat()rio para um perodo subseqente de produo mais slida, mas isso no pde ser decidido pela' anlse do~'dados disponveis. 11 dif{cil aceitar a
legitimidade desta forma de produo docente, particularmente para os que estamos acostumados com modalidades tradicionais. 11 bem verdade que ela permite a
produo de trabalhos curtos, tpicos 'das 'comunicaes
em congressos, Estes, sejll pelo seu contedo, seja pelo
flego limitado do autor, nio encontrariam um caminho
para outras formas ,de publicaes. Ou seja, permitiria a
publicao de trabalhos que, de outra maneira, no seriam publicados, alm de expor os participantes a novas
idias. No entanto, na medida em que estas publicaes
4igeiras compitam Com as outras' mais tradicionais, elas
serlo contraproducentes. NeSse sentido, parece que houye. um excesso de recursos para seminrios, encontros,
etc. e uma escassez de- tempo e recursos humanos para
prepar-los adequadamente. Isto aumentou a velocidade
das demandas sobre um universo ainda relativamente
pequeno de pesquisadores que foram levados de um menor nmero de publicaes de maior. fblego e qualidade
a ummaornmero
de comuncaesde men ..r flego e
qualidade. A necessidade de preparar outra pequena co-:
municafo para e congresso ~guinte impediria o aprimeramente das anteriores. A publicao dos anais e atas
do congresso anterior seraurn desestmulo sua transformal~ em obras de maior flego. A questo preocupa.
all:SQ&

Nota-se que as yriveisque tratam da produo de

livros e artigos nacionais aparecem juntas como um fator
e as variveis da produo de livros e artigos internacionais aparecem juntas em outro fator, separado do primeiro. Ao. que parece, o fator "publicaes internacionais" .
. reflete simplesmente o fato de que; em algumas disciplinas, tradilopubli<1U' fora do pas (cincias fsicas e '
biolgicas, por exemplojao passo que, em outras, tradi!opublicar dentro do pas (cincias sociais, por exemplo). A distin'O entre os fatores seria, portanto, explicvel 'por serem.lJlgumas reas voltadas para um pblico
brasileiro e. outras para um externo. Pssivehnente, devido a sua pequena freqncia de ocorrncia, a produo
de livros (tanto a nvel internacional como nacional) tem
.. fraca correlao com a produo de artigos. Ademais, a
produo delivros-textonoest
necessariamente associada criatividade cientfica e a forma atual de coleta
n~o pemute diferenciar entre livros-texto e livros "de
pesquisa" .
A anlise fatot:ial captou um fator de "docncia" e
,um outro de "endogenia". H um perfil de mestrados
acadmicos recrutando preferencialmente docentes, em
contraste com os mestrados profissionais que se dirigem
para um mercado de trabalhoextra-acadmico. H, tam. bm, um perfil de mestrados que recrutamuma pereentasem .re14tivamente alta de alunos entre docentes di!.
prpria .instituilb.Em
l'!er4ac:\e.suspeita-se que vrios
69

programas de plrgradual'o foram criados em conseqncia das presses do seu prprio corpo docente, no
sentido de obter ttulos de p()s.gradual'o. Observou-se
forte assocao entre este fator de endogenia e o fator
"docncia". Como esperado, endogenia 'no contribui
para a qualidade de cursos, apresentando uma pequena
correlao negativa com o fator "avaliao" (-0,14 com
endogenia e -0,007 com docncia); A anlise das regresses com as avaliaes individuais ano a ano, de 1977 a
1980, indica que esses dois fatores foram influncias negativas, mas que podem ser negligenciadas, na avaliao
da qualidade dos cursos.
5'.2

A evolupfo no tempo da pOs-graduao

o desvio-padro das avaliaOes uma medida de variao

na qualidade percebdarquanto-mas baixo, menor, a variao das qualfcaes recebidas pelos cursos avaliados.
Houve, de 1977 ao presente, uma dmnuo consdervel e sstemtca do desvio-padro entre as avaliaes.
Em 1977, o desvo-padro foi de 1,95, baixando a
cada ano (1,91; 1,82) at chegar a 1,52 em 1980. Essa
tendncia. poderia ser explicada de diferentes maneiras:
/

a) uma elevao do teto inferior da-qualidade dos cursos

de ps-graduao, devida s exigncas e presses de rgos como o CFE, a Capes etc, Os piores cursos tende.
riam a elevar o seu nvel (foram relativamente poucos os
cursos que fecharam), reduzindo-se o desnvel por baixo:
b) ou houve um abaixamento do nvel dos melhores curo,
sos, tendendo todos mdia Essa interpretao nega- .
da pela elevao das mdias das ava1iaOes;
c) ou houve um "achatamento" das avaliaes, com a
elevao das qualificaes dadas aos cursos pores e m
dos (e no com a baixa das qualificaOes dadas .aos curo
sos altos), Essa interpretao consistente tanto com a
elevao das avaliaOes mdias, quanto com a diminuio dos desvios-padro.
As avalaes de um ano se correlacionam com as de
ano seguinte; poder-se-ia explicar parte da concordncia
das ava1iaOesde ano a ano pela durao do mandato dos
presidentes de comisses de consultores que avaliam os
cursos: dois anos, Supondo que eles influenciam tanto a
seleo dos demais avaliaderes quanto e andamento dos
trabalhos, haveria uma tndnca de cada presidente a
dar a mesma avaliale ao mesmo curso em deis anos'
consecutivos. Essa tendncia seria parcialmente contrabalanada pele fato de que parte dos avaliadoj:es muda a
cada ano, Cemputando as correlaes consecutivas
(1977com 1978, 1978 com 1979 e 1979 com 1980), vemos que a mdia das correlaes + 0,64, ao passo que
as correlaes entre os anos no consecutvos de +0,54.
Isso nos diz que parece haver uma tendncia dos avaliaderes a repetir e conceto dado no ano anterior, mas essa
tendncia no fundamentalmente maior de que a consistncia encontrada entre avaUaOesseparadas per dois
anos eu mais. Para defender essa interpretao neceSsrio aceitar que os avaliaderes antgos influenciariam os
novos, o que encontra apoio nos estudos sobre e com:
portamento de peflUenos griapcls.
70
----_._~-------

6.

ALGUMAS CONCLUSOES

1. O nvel dos cu"?s de p6&.graduao no se altera radide ano a ano, e isso captado pelos avaliadores.

calmente

2. Entretante,.h
mudanas razeveis nas avaliaes,
uma vez.que a magnitude das correlaes entre anos conseeutvos apenas razovel (mdia de +0,64).
,

3. Ao cabe de quatro anes, h modificaes consider,

veis nas avaliaes, refletindo, talvez, modcaes contnuas nos cursos de ps-graduao. O coeficiente de determinao das avaliaOes de 1980 pelas de 1977 de
apenas +0,26, ou seja, as avaliaes de 1977 explicam
apenas 26% da varincia das avalia(Sesde 1980. Os 74%
restantes devero ser explicados per motivos no captados eu ncludos nas avallaOes de 1977, inclusive as modfcaes reais ocorridas posteriormente.
Desde 1977 at6 1980, a mdia das avaliaes tem
aumentado de forma sistemtica: de 2,47 em 1977 at
3,33 em 1980. H muitas explicaOespara esse fenmeno, entre as quais sublinhamos as seguintes:
a) uma elevao real na qualidade dos cursos, captada pelos avaliaderes;
b) uma elevao real na qualidade dos cursos, devido
crao de novos cursos de alto nvel;
c) um relaxamento dos critrios de avaliao;
d) uma combnao das anteriores.
, Pederi estar havendo uma elevo real naqualidade dos cursos. Esta explicao colide com as crescen tes
reclamaes sobre a "prosttuo" da ps-graduao.
No ebstante,essa impressO pode ser falsa. Os dados sobre o nmero de doutorese Iivre-docentes sugerem uma
elevaO' da qualidade do corpo docente; entretanto, os
dados sobre os crit6rios de aceitao e de aprovao dos
alunos sugerem um declnio na qualidade do corpo diseente. Surge, ento, a possibilidade de que um corpo dorente cada vez mais qualifICado esteja produzindo alunos
cada vez menos qualificados. NO'obstante, a mesma dvida paira sobre a ,qualidade dos ttulos doutorais e livredcntes: ter a elevao de nmero provocado uma red~
na mdia d qu;tlidade? Claro, estas so conjeturas
e, falJa de dados, permanecem como tais.
Uma elevalo de qualidade devida criao de novos cursos de alto nvel tampouco encontra apoio, [
que os novos cursos geralmente tem deficincias que somente cem e tempo so sanadas. Uma artlise mais detalhada ds dados poderia verificar se os cursos mais recentes obtem melhor avaliao. Alm disso, osnovos sursos
raramente recebem avaliaOes muito altas.
As difculdades com as interpretaes anteriores do
certa fora quarta hiptt.e, o relaxamento dos crtnos, que seriam cada vez menos exigentes. Entretanto;
essa jnterpretalo pennanecell conjetural at6 que dados
ipdependentes !ial avaliaOes demonstrem que a qualidadedos cursos nlo se eleva, ou se eleva menos do que as
a~
.

Conceitos
Nome do curso

'Nwl

Instituiio

21:?

21:?

sem.

sem.

sem.

lI:?

lI:?

sem.

sem.

1978
lI:?

sem.

1979
Geocincias
Geologia
Microbiologia e
imunologia
Biologia molecular
Biofsica
Bioqumica
Bioqumica
Bioqumica
Ecologia e recursos
naturais
Ecologia
.Farmacologia
Farmacologia
Fisiologia
Fisiologia
Gentica
'Gentica
Microbiologia
Histologia
Morfologia dol,
celular
Parasitologia
Sociologia
Sociologia
Sociologia
Antropologia social
Antropologia social
Antropologia
Cincia poltica
Cincia poltica
Teologia
Filosofia
Lgica e filosofia da
cincia
Geografia
Geografia
Geografia fsica
Geografia humana
Geografia
Economia industrial
e da tecnologia
Economia do setor
pblico
Economia
Economia
Economia
Economia
Economia rural
Economia agrria
Economia rural
Psicologia
Psicologia
experimental
Psicologia escolar
Psicologia
Engenharia
biomdica
Engenharia civil

M/D
M

m;'RGS
UnB

M/D
M/D
M/D
M/D
M/D
M

EPM
EPM
UFRJ
UFMG
USP
USPjFMRP

M
M
M/D
M/D
M
M
M/D
M/D
M/D
M/D

UFSCAR
Unicamp
USPjFMRP
EPM
USP
USP/FMRP'
USPjFMRP
UFRGS
UFRJ
USP

M/D
M/D
M
M/D
M
M/D
M/D
M
M
M
M/D
M/D

USPjFMRP
UFMG
IUPERJ
USP
UnB
UFRJ
USP
UnB
Iuperj
UFMG
PUC/RJ
USP

M/D
M
M
M/D
M/D
M
M

1979 1980 '

A
A
A
A
A
A
A

A
A
A
A
A

A
fi

A
A
A
A

A
A

A
A

A
A

A
A

....

-------

-~~

2?

Nome do curso

Nvel

InsUtui.fo

A
A
A
A
A
A

A
A
A
A
A
A

Unicamp
UFPE
UFRJ
USP
USP
Unesp

UFRJ

A
A
A
A
A
A
A
A
A
A
A
A
A
A
A
A
A
A
A
A
A
A
A
A
A
A
A
A
A'
A
A
A
A
A

A
A
A

A
A
A

M
M
M
M,
M
M
M
M
M

PUC/RJ
FGV/RJ
USP
Uncamp
UnB
UFRGS
Usalq
UFV
UFPE

A
A
A
A
A
A
A
A
A

M/D
M/D
M

USP
USP
UnB

A
A
A

M
M

UFRJ
UFRJ

A
A

A
A

A
A

sem.

Engenharia de
produio
Engenharia qumica"
' Patologia humana
),fedicina social
Patologia
Oftalmologia
Medicina prev~ntiva
Pediatria"
Reumatologia
Patologia humana
, Clnica cirrgica
TocoginecolOgia
Clnica. mdica
Medicina preventiva
Neurologia
Oftalmologia
Pediatria
Bases gerais cr,
e cr; exp.
Cinugia
cardiovascular
Endocrinologia
clrtica
Nefrologia
Otorrinolaringologia
Pneumologia
Pediatria
Pneumologia
Medicina tropical
Odontologia
Odontologia social
Clnicas
odontoI6gicas

21:?

sem.

1979 1980
lI:?

lI:?

sem.

sem.

sem.

1979
Engenharia civil
Engenharia de
estruturas
Engenharia civil
Engenharia eltrica
' Engenh8ria eltrica
Engenharia eltrica
Engenharia eltrica
Engenharia eltrica
Engenharia
mecnica
Engenharia
mecnica
Engenharia
metalrgica,e de
materiais
Engenharia
metalrgica
Engenharia nuc.
plano energtico
Tecnologia nuclear
Reat nuc. e tecn.
comb. nucl.
Engenharia de
produfo

21:?

sem.

1978
lI:?

1980 1981

72
-~-----_

Conceitos

21:?

1980 1981

PUC/RJ

M
M
M
M
M
M/D
M

USP/SC
UFRGS
UFRJ
PUC/RJ
USP
Unicamp
UFSC

A
A
A
A
A
A

A
A
A
A
A
A
A

A
A
A
A
A
A
A

UFRJ

M/D

Unicamp

M/D

UFRJ

UFMG

M
M

UFRJ
USP

USP

UFRJ'

M
M/D
M
M

A
A
A

A
A
A

A
A
A
A

A
A
A
A

M/D
M/D
M/D
M/D
M/D

PUC/RJ
UFRJ
UFBA
UERJ
UF),fG
UFMG
USP
USP
USP
USP/FMRP
USP{FMRP
USPjFMRP
USfjFMRP
USPjFMRP
USP/FMRP
USPjFMRP
USPjFMRP

A
A
A
A
A'

A
A
A
A
A

A
A
A
A
A
A
A
A
A
A
A
A
A
A
A
A
A

M/D

Unesp

A'

EPM

M/D
M/D
M/D
M/D.
M
M
M
M
M

EPM
EPM
EPM
EPM
UFPB
UFRGS
UnB
UFRJ
UFF

M/D

USP

J.f/D

D
M/D
M/D
M/D
M/D*
M/D

),f/D

A
A'
A
A

A
A
A
A
A
A
A
A
A
A

Rwiltll de Adminilt1rl4o de Empre8ll8

---

.-

----------

-~-_.

__ ._-

"

_._

..

~------

Conceitos

2?

Nome do curso

Nvel

M
Ortodontia
M
Odontopediatria
M/D
Diagnstico oral
M
Odontopediatria
M
Ortodontia
M/D
Reabilitao oral
M
Odontologia
M
Odontologia
Odont. Dentst.
M
restauradora
M
Odontopediatria
M
Odontologia
M
Anlises clnicas
Anlises
M
toxicolgicas
M
Farmcia
M
Enfermagem
M
Enfermagem
M
Enfermagem
M
.4dministrao
Administrao
M
pblica
M
Administrao
M
Administrao
M
Direito
DesenvolVimento
M
urbano
Planejamento
M
urbano e regional
M
Servio social
M
Agronomia
M/D
Fitotecnia
M/L**
Fitopatologia
Gentica e
M/D
melhoramentos
M
Fisiologia vegetal
.M
Engenharia agrcola
Solos e nutriode
M
~lantas
M
Fitotecnia
M/D .*
Entomologia
M/D**
Fitopatologia
M
Fitotecnia
Gentica e
melhoramento de
M/D **
plantas
Solos e nutrio de
-M
plantas
M
Produo vegetal
M
Fitopatologia
M
Cincia florestal
M
Engenharia florestal
M
Engenharia florestal
M
Economia rural
M
Economia agrria
M
Economia rural
M
Zootecnia
M/D
Zootecnia
M
Zootecnia

Instituio

USP
USP
USP/FOB
USP/FOB
USP/FOB
USP/FOB
Unicamp
Unicamp

2?

2?

I?

I?

sem.
1978

sem. sem.
1979 1980

sem.
1979

sem. sem.
1980 1981

I?

A
A
A
A
'A
A
A
A

A
A
A

A
A
A

A
A

A
A

Unesp
Unesp
Unesp
USP

A
:A
A
A

A
A
A
A.

A
A
A
A

USP
UFRGS
UFRJ
USP
EPM
UFRJ

A
A
A
A
A
A

FGV/RJ
USP
FGV/SP
UFSC

A
A
A
A

UFPE

UFGRS
UFPB
UFRRJ
UFV
UFV

A
A
A

A
A
A

A
A
A
A
A

UFV
UFV
UFV

A
A
A

A
A
A

A
A
A

UFV
ESAL
USP!Esalq
USP!Esalq
USP!Esalq

A
A
A
A

A
A
A
A

USP!Esalq

.4

'USP!E~
A
Unesp
A
UnB
A
UFV
USP/Esalq' A
A
UFPR
UFV
USP!Esalq
UFRGS
. A.
UFMG
A
UFV
UFSM

A
A
A
A
A
A
A
A
;A
A
A
A

A
AA
A

A
A

2?

Nome do curso

Parastologia
veterinria
Medicina veterinria
Cincia e-tecnologia
de alimentos
Cincia ds
alimentos
Cincia de
alimentos
Tecnologia de
alimentos
Anatomia dos
animais
domsticos
Letras e lingstica
Letras vemculas
Cincia da literatura
Letras
Letras
Letras
Filologia e lngua
portuguesa
Literatura brasileira
Literatura
pertuguesa
Teoria literria e
literatura'
comparada
Teoria liter;lria
Literatura
Lingstica
Lings*a aplicada
ao ensino de
lnguas.

Nvel

Instituio

2?

2?

sem.
1978

sem. sem,
1979 1980

sem.
1979

sem.
1980

sem.
1981

A
A

I?

I?

I?

D
M

UFRRJ
UFSM

UFV

USP

M/D

Unicamp

M/D

Unicamp

M/D
M
M

USP
UFPE
UFRJ
UFRJ
PUC/RJ
UFMG
UFRGS

M/D
M/D

USP
USP

USP

M/D
M
M
M

USP
UnicampUnB
. Unicamp

M/D

M/D

PUC/SP

A
A
A
A
A
A
A
A
A

..

A
A

A
A

A
A
A
A

*Recebeu conceUoA em doutorado em 1980/81.

*Recebeu concetovt em doptorado;em 1981.

A
A
A
A

A Funa "
SUa . aao G
nOva t
.etU{ '
O nOme' Ivrariano 10 Vargas r
.
. Freitas C e e mesmo' ~entro do R~abrlu
A
antig,
'A]j'
10.
ranha)
arnente'
elXeir
AV: Pre .mas O IDe I ,na Av, G a de
Sldente I4lZ a eQ,Utro' raa
ISDn 2.
.
' '28~A.

73

Avall4'oesda CapeI
-----_.-------"

Conceitos

---~---