Gesto Produtiva em Universidades Pblicas e Privadas Brasileiras: um Estudo Comparativo Sobre Eficincia Tcnica

Jos Mairton Figueiredo de Frana, MSc (Universidade do Estado Rio Grande do Norte UERN) jmairton@uol.com.br

Este trabalho faz uma anlise comparativa de indicadores de eficincia entre universidades pblicas e privadas brasileiras, via Anlise Envoltria de Dados (DEA). Considerando diferentes objetivos gerenciais perseguidos pelos diferentes tipos de universidades, utiliza dois modelos tericos alternativos para a estimao desses indicadores. Em conformidade com indicaes da bibliografia utilizada, pde-se questionar avaliaes que partem de um mesmo modelo terico para comparar eficincia entre universidades pblicas e privadas, bem como rejeitar, aprioristicamente, a hiptese de que organizaes pblicas so, naturalmente, ineficientes frente s privadas. Assim, a depender do modelo estimado, os escores de eficincia, especialmente os das universidades pblicas, mudam destacando as diferenas entre os objetivos de um e de outro tipo de instituio. Palavras-Chave: Universidades, Eficincia Tcnica, DEA, avaliao institucional 1 Introduo Um conjunto considervel de estudos em economia das organizaes tem sido realizado no sentido de proceder a avaliaes da eficincia na gesto de organizaes pblicas em decorrncia de sua importncia para os governos e para a sociedade. Muitos debates tm sido orientados por questes relacionadas ao equilbrio entre os setores pblico e privado nas atividades econmicas. Conseqentemente, vrios estudos tm comparado a produtividade de organizaes pblicas e privadas e concludo que as pblicas so menos produtivas. Tal constatao tem servido de base para o estabelecimento do pressuposto de que o setor pblico mais ineficiente que o privado. A teoria da agncia justifica tal pressuposto ao assumir que os piores desempenhos esto associados s organizaes em que o interesse do proprietrio encontra-se muito distante da gesto. Todavia, o fato de as organizaes pblicas apresentarem produtividades menores que as privadas tambm pode ser explicado pela hiptese de as organizaes pblicas perseguirem objetivos diferentes de suas contrapartes privadas, e de estarem, erroneamente, tendo sua produtividade avaliada por medidas construdas e empregadas para avaliar a produtividade de organizaes privadas. Ahn et al (1993) mostram que essa hiptese no pode ser rejeitada no caso de universidades americanas. Para tal empregaram anlise envoltria de dados (DEA)1. Este artigo relata estudo similar realizado para verificar se essa mesma hiptese vlida para as universidades brasileiras. Anlise Envoltria de Dados (DEA) empregada para construir fronteiras de eficincia distintas para as universidades pblicas e para as universidades privadas. Dois modelos DEA so construdos com diferentes variveis de produtos de modo a representar diferentes medidas de produtividade que permitam expressar os diferentes objetivos dos gestores dessas universidades. Testes estatsticos tradicionais so
1

Doutorando em Engenharia de Produo na Universidade Federal de Santa Catarina UFSC. 1 Tavares (2002) apresenta levantamento de estudos, realizados de 1978 a 2001, que empregam DEA na avaliao de eficincia tcnica. Da mesma forma, o website http://www.deazone.com apresenta um banco de dados abrangente e atualizado sobre estudos DEA.

empregados para verificar se as universidades privadas so de fato mais produtivas que as pblicas. Seis sees compem este artigo. Esta Introduo a primeira. A segunda trata de eficincia em organizaes pblicas e privadas; a terceira descreve as universidades brasileiras. As duas sees seguintes descrevem os modelos DEA construdos, apresentam e discutem os resultados obtidos e a ltima seo apresenta as principais concluses e recomendaes para outros estudos. 2 Eficincia em organizaes pblicas e privadas Osrio (1998) explica que a ineficincia do setor pblico est ligada a alguns fatores. Um deles o fato de que as organizaes pblicas esto pouco vulnerveis s foras de mercado no sendo este um incentivador de prticas produtivas que levem eficincia. O mercado fornece informaes ao setor produtivo que motiva o esforo em busca da eficincia. Essa motivao a permanncia da organizao no mercado. Ozcan et al (1987) e Ozcan e Luke (1993) reforam esse argumento mostrando, a partir da avaliao de eficincia em hospitais nos EUA, que os hospitais privados (norte-americanos) tendem a ser eficientes, frente a hospitais pblicos submetidos a uma menor presso competitiva. Nesse mesmo caminho, Junoy-Puig (2000) observou, em sua pesquisa sobre eficincia tcnica e alocativa na Grcia, que hospitais privados so alocativamente eficientes quando comparados com hospitais pblicos e com instituies no lucrativas. Para Freeman (1999), cada organizao persegue alguns objetivos que dizem respeito ao motivo pelo qual foi criada. Gibbons (1998), por sua vez, afirma que as hipteses relativas racionalidade dos atores econmicos devem ser aceitas com o intuito de se observar, na irracionalidade de algumas atitudes econmicas, os reais objetivos que as norteiam. Com respeito a essa questo, Lindsay (1976) j havia afirmado que as comparaes entre organizaes pblicas e privadas devem ser feitas apenas quando consideradas as diferenas em termos dos objetivos perseguidos por elas. Dessa forma, as anlises sobre produtividade de organizaes pblicas devem levar em conta outros objetivos que no sejam apenas aqueles relacionados maximizao de lucros: objetivo comum no setor privado. A maximizao de alguma funo de lucro torna-se impossvel para a organizao pblica na medida em que o preo dos bens e servios produzidos por ela igual ou muito prximo a zero, u de difcil obteno e mensurao. Na linha de Lindsay (1976), Whynes e Bowles (1982) afirmam que, um possvel objeto de maximizao em organizaes pblicas, numa primeira observao, pode ser o seu tamanho da agncia ou o tamanho do oramento por ela gerenciado. No entanto, o oramento pblico votado e aprovado com um perodo de defasagem. Esse fato leva o gestor pblico a gerenciar suas atividades tendo em vista oramentos futuros (ou mesmo alguma suplementao oramentria) o que, em conseqncia, desestimularia o esforo gerencial no sentido da reduo de custos porque isso significaria menores oramentos futuros. Whynes e Bowles (1982) definem as organizaes burocrticas (em geral, governamentais) como aquelas que no existem por si s, porque necessitam de um rgo superior, que as estabelea, juntamente com uma hierarquia estratificada em que as pessoas trabalham em troca de ordenados. O enfoque das anlises de eficincia de organizaes pblicas volta-se, portanto, para o oramento. Nessa viso, a minimizao de custos nunca poderia ser o objetivo dessas organizaes porque isso levaria a uma reduo dos seus oramentos futuros e, conseqentemente, reduo de poder poltico de seus gestores.

Na prtica, a avaliao da eficincia dessas organizaes, por parte do governo, feita mediante a comparao do que elas produzem com o que foi orado para isso. Essa avaliao no est relacionada eficincia produtiva e sim eficcia e ao acompanhamento do esforo dos gestores pblicos, no sentido do cumprimento das metas da poltica social executada pelo governo. Mas, se o objetivo o bem-estar social, a avaliao da gesto da organizao pblica deve ser feita a partir da contribuio individual da organizao na produo de renda (lquida) social (LINDSAY, 1976), numa perspectiva de efetividade, e no mais de eficcia. Conseqentemente, duas perspectivas surgem dessa anlise: pelo lado do gestor, a avaliao verifica a eficincia e, pelo do governo, a efetividade (ou eficcia social). Para alcanar melhores resultados, a empresa governamental deve agir em duas frentes: uma frente poltica, em que busca maximizar seus oramentos futuros e outra frente mercadolgica, em que busca a produo mxima, preferencialmente de bens e servios monitorados de perto pelo governo, por meio de suas instncias avaliadoras. A hiptese de que o setor pblico ineficiente, portanto, pode ser testada pela desagregao da produo de bens e servios pblicos que Lindsay chamou de visveis e invisveis. Ahn et al (1993) testaram essa hiptese num estudo sobre eficincia em universidades norte-americanas. Nesse estudo, as universidades privadas mostraram-se mais produtivas para os produtos invisveis ao monitoramento do governo enquanto as universidades pblicas foram eficientes quando os produtos relevantes na medida de produtividade estavam sob o alcance do controle do governo. Esses produtos visveis eram aqueles que serviam de base de clculo para os oramentos das universidades pblicas. A dificuldade inerente s anlises de produtividade e eficincia no setor pblico tambm foi tratada por Marschke (2000) em seu estudo sobre eficincia de sistemas de incentivo em organizaes pblicas. Um problema encontrado em seu estudo emprico foi a definio de uma medida adequada de produtividade que refletisse adequadamente o desempenho gerencial desses tipos de organizaes. Assim, estudos sobre medidas de produtividade para o setor pblico devem considerar os objetivos prprios das organizaes pblicas. Um outro fator, apontado por Osrio (1998), que influencia a ineficincia das organizaes pblicas, o afastamento entre propriedade e gesto. Nas organizaes em que existe essa separao, entra em jogo um conflito de interesses entre proprietrios e gestores que limita a eficincia econmica. Whynes e Bowles (1982) afirmam que os interesses das pessoas que trabalham em rgos pblicos esto bastante distantes dos objetivos de quem esteja patrocinando o rgo e a conciliao desses interesses depende, fundamentalmente, da maneira como os processos produtivos desses rgos so monitorados. Essas questes no so comuns no contexto da teoria microeconmica tradicional em que a firma considerada como ator econmico. comum, na pesquisa econmica tradicional, cair na armadilha de que a firma age como um indivduo, com motivaes, interesses e intenes. Essa concepo tem mudado com os desenvolvimentos que partiram do trabalho original de Coase (1937) e que deu origem a uma nova rea de estudos conhecida como economia das organizaes. Um dos fundamentos bsicos dessa rea que o comportamento humano originalmente racional no sentido de que os indivduos procuram maximizar utilidades quando tomam decises econmicas (FREEMAN, 1999). Essa racionalidade a base da definio de Jensen e Meckling (1976) segundo a qual a firma no um indivduo, ou um ente, e sim um conjunto de pessoas e instituies que atuam mediante uma estrutura de acordos contratuais. Nessa definio, o comportamento observvel da firma entendido como o comportamento de um mercado, ou seja, como o resultado de um complexo processo de equilbrio.

Segundo Freeman (1999), as hipteses bsicas da economia das organizaes so originadas em duas abordagens: a economia dos custos de transaes, que se baseia na hiptese de que as firmas so estruturadas de uma determinada maneira porque essa a forma encontrada para a maximizao de sua produtividade; e a teoria da agncia que enfatiza o interesse de cada ator econmico em maximizar alguma utilidade associada ao seu prprio bem estar. Este estudo fundamenta-se na teoria da agncia. O ponto de partida da teoria da agncia a formalizao da relao entre indivduos ou instituies por meio de contratos de gesto nos quais se estabelecem as metas produtivas da organizao, assim como a remunerao do gestor. Com isso, pode-se colocar a questo organizacional clssica: como, ao buscar satisfazer seus interesses pessoais, os membros de uma organizao alcanam objetivos coletivos? De alguma forma os conflitos de interesses ocorridos no interior de uma firma se harmonizam e ela aparenta um comportamento nico, como se realmente fosse uma entidade independente, com interesses e objetivos prprios. Resumidamente, pode-se dizer que essa teoria trata das relaes de dominao no interior das organizaes produtivas (FREEMAN, 1999) e explica como melhor entender determinados tipos de relaes nas quais uma das partes (o Principal) determina o trabalho que outra (o Agente) deve executar. Assim, o Principal um indivduo ou instituio que detm direitos de propriedade sob a organizao e designa o Agente, um indivduo ou uma instituio, para gerir o processo produtivo. primeira vista, no parece haver divergncias entre os interesses do Principal e do Agente uma vez que o sucesso dos negcios favorece a ambas as partes. Ao Agente, porque mantm seu fluxo de rendimentos j que, para Whynes e Bowles (1982), provvel que as pessoas prefiram maximizar sua remunerao regular a longo prazo, e ao Principal porque o sucesso dos negcios gera um maior volume de riqueza lquida gerada com resultados positivos no bem estar social (especialmente nas organizaes que produzem bens e servios sociais). Os conflitos podem surgir da avaliao que o Agente faz a respeito dos benefcios que pode obter a curto prazo. Ao sobrepor os seus interesses individuais aos da organizao, o Agente pode sacrificar seus objetivos de longo prazo (como, por exemplo, a manuteno do contrato), e ainda ser penalizado pelo mercado. Mas esse risco, muitas vezes, vale pena correr. Indo de encontro metodologia da economia tradicional, os economistas organizacionais no assumem que as firmas se comportam de acordo com uma teoria dos mercados em busca unicamente da maximizao de lucros. A teoria da agncia, como j foi visto, trata das relaes entre os atores econmicos sob o ponto de vista de contratos. Nesse sentido, o objeto de maximizao recai sobre a questo de o que incluir e o que excluir nos contratos e a forma de agregao dos comportamentos individuais, tendo-se em vista as utilidades dos membros da organizao. A forma de agregao escolhida deve permitir, por exemplo, a visualizao dos diferentes nveis da informao disponvel para cada membro da organizao. A importncia da assimetria dos nveis de informao entre os indivduos se deve ao fato de que uma tomada de deciso, por algum ator econmico, gera um efeito sobre o ambiente da tomada de deciso dos outros atores. A informao no se espalha uniformemente dentro da organizao de tal maneira que ela tem a necessidade de criar mecanismos de filtro informacional. Assim, pode-se afirmar que a organizao que gere eficientemente a informao canaliza apenas a informao necessria para a tomada de deciso de cada um de seus membros. neste caso que deve ocorrer a harmonia entre a maximizao de utilidade pelos indivduos (Agentes) e a maximizao de produtividade organizacional (objetivo presumido do Principal).

Essa harmonia pode ser alcanada quando o Principal implementa mecanismos de incentivos que motivam o Agente a se esforar em alcanar os seus objetivos, e tambm desenvolve mecanismos de monitoramento capazes de evitar os possveis desvios decorrentes daquela divergncia de interesses. A dificuldade de criao e implementao de incentivos tem origem nas assimetrias de informaes existentes entre Principal e Agente. Nesse sentido, admite-se que, quanto mais distante estiver o Principal do Agente, maiores sero essas assimetrias e maiores sero as dificuldades de se criar incentivos adequados. Marschke (2000) afirma que os sistemas de incentivos somente melhoraro a produtividade da organizao se for hbil em premiar os bons desempenhos e punir os maus. Seu estudo emprico, sobre avaliao de desempenho em agncias norte-americanas de treinamento para o trabalho, mostrou que as agncias eram motivadas por premiaes financeiras produtividade mesmo quando elas no vinham na forma de aumentos de salrios dos gerentes. Em outras palavras, o fornecimento de benefcios financeiros para a organizao, e no apenas para o gestor particularmente, pode aumentar o esforo gerencial em direo eficincia. O outro desafio a ser enfrentado pelo Principal o estabelecimento de mecanismos (ou mesmo de um sistema) de monitoramento que seja capaz de evitar a manipulao dos resultados obtidos pelo Agente e, conseqentemente, facilitar o alcance dos objetivos do sistema de incentivos. Aqui, coloca-se a necessidade de criao de uma medida de produtividade que seja capaz de separar adequadamente os bons dos maus desempenhos, verificados de acordo com os objetivos do Principal e do Agente. No setor pblico, o acompanhamento das tarefas executadas pelo gestor dificultado pela atomizao dos direitos de propriedade entre os cidados. Dado o imenso nmero de proprietrios, o acompanhamento acaba sendo impossvel de ser feito diretamente. Whynes e Bowles (1982) afirmam que h apenas um pequeno segmento da populao disposto a acompanhar a tomada de decises sociais. O monitoramento efetuado por meio do estabelecimento de democracias representativas com instncias decisrias mltiplas e autoavaliativas (o executivo, o congresso, o sistema judicirio etc.). Nesse caso, so criadas instituies pblicas intermedirias de acompanhamento e fiscalizao mediante a transferncia de direitos de propriedade fazendo com que a distncia entre propriedade e gesto seja ainda maior, ratificando o problema das assimetria de informaes. Pelo exposto, pode-se afirmar que as dificuldades de estabelecer sistemas de incentivos e de monitoramento adequados sejam maiores quando se trata de organizaes pblicas. As divergncias entre os interesses do governo e dos gestores pblicos devem causar um diferencial de produtividade quando comparadas com o setor privado. Nesse sentido, so propostos modelos alternativos que traduzem os objetivos do Principal e os do Agente. 3 Universidades pblicas e privadas A poltica social versa sobre a produo e a distribuio de bens e servios pblicos na sociedade. Suas metas visam garantir populao o acesso sade, educao, segurana, etc. por meio da produo de um conjunto de servios sociais. Seu objetivo a promoo do bem estar geral da populao que pode ser alcanado pela interferncia direta na produo desses servios. O Estado pode produzir esses servios por meio de instituies da administrao indireta (autarquias, fundaes, etc.) e pela delegao da responsabilidade dessa produo a outras organizaes no estatais.

As organizaes que produzem servios sociais podem ter seus resultados avaliados a partir dos objetivos gerais estabelecidos pela poltica social bem como da alocao eficiente dos recursos pblicos dirigidos s atividades pelas quais se responsabilizaram. As universidades so exemplos desses tipos de organizaes e podem ser entendidas como organizaes complexas pois se caracterizam pela existncia de vrios processos produtivos. Esses processos resultam em, pelo menos, trs grandes conjuntos de produtos: de ensino, de pesquisa e de extenso, que so resultado do uso combinado de mltiplos insumos. Assumindo que a educao um bem pblico, sua produo, por meio dessas organizaes complexas, de interesse direto da populao. A populao, por meio de eleies, confia o poder de tomar decises relativas produo de servios educacionais (universitrios) ao governo que, por sua vez, nomeia os reitores das universidades pblicas. Alm disso, o governo cria mecanismos de regulamentao para o acompanhamento e a fiscalizao de todas as organizaes universitrias, inclusive as particulares. Assim, o governo considerado, neste estudo, como Principal e os reitores so considerados Agentes nos processos produtivos universitrios. O Reitor de cada universidade pblica escolhido mediante consulta direta comunidade acadmica, mas sua nomeao segue critrios estabelecidos pelo governo e, a partir da nomeao, ele passa a atuar de acordo com as expectativas da poltica pblica social. Quanto s universidades privadas, elas tm liberdade de escolher seus dirigentes, mas devem atender, da mesma forma, s expectativas da populao, representadas pelas polticas executadas pelo governo. H instncias especficas dentro da esfera governamental cujo objetivo monitorar a atuao dos reitores. No Ministrio da Educao, por exemplo, o INEP e a CAPES monitoram as atividades relacionadas ao ensino de graduao e de ps-graduao, respectivamente, enquanto a pesquisa monitorada pelo CNPq, do Ministrio da Cincia e Tecnologia. Os incentivos dados aos reitores so os recursos extra-oramentrios obtidos pela atuao da universidade como um todo2. Esses rgos tambm monitoram as universidades privadas, mas sua principal funo assegurar a qualidade dos servios universitrios produzidos. Observa-se que as sucessivas transferncias de poder decisrio, entre essas diferentes instncias do poder pblico, distanciam ainda mais o Principal do Agente gerando assimetrias de informaes com maior intensidade. Em universidades privadas, essa distncia menor, na medida em que o interessado direto pelos seus resultados um indivduo ou grupo particular que participa diretamente da tomada de deciso. Assim, mesmo considerando que esse indivduo ou grupo atua como Principal, sabe-se que essa atuao est limitada pela regulamentao governamental que traduz os interesses da sociedade. Por esse motivo, este estudo assume que a sociedade (representada legalmente pelo governo) o Principal, enquanto os reitores so considerados os Agentes, para o caso das universidades brasileiras como um todo. Assim, assume-se que existem dois comportamentos a se analisar para a definio de uma medida de produtividade em organizaes universitrias. O primeiro trata dos objetivos do Agente (o reitor) que, de acordo com a seo 1, esto relacionadas maximizao do oramento; e o segundo enfatiza o objetivo do Principal (a sociedade): maximizar o acesso da populao aos bens e servios universitrios.
2

A esfera da extenso tem um controle exercido por instncias internas organizao universitria e tem incentivos advindos da atuao da mesma na comunidade externa. Uma espcie de mercado se forma na esfera da extenso o que garante a contratao dos servios produzidos pelos resultados da atividade de pesquisa de ponta.

Tabela 1 Processos Produtivos Universitrios nas Perspectivas do Principal e do Agente Modelo Principal Agente Insumos Humanos Capital Humanos Capital Produtos Profissionais formados Cursos de nvel superior Outros servios universitrios Alunos matriculados Outras fontes de receitas

A Tabela 1 apresenta os dois modelos tericos que sero considerados na avaliao de eficincia por meio de DEA, na seo 4. A primeira coluna identifica os modelos e as outras estabelecem os tipos de insumos e produtos caractersticos do comportamento do Principal e do Agente. O modelo do Principal assume que a sociedade deseja maior acesso aos produtos universitrios. O modelo do Agente, por sua vez, assume que o reitor busca maximizar o oramento da universidade que, em geral, funo das matriculas realizadas e de outras fontes diversas de financiamento do ensino superior. 4 Anlise Envoltria de Dados DEA A anlise de eficincia por DEA feita por meio de programao matemtica. DEA estima fronteiras de melhor prtica produtiva, no-paramtricas e lineares em partes. O primeiro modelo DEA foi desenvolvido por Charnes, Cooper e Rhodes (1978). Nesse artigo seminal, eles desenvolveram um modelo com orientao para a reduo no uso insumos que assume retornos constantes de escala (CRS). Esse modelo conhecido na literatura como modelo CCR, dadas as iniciais dos sobrenomes de seus trs autores. A hiptese de CRS foi relaxada num trabalho posterior por Banker, Charnes e Cooper (1984), num modelo conhecido como BCC. O indicador de eficincia no modelo DEA bsico, orientado para expanso da produo de universidades o seguinte:

E 0 = { min ' X 0 / ' Y0 = 1; ' X i Yi 0 ; , 0}

Onde: E0: indicador de eficincia da universidade avaliada; Yi: matriz de produtos das universidades includas na anlise; Xi: matriz de insumos das universidades includas na anlise; Y0: vetor de produtos da universidade avaliada; X0: vetor de insumos da universidade avaliada; : vetor de pesos dados pela universidade avaliada aos seus produtos; : vetor de pesos dados pela universidade avaliada aos seus insumos; e i = 1, 2, ... , n em subscrito indica cada uma das n universidades avaliadas.

(1)

Esse programa linear busca um conjunto de pesos ( e ) para a universidade avaliada de forma a minimizar a funo objetivo ( ' X 0 ), gerando, assim, um indicador de eficincia. Este problema resolvido para cada uma das universidades que compem o sistema de universidades brasileiras. De acordo com Coeli, Rao e Battese (1998, p. 142), o problema de programao linear acima consiste em encontrar a expanso radial mxima do vetor de produtos ( Y0) da

universidade avaliada de tal forma a mant-la dentro do conjunto de produtos vivel. A fronteira definida pelas universidades que executaram as melhores prticas produtivas. O programa (2) o dual do (1) e as variveis de deciso do segundo, e , so as variveis duais do primeiro.

E 0 = { max / X i X 0 ; Y0 Yi 0; 0}

(2)

O programa (1) est na forma dos multiplicadores e o (2) na forma do envelope, sendo que qualquer soluo tima em (2), assegura uma soluo tima em (1). Uma soluo vivel em (2) dada por: 0 =1 ; j = 0 e * =1 . Isso significa que nenhuma outra universidade, dentre as que fazem parte do sistema considerado, gerou um vetor de produtos maior que a universidade avaliada. Por outro lado, se j >1 e 0 =1 , ento * >1 e como 0 , v-se que 1 . Sendo que se =1 , a universidade avaliada eficiente. O programa (2) um modelo DEA, orientado para a expanso da produo universitria e a tecnologia bsica exibe retornos constantes de escala (CCR-O3). O modelo BCC pode ser obtido com a incluso, em (2), da restrio e = 1 (onde e um vetor com todos os elementos iguais a unidade). Nesse caso, tem-se um modelo DEA, orientado para a expanso da produo universitria, com tecnologia exibindo retornos variveis de escala (BCC-O). O modelo BCC-O tem a vantagem de considerar os diferentes enfoques gerenciais adotados na tomada de deciso pelos reitores. Nesse sentido, algumas universidades que forem eficientes em BCC-O podem no ser em CCR-O. O enfoque gerencial definido pela disposio do gestor em alocar maiores ou menores parcelas dos recursos disponveis na gerao de algum produto especfico, dadas as restries subjetivas envolvidas no seu processo de tomada de deciso. Esse modelo assegura que os indicadores de eficincia calculados respeitam os diferentes enfoques apresentados. A prxima seo faz a aplicao desse modelo ao conjunto de universidades brasileiras. 5 Eficincia em Universidades Brasileiras Modelos DEA j foram utilizados para anlise de eficincia em universidades brasileiras (ver, por exemplo, Moita, 1995; Lapa, Belloni e Neiva, 1997; Marinho, 1996; Marinho et al, 1997; Lopes, 1998; Nunes, 1998; Faanha e Marinho, 1999; Belloni, 2000; Dalmas, 2000;). Faanha e Marinho (2001) usam DEA num estudo comparativo entre Instituies de Ensino Superior (IES) pblicas e privadas, no perodo de 1995 a 1998. Nesse trabalho, foram realizados dois exerccios de estimao de indicadores de eficincia tcnica, para IES agrupadas de acordo com a dependncia administrativa (pblicas e particulares). No primeiro exerccio, foi estimada uma srie de indicadores para cada ano do perodo amostral e no segundo (mantendo-se o agrupamento), estimou-se uma nica srie de ndices para o perodo todo, com cada IES, em cada ano, sendo considerada como uma unidade de anlise diferente. Em ambos os exerccios as privadas desempenharam melhor que as pblicas, dadas as mdias de seus respectivos escores de eficincia. Com base no fato de haver IES pblicas eficientes e privadas ineficientes nesses resultados, pode-se levantar a hiptese de que o modelo selecionado (o conjunto de variveis de insumos e produtos escolhidas) tenha beneficiado IES privadas. No entanto, dado que foi usado o nmero de matrculas realizadas como produtos e que um objetivo atribuvel aos reitores pblicos maximiz-lo (como forma de maximizar seu oramento) vivel manter a hiptese de que as universidades pblicas tenham desempenho pior que as suas contrapartes privadas. Apesar disso, deve-se considerar que a escolha das variveis, para a composio de
3

10 A letra O significa produo, ou output.

modelos DEA, tem uma importncia considervel nos escores de eficincia resultantes; em outras palavras, os modelos DEA estimados poderiam estar sendo influenciados pelos conjuntos de variveis utilizados. De fato, Ahn et al (1993) mostraram que os indicadores de eficincia estimados por DEA so sensveis aos conjuntos de variveis de insumos e produtos utilizados. Em sua aplicao numa avaliao de eficincia de universidades norte-americanas pblicas e privadas, foram utilizados quatro conjuntos de variveis em modelos DEA alternativos, enfocando diferentes objetivos perseguidos pelos reitores, que resultaram em diferentes indicadores de eficincia. Outros trabalhos que tambm retrataram essa sensibilidade so Colbert et al (2000), SinuanyStern et al (1994) e Breu e Raab (1994). Uma vez considerados esses estudos, questiona-se se as universidades particulares brasileiras so realmente mais produtivas que as pblicas, como mostraram Faanha e Marinho (2001), ou se esse resultado decorrente do modelo terico escolhido. Esta seo estima modelos alternativos para responder questo. 5.1 O Sistema de Universidade Brasileiras A evoluo do Sistema de Universidades Brasileiras (SUB) foi marcada, nos ltimos 20 anos, pelo aumento da importncia da participao de universidades privadas. Em 1980, 31% das universidades brasileiras eram privadas, enquanto que em 1990, esse percentual subiu para 42% e, hoje o nmero de universidades privadas supera o das pblicas: 54% so privadas. Dada essa importncia crescente e o contexto terico apresentado nas duas primeiras sees deste artigo, os estudos sobre eficincia em universidades brasileiras devem incluir a diferenciao entre universidades pblicas e privadas. O comportamento gerencial das universidades pblicas pertencentes ao SUB deve apresentar alguma diferena quando se trata do comportamento das universidades privadas. Conforme discutida na seo 3, a menor distncia entre o Principal e o Agente nessas instituies pode reduzir a possibilidade de ocorrncia de um impacto significativo nas medidas de ineficincia. Isso pode ser testado pela estimao de indicadores de eficincia separados para universidades pblicas e privadas, do SUB. A aplicao de DEA est limitada pela existncia de um banco de dados constitudo por informaes relativas gerao de produtos universitrios para cada universidade existente no Sistema. Dessa maneira, a verificao dessa suposio ser efetuada para os dados do SUB referente ao ano de 1998. Seguindo essa orientao, o modelo BCC-I 4 aplicado a um conjunto de 132 universidades brasileiras cadastradas pelo Conselho de Reitores das Universidades Brasileiras (CRUB). Desse total, 57 so universidades pblicas (37 federais, 19 estaduais e 1 municipal) e 75 so privadas (44 particulares e 31 comunitrias)5. As variveis que representam insumos e produtos foram obtidas junto ao Censo da Educao Superior de 1998, realizado pelo Instituto Nacional de Estudos e Pesquisas Educacionais (INEP). A Tabela 2 apresenta as variveis que so utilizadas como insumos e
4

11 Apesar do comportamento gerencial das universidades estar mais de acordo com objetivos de expanso da produo, considera-se a fato de que uma soluo tima para modelos com orientao para a reduo no uso de insumos (BCC-I) tambm uma soluo tima para BCC-O, conforme mostrado por Cooper, Seiford e Tone (2000). Dessa maneira, um indicador de eficincia com vistas expanso da produo pode ser obtido pela recproca do indicador BCC-I. 5 12 Essas 132 universidades no constituem a totalidade das universidades brasileiras existentes em 1998. Essa amostra foi concebida de forma arbitrria, pela dificuldade de encontrar informaes detalhadas de todas as 153 universidades que estavam em operao nesse ano.

10

como produtos nos dois modelos tericos a serem estimados, uma vez considerados os modelos tericos apresentados na Tabela 1. As variveis consideradas como produtos so relativas unicamente ao ensino de graduao, excluindo dados relativos ps-graduao, pesquisa e extenso universitria. Assim, esta avaliao de eficincia tcnica enfocar apenas um dos processos produtivos universitrios. A Tabela 2 apresenta dois modelos alternativos para a estimao de indicadores da eficincia tcnica de universidades brasileiras. As variveis descritas foram selecionadas pelo mtodo conhecido como Stepwise, ou passo-a-passo, proposto por Norman e Stoker (1991). O primeiro modelo o do Principal. Ele definido a partir do pressuposto de que a sociedade busca a maximizao do bem estar social para o qual assume-se que pode ser representado por variveis que expressem o maior acesso aos bens e servios universitrios. Nesse sentido, as universidades oferecem profissionais formados nas diversas reas; o nmero de formados (CONC) no ano anterior usado como proxy. Da mesma forma, supe-se que tambm funo da universidade oferecer vagas aos jovens, ao final do ensino mdio. Assim inclui-se o nmero de inscries no vestibular (INSV) como proxy a demanda por vagas no ensino superior.
Tabela 2: Descrio das variveis de acordo com os modelos aplicados Modelo Principal Insumos TDOC: nmero total de funes docentes em exerccio em 1998; SERV: nmero total de servidores tcnico/administrativos em exerccio em 1998; e CURSO: Nmero de cursos de graduao ofertados em 1998. TDOC: nmero total de funes docentes em exerccio em 1998; e SERV: nmero total de servidores tcnico/administrativos em exerccio em 1998; Produtos CONC: total de alunos concluintes em 1997; e INSV: nmero total de inscries no vestibular de 1998.

Agente

MAT: nmero total de matrculas efetuadas em 1998; INSV: nmero total de inscries no vestibular de 1998; e CURSO: Nmero de cursos de graduao ofertados em 1998

Quanto aos insumos, a gerao desses produtos feita mediante a alocao de docentes (TDOC), servidores (SERV) e cursos (CURSO). Os dois primeiros representam insumos humanos e o ltimo, insumos de capital. No modelo do Agente, supe-se que os reitores buscam maximizar oramento. Assim, o nmero de matrculas (MAT) e o nmero de inscries no vestibular (INSV) so usadas como proxies. A varivel MAT representa os recursos oramentrios disponveis (mensalidades das universidades privadas e repasses financeiros governamentais, quando a universidade pblica) e a varivel INSV representa recursos adicionais (taxas de inscries no vestibular). Um destaque no modelo do Agente cabe varivel CURSO. Enquanto no modelo do Principal ela aparece como insumo representando recursos de capital, no modelo do Agente

11

ela um produto do reitor tendo-se em vista a sua relao com o aumento no nmero de matrculas de um ano acadmico ao outro, representando, tambm novos aportes de recursos. A anlise de correlao entre as variveis escolhidas no apresentou os resultados padres: negativa entre produtos e entre insumos e positiva entre os cruzamentos produtos e insumos. Isso resultado do fato das variveis estarem refletindo mais os efeitos do porte 6 das universidades avaliadas do que a relao propriamente dita entre as variveis estudadas. De fato, quanto maior for a universidade, maiores sero suas necessidades de docentes e servidores, por exemplo e isso afeta a relao entre essas variveis 7. Por esse motivo, o procedimento para seleo de variveis por stepwise favorece este estudo. O stepwise comea pela seleo de um insumo e um produto (escolhidos a partir da lgica do processo de produo mais simples imaginvel) na estimao de um primeiro indicador de eficincia. A correlao entre esse primeiro indicador e as demais variveis, ento, calculada esperando-se que ela seja negativa entre ele e as variveis de insumos e positiva entre ele e as variveis de produtos. A lgica a seguinte: maiores quantidades de produtos melhoram a produtividade da universidade e, por conseqncia, melhoram o indicador de eficincia, enquanto maiores quantidades de insumos pioram a produtividade e o indicador de eficincia. Os modelos do Principal e do Agente so, portanto, resultados do estudo dessas correlaes sucessivas. As principais estatsticas, para cada varivel, so apresentadas na Tabela 3. Elas revelam que as universidades da amostra so bastante heterogneas em seus planos de operao. Isso foi indicado pela alta disperso relativa, medida pelo Coeficiente de Variao (CV), observada em todas as variveis estudadas, reforando o uso de modelos DEA com retornos variveis de escala. Como j foi visto na seo 4, nesses modelos, os diferentes enfoques gerenciais adotados pelos reitores, que caracterizam essa heterogeneidade, so levados em conta no clculo dos indicadores de eficincia. Um outro comentrio importante a se fazer quanto ao CV que, por ser um indicador relativo, pode ser usado em comparaes tanto entre os coeficientes das diferentes variveis, como tambm entre os dos diferentes grupos analisados. Nesse sentido, os maiores CV para o grupo completo (todas as universidades juntas), mostram que o agrupamento feito entre universidades pblicas e privadas faz sentido estatisticamente. Paralelamente a isso, observou-se que o Coeficiente de Assimetria (CA) no se mostrou suficientemente forte a ponto de indicar algum problema quanto existncia de outliers. A assimetria dos dados mdia (no alta nem baixa) 8 e positiva, o que significa que h maior freqncia dos menores valores observados, comparativamente aos maiores valores, das variveis em estudo. Em suma, pode-se ficar tranqilo na aplicao dos modelos DEA diretamente sobre os dados amostrais, j que os valores mdios no aparentam ser influenciados pela alta disperso observada.

15 O porte da universidade, seu tamanho, pode ser medido pelo montante de alunos matriculados (MAT), pelo nmero de professores (TDOC) e pelo nmero de servidores tcnica/administrativos. O INEP, por exemplo, define o tamanho das Instituio de Educao Superior (IES) de acordo com o nmero de matrculas efetuadas em dado perodo. 7 16 Por outro lado, uma relao lgica esperada entre variveis, tais como professores e servidores, seria positiva, se pudssemos supor que o trabalho do servidor tcnico/administrativo complementa o trabalho do docente muito mais do que o substitui. Dessa maneira, uma taxa de substituio entre esses dois insumos, por mais adequada que seja na avaliao de sistemas produtivos, nesse caso pode no ser satisfatria. 8 17 Caldas mais longas, nas distribuies de freqncia dos dados, so resultados de coeficientes de assimetrias muito superiores a 1, quando positivas, e muito inferiores a 1, quando negativas.

12

Tabela 3: Universidades brasileiras por dependncia administrativa em 1998: principais estatsticas para variveis selecionadas* Variveis X-bar DPad Min Med Max Todas TDOC 850 698,88 123 664 4.738 CURSO 31 18,68 5 25 127 SERV 1.118 1.572,72 58 589 12.684 CONC 1.234 829,90 224 1.082 4.334 MAT 10.397 6.464,44 1.283 9.146 44.598 INSV 15.718 16.880,54 1.774 9.513 110.720 Privadas TDOC 607 333,96 123 509 1.647 CURSO 29 16,72 8 23 102 SERV 527 424,94 80 392 2.451 CONC 1.143 786,09 224 821 3.794 MAT 10.441 6.464,50 2.132 9.140 44.598 INSV 10.214 12.314,55 1.774 7.028 89.520 Pblicas TDOC 1.170 901,38 192 858 4.738 SERV 35 20,49 5 32 127 INGR 1.896 2112,80 58 1.124 12.684 MAT 1.353 876,91 268 1.247 4.334 CONC 10.338 6521,34 1.283 9.152 35.662 MAT 22.959 19294,07 3.427 18.514 110.720 INSV 1.170 901,38 192 858 4.738 * Nmero total de observaes: 132; Pblicas: 57; Privadas: 759 CV 82,20 59,35 140,64 67,28 62,18 107,40 54,98 58,59 80,61 68,79 61,91 120,56 77,07 58,00 111,44 64,81 63,08 84,04 77,07 CA 0,80 1,04 1,01 0,55 0,58 1,10 0,88 0,99 0,95 1,23 0,60 0,78 1,04 0,49 1,10 0,36 0,55 0,69 1,04

O modelo BCC-I foi aplicado aos dois conjuntos de variveis. Os indicadores de eficincia estimados esto apresentados, por meio de suas principais estatsticas, na Tabela 4.
Tabela 4: Escores de Eficincia para Universidades Brasileiras em 1998*10 Modelo Principal Universidades Todas Privadas Pblicas Agente Todas Privadas Pblicas 14 14 11 2 10 0,5984 0,7421 0,4143 0,2295 0,1857 0,3476 38,36 25,02 83,90 0,18 0,08 1,30 N. Eff 12 9 21 Pb.Eff 5 Priv.Eff 7 X-bar 0,6082 0,6952 0,7865 Dpad 0,2025 0,1849 0,2124 CV 33,29 26,59 27,00 CA 0,25 -0,01 -0,09

* Numero total de observaes: 132; Pblicas:57; Privadas:75

A Tabela 4 apresenta os indicadores de eficincia para as 132 universidades brasileiras avaliadas. A maneira mais comum na literatura de avaliar eficincia tcnica pe universidades pblicas e privadas sendo avaliadas conjuntamente; neste estudo, elas so avaliadas separadamente. De acordo com os indicadores de eficincia, apresentados nas linhas Todas, 12 universidades brasileiras foram eficientes, no modelo do Principal, e 14 no modelo do Agente, em 1998. O teste-t para mdias mostra que esses dois indicadores so equivalentes, ao nvel de significncia de 5%. Isso significa que, em mdia, no h motivos para se preferir uma abordagem (Principal ou Agente) em especial.
9

18 Legenda: X-bar: mdias, DPad: desvios padro, Min e Max: valores mnimos e mximos observados, Med: medianas, Q1 e Q3: primeiros e terceiros quartis; CV: coeficiente de variao e CA: coeficiente de assimetria de Pearson.
10

19 Legenda: N.eff: nmero de universidades eficientes em cada situao; X-bar: mdias; Dpad: desvios padres; CV: coeficiente de variao e CA: coeficiente de assimetria de Pearson.

13

Observou-se ainda a predominncia de universidades privadas eficientes para ambos os modelos estimados. No modelo do Principal, 7, das 12 eficientes, so privadas e no modelo do Agente elas so 10, entre as 14 eficientes. Essa avaliao confirma a tese de Lindsay (1976) de que a eficincia de universidades pblicas e privadas, dadas as suas caractersticas peculiares, deve ser avaliada separadamente. Assim, pode-se afirmar que os trabalhos que avaliam eficincia tcnica de organizaes privadas e pblicas, utilizando a mesma lgica de avaliao no respeitam tambm uma das limitaes mais importantes de DEA: a necessidade de s se considerar organizaes homogneas num mesmo modelo. Nesta pesquisa, mesmo que uma universidade utilize os mesmos insumos para gerar produtos similares, ela s ser considerada homognea a outra universidade qualquer se ela tambm apresentar as mesmas restries com respeito aos seus aspectos relativos tomada de deciso. Dessa maneira, justifica-se a desagregao das universidades brasileiras, em pblicas e privadas, para que a anlise da eficincia tcnica seja feita entre apenas universidades similares. Conforme discusso da seo 3, o fato da gesto se encontrar mais distante da propriedade, pode causar algum impacto nos indicadores de eficincia de uma dada universidade. Isso, portanto, analisado pelo estudo dos modelos alternativos do Principal e do Agente, para universidades pblicas e privadas, separadamente. Os resultados esto mostrados nas linhas Privadas e Pblicas, na Tabela 4. As universidades pblicas so, em mdia, mais produtivas que as privadas, no modelo do Principal. Considerando que nesse modelo as variveis selecionadas aproximam-se dos objetivos da sociedade (oferta de profissionais e de vagas nas universidades), pode-se admitir que os objetivos das universidades pblicas so mais abrangentes que aqueles objetivos que Whynes e Bowles (1987) assumiram para organizaes burocrticas. Isso se mostra na diferena entres os indicadores gerados pelos modelos do Principal (0,7865) e do Agente (0,4143). Alm disso, eles podem rejeitar a hiptese apriorstica de que universidades pblicas so naturalmente menos produtivas que universidades privadas. Isso observado no modelo do Principal em que as universidades pblicas apresentam indicadores de eficincia maiores, em mdia, que as universidades privadas. Essas universidades, por sua vez, desempenharam melhor na avaliao feita pelo modelo do Agente, enfatizando que o esforo dos reitores de universidades privadas est mais direcionado s variveis que geram receita (matrculas, inscries no vestibular e quantidade ofertada de cursos). Com isso, pode-se aceitar a hiptese de que a escolha de um modelo pode beneficiar um tipo de universidade (quando elas so avaliadas conjuntamente) e contestar os resultados apresentados por Faanha e Marinho (2001). O pressuposto de que o problema da agncia afeta com maor intensidade as universidades pblicas, no Brasil, reforado pelos indicadores de eficincia sintetizados acima. Para isso, o teste-t para mdias foi mais uma vez utilizado para detectar a diferena entre os indicadores gerados pelos modelos do Principal e do Agente, para os dois grupos de universidades. Os testes mostraram, ao nvel de significncia de 5%, que os indicadores de eficincia entre os modelos do Principal e do Agente so diferentes para as universidades pblicas e equivalentes para as privadas. Esse fato enderea discusso sobre a influncia de assimetria de informaes sobre os indicadores de eficincia estimados para universidades pblicas. A deteco e mensurao dessa influncia pode ser feita por meio de estudos que incorporem restries que sejam capazes de indicar o poder de influncia dessas assimetrias sobre o comportamento eficiente de universidades. De qualquer forma, esses resultados j asseguram que os estudos sobre eficincia tcnica em sistemas econmicos em que operam, simultaneamente, organizaes

14

pblicas e privadas devem assegurar tratamento diferenciado para os comportamentos desses tipos de organizaes. 6 Concluses e Recomendaes Os resultados da aplicao de modelos DEA em anlise de eficincia em universidades brasileiras, no ano de 1998, mostraram que as universidades pblicas tiveram melhor desempenho que as privadas, quando o modelo de gesto mais adequado aos objetivos desses tipos de universidades. Os modelos, caracterizados por diferentes conjuntos de variveis, foram especificados a partir de hipteses a respeito dos diferentes objetivos gerenciais perseguidos por estes tipos de organizaes. A hiptese a respeito da ineficincia de organizaes do setor pblico pde ser contestada no caso em estudo. No entanto, alguns desenvolvimentos devem ser feitos em dois sentidos: a melhoria das medidas utilizadas e a incorporao de restries, aos modelos DEA, que captem e meam a influncia das assimetrias de informaes sob organizaes complexas, tais como universidades. No que diz respeito s assimetrias de informaes, uma direo de pesquisa recomendada a incluso de alguma restrio que as filtrasse, eliminando sua influncia nos escores de eficincia estimados. Esse um estudo que poderia levar compreenso dos fatores que causam diferenciais de produtividade em determinados setores ecnmicos.

Referncias Bibliogrficas AHN, Taesik, SEIFORD, L.M. Sensitivity of DEA to models and variable sets in a hypothesis test setting: the efficiency of universitiy operations. In IJIRI, Y. (Ed.). Creative and innovative approaches to the science of management . Westport: Quorum Books, 1993. 502p. BANKER, R.D., CHARNES, A. e COOPER, W.W.. Some models for estimating technical and scale inefficiencies in data envelopment analysis. Management Science, v.30, n.9, p.1078-1092. 1984. BELLONI, J.A. Uma metodologia de avaliao da eficincia produtiva de universidades federais brasileiras. 2000. 246f. Tese (Doutorado em Engenharia de Produo) Centro Tecnolgico, Universidade Federal de Santa Catarina, Florianpolis. BREU, T.M., RAAB, R.L. Efficiency and perceived quality of the nations top 25 national universities and national liberal arts colleges: an application of data envelopment analysis to higher education. Socio-Economic Planning Science, v.28, p.33-45. 1994. CARLSON, W.L. e THORNE, B. Applied statistical methods: for business, Economics, and Social Sciences. New Jersey: Prentice Hall, 1997. 1021p. CHARNES, A., COOPER, W.W. e RHODES, E. Measuring the efficiency of decision making units. European Journal of Operational Research, v.2, n.26, p.429-444. 1978. COASE, Ronald H. The nature of the firm. Economica, n.4, p.386-405. 1937. COELLI, T., RAO, D.S.P e BATTESE, G.E. An introduction to efficiency and productivity analysis. London: Kluwer Academic, 1997. 275p.

15

COLBERT, A., LEVARY, R.R., SHANER, M.C. Determining the relative efficiency of MBA programs using DEA. European Journal of Operational Research, v.125, p.656-669. 2000. CONSELHO DE REITORES DAS UNIVERSIDADES BRASILEIRAS. Universidades. Apresenta o conjunto de universidades brasileiras segundo regio. Disponvel em http://www.crub.org.br . Acesso em 3 junho 2002. COOPER, W.W., SEIFORD, L.M., TONE, K. Data envelopment analysis: a comprehensive text with models, applications, references and DEA-solver software. Boston: Kluwer Academic Publishers, 2000. 317p. DALMAS, J.C. Avaliao de Eficincia Produtiva de Cursos de Graduao, Empregando Anlise Envoltria de Dados. 2000. Tese (Doutorado em Engenharia de Produo) Centro Tecnolgico, Universidade Federal de Santa Catarina, Florianpolis. FAANHA, L.O. e MARINHO, A. Instituies federais de ensino superior: modelos de financiamento e o incentivo eficincia. Revista Brasileira de Economia, v.53, n.3, p.357386, jul/set. 1999. ___________. Instituies de ensino superior governamentais e particulares : avaliao comparativa de eficincia. Braslia, IPEA, 2001. 33p. (Texto para Discusso n. 813). FREEMAN, John. Efficiency ad rationality in organizations. Administrative Science Quaterly, n.44, p.163-175. 1999 GIBBONS, R. Taking Coase seriously. Administrative Science Quarterly, v.44, p.145-157. 1999. INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS. Censo da Educao Superior. Apresenta links que apresentam estatsticas da educao superior relativas ao perodo de 1995 a 2000. Disponvel em http://www.inep.gov.br. Acesso em 3 de junho de 2002. JENSEN, Michael C., e MECKLING, Willian H. Theory of the firm: managerial behavior, agency costs and ownership structure. Journal of Financial Economics, v.3, n.4, p. 305-360. 1976. JUNOY-PUIG, J. Partitioning input cost efficiency into its allocative and technical components: an empirical DEA application to hospitals. Socio-Economic Planning Sciences, n.34, p.199-218. 2000. LAPA, J.S, BELLONI, J.A, NEIVA, C.C. Medidas de desempenho de unidades acadmicas de uma Instituio de Ensino Superior. Florianpolis, PPGEP/UFSC, 1997. (mimeo). LINDSAY, C. A theory of government enterprise. Journal of Political Economy, v.84, p.1061-1077. 1976. LOPES, A.L.M. Avaliao cruzada da produtividade e qualidade de departamentos acadmicos de uma universidade com um modelo de Anlise Envoltria de Dados e Conjuntos Difusos. 1998. 161f. Tese (Doutorado em Engenharia de Produo) Centro Tecnolgico, Universidade Federal de Santa Catarina, Florianpolis. MARINHO, A. Avaliao organizacional de uma universidade pblica : uma abordagem no-paramtrica da Universidade Federal do Rio de Janeiro UFRJ. 1996. Tese (Doutorado em Economia) EPGE, Fundao Getlio Vargas, Rio de Janeiro.

16

MARINHO, A., RESENDE, A., FAANHA, L. Brazilian federal universities: relative efficiency evaluation and data envelopment analysis. Revista Brasileira de Economia, v.51, n.4, p.489-508. 1997. MARSCHKE, G. Incentives in government: evidence from US Job Training Programme for the economically disadvantaged. Market and Public Organizations, Bristol, n.3, june, 2000. Disponvel em http://www.bris.ac.uk/cmpo/mpoissue3.pdf/. Acesso em 1 junho 2002. MOITA, M. H. V. Medindo Eficincia Relativa de Escolas Municipais da Cidade do Rio Grande (RS) Usando a Abordagem DEA (Data Envelopment Analysis) . 1995. Dissertao (Mestrado em Engenharia de Produo) Centro Tecnolgico, Universidade Federal de Santa Catarina, Florianpolis. NORMAN, M., STOKER, B. Data envelopment analysis: the assessment of performance. Chichester: John Wiley, 1991. 262p. NUNES, N. Avaliao da eficincia produtiva de departamentos universitrios : uma aplicao da Anlise Envoltria de Dados. 1998. Dissertao (Mestrado em Administrao), Centro Scio-Econmico, Universidade Federal de Santa Catarina, Florianpolis. OSRIO, Antnio, et. al. A eficincia econmica nas empresas pblicas e privadas : uma anlise comparada. In: III CONGRESSO DOS ECONOMISTAS DA LNGUA PORTUGUESA, Macau, Anais ..., 1998. Ozcan, Y.A., Luke R.D. A national study of the efficiency of hospitals in urban markets. Health Services Research, Feb, p.719-39. 1993. Ozcan, Y.A., Luke R.D., Haksever C. Ownership and organizational performance: a comparison of technical efficiency across hospital types. Medical Care, v.30, n.9, p.781-94. 1987. SINUANY-STERN, Z., MEHREZ, A., BARBOY, A. Academic department efficiency via DEA. Computers and Operations Research, v.21, p.543-556. 1994. TAVARES, Gabriel. A bibliography of data envelopment analysis (1978-2001). Rutcor Research Report, RRR 01-02, jan, 2002. WHYNES, D.K. e BOWLES, R.A. A teoria econmica do estado. Rio de Janeiro: Zahar, 1982.