FREITAS (H.). Anlise de dados qualitativos: aplicaes e as tendncias mundiais em Sistemas de
Informao. So Paulo/SP: Revista de Administrao da USP, RAUSP, v. 35, nr. 4, Out-Dez. 2000, p.84-102
ANLISE DE DADOS QUALITATIVOS: APLICAO E TENDNCIAS MUNDIAIS EM SISTEMAS DE I NFORMAO 1
Henrique Freitas 2
Neste trabalho 3 so apresentados alguns mtodos de anlise qualitativa de dados de dados, destacando sua importncia como recursos auxiliares no sistema de informao que apia a tomada de deciso no dia-a-dia, tanto do pesquisador como do homem de negcios. Ao mesmo tempo, aplicando esses conhecimentos oferecido -ao final- um primeiro mapeamento global sobre os temas que esto sendo abordados pela comunidade mundial de Sistemas de Informao (SI). Convive-se permanentemente com grande volume de dados colocados disposio por meio das tecnologias de informao. Verifica-se que esses dados necessitam, cada vez mais, de tratamento prtico e de bom senso que os transformem em informao pertinente (Davis, 1989). A anlise criteriosa de dados, tanto internos como externos a uma organizao (informaes normalmente pblicas), torna-se cada vez mais necessria (Freitas & Lesca, 1992) em virtude da escassez de tempo e da cobrana de agilidade e flexibilidade impostas pelo mercado -um mercado que, sabe-se bem, ganha a cada momento possibilidades maiores atravs da abertura que atualmente ocorre em quase todos os setores (Porter, 1992). J no existe mais o problema de acesso aos dados (vide a internet que representa, por si s, uma fonte inesgotvel): o grande desafio que hoje se enfrenta a tomada do conhecimento por meio dos dados, tarefa que exige o domnio de tcnicas de anlise.
1 Este artigo se apia em discusses e textos elaborados em cooperao com os professores Jean Moscarola (Universit de Savoie, Annecy, Frana ) e Milton Jenkins (University of Baltimore, MD, Estados Unidos), bem como na evoluo do trabalho profissional realizado pelo autor. O autor agradece a colaborao de Lise Freitas, Amarolinda Zanela Saccol, Thais Cavalheiro de Oliveira, Ionara Rech, Luciana Piatnicki, Mirian Oliveira e Edimara Luciano. O trabalho foi preparado com o apoio da equipe do Grupo de Estudos em Sistemas de Informao e Apoio Deciso (GESID) do Programa de Ps-Graduao em Administrao (PPGA) da Escola de Administrao da Universidade Federal do Rio Grande do Sul (UFRGS), Brasil, Foi fundamental, tambm, o apoio de agncias de fomento pesquisa, como CNPq, Fapergs Propesp/UFRGS e Programa Capes/Cofecub. 1
2 Henrique Freitas, Doutor em Administrao pela ESA- Universit Pierre Mendes France (Grenoble, Frana), com Ps-Doutoramento pelo ISRC, University of Ba/timore (MD, Estados Unidos), Professor Adjunto do Programa de Ps-Graduao em Administrao (PPGA) da Escola de Administrao da Universidade Federal do Rio Grande do Sul (UFRGS) e Pesquisador do Conselho Nacional de Desenvolvimento Cientfico e Tecnolgico (CNPq). hf@ea.ufrgs.br 3 Recebido em outubro/1998 Atualizado em setembro/2000 Por outro lado, a busca de informaes consistentes e vlidas no pode jamais deter-se nos dados estruturados, puramente quantitativos, tal qual so imaginados -na forma de clssicas planilhas, relatrios volumosos, nmeros, percentuais e grficos. Precisa-se, cada vez mais, ir aos dados de natureza qualitativa, como textos, discursos, entrevistas, trechos de livros, reportagens etc. Dados esses que envolvem elementos que muitas vezes desafiam a astcia do pesquisador ou do homem de negcios, pois escondem em suas entrelinhas posicionamentos, opinies e perfis, que exigem leitura atenta das ferramentas (tal qual a lupa de um detetive) que possibilitem chegar com maior rapidez (condio de sobrevivncia) s informaes realmente pertinentes (Pozzebon & Freitas, 1996; Lesca, Freitas & Cunha, 1996). A informao serve tomada de deciso; logo, a necessidade de decidir com maior preciso justificada pela necessidade que se tem de agir dentro das organizaes e no campo da pesquisa. Tem- se, com informaes consistentes, melhor condio de deciso e, tambm, pode-se vender mais eficazmente essas decises perante o pblico-alvo (Freitas, Ballaz & Trahand, 1993). Muitas vezes, no dia-a-dia, precisa-se justificar de maneira mais formal decises que se norteiam principalmente pelo bom senso, isto , convencendo melhor queles que preferem dados analisados e apresentados com maior estruturao. Em face dessa conjuntura, e do volume de informaes que se precisa esculpir, estruturar o desestruturado e desestruturar o que parece to preciso um exerccio que se impe. necessrio, cada vez mais, saber ler nos dados o que os clientes, os concorrentes e os outros atores dos ambientes interno e externo esto realmente dizendo, ainda que de forma indireta. Os sistemas que podem suportar esse tipo de demanda da parte dos decisores, analistas e pesquisadores devero integrar certas facilidades, ilustradas na figura 1. Deseja-se poder ir do dado bruto ao dado elaborado, via interpretao, anlise e sntese, assim como deve-se, a partir desse dado elaborado, mediante uma constatao ou curiosidade, poder rapidamente voltar ao dado preciso e detalhado, especificamente associado a um ponto num grfico. Por exemplo, imagine-se num grfico de correlao em que um ponto se destaca do comportamento de todos os outros que formam a nuvem de pontos: de que empresa ou pessoa se trata? Bastaria clicar em cima do ponto para saber sobre os detalhes. Essa flexibilidade de interao e de exerccio da curiosidade do pesquisador ou analista fundamental (l) .
Dois livros sobre o tema foram recentemente lanados, o de Freitas & Moscarola (2000) e o de Freitas & Janissek (2000), ambos com casos e mtodos inerentes anlise de dados quantitativos e qualitativos (mais informaes em [http://www.sphinxbr.com.br] e escolher "e- book" ou [http://www.adm.ufrgs.br/professores/hfreitas] e escolher "revista do HF"). Aps esta introduo, o presente artigo est organizado da seguinte maneira: situa-se de forma rpida o homem de estudos, com uma viso de que a deciso deve ser refletida e apoiada em dados; destaca-se a necessidade de tentar sistematizar a coleta e a explorao de dados quantitativos e qualitativos, internos e externos; discute-se o uso de questes abertas ou a coleta de dados tipo texto; aborda-se a parte conceitual de anlise de contedo; descreve-se, rapidamente, as diferentes aplicaes dessas tcnicas de anlise de dados; descreve-se dois casos aplicados rea de administrao da informao: a coleta de subsdios para o planejamento de SI das organizaes e a definio de perfis dos tomadores de deciso; apresenta-se alguns dados curiosos sobre os anais dos congressos mundiais da Association for Information Systems (AIS), de 1997, e da International Conference on Information Systems (ICIS), de 1996 e 1997, bem como tenta-se uma rpida avaliao em relao aos anais da rea de Administrao da Informao (Adminfo) dos Encontros da Associao Nacional de Programas de Ps- Graduao em Administrao (Enanpad), de 1995 a 1997; apresenta-se uma reflexo final.
O HOMEM DE ESTUDOS VERSUS O HOMEM DE AO (2)
Considerando a necessidade de agir, percebe-se que as pessoas podem responder a essa necessidade de duas formas. A primeira apostar -trata-se de uma resposta impulsiva. Responde-se ao com ao. Outra maneira consiste em -antes de agir -consultar fontes, perceber desvios entre as relaes; desvios reflexivos que levam a examinar os dados disponveis no sistema de informaes administrativas, constituindo atividades de pesquisa desenvolvidas de maneira sistemtica. Acredita-se que a deciso via reflexo ir permitir uma ao melhor do que a simples reao estimulada pelas sensaes sentidas no mundo que nos cerca. A convico de muitos pesquisadores a de que essa via, que passa pela reflexo, muito til, desde que no se esquea da necessidade de reagir rapidamente. Essa , portanto, uma abordagem integrada, que consiste em utilizar de maneira razovel a reflexo, sem jamais esquecer a necessidade de ao. importante considerar (ainda que seja um exerccio complexo) qual o valor da informao que se deseja obter, bem como o grau de preciso desejado. Isso ainda mais polmico quando se decide investigar dados qualitativos, que tendem a ser menos estruturados.
COLETAR E ANALISAR DADOS? DADOS INTERNOS E EXTERNOS, QUANTITATIVOS E QUALITATIVOS, BUSCAR A SISTEMATIZAO! (3)
Um esquema ou roteiro bsico para imaginar ou conceber um Sistema de Informao pode ser emprestado pelo campo do marketing, mais precisamente pelo Sistema de Informao de Marketing (SIM), o qual visa coletar dados pertinentes e transform-los em informaes que venham a ajudar os executivos de marketing na tomada de decises inerentes s suas atividades, sejam elas decises de curto prazo ou de longo prazo (Freitas, Bronger & Caldieraro, 1994). Os SIM foram concebidos para facilitar e aprimorar processo de tomada de decises em situaes de risco e incerteza (Kotler, 1991:135; Schewe & Smith, 1980:70); seu esquema pode ser observado na figura 2. Sistema semelhante pode ser imaginado para qualquer pessoa, cargo, atividade, processo ou departamento da organizao. No caso do pesquisador, ele encontra a inspirao para coletar seus dados. A principal responsabilidade das pessoas de uma organizao no exerccio de suas funes a (antecipao e) soluo de problemas e a tomada de deciso. A informao (via SIM ou similar) ajuda na anlise, no planejamento, na implementao e no controle, ou seja, contribui para a melhoria do processo de deciso. A informao configura-se, nesse contexto em que se espera o melhor desempenho das pessoas, como um recurso essencial (Goretsky, 1983). Uma experincia vivenciada e controlada em detalhe foi descrita por Caldieraro et alii (1998), tambm contendo razovel reviso da literatura sobre o tema, com diferentes modelos e abordagens propostos por vrios autores. Note-se a necessidade de dispor de qualquer tipo de dado, no somente os quantitativos. E isso de forma contnua e sistemtica. E no s sobre o ambiente interno, totalmente dominvel, mas tambm sobre tudo o que for necessrio monitorar do ambiente externo. isso que permitir melhores condies de identificao das oportunidades e de definio das estratgias para melhor aproveit- las. Isso se instrumentaliza e pode ser facilitado pela disponibilidade de um conjunto de software de apoio. Existem diversos, e vrias so as opinies e experincias. Pode-se iniciar pelo Microsoft Office, em especial o Excel, mais toda a parte de acesso ao correio eletrnico e Internet. Outros software de Enterprise lnformation System (EIS), estatsticos, de suporte Intranet ou de Data Mining podem ser teis (4) . necessria pacincia na execuo de um roteiro de coleta e de anlise de dados, sendo recomendvel o suporte de software adequado, de fcil uso, para vencer as etapas importantes rumo ao aprendizado do significado dos dados. Deve-se., nesse intuito, realizar as exploraes possveis e mesmo as a princpio ilgicas na busca da compreenso dos fenmenos que os dados coletados poderiam explicar ou mesmo somente indicar. Mattar (1994) define um roteiro bsico de pesquisa.
QUESTES FECHADAS VERSUS QUESTES ABERTAS: POR QUE ABRIR UM QUESTIONRIO?
Concentrando-se agora nos dados qualitativos, de forma especfica, o questionrio aqui o caso figurado; poderia tambm ser a concepo da base de dados ou a de uma outra interface para coleta de dados. Quando se constri um questionrio, fabrica-se um captador, um instrumento que vai nos colocar em contato com aquele que responde. Essa interao condicionada por aquilo que permitiu fabricar o questionrio, o que nos d o modelo, a imagem. Essa imagem uma aproximao do fenmeno que depende do equipamento de interpretao. Esse equipamento o que se chama de teorias, conceitos, hipteses, ou seja, tudo o que j se conhece antes de iniciar a observao.
A observao consiste apenas em ajustar a realidade ao que j se sabe. O ajuste vai depender da qualidade dos dados que se possui previamente. , portanto, a pr-concepo que condiciona o resultado. Normalmente, quando se fecha uma questo, quando se fabrica e se estrutura um questionrio, oferece-se apenas uma pequena escolha para que os respondentes dem a sua opinio sobre determinado assunto. Em vez de oferecer apenas algumas alternativas de opinio, poder-se-ia entregar s pessoas uma folha em branco e solicitar que discorram sobre o assunto X. Esse exerccio , contudo, um tanto difcil, toma tempo e pode aborrecer os respondentes, a menos que lhes sejam dadas condies favorveis. Se essas condies tivessem sido oferecidas, eles teriam escrito uma ou duas pginas com seu estilo prprio e suas idias particulares. Estar-se-ia, ento, diante de um embarao para analisar todos esses textos. por isso que so oferecidas questes fechadas: elas facilitam a obteno de resposta e mais simples analis-las. Contudo, ao adot-las, corre-se o risco de ficar- se simplesmente cego (ou limitado) com o que j sabe. O que d a resposta ao questionrio a sua concepo. Muitas vezes, seria til no fechar as questes, introduzir no questionrio questes abertas, tentando captar alguns dados mais espontneos, menos previsveis, enfim.
MTODOS E TCNICAS DE ANLISE QUALITATIVA DE DADOS
Freitas, Cunha & Moscarola (1997) e Freitas & Janissek (2000) descrevem as noes gerais da anlise de contedo, bem como sete diferentes nveis de aplicao e desenvolvimento da anlise lexical, com base em textos europeus, de Grawitz (1976; 1993) e Gavart-Perret & Moscarola (1995), ilustrando a aplicao e o uso dessas tcnicas. Esse tipo de anlise contribui para a interpretao das questes abertas ou textos, a partir da descrio objetiva, sistemtica e quantitativa do seu contedo. Exceto por Krippendorff (1980), a literatura norte-americana sobre o tema recente. Em 1990, Weber publicou o livro Basic Content Analysis. Em 1993, Silverman descreveu mtodos para analisar discursos, textos e interaes na obra Interpreting Qualitative Data. Miles & Huberman publicaram, em 1994, o livro Qualitative Data Analysis. Em 1997, o Journal of Applied Management Studies, ingls, publicou dois artigos sobre a aplicao de anlise de contedo e anlise lexical: The structure of managerial thinking, de Crouch & Basch, e - Managerial discourses: words speak louder than actions?, de Oswick, Keenoy & Grant. A revista MIS Quarterly tambm publicou pesquisa qualitativa durante 1997, mostrando a disposio da comunidade (e dos editores) rumo aos estudos qualitativos. A literatura francesa tambm textos recebeu novos textos, da parte de Bardin (1996) e de Lebart & Salem (1994). O uso da anlise lexical permite interpretar e fazer uma se leitura adequada e dinmica das questes abertas das enqutes, por meio de processos automticos que associam a matemtica e a estatstica. Esse procedimento no - mais rigoroso do que a anlise de contedo clssica. O tratamento dos dados objetivo, mas a leitura subjetiva tambm realizada: ela que permite comunicar a impresso, de acordo com a qual certa constatao pode ser explicada. A subjetividade continua presente, mas por esse tratamento tem-se acesso a um processo de leitura mais rpido, automatizado e que, por outro lado, encontra certo nmero de justificativas. Os dois tipos de anlise de questes abertas (de contedo e lxica) so representados na figura 3.
Os atos de linguagem expressam tambm o contexto social. Enfim, os atos de linguagem dependem da variedade individual de quem est se expressando. Assim, a maneira como nos expressamos certamente caracterstica do idioma portugus. Na condio de pesquisadores, apresentamos um vocabulrio certamente abstrato, com termos da estatstica e com a particularidade de nosso estilo prprio como indivduos. Se for possvel controlar o idioma e a variedade individual, pode-se, por meio da estatstica dos atos de linguagem, descobrir ora o mundo do qual se est falando, ora o contexto social de quem estiver falando. A anlise lxica, ao apoiar-se na teoria dos atos de linguagem, oferece uma maneira cientfica de desenvolver investigaes em reas que tradicionalmente so objetos de uma nica abordagem literria e subjetiva. Quanto a algumas aplicaes dessa tcnica de anlise de dados, pode-se citar a anlise de qualquer tipo de texto, como questes abertas em questionrios, dados e anotaes de entrevistas, mensagens, livros, textos de qualquer natureza, discursos, todos os campos ou os dados tipo texto de quaisquer bases de dados. As aplicaes podem ser as mais variadas: anlise de entrevistas no diretivas ou de dados coletados via focus group, anlise de mdia (televiso, imprensa etc.), controle de redao, pesquisas de mercado e de opinio, marketing direto a partir de arquivos internos ou externos, anlise de documentos, auditoria na comunicao interna, inteligncia competitiva (patentes, pesquisa bibliogrfica e outras), gesto de recursos humanos (recrutamento, sondagem de opinio interna etc.), e diversas outras aplicaes. O progresso da tecnologia da informao e dos softwares hoje disponveis facilita a aplicao dessas tcnicas (Freitas & Moscarola, 2000). Pode-se surfar ou navegar pelos textos e, rapidamente, obter algumas estatsticas referentes ao lxico (o conjunto das palavras diferentes usadas nesse texto, com a sua freqncia de apario). T orna-se possvel grande variedade de investigaes e mesmo de novas e diferentes leituras, mas isso no deve mascarar a dificuldade final de interpretao inerente a esse processo. Dedicao e pacincia, aliadas curiosidade, so as caractersticas importantes que o pesquisador deve desenvolver nesse campo. A evoluo da anlise de dados tipo texto, ou anlise de contedo, hoje oferece solues combinando a estatstica lexical e os mtodos de anlise de dados, a anlise sintxica, e a navegao lexical ou surfing e a leitura assistida por computador. As tecnologias disponveis so bem mais poderosas do que antes. No entanto, a anlise de dados tipo texto no muda o significado dos dados. Embora a anlise reduza o rudo contido nos dados, a reduo de uma longa leitura e a rpida ou apressada chegada a concluses conduzem os analistas a uma leitura interpretativa. A interpretao freqentemente perigosa, parecendo ser rpida e falsamente objetiva. Moscarola (1994a; 1994b; 1995a; 1995b) aconselha que se tenha cuidado na investigao e nas concluses. APLICAES DA ANLISE QUALITATIVA: COMUNICAO, DATA MINING, HOSPITAL, PUBLICIDADE, QUALIDADE, POLTICA Comunicao Moscarola (1990; 1993; 1994a; 1994b; 1995a; 1995b) conduziu estudos aplicados com anlise de dados qualitativos, como a comunicao interna em um banco comparada com as expectativas dos clientes (completamente diferentes, segundo Bachelet & Moscarola, 1995). Os autores analisaram, tambm, o conjunto dos documentos que o banco comunicava aos seus clientes e entrevistaram os clientes do banco. O lxico utilizado nas comunicaes do banco e o lxico usado por seus clientes em relao a ele no eram os mesmos: o banco falava do produto, enquanto o cliente falava de seus problemas; o banco falava do quanto ele bom e o cliente falava sobre as dificuldades nas quais se encontrava. Colocaram, ento, ao banqueiro: procure falar a linguagem de seus clientes, dirija-se a eles. Isso diz respeito ao bom senso, embora se deva considerar que muitos de nossos interlocutores s se convencem pelo poder dos nmeros. Da a utilidade desse tipo de mtodo para o tratamento dos dados, de forma a comprovar, de maneira formal, evidncias que muitas vezes so contundentes, mas nem sempre percebidas, e que, em boa parte das vezes, podem determinar o sucesso de um empreendimento. Data Mining Data Mining com anais dos congressos da International Conference on Information Systems (ICIS) de 1996 (Cleveland, Estados Unidos) e 1997 (Atlanta, Esta- dos Unidos) e da Association for Information Systems (AIS) de 1997 (Indianpolis, Estados Unidos), via Internet ou CD-ROM: o programa e mesmo os resumos e os artigos das conferncias estavam disponveis. Aps importar os dados, estruturou-se uma base de dados (com os campos "conferncia", "sesso", "autores, "ttulo", "resumo" etc.) e, ento, teve-se condies de explorar e comparar os dados, com a identificao de especificidades e principais temas. Pode-se ter uma idia de quo mundiais so esses encontros identificando temas, pessoas e universidades para intercmbio, como em uma pesquisa de literatura. Foi distribudo um curto relato comparativo durante a ICIS de 1997. Bourgel, Moscarola & Thieblemont (1995) analisaram, de forma semelhante, sete anos de congressos de marketing na Frana. Considere-se as seguintes quatro variveis: o conhecimento de outros idiomas (sim ou no); o pas (Brasil, Frana e Estados Unidos); os verbos ou as aes mais associados percepo da deciso; e a classificao das pessoas entre "mais individualista" e "coletivista". So geradas unidades correspondentes entre todos os elementos (cada opo de cada uma das variveis), construindo-se uma ela de Burt (1950), o que possibilita a gerao da carta fatorial mostrada na figura 4. Na carta, cada eixo representa um fator, mas os dados da tabela de origem no so fortemente representados: os dois primeiros eixos representam apenas 6% da informao da tabela. Alguma diferena pode ser constatada entre os respondentes dos diferentes pases, mas ela deve ser cautelosamente investigada. Dados quantitativos e qualitativos no planejamento sistema de informao, com anlise de correspondncia bi-variada Em uma organizao estatal norte-americana de gesto dos transportes, com diversos departamentos (estradas, portos, aeroportos etc.), coordenou-se a realizao de entrevistas com 300 gerentes, divididos entre os nveis gerenciais, na tentativa de identificar os principais fatores crt icos de sucesso, as barreiras adoo de novas tecnologias ou solues e diversos outros aspectos. Sero considerados aqui somente os aspectos apontados como prejudiciais ao processo e desmotivadores. A resposta foi livre, depois digitada, e uma anlise de contedo foi realizada como indicado esquerda da figura 5: a partir da leitura de cada resposta, o analista e equipe criaram um novo cdigo, gerando uma nova varivel (fechada dessa vez, e no mais aberta como a original). A anlise univariada do resultado aparece em cima, direita, na figura. Esse novo dado, objetivo, pode ser cruzado ento com o nvel gerencial ou outro dado disponvel, como ilustrado na tabela de contingncia logo a seguir ou, ainda de melhor visualizao, na carta fatorial (considere que foram eliminados alguns elementos para gerar a tabela e a carta ilustrativa) mostrada na parte inferior da figura. A anlise de correspondncia (AC) apresentada na figura 5 uma tcnica explicada por Benzcri (1973), sendo que sua aplicao foi descrita por Greenacre (1984).
DADOS COLETADOS NOS ANAIS DA AIS DE 1997, DA ICIS DE 1996 E 1997 E DO ENANPAD ADMINFO DE 1995 A 1997 No Encontro da Associao Nacional dos Programas de Ps-Graduao em Administrao (Enanpad) de 1996, uma sntese dos anais da rea de Administrao da Informao (Adminfo) foi apresentada pela equipe da Professora Amlia Silveira (1996), do Curso de Ps-Graduao em Administrao da Universidade Federal de Santa Catarina (CPGA/UFSC). Depois, no Enanpad de 1997, Hoppen, Lapointe & Moreau (1996) apresentaram a proposio de um guia para avaliar artigos de pesquisa em SI. Esses estudos indicam elementos essenciais, bem como tcnicas que alguns grupos de nossa comunidade devero, cada vez mais, investigar: estamos constituindo uma base de dados para anlises em projetos futuros, contendo a parte de referncia essencial dos seguintes anais de congressos: AIS (Association for Information Systems), ICIS (International Conference on Information Systems) e a rea de Administrao da Informao do Enanpad. Contudo, este um exemplo ainda embrionrio. Pretende-se integrar os dados dos anais de diferentes congressos, constituindo ento uma base de dados (autores, universidades, ttulos, abstracts etc.) com as principais fontes de referncia (acessar [http:/ /www.adm.ufrgs.br/professores/hfreitas] e escolher 'proceedings'). Naturalmente, h muitas outras fontes, inesgotveis fontes; o leitor pode recorrer sempre ao web site da ISWORLD [http:/ /www.isworld.org] e l encontrar boa parte do que possa desejar. E assim diversos outros. No exemplo aqui apresentado pretende-se, apenas, aplicar a tcnica de anlise de dados qualitativos, oferecendo, ao mesmo tempo, uma idia geral de um retrato que se pode ter sobre a comunidade mundial e suas tendncias em termos de temas e mtodos, bem como o esboo de uma posio dos artigos apresentados na rea de Administrao da Informao da Anpad em relao s conferncias mundialmente reputadas como as mais importantes. Chamar-se- de mundo o conjunto dos artigos da AIS de 1997 e das ICIS de 1996 e 1997, e de Anpad o conjunto de publicaes em Administrao da Informao nos anos de 1995 1996 e 1997. Acredita-se que isso dar uma viso atual aos interessados nessa rea, constituindo um exemplo duplamente til, pois, alm de permitir ilustrar a utilidade da anlise de dados qualitativos, tambm contm dados relevantes de interesse comum a todos. Nos itens a seguir sero apresentados: a caracterizao das conferncias; os temas abordados; os julgamentos baseados em critrios valorizados nos debates dos congressos da AIS e da ICIS; e alguns elementos sobre os mtodos utilizados nas pesquisas relatadas nos artigos.
Identificao, cooperao e situao
Na figura 6 pode ser observada a caracterizao das conferncias objeto de estudo.
A cooperao entre autores algo que tem ocorrido mais (figura 7). No entanto, a Anpad de 1996 registrou s um artigo com um autor na rea de Administrao da Informao. Analisando os dados constantes na figura 8 (h artigos com mais de um autor), conclui-se que o mundo praticamente desconhece a Amrica do Sul e que a Anpad pouco atrai apresentadores de fora (esse no o seu papel). Os poucos estrangeiros presentes em Administrao da Informao foram especialmente convidados ou mesmo financiados por projetos outros, em particular o do GESID-PPGA/ EA/UFRGS. O mundo essencialmente norte- americano; pequena a presena da Europa, e as dos demais continentes menor ainda. Merece destaque o investimento que a Austrlia (e tambm a ICIS) vem fazendo. Deve ser discutida a viabilidade ou o desejo de aumentar a participao internacional na Anpad. Outras questes tambm devem ser abordadas: Qual o investimento que precisamos fazer para mostrar nosso trabalho comunidade empresarial local?
Teremos ou no oramento para mostrar ao mundo que dispomos de trabalhos de valor no Brasil? Na figura 9 pode ser observado um resumo sobre a identificao e a situao das conferncias.
Os temas e as conferncias Na figura 10 constam, para cada uma das conferncias, os principais temas ou assuntos abordados, segundo classificao do ttulo via anlise de contedo (os trs principais assuntos de cada ttulo, lidos um a um pelo analista), no total dos 608 ttulos.
Com base na aplicao de testes envolvendo o cruzamento das variveis conferncia e tema, constata-se que: o mundo valoriza: Desenvolvimento de SI, Tecnologia da Informao, Avaliao, Comrcio Eletrnico, Conhecimento, Usurio Final, Redes, Banco de Dados, Educao em SI, Aprendizagem, Organizaes Virtuais; a AIS e a ICIS recobrem-se ou completam-se bem; o que falta em uma tem na outra; a Anpad valoriza: Tecnologia da Informao, SAD, Informao, Planejamento de SI, Mtodos de Pesquisa; a Anpad no estava abordando muito: Desenvolvimento de SI, Internet e E-mail, SADG e Grupos, Organizaes Virtuais, Aprendizagem, Educao em SI (o mundo discute experincias vivenciadas); contudo, esses temas vm sendo focados desde 1998. Outras constataes podem ser feitas quando se analisa os dados apresentados na figura 11 (foram destacados at trs temas para cada um dos 608 ttulos, numa questo mltipla).
Os julgamentos Os julgamentos constituem uma curiosidade; so, pois, dados arriscados. Foram realizados pelo autor, mas tambm por uma doutoranda em Administrao (ICIS 1997). Todos foram revisados por um leigo na temtica, de forma a dar certa coerncia no sentido de que a viso ou a opinio deveria ser no s da academia, mas tambm do mundo fora dos muros universitrios. O julgamento inspira-se nos debates realizados por eminentes professores da comunidade mundial de Sistemas de Informao (entre eles, P. Gray da Claremont Graduate University; J. Nunamaker da University of Arizona: P. Ein-Dor da Tel-Aviv University; Jim Senn da Georgia State University (GSU)), todos preocupados com questes como: O que se est oferecendo sociedade til? Tem relao com a prtica? Ou s cincia pura e desprovida de aplicabilidade imediata? Afinal, cincia ou engenharia? abstrata ou concreta, objetiva ou subjetiva a temtica tratada? algo prtico ou terico? (IRMJ, 1998). No h respostas, a no ser o fato de que no se pode ir em uma s direo. Deve-se valorizar ambos os plos de todas essas questes, mas, sobretudo, buscar o rigor, caminhar na direo das necessidades da sociedade. Nas figuras 12 e 13 esto alguns dos resultados encontrados (focados somente nos artigos completos e nos inerentes a pesquisas em andamento, no contemplando, pois, outros tipos de trabalho). O debate teoria versuas prtica recobre-se, de fato, com o debate da cooperao universidade-empresa. A no ser pelos trabalhos apresentados na ICIS (47 tericos, 33 prticos, 74 terico-prticos), ainda h concentrao em trabalhos tericos, no mximo aliando alguma prtica teoria, mas raramente prticos na sua essncia. A AIS apresentou 38 tericos e 30 terico-prticos. J a Anpad apresentou 19 tericos, 36 terico-prticos e 2 prticos de fato. So raros os trabalhos focando informtica pura; todos abordam essencialmente sistemas de informao. Da mesma forma, em sua grande maioria os trabalhos no so matemticos: somente 3 apresentados na Anpad nos anos analisados desenvolveram modelos matemticos ou apoiaram-se fortemente na matemtica; na AIS de 1997 foram 5 de 68 artigos; e na ICIS de 1996 e 1997 foram 25 de 166.
Quanto ao julgamento cincia versus engenharia (figura 14), o Professor Ein-Dor, em debate na AIS 1997, observou que a engenharia deveria ser valorizada tanto quanto a cincia nas pesquisas em SI. Ele colocou que "cincia seria a observao e a classificao de fatos e leis, especialmente com o estabelecimento e a formulao quantitativa de leis gerais verificveis, enquanto engenharia seria a aplicao da cincia e da matemtica, pelas quais as propriedades do problema e as fontes de energia so feitas teis para as pessoas, em termos de estruturas, mquinas, produtos, sistemas e processos". A cincia associada elaborao intelectual e observao ou anlise, e engenharia ao "fazer de fato acontecer" , nossa interpretao. Ele prope o equilbrio e lembra que, na essncia, os trabalhos so cincia, e que a engenharia deveria ser valorizada e tambm privilegiada.
Os mtodos A parte metodolgica a de mais difcil julgamento e exige muita ateno na avaliao. A apreciao aqui sumria, apenas para dar uma noo sobre a abordagem. A AIS parece contemplar mais trabalhos de modelagem ou conceituais, ou seja, de proposio de idias de pesquisa, enquanto a ICIS privilegia pesquisas associando mtodos quantitativos e qualitativos (no entanto, apresentou 22 artigos que necessitam de leitura muito atenta para tentar-se depreender ou entender a parte do mtodo). A Anpad apresentou 12 artigos quantitativos, com o uso da estatstica: 13 de modelagem; 17 mais qualitativos; e 13 associando mtodos quantitativos e qualitativos. Somente 2 artigos no pareceram claros quanto a isso. Em outras palavras, a comunidade tem variado no mtodo de pesquisa aplicado (figura 15). Mtodo de pesquisa aplicado Tentou-se, ainda, avaliar se no artigo era utilizada uma abordagem com mtodo nico, bem-defnido, ou se era feito recurso, declaradamente ou no, a mais de um mtodo: 26 artigos da Anpad so de mtodo nico, enquanto 19 se classificam como de mtodo mltiplo. A AIS e a ICIS tambm se apresentam divididas nesse aspecto: a AIS com 30 de mtodo nico e 37 de mtodo mltiplo e a ICIS com 50 de mtodo nico e 46 de mtodo mltiplo. Esses dados mostram uma abertura na direo do mtodo mltiplo, uma vez que h poucos anos se notava uma exigncia pelo mtodo de pesquisa (logo, nico). Essa , ento, uma barreira quebrada para o bem e o progresso dos estudos. Sawyer et alii (1997) debateram, em painel na ICIS 1997, sobre o uso de multiple method.
Constam na figura 16 os mtodos identificados nos artigos avaliados.
CONSIDERAES FINAIS
Demonstrou-se algumas formas de realizar uma investigao eficaz com o uso de dados qualitativos, bem como ser vivel, com o auxilio de software adequado, levantar e explorar informaes consistentes que possam trazer respostas geis a muitos questionamentos que surgem no dia-a-dia de uma organizao e mesmo no trabalho de pesquisa. A inteno possibilitar que o analista seja mais aberto e flexvel, use sua intuio de forma autnoma e, com isso, ganhe tempo e mesmo potncia de anlise na explorao dos seus dados. O uso de tcnicas qualitativas um tema latente na comunidade mundial de SI (Willcoks et alii, 1997; Kendall et alii, 1997; Mason, 1997). O desafio organizar o tempo de forma a poder-se explorar livremente os dados e seguir o instinto e a curiosidade. Algum investimento dever ser feito quanto a ferramentas (microcomputadores, sistemas, mtodos e tcnicas etc.), capacitao (treinamentos ou, ento, tempo - para estudo) e para assegurar um mnimo de qualidade sobre os dados que se est coletando (com dados colhidos completamente sem critrio, estar-se- decidindo com que base?). Os dados e anlises apresentados foram apenas curiosidades e bons pretextos para mostrar ao leitor a importncia da aplicao de tcnicas e mtodos de anlise de dados qualitativos.
NOTAS
(1) As pesquisas realizadas pelo Professor Jean Moscarola, na Frana, e pelo Professor Henrique Freitas, no Brasil, ilustradas pelo esquema constante na figura 1, buscam definir caractersticas, funcionalidades e arquitetura de sistemas de informao que venham a facilitar a vida de gerentes, executivos, decisores, analistas e pesquisadores, ou que venham a propiciar melhores condies de proatividade a eles (projeto com a participao das ento mestrandas Marlei Pozzebon e Maira Petrini, do Gesid-PPGA da Escola de Administrao da UFRGS). Tal projeto pressupe que se conheam os decisores. Assim, outras duas mestrandas poca (Marie A. Macadar e Amarolinda Zanela Saccol) desenharam o perfil dos decisores na Frana, no Brasil e nos Estados Unidos, em projeto coordenado pelos dois professores acima e pelos professores Joo L. Becker (Gesid- PPGA/EA/UFRGS) e Milton Jenkins (ISRC, Merrick School of Business, Uniuersity of Baltimore, Estados Unidos). Outras informaes em [http:/ /www.adm.ufrgs.br/professores/hfreitas] e escolher "deciso".
(2) Alguns argumentos utilizados neste tpico e nas sees "Questes fechadas versus questes abertas: por que 'abrir' um questionrio?" e "Mtodos e tcnicas de anlise qualitativa de dados" baseiam-se em elaborao do Professor Jean Moscarola, em palestras realizadas no Brasil, em dezembro de 1994, maro de 1996 e abril de 1997, e tambm em Baltimore (Maryland\ Estados Unidos), em maro de 1998.
(3) Alguns argumentos complementares a este tpico foram publicados em Cunha Jr., Freitas & Slongo (1995).
(4) Nos casos apresentados neste artigo, utilizou-se um sistema de pesquisa e de anlise de dados de origem francesa, o qual funciona em trs estgios: concepo da enqute (estruturao do instrumento de pesquisa, edio do questionrio, organizao dos dados); entrada dos dados (digitao direta - cada tela um dado - ou digitao rpida - todos os dados numa s tela -, ou importao de dados de fontes internas ou externas, ou uso de scanner, Internet ou multimdia); e anlise dos dados, com possibilidades de tabulaes automticas, cruzamentos e testes estatsticos, permitindo a anlise lexical ou de contedo das questes abertas tipo texto (criando novos dados). Sua interface grfica em portugus (for Windows) facilita o uso e a explorao, podendo os dados serem visualizados em tabelas, grficos de barras ou setores, cartas fatoriais, clustering, histogramas de mdias cruzadas e outros. A elaborao de relatrios facilitada com um comando que envia tabelas, grficos e comentrios para o editor de textos, sem necessidade de "copiar- colar". O sistema Sphinx [http:/ /www.sphinxbr.com.br] amplamente utilizado na Europa e desde 1995 tem verso brasileira, com a possibilidade de gerar os resultados em portugus, ingls, francs ou alemo (Freitas, 1993; Sphinx Lxica, 1997 ; Freitas & Moscarola, 2000; Freitas & Janissek, 2000). Outras solues existem e podem encontradas em Weitzman & Miles (1995).
A atividade de pesquisa e os mtodos e tcnicas a ela inerentes deixam, hoje, de pertencer somente aos centros acadmicos e instituies especializadas para incorporarem-se ao dia-a-dia das empresas e demais organizaes. Em um ambiente dinmico de negcios, a pesquisa representa um recurso para coletar, analisar e extrair informaes valiosas de dados, tanto externos como internos s organizaes, tanto quantitativos como qualitativos. Neste artigo, fornece-se idias sobre tcnicas de pesquisa e de anlise de dados, principalmente qualitativos, em especial a anlise de contedo e a anlise lxica. Com exemplos prticos baseados em uso de software, verifica-se o seu potencial para trazer importantes subsdios ao processo decisrio nas organizaes e a sua utilidade para os pesquisadores na busca de maior riqueza de informao. Nas conferncias mundiais, desde 1997, a comunidade de Sistemas de Informao (SI) tem debatido o uso da pesquisa qualitativa (isolada ou antecedendo pesquisas quantitativas), cuja contribuio fica aqui mais latente. Um exemplo final oferece algumas das ltimas tendncias mundiais na rea, com base nos anais dos congressos da Association for Information Systems (AIS) de 1997 e da International Conference on Information Systems (ACIS) de 1996 e 1997, bem como tenta posicionar rapidamente a rea de Administrao da Informao no Brasil, com base nos anais dos Encontros da Associao Nacional de Programas de Ps-Graduao em Administrao (Enanpad) de 1995, 1996 e 1997.
Palavras-chave: pesquisa, anlise de contedo, dados qualitativos.
Today the research activity is not belonging anymore to the academy but also to the enterprises. In a changing world, to do research means a resource in order to gather and explore valuable knowledge from internal and external data, quantitative as well as qualitative. This paper allow us to give the reader some ideas about content analysis, based on practical examples using a special software to do so, pointing out the importance of such technique to the researchers and analysts looking for different approaches to explore the data. Qualitative research was discussed by the world community during the last main world conferences: in a final example, we try to establish a "portrait" of the information systems field, based on AIS 1997 and ICIS 1996 and 1997 proceedings, also looking at the Brazilian meetings and papers (Enanpad, 1995, 1996 e 1997).
BACHELET, C. & MOSCAROLA, J. La communication interne: diagnostic par I'analyse du discours des acteurs. Annecy, Frana, IUP/GEREG, Universit de Savoie, Cahiers du GEREG, 1995. 10p. BARDIN, L. L 'analyse de contenu. 8ed. Paris, PUF, 1996.291 p. BENZCRI, J.P. L'analyse des donnes. v.ll, L'analyse des correspondances. Paris, Dunod, 1973. BOURGEL, G.; MOSCAROLA, J.; THIEBLEMONT, R. Le marketing en actes: analyse des communications aux 7 premiers congres de I'association franaise de marketing (1985 a 1991). Universit de Savoie, Frana, Cahiers du GEREG, 1995. BURT, C. The factorial analysis of qualitative data. British Journal of Psychology (Statistical), v.3, p.166-185, Nov. 1950. CALDIERARO, F.; FREITAS, H.; PETRINI, M.; POZZEBON, M. Sistemas de informao de marketing: uma aplicao e seus resultados. Porto Alegre, RS, Srie Documentos para Estudo, n.3/98, PPGA/UFRGS, jan. 1998. 28p. CROUCH, A. & BASCH, J. The structure of managerial thinking: a lexical and content analysis. Journal of Applied Management Studies, v.6, n.1 , p.13-34, June 1997. CUNHA Jr., M. Anlise multidimensional de dados categricos: a aplicao das anlises de correspondncia simples e mltipla em marketing e sua integrao com tcnicas de anlise de dados quantitativos. Porto Alegre, Brasil, UFRGS, Cadernos de Estudos do PPGA, n.16/97, 1997. 26p. CUNHA Jr., M.; FREITAS, H.; SLONGO, L.A. A pesquisa de marketing como fator de interao universidade-empresa: estudo de caso aplicado utilizando uma ferramenta (Sphinx de estruturao e de anlise quantitativa e qualitativa de dados. ENCONTRO DA ASSOCIAO NACIONAL DE PROGRAMAS DE PS-GRADUAO EM ADMINISTRAO, 19. Anais... Joo Pessoa, PB, ANPAD, 1995. [Marketing, v.1 , n.5, p.1 09-129] DAVIS, G. Management information systems. London, McGraw- Hill, 1989. DOMENJOZ, P.; GAVARD-PERRET, M.L.; MOSCAROLA, J. Price and communication: how do they interrelate? An analysis of car advertisements published in English. CONGRS DE LA ASSOCIATION FRANAISE DU MARKETING. Actes... Frana, 1995. FREITAS, H. A informao como ferramenta gerencial: um telessistema de informao em marketing para o apoio deciso. Porto Alegre, RS, Ortiz, 1993. 360p. FREITAS, H.; BALLAZ, B.; TRAHAND, J. Sistema de informaes em marketing e apoio deciso. Revista de Administrao da USP, v.28, n. 2, p.33-49, abr./jun. 1993. FREITAS, H.; BRONGER, E.; CALDIERARO, F. SIM: sistemas de informaes de marketing: desenvolvimento e operacionalizao evolutivos. ENCONTRO DA ASSOCIAO NACIONAl DE PROGRAMAS DE PS-GRADUAO EM ADMINISTRAO, 18. Anais... Curitiba, PR, ANPAD, 1994. [Marketing, v.7, p.260-276] FREITAS, H.; CUNHA Jr., M.; MOSCAROLA, J. Aplicao de sistema de software para auxlio na anlise de contedo. Revista de Administrao da USP, v.32, n.3, p.97 -109, jul./ set.1997. FREITAS, H. & JANISSEK, R. Anlise lxica e anlise de contedo: tcnicas complementares, seqenciais e recorrentes para explorao de dados qualitativos. Porto Alegre, RS, Sphinx- Sagra, 2000. 176p. [http://www.adm.ufrgs.br/professores/hfreitas/ revista_hf] FREITAS, H. & LESCA, H. Competitividade empresarial na era da informao. Revista de Administrao da USP, v.27, n.3, p.92-102,jul./set.1992. FREITAS, H. & MOSCAROLA, J. Anlise de dados quantitativos e qualitativos: casos aplicados usando o Sphinx. Porto Alegre, RS, Sphinx-Sagra, 2000. 176p. [http://www.adm.ufrgs.br/professores/hfreitas/revista-hf] GAVARD-PERRET, M.L. & MOSCAROLA, J. From the utterance to the enunciation, for a re- reading of lexical analysis in marketing. INTERNATIONAL RESEARCH SEMINAR, 1. Marketing Communication and Consumer Behaviour, Frana, 1995. 21p. GORETSKY, E. Frameworks of strategic marketing information needs. Industrial Marketing Management, v.12, p.7-11 , 1983. GRAWITZ, M. Mthodologie des sciences sociales. Paris, Dalloz, 1976. [Chap. II, p.586-627]. __________ Mthodologie des sciences sociales. 9 ed. Paris, Dalloz, 1993. 870p. [Chap. 2, section 2, p.532-565] GREENACRE, M.J. Theory and application of correspondence analysis. London, Academic Press, 1984. HOFFMAN, D.L.; De LEEUW, J.; ARJUNJI, R.V. Multiple correspondence analysis. Advanced methods of marketing research. In: BAGOZZI, R.P., 1994. p.260-294. HOFSTEDE, G. Cultures and organizations: software of the mind. London, McGraw-Hill, 1991. 279p. HOPPEN, N. et alii. Um guia para a avaliao de artigos de pesquisas em sistemas de informaes. Porto Alegre, Brasil, READ, PPGA/UFRGS, 7 ed., v.2, n.2, 1996. INFORMATION RESOURCES MANAGEMENT JOURNAL (IRMJ). v.11 , n.1 , Winter 1998. [Beyond rigor and relevance] KENDALL, K.; TRAUTH, E.; BROWN, M.; BOUDREAU, M.C. A report from 8.2 to ICIS: three points of view on IS and qualitative research. ICIS 97. Atlanta, Estados Unidos, Dec. 1997. [Painel]
KOTLER, P. Administrao de marketing: anlise, planejamento, implementao e controle. 2 ed. So Paulo, Atlas, 1991. 848p. KRIPPENDORFF, K. Content analysis: an introduction to its methodology: Thousand Oaks, The Sage Comm Text Series, 1980. 191p. LEBART, L. & SALEM, A. Statistique textuelle. Paris, Dunod, 1994. 342p. LESCA, H.; FREITAS, H.; CUNHA Jr., M. Instrumentalizando a deciso gerencial. Revista Decidir; ano III, n.25, p.6-14, ago. 1996. MACADAR, M.; COSTA, A.; FREITAS, H.; BECKER, J.L.; MOSCAROLA, J. A concepo e validao de um conjunto de instrumentos quanti-qualitativos para estudar o processo decisrio...ENCONTRO DA ASSOCIAO NACIONAL DE PROGRAMAS DE PS-GRADUAO EM ADMINISTRAO, 21. Anais... Angra dos Reis, Brasil, ANPAD, 1997. 15p. [Organizaes]. MASON, J. Qualitative researching. Thousand Oaks, Sage, 1997. 180p. MATTAR, F.N. Pesquisa de marketing. So Paulo, Atlas. 1994. [v.1 e v.2 e v.compacto] MILES, M.B. & HUBERMAN, A.M. Qualitative data analysis. Thousand Oaks, Sage, 1994. 338p. MIS Quarterly, v.21, n.3, Sep.1997. [Three papers on qualitative research, from Richard O. Mason, James L. McKenney and Duncan G. Copeland.] MOSCAROLA, J. Enqutes et analyse de donnes. Paris, Vuibert, Gestion, 1990. 307p. ______________. Analyse de contenu et analyse de donnes: solutions logiciels pour une intgration quali/quanti. Paris, Actes JADT,1993. ______________. La communication politique vue par l'analyse lexicale. Annecy, Frana, IUP, Universit de Savoie, Cahier du GEREG, n.32, 1994a. ______________. Les actes de langage: protocoles d'enqutes et analyse des donnes textuelles. Paris, Colloque Consensus Ex-Machina, La Sorbonne, 1994b. ______________. Balladur, Chirac, Jospin, les mots d'une campagne: quelques exemples d'analyse lexicone avec le Sphinx. Annecy, Frana, IUP, Universit de Savoie, Cahier du GEREG, 1995a. 8p. ______________. Le sphinx lxica, manuel de rfrence. Annecy, Frana, Le Sphinx Dveloppement, 1995b. OSWICK, C.; KEENOY, T.; GRANT, D. Managerial discourses: words speak louder than actions? Journal of Applied Management Studies, v.6, n.1 , p.5-12, June 1997. PORTER, M.E. Vantagem competitiva. 6 ed. Rio de Janeiro, Campus, 1992. 516p. POZZEBON, M. & FREITAS, H. Construindo um E.I.S. (Enterprise Information System) da (e para a) empresa. Revista de Administrao da USP, v.31, n.4, p.19-30, out./dez. 1996. RUAS, R.L.; PIRES, M.; FREITAS, H.; ANTUNES, E. e equipe tcnica. Pesquisa indicadores da qualidade e produtividade. Pesquisa com 120 empresas gachas em parceria PPGA/UFRGS, IEL/FIERGS, SEBRAE. Porto Alegre, RS, dez. 1994. 68p. [Relatrio Executivo] SAWYER, S.; COOPRIDER, J.; GALLIERS, R.; GALLIVAN, M.; KAPLAN, B. Using multiple methods in studying IS: some experiences. ICIS 97. Atlanta, Estados Unidos, Dec. 1997. [Painel] SCHEWE, C.D. & SMITH, R.M. Marketing: conceitos, casos e aplicaes. So Paulo, MacGraw- Hill, 1980. 564p. SILVEIRA, A. et alii. Administrao da informao: anlise de citao. ENCONTRO DA ASSOCIAO NACIONAL DOS PROGRAMAS DE PS-GRADUAO EM ADMINISTRAO, 20. Anais... Angra dos Reis, Brasil, ANPAD, 1996. SILVERMAN, D. Interpreting qualitative data: methods for analysing talk, text and interaction. Thousand Oaks, Sage, 1993. 224p. SIMON, H.A. Administrative behavior: a study of decision-making processes in administrative organizations. 4 ed. New York, The Free Press, 1997. SPHINX LXICA for Windows. Guia do usurio. Porto Alegre, RS, Sphinx Brasil, 1997. [E- mail: sphinx@portoweb.com.br -website: http://www.sphinxbr.com.br] STUMPF, M.K. & FREITAS, H. Na busca da definio do "patient core record" do HCPA. ENCONTRO DA ASSOCIAO NACIONAL DOS PROGRAMAS DE PS- GRADUAO EM ADMINISTRAO, 20. Anais... Angra dos Reis, Brasil, ANPAD,1996. THUROW, L.C. Mapping the economic surface of the earth; Plate four: a global economy; and The forces remaking the economic surface of the earth. The future of capitalism. New York, William Morrow & Co., 1996. WEBER, R.P. Basic content analysis. Thousand Oaks, Sage, 1990. WEITZMAN, E.A. & MILES, M.B. Computer programs for qualitative data analysis. Thousand Oaks, Sage, 1995. 372p. WILLCOKS, L.; DUB, L.; PAR, G.; ROBEY, D. Pointers in doing and writing up case research. ICIS 97. Atlanta, Estados Unidos, Dec. 1997. [Painel]