Proposta de uma modelagem para mensurao de desempenho em e-commerce B2C

Rafael Tezza rafaeltezza@yahoo.com.br

Antonio Cezar Bornia cezar@inf.ufsc.br

Universidade Federal de Santa Catarina - UFSC

RESUMO: Neste artigo analisada a medio de desempenho em e-commerce B2C, sob o ponto de vista da satisfao do cliente. feito primeiramente uma reviso na literatura referente avaliao de desempenho em servios de uma forma geral e especificamente em e-commerce, e tambm a avaliao de desempenho em sistemas de informao e algumas ferramentas de anlise. Esta reviso serve de arcabouo terico para a proposta de modelagem que se segue, onde primeiramente so identificados os elementos de avaliao em e-commerce B2C. Na seqncia explora-se o entendimento destes, atravs de um desenvolvimento do processo de modelagem, seguida de uma estruturao e por fim de uma proposta de controle. Estes processos fazem uso de algumas ferramentas de anlise, tais como, mapas conceituais, diagrama de causa-e-efeito e QFD. A explorao desta estrutura auxilia no entendimento dos fatores que tem ao direta na satisfao do cliente em e-commerce, na modalidade B2C, e resulta em uma proposta estruturada de avaliao de desempenho. Palavras-Chave: Medida de desempenho, e-commerce, sistemas de informao, qualidade em

servios 1. INTRODUO Uma avaliao de desempenho de um sistema tem como uma das principais funes facilitar a compreenso das estruturas e relacionamento dos elementos envolvidos, e a partir da construir mecanismos para controlar e gerenciar os conflitos e promover a melhoria contnua. Desta forma, para ser eficiente um sistema de avaliao de desempenho deve considerar as interaes do contexto global. E isto se enquadra a qualquer sistema, principalmente o de servios, mais especificamente o tratado neste artigo: e-commerce B2C. O mercado de servios e-commerce tem crescido vertiginosamente. De acordo com as pesquisas realizadas pela empresa e-bit (COMPRAS ... 2008), em parceria com a Cmara Brasileira de Comrcio Eletrnico e a Lumens Consultoria, foi constatado um crescimento em 2007 de 43% nas vendas em e-commerce em relao a 2006, o que representa um faturamento de R$ 6.3 bilhes em vendas de produtos pela Internet no Brasil. As pesquisas revelam, ainda, que do final de 2006 at dezembro de 2007, o nmero de consumidores internautas passou de 7 milhes para 9.5 milhes . Este crescimento tende a tornar a competio ainda mais acirrada entre as organizaes de e-commerce. Para ter sucesso e manter a competitividade uma organizao B2C precisa no s de bons produtos e marketing, necessita de excelncia nos seus processos, com uma cultura de melhoria contnua e de excelncia (DUFFY e DALE, 2002, p. 440).

Como prova deste fato, uma reviso da literatura mais recente sobre o comrcio eletrnico revela um interesse crescente na abordagem de qualidade em servios de venda online (CAI e JUN, 2003). Isto justificado porque a qualidade do servio on-line est relacionada com a oferta de melhores servios (YANG JUN, 2002), e tem uma influncia positiva sobre a satisfao do cliente, atrao, reteno e rentabilidade (CAI e JUN, 2003; COX e DALE, 2001; GURAU, 2003). Observa-se na literatura de sistemas de informao (SI) uma quantidade expressiva de estudos visando medir a satisfao do usurio final (DOLL e TORKZADEH, 1988; DeLONE e McLEAN, 1992; TORKZADEH e LEE, 2003), mas muito pouca ateno tem sido dada aos sistemas web (HUANG et al., 2004; ABDINNOUR-HELM et al., 2005). O objetivo do presente artigo propor um mtodo de modelagem para avaliar resultado em e-commerce B2C, verificando ferramentas, tcnicas e procedimentos que auxiliem a auditoria desta modelagem, focado na satisfao do cliente. Neste trabalho enfocase a dimenso qualidade da informao, adotando-se uma metodologia de avaliao oriunda da rea de qualidade de servio. 2. SISTEMA DE MEDIO DE DESEMPENHO EM E-COMMERCE Segundo CULLEN e WEBSTER (2007), a ltima definio de e-commerce que tem sido adotada no mbito empresarial a do Instituto Nacional de Estatstica (ONS), que classifica de e-commerce a utilizao de redes eletrnicas para realizao de pedidos (utilizando todos os tipos de redes mediadas por computadores) e no simplesmente como um canal de pagamentos ou de entrega. Sendo assim, pode-se afirmar que as bases do e-commerce so os sistemas de informao, desta forma a avaliao de desempenho em e-commerce est intrinsecamente ligada avaliao de um sistema de informao. SHANNON e WEAVER (1949), embasados na teoria matemtica da comunicao classificam os sistemas de comunicao em trs nveis hierrquicos: Nvel tcnico, nvel semntico e nvel de eficcia ou influncia. O nvel tcnico diz respeito acuidade na transmisso dos smbolos de comunicao. A dimenso semntica est relacionada preciso da transmisso destes smbolos em relao ao sentido desejado. E por fim o nvel de eficcia ou influncia relaciona-se com o impacto desta comunicao no comportamento dos indivduos envolvidos no processo. Baseados nos trabalhos de SHANNON e WEAVER (1949) e de MASON (1978), DeLONE e McLEAN (1992) e MYERS, KAPPELMAN e PRYBUTOK (1997) propem uma ampliao destas dimenses, agora focadas na avaliao de sistemas de informao. Os autores propem as seguintes dimenses: qualidade do sistema, representando o nvel tcnico; qualidade da informao e qualidade do servio representando o nvel semntico e representando o nvel de eficcia ou influncia temos o uso do sistema, satisfao do usurio, impacto individual, impacto no grupo de trabalho e impacto organizacional. E segundo eles, estas dimenses, individualmente e conjuntamente influenciam a utilizao do sistema e a satisfao do cliente. Ainda segundo MYERS, KAPPELMAN e PRYBUTOK (1997) a freqncia do uso pode afetar, positiva ou negativamente, o grau de satisfao do usurio, e vice-versa. A utilizao do sistema e a satisfao do usurio so antecedentes diretos do impacto individual; este impacto no desempenho individual pode influenciar no desempenho do grupo de trabalho e no ambiente organizacional. O impacto no grupo de trabalho pode tambm causar modificaes no ambiente organizacional. Estas dimenses e suas interaes podem ser visualizadas na figura 1.

Figura 1. Dimenses de sistemas de informao e seus relacionamentos Fonte: Myers, Kappelman e Prybutok, 1997

Na dimenso de qualidade do sistema, MASON (1978) identifica o sistema de produo de informao como uma conjunto de operaes que recebe e processa dados a partir de regras e procedimentos precisos e sistemticos. DeLONE e McLEAN (1992) destacaram as seguintes caractersticas nesta dimenso: acessibilidade, flexibilidade, integrao, tempo de resposta, confiabilidade, facilidade de uso e utilidade. A dimenso satisfao do usurio a medida mais usada para avaliao de sistemas de informao. Nesta dimenso, identificam-se, dentre outros, os seguintes fatores: satisfao com caractersticas especficas, satisfao total, satisfao com a informao, satisfao com software, satisfao em relao tomada de deciso (DeLONE e McLEAN,1992). Um dos primeiros estudos realizados, focando a avaliao da satisfao do usurio com servios de computao foi o de BAILEY e PEARSON (1983) que identificaram uma srie de fatores que afetam a satisfao dos usurios de SI e atravs de oito estudos empricos, encontraram 39 fatores significativos em relao satisfao do usurio final. IVES ET AL. (1983), simplificaram e melhoraram o instrumento de Bailey e Pearson. Aplicaram em uma amostra de gerentes de produo de empresas de manufatura dos Estados Unidos. Seis fatores com baixa correlao foram retirados do instrumento, deixando apenas 13 fatores originais, sendo 5 fatores referentes ao produto sistema de informao, 5 fatores sobre qualidade e servios e 3 fatores sobre o envolvimento do usurio. O instrumento mais utilizado e validado nos ltimos anos foi o desenvolvido por DOLL e TORKZADEH (1988), que iniciou com 38 itens retirados da literatura e reduzidos a 12, sendo distribudos em 5 construtos, postulados como: contedo, preciso, formato, facilidade de uso e pontualidade do sistema. CHIN e LEE (2000) apresentam um instrumento de medida de satisfao do usurio constitudo de trs dimenses: satisfao, expectativas e desejos. Os autores, apesar de utilizarem o instrumento de DOLL e TORKZADEH como bases para sua pesquisa fazem algumas crticas ao mesmo argumentando que este instrumento no consegue medir corretamente a satisfao dos usurios de SI e que alguns constructos so conceitualmente incompatveis. Desta forma, propem um modelo, onde salientam que os sentimentos de satisfao do usurio final aumentam quando este combina suas percepes de avaliao do nvel de discrepncia a respeito dos desejos e das expectativas. PARASURAMAN ET AL. (1985) e GRNROOS (1994) abordam a avaliao da qualidade em servios. Os primeiros propem uma escala chamada SERVQUAL que composta de cinco dimenses: elementos tangveis, confiabilidade, capacidade de resposta, de

segurana e de empatia - e 22 atributos. De acordo com GRNROOS (1994), servio de qualidade percebida pelo cliente tem trs dimenses: uma dimenso tcnica, ou dimenso do resultado; uma dimenso funcional, ou dimenso do processo; e o chamado dimenso de imagem, que remete para a imagem que tem um cliente da empresa e que, por sua vez, influenciada pelas dimenses funcionais e tcnicas. A dimenso tcnica refere-se ao resultado do produto ou servio prestado ao cliente, essa dimenso pode normalmente ser avaliada objetivamente pelo cliente. Por outro lado, a dimenso funcional do processo centra-se na forma em que o cliente recebe o servio e suas experincias com o processo ou com o consumo. A avaliao do cliente nesta dimenso mais subjetiva do que no caso da dimenso tcnica. ALZOLA e ROBAINA (2007) baseados nos estudos de PARASURAMAN ET AL. (1985) e GRNROOS (1994), e em consulta com especialistas e entrevista com consumidores de e-commerce propem uma modelo terico para medir resultados em ecommerce B2C. Este modelo compreende trs dimenses: confiabilidade (a afetiva obteno de resultado), valor (a relao custo benefcio) e garantia (servio ps-venda) e mais dez atributos. O presente artigo apresenta com base nestes dois pontos de vista: avaliao de sistemas de informao e avaliao de qualidade de servios, um novo modelo para avaliao de resultados no e-commerce. 3. ESTRUTURAO DO MODELO Tentou-se integrar todo o processo, visto do ponto de vista o consumidor final, de ecommerce B2C s avaliaes de resultado em sistemas de informao e de qualidade em servios. Segundo BITITCI (1995) a anlise de sistemas de informao e o projeto de tcnicas e modelos para um sistema de informao norteiam-se por trs pontos de vista bsicos, que so: Ponto de vista de processo modelao do processamento das informaes; Ponto de vista dos dados modelao da estrutura da informao; e Ponto de vista de controle - modelao da dinmica da informao. Estes pontos de vista, quando devidamente explorados em um sistema seja ele exclusivo de sistema de informao, organizacional ou no mbito de servios, que o objetivo no presente trabalho, possibilitam uma viso abrangente do processo. Objetivando a explorao destes pontos de vista e a adaptao ao negcio de e-commerce B2C seguiu-se a seguinte seqncia: Identificao dos elementos de avaliao em e-commerce B2C; Desenvolvimento do processo do modelo; Desenvolvimento da estrutura do modelo; Desenvolvimento do controle do modelo. 4. IDENTIFICAO DOS ELEMENTOS DE AVALIAO EM E-COMMERCE B2C

A identificao dos elementos de avaliao em e-commerce B2C tem como fim a satisfao do cliente, considerando a relao fornecedor-cliente e conceitos bsicos de qualidade em servios. Para identificao destes elementos necessrio primeiramente conhecer o cliente e posteriormente entender suas necessidades e satisfaz-las. Para a construo do modelo aqui proposto, aps a definio dos requisitos de cada cliente feita a identificao das medidas que possam fornecer informaes objetiva ou subjetiva sobre a capacidade das empresas de e-commerce para satisfazer as necessidades dos clientes. O tipo de cliente estudado neste trabalho todo aquele que faz ou j fez alguma compra on-line utilizando sites de e-commerce B2C. As necessidades so traduzidas aqui como requisitos dos clientes, e so baseadas na literatura e em entrevistas com usurios e especialistas, e podem ser visualizadas na tabela 1, juntamente com as formas de medidas.
Tabela 1. Requisitos dos clientes e mensuraes estes requisitos.

Requisito Custo

Mensurao % Quantidade de ofertas % de encargos financeiros nos produtos Variao de preo em relao ao concorrente

Acessibilidade Tempo de carregamento do site em uma conexo lenta % de contedo acessvel a deficientes visuais % de contedo acessvel a deficientes auditivos % de contedo alternativo a usurios que no acesso a multimdia Confiabilidade % de erros na entrega de produtos % de reclamaes de clientes referentes a entrega ou ao produto Tempo de resposta s reclamaes Usabilidade Taxa de sucesso na utilizao do buscador % de reclamaes de clientes referentes a erros no site Taxa de no conformidades em um teste heurstico de usabilidade Customizao Quantidade de produtos personalizados Quantidade de clientes com perfil cadastrado no site. 5. DESENVOLVIMENTO DO PROCESSO DO MODELO A qualidade de um modelo, assim como sua contribuio para a realidade em questo depende das ferramentas utilizadas e do perfeito entendimento dos elementos e atores envolvidos em todo o sistema. Desta forma esta etapa de desenvolvimento do processo do modelo consiste na construo de entendimento acerca dos elementos envolvidos na satisfao do cliente no e-commerce B2C. A primeira etapa foi a identificao dos conceitos envolvidos no problema e a hierarquizao dos mesmos, como pode ser visualizado na figura 2.

Satisfao do usurio em ecommerce B2C

Percepes de ordem financeira

Confiabilidade

Acessibilidade

Usabilidade

Customizao

Figura 2. Hierarquizao dos conceitos envolvidos na satisfao do usurio em e-commerce B2C.

A partir desta identificao dos conceitos envolvidos no processo de satisfao do usurio em e-commerce B2C, partiu-se para o aprofundamento de cada um deles a fim de conhecer qual a relao de cada conceito com a satisfao do usurio e conseqentemente qual a sua importncia na modelagem. Para isso construiu-se mapas conceituais para cada um dos conceitos. O mapa conceitual tem como objetivo apresentar, de forma grfica, os conceitos considerados relevantes do sujeito para compreenso do conceito principal, e a relao entre eles. MOREIRA (1997) afirma que no existe um mapa correto, para um determinado conceito, mas deve haver coerncia e correo no entendimento das relaes. Desta forma o mapa se mostra um importante instrumento para explorao de significados, diferenas, vinculaes estabelecidas individualmente ou coletivamente e a relevncia das relaes. A figura 3 apresenta o exemplo do mapa conceitual do conceito usabilidade.

Modelos Mentais
Influencia Relaciona

Usabilidade

Sistemas Visuais

Sistemas Fsicos

Influencia Gera

Aprendizage

Memorizao Eficincia
Atravs

Interao HumanoComputador Qualidade

Tem como objetivo

de

Simplificao
Atravs Gera Por conseqncia

Reduo de erros

de

Priorizao de informaes teis

Facilita o uso
Gera

Sites Melhores
Influencia Facilita

Encontrar o produto desejado

Influencia

Fidelizao

Deciso de compra

Figura 3. Mapa conceitual - Usabilidade

6. DESENVOLVIMENTO DA ESTRUTURA DO MODELO O desenvolvimento da estrutura do modelo segue como seqncia da estrutura do processo, discutido a seo anterior. No item anterior foi gerado um entendimento sobre os elementos que constituem o processo de satisfao do usurio. Neste item cada elemento, agora devidamente contextualizado no processo e entendido como parte integrante do mesmo, ser analisado de forma individual. A finalidade determinar os fatores que possam contribuir

para a medio de resultado na esfera geral de satisfao do usurio. Para alcanar este objetivo proposta a utilizao da ferramenta de causa-e-efeito como exemplificado na figura 4. O diagrama de causa-e-efeito mostra como cada elemento pode ter impacto sobre o resultado do processo de satisfao do cliente, mostrando claramente as causas diretas e indiretas. O requisito de usabilidade pode interferir diretamente no resultado de satisfao do usurio e esta interferncia pode ser verificada, por exemplo, como visto na tabela 1, atravs da taxa de sucesso na utilizao do buscador. Segundo NIELSEN e LORANGER (2006) a busca uma parte fundamental da experincia do usurio na web, os usurios criam grandes expectativas sobre como ele deve funcionar. Para estes autores um sistema de busca em um site especfico deve funcionar melhor do que em um sistema de busca da web. A figura 4 mostra o diagrama de causa-e-efeito para a taxa de sucesso na utilizao do buscador, onde se pode verificar uma estrutura para medio de resultado em um nvel mais ttico e operacional. Desta forma, a utilizao do diagrama de causa-e-efeito fornece uma abordagem til para anlise do nvel ttico ao operacional das relaes que interferem no resultado estratgico (satisfao do usurio), auxiliando na estruturao do modelo.

Ortografia

Quantidade de Produtos

Software
Otimizao do sistema (SEO) Tipo de Produto Tipo de Pesquisa

Tamanhos e formatos das letras Significado das palavras digitadas Sinnimos Estrangeirismos

Atualizao dos itens

Capacidade Bsica Tipo de Pesquisa Configuraes Desempenho

Erros de ortografia Escrita do resumo

Avanada Paramtrica Nmero de usurios

Confiabilidade do sistema

Padres esperados

Quantidade produtos Tamanho do link

Taxa de sucesso na utilizao do buscador

Tamanho do link Padres esperados

Perfil dos usurios Modelos Mentais

Atualizaes Classifica o por relevncia Tamanho Formato Caixa de pesquisa

Tipo de Produto

Identificao do Boto Pesquisa

Experincia do usurio

Resultado da busca

Interface

Figura 4. Diagrama de causa-e-efeito : taxa de sucesso na utilizao do buscador.

7. DESENVOLVIMENTO DO CONTROLE DO MODELO Segundo BITITCI (1995 p.142) o controle um modelo de interao entre estados e eventos de um sistema em tempo real. O sistema responde a eventos externos e atravessa uma srie de modos ou estados. Esta definio se encaixa em praticamente todos os tipos de

sistema, inclusive o sistema proposto neste artigo. No entanto a modelagem destas interaes e eventos em um sistema uma questo bastante complexa, e envolve vrios eventos. A sugesto aqui apresentada uma visualizao geral de algumas possveis relaes no processo de satisfao do usurio em e-commerce B2C, seguindo os requisitos e mtricas apresentadas nos itens anteriores. A anlise destas relaes pode auxiliar na identificao de prioridades e falhas nvel funcional e como estas podem influenciar nos resultados estratgicos. A figura 5 exemplifica parte destas relaes.

Consumidor Potencial Consumidor Insatisfeito

No Cliente com alguma necessidade especial? Sim

Boa acessibilidade

Consumidor tem dificuldades de ordem fsica ou cultural

Personalizao

Boa Usabilidade Avaliao de Valor

Consumidor no encontra o que procurava

Consumidor percebe a relao custo beneficio baixa Falha no sistema de segurana

Confiabilidade

Consumidor Satisfeito
Figura 5. Fluxograma de transio de eventos

O exemplo da figura 5 simula uma seqncia de eventos que parte de um consumidor, com determinada necessidade, passando por vrias interaes com o sistema de e-commerce at chegar condio de consumidor satisfeito ou insatisfeito. Como pode ser visualizado, podem ocorrer falhas no sistema que afetam diretamente a interao com o usurio e conseqentemente afetam a satisfao do consumidor. Por exemplo, a primeira possibilidade de fracasso esta na falta de acessibilidade, caso o usurio considere este requisito indispensvel. Verifica-se tambm dois pontos-chave neste processo que so a usabilidade e a confiabilidade do sistema, o primeiro, como foi visto nos itens anteriores est relacionado diretamente com operaes on-line e abre uma quantidade enorme de possibilidades de interao com o usurio (tanto positiva quanto negativa) e por isso representa uma etapa do processo de satisfao do consumidor muito delicada e importante. J o requisito de confiabilidade esta mais ligado com a parte off-line do processo, mas nem por isso deixa de ser fundamental. A questo do julgamento de valor relaciona-se, neste caso, com os custos do

produto como um todo (custo do produto + encargos + taxas). Segundo ALZOLA e ROBAINA (2007), ocasionalmente um site compra rejeitado pelo cliente, porque as despesas de entrega exceder o custo do produto, ou porque existem diferenas significativas em termos de tais encargos em outros sites. O preo e os encargos financeiros constituem a parte negativo, equilibrar pela parte positiva representada pela oferta. A personificao, ou customizao aparece como um diferencial positivo na conquista de um cliente, segundo PAGE e LEPKOWSKA-WHITE (2002), a personalizao de um site proporciona ao usurio uma experincia positiva e interfere positivamente na imagem no site. Evidentemente que este fluxograma representa o processo de um ponto de vista bastante macro admitindo, entretanto um maio detalhamento em cada um dos requisitos e suas interaes. Para criar uma seqncia de relaes mais detalhada e precisa necessrio ter um bom conhecimento e compreenso das interaes entre as medidas internas a cada requisito e entre requisitos. Para auxiliar neste detalhamento e compreenso prope-se a utilizao da ferramenta Quality Function Deployment (QFD) que possibilita a criao de uma viso deste processo de controle, detalhando a forma como as medidas influenciam-se. Segundo BITITCI (1995) a ferramenta de QFD fornece uma abordagem orientada ao processo e descreve a perspectiva dinmica de um sistema de medio de desempenho e simples e fcil de entender. 8. CONCLUSO Como visto na parte inicial deste artigo, o e-commerce B2C vem crescendo significativamente, representando uma importante rea para desenvolvimentos e estudos, como por exemplo, os fatores de sucesso neste tipo de operao. Fatores estes que segundo a literatura esto ligados diretamente com a qualidade e satisfao a partir da perspectiva do cliente. Sendo assim este trabalho teve como propsito inicial abordar temas conceituais envolvendo as reas de qualidade em servios, focando sua evoluo e na anlise de resultado, e fazendo um paralelo como os conceitos de medio de desempenho de sistemas de informao. Esta correlao de servio e sistemas de informao permitiu a convergncia avaliao do mercado de e-commerce. Foi realizada, na seqncia a identificao de um conjunto de requisitos importantes para a avaliao deste mercado sob a perspectiva da satisfao do cliente. O restante do trabalho resume uma tentativa de modelar e desempenho de um sistema de e-commerce B2C usando os conceitos empregados na modelagem de sistemas de informao que so: desenvolvimento de um processo, uma estrutura e um controle para o modelo. A maior contribuio deste trabalho a proposta de um mtodo de modelagem que prioriza a construo de conhecimento acerca do assunto, explorando trs pontos de vista importantes em medida de sistemas de informao. Criando assim uma estrutura terica til para identificao de elementos importantes que influenciam direta ou indiretamente a satisfao do consumidor. A construo desta estrutura fez uso no s de conceitos, mas de ferramentas e tcnica de anlise que puderam indicar os seguintes apontamentos: A etapa principal de um modelo a identificao e o perfeito entendimento dos elementos envolvidos no processo assim como o tipo de cliente envolvido;

Algumas ferramentas como mapas conceituais, diagrama de causa-e-efeito e QFD podem contribuir muito para entendimento das interaes em um sistema de medida de desempenho; Com um slido conhecimento dos elementos e das interaes no processo de satisfao do consumidor B2C possvel identificar atravs de um fluxograma de transio de eventos, elementos prioritrios e possveis falhas no processo que possam gerar perda de clientes como falta de acessibilidade, m usabilidade, baixa confiabilidade entre outros. Em resumo, pode-se concluir que modelar um sistema de medio de desempenho em ecommerce B2C consiste principalmente no conhecimento aprofundado dos elementos envolvido e suas interaes no processo de uma forma global e a utilizao de algumas ferramentas de gesto podem contribuir significativamente para identificao e projeto de uma slida e integrada estrutura de medida de desempenho. 9. BIBLIOGRAFIA ABDINNOUR-HELM, S. F.; CHAPARRO, B. S. & FARMER, S. M. Using the End-User Computing Satisfaction (EUCS) Instrument to Measure Satisfaction with a Web Site. Decision Sciences. Vol. 36, n.2, 2005 p. 341-364. ALZOLA, L. M.; ROBAINA, V. P. Measuring the results in B2C e-commerce. International Journal of Quality & Reliability Management Vol. 24 No. 3, 2007 pp. 279-293. BAILEY, J. E. & PEARSON, S. W. Development of a Tool for Measuring and Analyzing Computer User Satisfaction. Management Science. Vol.. 29, n. 5, 1983 p. 530-545. BITITCI, U. S. Modelling of performance measurement systems in manufacturing enterprises. International Journal of Production Economics, v.42, 1995, pp.137-147. CAI, S. and JUN, J. Internet users perceptions of online service quality: a comparison of online buyers and information searchers, Managing Service Quality, Vol.13 No. 6, 2003, pp. 504-19. CHIN, W. W. & LEE, M. K. O. On The Formation of End-User Computing Satisfaction: A Proposed Model and Measurement Instrument. International Conference on Information Systems. Proceedings of the twenty first international conference on Information systems. Brisbane, 2000. p 553 563. COMPRAS ONLINE ATINGEM R$ 6,3 BILHES EM 2007. e-bit : Informaes de Comrcio Eletrnico. Disponvel em: <http://www.ebitempresa.com.br/informa_indices1.asp> Acesso em: 29 abr. 2008. COX, J.; DALE, B.G. Service quality and e-commerce: an exploratory analysis, Managing Service Quality, Vol. 11 No. 2, 2001, pp. 121-31. CULLEN, A. J., WEBSTER, M.. A model of B2B e-commerce, based on connectivity and purpose. International Journal of Operation & Production Management, Vol. 27 No. 2, 2007, pp 205-225 DELONE, W.H., MCLEAN,E.R. Information System Success: The Quest for the dependent variable, Information Research, Vol 3 No 1, 1992, p.60-95.

DOLL, W. J. & TORKZADEH, G. The measurement of end-user computing satisfaction. MIS Quarterly. Vol. 12, n. 2, 1988, p. 259274. Duffy, G. and Dale, B.G. E-commerce processes: a study of criticality, Industrial Management & Data Systems, Vol. 102 No. 8, 2002, pp. 432-41. GRNROOS, C. Marketing y gestin de servicios (Services Marketing and Management), Daz de Santos, Madrid, 1994. GURAU, C. Tailoring e-service quality through CRM, Managing Service Quality, Vol. 13 No. 6, 2003, pp. 520-31. HUANG, J. H.; YANG, C.; JIN, B. H. & CHIU, H. Measuring satisfaction with businesstoemployee systems. Computers in Human Behavior. Vol. 20, 2004, p. 17-35. IVES, B.; OLSON , M. H. & BAROULDI, J. J. The measurement of user information satisfaction. Communications of the ACM. Vol. 26, n. 10, 1983, p. 785-793. MASON, Richard O. Measuring information output: a communication systems approach. Information & Management, v.1, 1978, p.219-234. MYERS, B. L., KAPPELMAN, L. A., PRYBUTOK, V. R. A comprehensive model for assessing the quality and productivity of the information systems function: toward a theory for information systems assessment. Information Resources Management Journal, v.10, 1997, p.6-25. MOREIRA, M. A. Aprendizagem Significativa : um conceito subjacente. In: Encuentro Internacional sobre el Aprendizaje Significativo, Burgos, Espenha, 15 a 19 de set. de 1997. NIELSEN, J.; LORANGER, H. Prioritizing Web Usability. California:New Riders,California, 2006. PAGE, C.; LEPKOWSKA-WHITE, E. Web equity: a framework for building consumer value in online companies, Journal of Consumer Marketing, Vol. 19 No. 3, 2002, pp. 231-48. PARASURAMAN, A., ZEITHAML, V. A., BERRY, L. L. A conceptual model of service quality and its implications for future research. Journal of Marketing, v.49, 1985 p.41-50. SHANNON, C. E., WEAVER, W.. The mathematical theory of communication. Urbana: University of Illinois Press, 1949. TORKZADEH, G. & LEE, J. Measures of perceived end-user computing skills. Information & Management. Vol. 40, 2003, p. 607-615. YANG, Z. ; JUN, M. Consumer perception of e-service quality: from internet purchaser and non-purchaser perspectives, Journal of Business Strategies, Vol. 19 No. 1, 2002, pp. 19-41.