Académique Documents
Professionnel Documents
Culture Documents
Iris Fabiana de Barcelos Tronto, Ana Cludia Araujo, Jos Demso Simes da Silva, Nilson Santanna* Ministrio da Cincia e Tecnologia MCT Instituto Nacional de Pesquisas Espaciais INPE Laboratrio Associado de Computao e Matemtica Aplicada LAC/CAP E-mail: iris_barcelos@lac.inpe.br Resumo
Este artigo apresenta os principais conceitos de BIBusiness Intelligence e sua aplicao para a soluo de problemas prticos de uma corporao. Neste contexto, dada nfase ao conceito de Data Mining, uma das ferramentas utilizadas por BI que utiliza, dentre outras tcnicas, rvores de Deciso e tcnicas de Inteligncia Artificial, tais como Algoritmos Genticos e Redes Neurais em sua implementao. h produo sistemtica de informao gerencial, veloz e consistente, capaz de auxiliar empresas a tomarem as melhores decises nos negcios, baseado em fatos reais, com profundidade suficiente para descobrir as causas de uma tendncia ou de um problema. Business Intelligence tem como principais caractersticas: - A capacidade de extrair e integrar dados de mltiplas fontes. - A transformao dos registros obtidos em informao til para o conhecimento empresarial. - A valorizao da experincia. - A anlise de dados contextualizados. - A procura de relaes de causa e efeito, trabalhando com hipteses e desenvolvendo estratgias e aes competitivas. A construo de um ambiente de Business Intelligence requer dados dos vrios sistemas informatizados operacionais existentes na empresa. O conjunto de dados coletados matria-prima para uma srie de transformaes, cujo produto final carregado no Data Warehouse (depsito de dados). So criadas visualizaes gerenciais que possibilitam que as decises gerenciais sejam tomadas em tempo real. As aplicaes de Business Intelligence, que utilizam as informaes armazenadas em um Data Warehouse, podem incluir consultas e relatrios, anlises OLAP (On-Line Analytical Processing), anlises estatsticas, previses, Balanced Scorecard e Data Mining. O conceito de Data Mining surgiu com objetivo de melhorar o uso das informaes armazenadas em um Data Warehouse, utilizando algoritmos inteligentes que possam selecionar os padres mais relevantes para certas aplicaes. Dentro deste contexto algumas tcnicas como rvore de Deciso, Algoritmos Genticos e Redes Neurais so utilizados. Este trabalho est organizado em cinco sees. A Seo 2 apresenta os principais conceitos relacionados a Business Intelligence. Visto que o objetivo principal deste trabalho explorar a aplicao de Inteligncia Artificial em Business Intelligence, ser enfocada a ferramenta de Data Mining, cujos conceitos fundamentais so apresentados na Seo 3. Na Seo 4 abordado um exemplo de aplicao de Business Intelligence. Finalmente, a Seo 5 apresenta as concluses deste trabalho.
Abstract
This paper presents the main concepts of BI- Business Intelligence and its application to solve enterprise practical problems. In this context, focalize the concept of Data Mining, which is one tool used at BI. Data Mining uses Answer Trees and techniques of Artificial Intelligence, for example, Genetic Algorithms and Neural Works in its implementation.
1. Introduo
O acelerado crescimento tecnolgico e conseqente informatizao das empresas possibilitou avanos operacionais nos negcios. medida que o Hardware ficou mais barato e de melhor desempenho, grandes sistemas foram criados, possibilitando transaes rpidas e eficientes, resultando na gerao de grandes volumes de dados. Estes so armazenados em repositrios, que possuem uma caracterstica comum: a dificuldade de extrao de informao. Importantes informaes ficam armazenadas dentro da prpria empresa, sendo seu acesso muito difcil. A partir disso no difcil de se concluir que este processo gradativo de implantao de sistemas informatizados produziu mltiplos estoques de dados, com lgicas prprias e dificuldades de consolidao. O conceito de Business Intelligence (BI) surgiu para resolver estes problemas e consiste de uma vasta categoria de tecnologias e programas aplicativos utilizados para extrair, armazenar, analisar e transformar grandes volumes de dados, produzindo um ambiente de conhecimento, onde
2. Business Intelligence
Chegou a era da fidelizao, da customizao, da seduo do cliente e da Inteligncia aplicada aos negcios. Assim sendo, os grandes bancos de dados corporativos comearam a produzir variantes, como os Depsitos de Dados (Data Warehouse), com o objetivo de entregar aos tomadores de deciso, a informao na forma mais precisa e utilizvel possvel. Os dados que at ento eram simples representantes de fatos comuns como nome, endereo, telefone, dentre outros, hoje se sofisticam na representao de imagens, vdeos, sons, dados temporais, indicadores econmicos, planilhas, pginas HTML e estruturas XML, acompanhando as mudanas solicitadas por uma sociedade agora alavancada por outras indstrias, como entretenimento, comunicao e comrcio eletrnico. A informtica fez os dados, depois os transformou em informao. Agora o objetivo usinar conhecimentos, a partir daquelas matrias-primas. BI representa a habilidade de se estruturar, acessar e explorar informaes, normalmente guardadas em DW/DM (Data Warehouse, Data Marts) com o objetivo de desenvolver percepes, entendimentos e conhecimentos, os quais podem produzir um melhor processo de tomada de deciso. o conceito de Data Mining (garimpagem de dados) que objetiva melhorar o uso desses gigantescos arsenais de informao atravs da identificao de padres de correlao normalmente invisveis em anlises convencionais. Indicadores de produtos comprados em conjunto ou de padres de fraudes praticadas ajudaro os gerentes de empresas, no seu cotidiano, a descobrir sinuosas correlaes que certamente o levaro a melhor dispor a gndola do seu mercadinho, ou modificar os critrios de anlise de riscos de uma proposta de emprstimo. Vive-se a era do BI-Business Intelligence, com a informao usinada a partir dos dados sendo diretamente aplicada aos negcios [1]. Assim como a rea de gerncia de conhecimento (KMS-Knowledge Management System), BI visa criar estoques de dados e fatos que suportem processos decisrios fundamentais. Enquanto as duas abordagens acima visam olhar para dentro da empresa, existe uma terceira que visa observar o mundo exterior da empresa. o conceito de CICompetitive Intelligence. Pode-se entender CI como um BI aplicado ao mundo fora das fronteiras empresariais, focado primariamente em informaes textuais e factais que dizem respeito aos movimentos do mercado e dos concorrentes. A estratgia de CI passa pelas vizinhanas dos conceitos de KMS e se acopla aos de Mining. A proposta de BI acopladas com as de CRM (Costomer Relationship Management) e SCM (Supplay Chain Management) de se concentrar em prol dos clientes algo que parece definitivo. SCM representa os processos de
produo e entrega do produto final, do fornecedor para o cliente. CRM so os sistemas, aplicativos e as tecnologias devotadas ao tratamento com o cliente da empresa, com o objetivo de melhorar as aes de marketing, vendas e servios. Um novo conceito emerge na indstria da informtica: EAI (Enterprise Application Integration), que pode ser traduzido como a integrao de aplicaes corporativas. Neste trabalho, o conceito de Business Intelligence apresentado segundo os conceitos de Data Warehouse[7], Data Mart[1] e Data Mining[5], cobertos na prxima seo.
reconhecimento de padres escondidos nos dados e no necessariamente revelados pelas outras abordagens analticas, como OLAP. A Figura 1 mostra esquematicamente os componentes de Data Warehouse, Data Mart, ODS e Ferramentas (entre as quais as de Mining), compondo o mosaico de BI. Alm dos depsitos de dados na forma consolidada de Data Warehouse ou por assuntos/ negcios (como Data Marts) e o ODS, aparece tambm a camada fundamental de ETC-Extrao, Transformao e Carga, responsvel pelas aes de coleta, limpeza, preparao e carga desses depsitos de informaes. Os processos de Mining trabalharo sobre um extrato de dados especialmente preparado para esta forma de tratamento.
Dados Operacionais D D D D
Consolidao
forte tendncia de fuses e aquisies, o mercado de BI ser bastante disputado nos prximos anos. A Computer Associates fortaleceu o seu arsenal de BI com as aquisies da Platinum e da Sterling que, por sua vez, j haviam comprado outras empresas menores. Agora, a Computer Associates dever integr-las em um mosaico de BI [1]. A Oracle desenvolveu um poderoso conjunto de Ferramentas BI, iniciando com a aquisio da Oracle Express, seguido de outras ferramentas na rea de Mining (Darwin da Thinking Machines). No cenrio de produtos que estaro brigando pelo mercado emergente de BI, certamente dois produtos iro catalisar a ateno dos desenvolvedores de DW e DM, e influenciaro diretamente nos processos de anlise e escolha de solues OLAP para as empresas: o BWBusiness Information Warehouse, da SAP e o MS-SQL Server Analysis Services, da Microsoft.
3. Data Mining
Um dos grandes problemas dos especialistas em anlise de informao a transformao de dados em informao. Como fazer isso de uma forma automatizada, e no menor tempo possvel? Uma das respostas para isso a combinao de estatstica convencional e tcnicas de inteligncia artificial, que resulta em uma tcnica muito comentada nos dias de hoje, o Data Mining. Os processos de Data Mining so extremamente complexos, alm de ser um trabalho que dificilmente ser resolvido apenas por um especialista em Data Mining. Em qualquer projeto de Data Mining obrigatrio a existncia de um profissional com o conhecimento do negcio, pois ele possui domnio total do assunto. Para evitar que a resultado da modelagem no tenha a menor utilidade para apoiar uma deciso. Segundo Naliato [9], o conceito de Data Mining flutua entre uma forma de estatstica e um conceito revolucionrio, agora aplicado ao mercado. Na verdade, o objetivo desta tcnica encontrar padres, ainda no descobertos nos dados, que possam gerar respostas corretas para novos casos. Este processo de busca e interpretao de padres tipicamente interativo e iterativo, envolvendo a aplicao repetitiva de mtodos especficos de minerao de dados ou algoritmos e interpretaes dos padres gerados como resultado destes algoritmos. A Figura 2 mostra, numa viso geral, os passos principais de um projeto de Data Mining. No esquema esto os grandes blocos do projeto, com as fases de Preparao, Minerao, Anlise e Aplicao. A fase de preparao consiste de atividades que vai desde a construo de um banco de dados, separado, para os dados sujeitos ao Mining at a atividade de carregar o banco de dados para o processo de Mining. A preparao dos dados a serem utilizados num projeto vai variar de acordo com o algoritmo de Mining escolhido. Dependendo
Data Warehouse
Integrao Botton-up rea-1 rea-2 rea-3 Ferramentas Mining
deste algoritmo, os dados sero formatados de maneiras diferentes. Este processo de preparao dos dados determinante no sucesso do Data Mining e costuma consumir muito tempo e recurso. A fase de minerao responsvel por criar os modelos de Data Mining, definir amostras ou populao e selecionar dados para treinar o modelo. Alm disso, aqui dever ser definida a formatao requerida pelas ferramentas. Por exemplo, redes neurais exigem dados na forma dicotmica (sim/no) e rvore de deciso demanda agrupamentos, como bom, mdio e ruim. Por fim, cria os previsores ou atributos-chave para a anlise do negcio. Alguns modelos bsicos de garimpagem de dados podem ser utilizados na fase de anlise tais como: - Regras de associao: So regras que so formadas com informaes existes na base de dados. So relacionamentos que na grande parte das vezes no so conhecidos pelo detentor do negcio. - Classificao: so processos utilizados para se definir grupos ou classes de elementos, baseado em certos parmetros pr-estabelecidos.Vrias abordagens so usadas para definir modelos de referncia (redes neurais, rvores de deciso, baseados em regras), sendo que algumas permitem a definio explcita da classe (rvore de deciso) e outras o seu modelo implcito (redes neurais). - Padres Seqenciais: so processos que visam a identificao de fatos que implicam em outros fatos, em momentos diferentes de tempo. - Agregao: tem como objetivo a obteno de agrupamentos baseados na similaridade apresentada pelos dados.
DW/DM
Depois de definido e testado o modelo, ocorre a fase de aplicao, que se d pela utilizao daqueles algoritmos ajustados em situaes reais de sistemas. Alguns produtos permitem que seja produzido um cdigo fonte, resultante dos modelos e algoritmos definidos e compilados, que poder ser incorporado em sistemas tradicionais e invocado para a execuo das anlises requeridas. As Sees 3.1, 3.2 e 3.3 abordam algumas aplicaes de Data Mining. Existem vrias tcnicas de Data Mining que podem ajudar as empresas a encontrar informaes para fomentar a sua tomada de deciso. Heinrichs & Lim [6] utilizam a tcnica de Anlise de Regresso em seu trabalho sobre ferramenta de Data Mining baseado na Web. Outras tcnicas como Anlise de Conglomerados, Mtodos Preditivos com Sries Temporais, rvore de Deciso, Redes Neurais e Algoritmos Genticos so importantes. Essas trs ltimas so apresentadas a seguir. Resta aos especialistas identificar a melhor tcnica para o seu problema.
Dado preparado
Dados externos
Preparao
Minerao
Anlise
!?!?
Aplicao
Figura 2 Viso geral do processo de Data Mining [1]. Estes modelos de garimpagem de dados podem ser usados de forma integrada, realizando anlises em cascata, com operadores aplicados sobre resultados de outros. Isso pode ser visto em [2].
quais aes de marketing podero levar a um aumento significativo nas vendas. d) Reduo de dados e filtro de variveis: podem ser utilizadas para identificar quais variveis tm mais influncia sobre a resposta, diminuindo assim o volume de variveis em estudo. e) Identificao de Interaes: identificao de interaes pertinentes somente em determinados subgrupos e especificaes destas em modelos paramtricos formais. f) Mero de categorias e discretizao de variveis contnuas: significa a possibilidade de recodificao de variveis categricas e contnuas com perda mnima de informao. rvores de Deciso podem ser aplicadas em vrias reas. Alguns exemplos tpicos de sua aplicao so apresentados em [1]. Dentre eles, se destacam: Mala Direta; Credit Scoring (tambm conhecida como escoragem de crdito); Anlise de Mercado; Controle de Qualidade; Recursos Humanos; Pesquisas Mdicas e Estudos de Polticas Internas.
importante salientar que no existe uma tcnica universalmente melhor que todas. O sucesso do Data Mining depende muito da experincia e sensibilidade do pesquisador, o qual ter que identificar qual a melhor ferramenta a ser utilizada, de acordo com o tipo de resposta procurada e com o modo em que se encontram seus dados. Por isso, os exemplos de aplicaes dos mtodos relacionados neste trabalho podem se repetir. A tcnica de Redes Neurais pode ser aplicada em Data Mining para resolver problemas relacionados a: Marketing; Modelos Preditivos; Vendas; Finanas; Energia e; Produo. Exemplos dessas aplicaes so apresentados em [1].
5. Concluses
Atualmente, no difcil de se perceber que os sistemas de BI da empresa so essenciais para a tomada de decises. Neste contexto, pode-se dizer que DW (Data Warehouse) tornou-se a ferramenta principal para o trabalho do departamento de marketing e que a maioria das informaes para tomada de deciso so extradas dos sistemas de apoio tomada de deciso. Entre as diversas utilizaes dos sistemas de BI, se destacam a anlise de trfego, o acompanhamento da receita e sua tendncia, anlise de churn e de reteno de clientes. Vrias tcnicas, ferramentas e conceitos existem no mercado. Porm, quando uma empresa busca implementar uma soluo de BI-Business Intelligence, primeiro ela dever identificar qual seu problema, como atac-lo e principalmente como resolv-lo. Estas questes so fundamentais para que se efetue uma boa escolha da ferramenta ou tcnica a ser utilizada. Uma vez que identificamos a necessidade de se dar apoio tomada de deciso quando se trata do desenvolvimento de software, pretende-se em trabalhos futuros investigar a aplicabilidade de BI no processo de desenvolvimento de software.
Referncias Bibliogrficas
[1] C.Barbieri, BI- Businesss Intelligence: Modelagem & Tecnologia, Ed. Axcel Books, Rio de Janeiro, 2001. [2] D. R. Carvalho, A hybrid decision tree/genetic algoritm for coping with the problem of small disjuncts in Data Mining, In:2000 Genetic and Evolutionary Computation Conference, Las Vegas. 2000. [3] D. R. Carvalho, Data Mining atravs de induo de Regras e Algoritmos Genticos, Dissertao de Mestrado em Informtica Aplicada, PUCPR, PR, 1999. [4] D. R. Carvalho, A hybrid genetic algorithm decision tree approach for coping with unbalanced classes, In: The Second International Conference on Pratical Application of Knowledge Management, London. 1998. [5] Z.Chen, Data Mining and Uncertain Reasoning: An Integrated Approach, John Wiley & Sons, Canada, 2001. [6] H.Heinrichs, Jeen-Su Lim, Integrating web-based data mining tools with business models for knowledge managment. Decision Support System, vol.35, 2003, p. 103-112.
[8] E.G.M. Lacerda, A.C.P.L.F. Carvalho, Introduo aos Algoritmos Genticos. In: Anais do XIX Congresso Nacional da Sociedade Brasileira de Computao. vol.II, 1999, p.51-126.