CONCEITOS BSICOS E A ELABORAO DO PROJETO LGICO DE UM DATA WAREHOUSE

Carlos Alberto Ferreira Bispo

Professor da Academia da Fora Area Estrada de Agua S/N - Pirassununga - SP Caixa Postal 1062 - CEP 13630-000 - cafbispo@sc.usp.br

Prof. Dr. Edson Walmir Cazarini

Professor da Escola de Engenharia de So Carlos (USP) Av. Dr. Carlos Botelho, 1465 - So Carlos - SP - CEP 13560-970 - cazarini@sc.usp.br

Abstract This article approaches in the simple way the basic concepts and the elaboration of the data warehouse logical project. We won't be able to deal with all the subjects related aspects, neverthless we intend to provide the reader with the minimum necessary understanding of what it is as well as the advantages of adopting that new technology that is already changing, not only into a tool, but in to a strategy for business. rea: 10.4 - Sistemas de Apoio Deciso Key Words: Executive Information Systems, Decision Support Systems, Data Warehouse.

1. Introduo Segundo TIEZZI (1997) a tecnologia da informao o caminho encontrado pelas organizaes para viabilizar a execuo de novas estratgias de negcios: nfase na dinmica do mercado, efetuar uma maior aproximao com o cliente, proporcionar qualidade nos produtos e nos servios, e promover o crescimento planejado. O data warehouse uma nova tecnologia da informao que as empresas esto utilizando para auxiliar os seus gerentes nos processos decisrios. No cenrio atual, onde estes gerentes necessitam tomar decises rpidas em resposta s adversidades que ocorrem freqentemente em seus negcios, faz-se necessrio um sistema informatizado que d suporte s suas decises, levantando informaes rpidas e confiveis e apresentando-as em um formato facilmente compreensvel. Segundo MANZONI Jr. (1997), ferramentas apropriadas para se trabalhar com o data warehouse proporcionam a converso dos dados em informaes, apresentando-as num formato adequado e mais acessvel interpretao dos negcios. A partir do data warehouse possvel conhecer melhor o funcionamento da empresa e os hbitos dos clientes.

2. Evoluo da Informtica e das Tecnologias da Informao Houve uma evoluo muito grande nas ltimas dcadas na rea da informtica e nas tecnologias da informao. Mas, esta evoluo permitiu um grande avano apenas nas reas operacionais da empresa. A automao dos servios administrativos e a automatizao dos processos produtivos produziram grandes avanos nas reas operacionais e trouxeram bons retornos de investimentos. Porm, especificamente para a rea de suporte s estratgias de negcios, a evoluo foi muito pequena. Temos uma grande facilidade, com os recursos da informtica, de responder as perguntas quanto?, quem?, onde? e qual?, que esto mais ligadas rea operacional, e as perguntas como? e porqu?, que afligem os gerentes de negcios, ainda esto difceis de serem respondidas. Somente nos ltimos anos que a tecnologia da informao tentou respond-las. O data warehouse uma das novas tecnologias da informao que est dando a sua contribuio neste sentido. 3. Conceitos bsicos sobre data warehouse Os conceitos e definies de data warehouse ainda so um tanto fluidos (TAURION, 1997). Como uma tecnologia nova, que ainda est em fase de aperfeioamento, e que est comeando a ganhar o merecido espao nas empresas, ainda existe muita confuso de conceitos. Alguns fornecedores de sistemas para empresas auxiliam esta confuso. Ainda se confunde o data warehouse com outras tecnologias da informao, como os Sistemas de Apoio Deciso e os Sistemas de Informao para Executivos. Porm, para os gerentes e analistas de negcios o mais importante na tecnologia adotada no o seu conceito mas sim se ela consegue proporcionar o auxlio necessrio ao gerenciamento dos negcios, e o data warehouse cumpre muito bem os seus objetivos e ainda pode ser utilizado em conjunto com outras tecnologias da informao. O objetivo do data warehouse deve ser o de satisfazer as necessidades de anlises de informaes dos usurios (normalmente gerentes e analistas de negcios), como por exemplo, monitorar e comparar dados de transaes atuais com as passadas e prever tendncias futuras, permitindo tomar as medidas cabveis ainda a tempo de eventuais correes ou aperfeioamentos. Um dos grandes benefcios proporcionados pelo data warehouse a diminuio do tempo que os gerentes levam para obter as informaes necessrias aos seus processos decisrios com a eliminao de tarefas operacionais como pesquisa e identificao dos dados necessrios. A grande vantagem de um data warehouse permitir a tomada de decises baseadas em fatos (TAURION, 1998). O data warehouse deve tornar-se uma ferramenta imprescindvel para os gerentes conseguirem administrar seus negcios nas prximas dcadas. Como o ambiente de negcios est se tornando cada vez mais dinmico, extremamente necessrio que as regras de negcios sejam incorporados s aplicaes, que as estruturas dos sistemas se ajustem aos negcios, e que o tempo de resposta dos sistemas seja cada vez menor. Segundo TAURION (1997) ao reunir informaes dispersas por diversos bancos de dados e plataformas distintas, o data warehouse permite que sejam feitas anlises bastante eficazes, transformando dados esparsos em informaes estratgicas antes inacessveis ou subaproveitadas.

Segundo BAUM (1995) o armazenamento dos dados no data warehouse deve ser organizado por assunto relacionado com o negcio ao invs de por tipo de aplicativo operacional (que normalmente dividido por rea funcional). O data warehouse deve conter somente os dados necessrios aos negcios, esses dados sero convertidos em informao durante o processo decisrio. Os dados so armazenados com o passar do tempo e so utilizados sempre que necessrio para fazer comparaes, verificar tendncias, fazer previses, e para outras atividades que auxiliem o processo decisrio. 4. As ferramentas utilizadas em um data warehouse Existem vrias utilizadas em um data warehouse: 1. Ferramenta para Armazenamento: so os banco de dados, considerados o corao do data warehouse e parte imprescindvel do projeto. 2. Ferramenta para a extrao de dados: busca na base de dados operacionais os dados que vo ser armazenados no data warehouse. 3. Ferramenta para a transformao de dados: ajusta os dados para o formato do data warehouse. Este formato auxilia as futuras pesquisas. 4. Ferramenta para a limpeza de dados: faz os ajustes necessrios nos dados, fazendo correes, desmembramento e fuses de dados, quando necessrio, visando melhor-los para facilitar as futuras pesquisas. 5. Repositrios de metadados: esto intimamente relacionados s ferramentas de extrao. Metadados so as definies dos dados que permitem saber a origem da informao, bem como todas as vezes em que ela foi alterada. Sua funo manter a consistncia dos dados. 6. Transferncia de dados e replicao: pode ser considerada um subconjunto das ferramentas de extrao. No faz nenhum tipo de processamento e transformao, apenas transfere um dado de um lugar A para B. Geralmente utilizado para facilitar e dar uma resposta mais rpida s consultas ou anlises, movendo os dados para um lugar apropriado e fazendo o que for necessrio para agilizar o servio solicitado. 7. Gerenciamento e administrao: a tpica ferramenta que s faz sentido depois que o data warehouse est construdo. Monitora o dia-a-dia, como a performance e segurana do sistema. 8. Query ou ferramentas para gerenciamento de consultas: fazem consultas e/ou geram relatrios retirando os dados do data warehouse, resumindo-os e apresentando-os em um formato apropriado. 9. Ferramentas para gerenciamento de relatrios: so semelhantes s ferramentas do item anterior, porm elas esto voltadas para a gerao de relatrios mais complexos contendo, por exemplo, relatrios sintticos e analticos em conjunto, grficos, e outros tipos de visualizao dos dados.

10.OLAP: a parte mais visvel do data warehouse porque por meio dessas ferramentas que se faz a anlise dos dados. Ajudam os gerentes a sintetizarem as informaes sobre a empresa atravs de comparaes, vises personalizadas, anlise histrica e projeo de dados (FIGUEIREDO, 1998). 11.Data mining: ferramenta utilizada para descobrir novas correlaes, padres e tendncias entre as informaes de uma empresa, atravs da anlise de grandes quantidades de dados armazenados em data warehouse usando tcnicas de reconhecimento de padres, estatsticas e matemticas (NIMER & SPANDRI, 1998). 12.Simulao: projeta cenrios respondendo perguntas do tipo e se, por exemplo: e se os juros aumentarem, qual ser o comportamento de minhas vendas?. 5. A qualidade dos dados A qualidade dos dados que esto armazenados no data warehouse imprescindvel. Como os dados armazenados serviro para dar suporte aos gerentes no processo de tomada de deciso, tanto para alcanarem os objetivos dos negcios como na soluo dos problemas que surgem a todo instante, os dados que sero utilizados devem ser totalmente confiveis. Este um tema amplamente abordado por diversos autores como KIMBALL (1996 e 1998), INMON (1997), LAMBERT (1996), e muitos outros. Diversas so as situaes onde a m qualidade dos dados podem comprometer uma anlise nos dados e nos levar a uma soluo que no necessariamente seria a mais adequada para resolver determinado problema. Dados com m qualidade comprometem tambm o gerenciamento dos negcios. Um exemplo muito comum que ilustra muito bem os problemas gerados pela m qualidade dos dados armazenados a pesquisa que se faz para se detectar os clientes que adquiriram por diversas vezes o mesmo produto; isto muito comum e muito importante para os negcios; porm, no conseguimos realizar tal pesquisa eficazmente devido ao fato de que em cada venda realizada, os dados tanto do cliente como do produto, foram armazenados com abreviaturas diferentes. Outro exemplo de problemas que ocorrem muitas vezes quando necessrio se fazer contatos contnuos com os clientes (devido ao tipo de negcio) e enviamos mltiplas correspondncias absolutamente iguais ou damos mltiplos telefonemas ao mesmo cliente devido a duplicidade de seus dados no banco de dados. Ou ainda, quando oferecemos um produto a um cliente que j adquiriu recentemente o nosso produto. Podemos at ter dados errados sobre os nossos clientes, e quando formos fazer os contatos, podemos passar por situaes constrangedoras. Isto destri a credibilidade de qualquer empresa. Para resolver este problema LAMBERT (1996) prope a identificao de pessoas que sero as responsveis pela qualidade dos dados nos processos departamentais onde o dados se originam e que alimentaro o data warehouse. Prope, ainda, o estabelecimento de diretrizes para administrar os recursos de dados incorporados. Estas diretrizes incluem padres para se definir os elementos de dados, modelagem de dados e polticas de compartilhamento de dados com grupos diferentes dentro e fora da organizao. Este um tema extenso, que no poderia ser abordado em profundidade neste artigo, e que ser abordado oportunamente em outro artigo.

6. Elaborao do projeto lgico de um data warehouse O planejamento de um data warehouse no uma tarefa fcil, envolve diversos conceitos e diversas tecnologias que devero se harmonizar para produzirem bons resultados. Sistemas de Apoio Deciso (DSS), Sistemas de Informaes Executivas (EIS), redes de computadores, sistemas de comunicaes, servidores, mainframes e sistemas de administrao de banco de dados (DBMS) so alguns exemplos de tecnologias que devemos integr-las. Devemos ainda, integrar essas tecnologias com pessoas de diferentes unidades departamentais com objetivos diferentes. No pretendemos, neste artigo, demonstrar todos os aspectos deste planejamento, porm, veremos os principais aspectos do ponto de vista corporativo, ou seja, os aspectos gerais que so imprescindveis para os negcios. Um Data Warehouse no pode, nem deve ser um projeto exclusivo da rea de sistemas (TAURION, 1997). A equipe que vai elaborar o projeto do data warehouse deve ser composta por pessoas tanto da rea de negcios como da rea tecnolgica. O pessoal da rea de negcios deve monitorar o projeto para que o mesmo esteja sempre adequado para atender as necessidades dos negcios. O pessoal da rea tecnolgica deve dar o suporte necessrio em todas as fases do projeto e da implementao do sistema, sempre com a preocupao bsica de fazer com que o sistema esteja o mais adequado possvel para suportar as necessidades da empresa. Um projeto de data warehouse ainda uma novidade na maioria das empresas. Portanto, devem ser considerados fatores como curva de aprendizado e inexperincia. Sendo assim, os projetos ambiciosos, devem ser repensados (TAURION, 1997). Existem tambm, muitos fornecedores das chamadas ferramentas completas (e milagrosas) de data warehouse. Temos que saber avaliar muito bem as ferramentas que esto disponveis no mercado e escolhermos a ferramenta que seja a mais apropriada para dar suporte ao gerenciamento dos nossos negcios. Segundo LAMBERT (1995) A chave para sucesso est em se definir os objetivos do data warehouse. E os objetivos a serem definidos para o data warehouse devem ser os prprios objetivos corporativos, como por exemplo o aumento do faturamento em 20% nos prximos dois anos, to logo o sistema esteja em funcionamento. Desta forma possvel se avaliar o retorno do investimento obtido com a implantao do novo sistema. Toda a organizao possui trs nveis de gerenciamento: estratgico, ttico e operacional, que so hierrquicos. Cada um destes nveis possui os seus prprios objetivos, que tambm so hierrquicos. O data warehouse dever dar suporte ao processo decisrio a que os gerentes dos trs nveis esto sujeitos. Portanto, o objetivo do data warehouse tem que ser o de ajudar os gerentes a administrar e alcanar seus objetivos, desta forma o novo sistema estar ligado diretamente aos propsitos da empresa e estar justificado o seu investimento. TIEZZI, (1997) afirma que fundamental utilizarmos um mtodo para o levantamento e a modelagem dos indicadores de desempenho da empresa. Ns reforamos essa afirmao lembrando que necessrio fazermos o monitoramento das metas propostas que justificaro o investimento realizado e definiro se o data warehouse foi ou no bem projetado. Segundo KONDRATIUK (1998) para dimensionar o problema do hardware para suportar o volume de dados do data warehouse, podemos ter com menos de 5 GB de dados, uma plataforma PC; entre 5 e 100 GB de dados, exige um equipamento RISC de grande porte

ou um mainframe; de 100 a 300 GB, exige servidores SMP ou grandes mainframes; acima de 300 GB, servidores paralelos especficos para Data Warehouse so a soluo. No podemos nos esquecer do preparo dos recursos humanos quanto aquisio do conhecimento e treinamento necessrio para a utilizao do sistema, incluindo os que prestaro o suporte tcnico ao mesmo. comum no se prever isto na elaborao do projeto, e aps o sistema estar sendo implementado, descobrir-se que no foi alocado recursos financeiros para tal. Data Warehousing uma tecnologia potencialmente cara a um empreendimento. Porm, frgil. Se as instalaes no so adequadas s exigncias empresariais, o sistema entrar em desuso. Se o retorno de investimento no aparecer, o sistema pode ser considerado como um luxo. Se os executivos delegam seu uso, o lucro cultural potencial est perdido. Porm, se o sistema est bem ajustado, cuidadosamente implementado, e dirigido para o Intelligence Business, o data warehouse uma ferramenta que pode auxiliar os lderes em seus desafios (HORROCKS, 1995). 7. Segurana de dados Um aspecto de grande importncia na elaborao do projeto de um data warehouse o da segurana de dados. Este aspecto foi muito bem abordado por FONTES (1998) em seu artigo, no qual ele definiu at algumas regras. Em nossa explanao veremos em linhas gerais as consideraes a respeito deste tpico. No projeto do data warehouse deve estar prevista a poltica que ser adotada com relao segurana de dados. Nesta poltica devem constar as normas a serem seguidas e os termos de compromisso que sero assumidos por todos aqueles que tiverem algum tipo de contato com os dados do sistema. O principal documento gerado pela poltica de segurana de dados deve ser assinado pelo presidente da empresa para demonstrar a todos que a informao um recurso importante e que existem responsabilidades no seu uso. Deve estar previsto tambm, auditorias espordicas que se faro no sistema para se verificar se as regras adotadas esto sendo cumpridas. A poltica de segurana de dados deve definir como ser o esquema de segurana de acesso aos dados pelos usurios e pelo pessoal de suporte tcnico. Dever definir os nveis hierrquicos de acesso aos dados e como controlar cuidadosamente do esquema de distribuio e troca peridica de senhas de acesso. Outra definio que dever estar bem clara na poltica de segurana de dados deve ser o esquema de comunicao interna e externa da empresa. As comunicaes devem ser bem monitoradas e deve-se ter a garantia de que os dados esto fluindo com integridade e os esquemas de segurana no esto sendo violados. Devemos ter o cuidado de nos proteger dos assaltos eletrnicos. Os hackers e os crackers esto cada vez mais ousados. Suas aes podem ser feitas a distncia e dificilmente deixam rastro. Outro fator que pode influenciar a segurana de dados o ambiente fsico onde os equipamentos sero instalados. Devemos ter o cuidado de respeitar as especificaes tcnicas dos fornecedores dos equipamentos. No nada agradvel se fazer um alto investimento em tecnologia e na hora de sua utilizao nos depararmos com surpresas desagradveis devido a problemas com a sua instalao fsica.

8. Concluso Com essa nossa explanao esperamos poder ter contribudo para uma melhor compreenso, em linhas gerais, desta nova tecnologia que est surgindo e que est auxiliando as grandes e mdias empresas a gerenciar e alcanar seus objetivos corporativos. Como uma tecnologia nova, ainda h muito a ser desenvolvido e muito a aprender sobre o tema. Porm, as ferramentas que j temos disponveis nos permite a construo de um sistema que, se bem projetado (principalmente se seguir as linhas adotadas neste artigo), far com que a empresa e os seus gerentes obtenham sucesso em seus negcios. Crticas, comentrios, elogios e sugestes sero bem aceitos nos endereos eletrnicos dos autores.

Bibliografia BAUM, D. (1995). Warehouse Mania. LAN Times, 20/11/1995. http://www.wcmh.com/lantimes/95nov/511b067a.html (15 Jan. 1998). FIGUEIREDO, A. M. C. M. (1998) Molap x Rolap: Embate de Tecnologias para Data Warehouse, Developers Magazine, ano 2, n. 18, p. 24-25, fev. FONTES, E. (1998). Protegendo a Informao: Fator Crtico para o Negcio. Developers Magazine, ano 2, n. 18, p. 32-33, fev. HORROCKS, C. (1995). Data Warehouses: An Executive Information Perspective. Perspectives; October 1995. http://www.csc.com./about/tech_dw_arch.html (29 Dez. 1997) INMON, W. H. (1997). Como Construir o Data Warehouse. Rio de Janeiro, Campos. KIMBALL, R. (1996). Dealing with Dirty Data. DBMS Magazine; September 1996. http://www.dbmsmag.com/9609d14.html (05 Jan. 1998) KIMBALL, R. (1998). Data Warehouse Toolkit. So Paulo, Makron Books. KONDRATIUK, E. R. (1998). Data Warehouse: Detalhes que Fazem a Diferena. Developers Magazine, ano 2, n. 18, p. 22, fev. LAMBERT, B. (1995). Break Old Habits To Define Data Warehousing Requirements. Data Management Review; December 1995. http://www.data-warehouse.com/resource/articles/lamber11.htm (26 Dez. 1997) LAMBERT, B. (1996). Data Warehousing Fundamentals: What You Need to Know to Succeed. Data Management Review; March 1996. http://www.data-warehouse.com/resource/articles/lamber8.htm (29 Dez. 1997) MANNI, L. C.; DORSA, L. F. A. (1998). Data Warehouse: Gerenciando a Qualidade dos Dados. Developers Magazine, ano 2, n. 18, p. 20, fev.

MANZONI Jr., R. (1997). O segredo da produtividade est no uso da informao. Computerword, 28 a 30 Abr., p. 10-11. NIMER, F.; SPANDRI, L. C. (1998). Obtendo Vantagem Competitiva com o Uso de Data Mining. Developers Magazine, ano 2, n. 18, p. 30-31, fev. TAURION, C. (1997). Data Warehouse: Estado de Arte e Estado de Prtica. Developers Magazine, ano 1, n. 6, p. 10-11, fev. TAURION, C. (1998). Data Warehouse: Vale a Pena gastar Milhes Investindo em um? Developers Magazine, ano 2, n. 18, p. 10-11, fev. TIEZZI, G. (1997). O Planejamento Estratgico da Informao. DevelopersMagazine, ano 1, n. 6, p. 24-25, fev.