Analise Inteligente de Dados

Orlando Zacarias

Analise Inteligente de Dados-OZ@

UniTiva-2015

Objectivos
Pretende-se abordar a problematica de
analise de dados, como uma disciplina sobre
a umbrella de Data Science (Ciencia de
Dados), tambem denominada de Analise de
Big Data

Pre-requisitos: Conhecimentos de estatistica,

estrutura de dados e algoritmos.
Conhecimento de programacao desejavel.
Espera-se que no fim do curso os estudantes
tenham conhecimento das diversas tecnicas
que podem ser usadas na analise de dados
Analise Inteligente de Dados-OZ@
UniTiva-2015

Dados e Informao
Dados: So representaes
codificadas de factos, eventos
ou outro tipo de entidades.
Podem ser palavras, nmeros,
ou outro tipo de cdigos ou
smbolos.

Informao: consiste num

conjunto de dados devidamente
organizados e articulados entre si,
de modo a assumirem um certo
significado e a poderem traduzirse em conhecimento para os
seres humanos.

Analise Inteligente de Dados-OZ@

UniTiva-2015

Dados e Informao (cont.)

Verifica-se um crescimento explosivo do nr de dados
Podem ser gerados: satelites, codigo de barras,
sensores remotos, cartoes de credito, etc.
Enorme quantidade de informao existe sob forma
no estruturada
Desafio actual consiste no desenvolvimento e
aplicao de novas tecnicas para resgatar a
informao necessaria de entre enormes
quantidades de dados

Analise Inteligente de Dados-OZ@

UniTiva-2015

Dados e Informao (cont.)

Enquanto a quantidade de dados cresce
exponencialmente a cada ano, paradoxalmente, a
quantidade de informao significativa exibe um rapido
decrescimo
Torna-se cada vez mais dificil encontrar factos significativos que
tanto procuramos.

Adopo de metodos e estrategias para filtrar,

seleccionar e interpretar os dados, mais do que nunca
uma necessidade (um MUST.) para a sobrivivencia
que qualquer organizao e negocio nos dias de
hoje.
Conduzira a extrao de informao e conhecimento
adequado das necessidades de desenvolvimento da
organizao
Analise Inteligente de Dados-OZ@
UniTiva-2015

Informao como factor de produo

A chave para o sucesso nos negcios
conhecer algo que mais ningum sabe.
Aristotle Onassis
Organizaes com nvel de excelncia na
extraco de informao e conhecimento,
tero uma melhor hiptese de sobrevivencia.
Devido a isto, a prpria informao hoje um
factor de produo valioso e importante.

Analise Inteligente de Dados-OZ@

UniTiva-2015

Informao como factor de produo (cont.)

Impacto no ambiente de negocio
1. Conduzir ao incremento da competetividade
Conhecimento dos padroes de comportamento dos clientes
Alerta sobre situao de saturao do mercado
Alerta sobre novas oportunidades de negocio
Oportunidades de noos canais de mercado em funo da
necessidade de sua diferenciao
Auferir sobre a eficacia das tecnicas de marketing usadas
Ciclos de vida dos productos
Auferir sobre o incrmento da competio e riscos do negocio

2. Trinomio Clientes x Competidores x Dados

Tipificao dos clientes (colocar em classes)

Padro de vendas,
Preveno de futuras estrategias em funo dos competidores
Evidencias de retorno de investimento, num processo dirigido por dados
(por via de Data warehousing, query, OLAP e data mining)
Disponibilidade de historicos de sucesso ou failure, etc.
Analise Inteligente de Dados-OZ@
UniTiva-2015

Gesto e extrao da informao e do conhecimento

Disponibilidade de dados por via da bases de dados
limpas e devidamente documentadas (Data
Warehousing)
Data warehouse um depsito de dados digitais que armazena
informaes detalhadas de uma empresa, criando e
organizando relatrios atravs de histricos que so depois
usados pela empresa para ajudar a tomar decises importantes
com base nos factos apresentados.
Para alm de manter um histrico de informaes, o Data
Warehouse cria padres melhorando os dados analisados de
todos os sistemas, corrigindo os erros e restruturando os dados
sem afectar o sistema de operao, apresentando somente um
modelo final e organizado para a anlise.
(http://www.significados.com.br/data-warehouse/)

Analise Inteligente de Dados-OZ@

UniTiva-2015

Gesto e extrao da informao e do

conhecimento (cont.)
Desenvolvimento de novas tecnicas de TICs
Reduo de valores de aquisio de meios de armazenamento e
scalibility/scalable/escalavel (abilidade de hardware/software de
continuar a funcionar bem embora modifique seu tamanho ou
volume, satisfazendo os requisitos do utilizador)
Processamento ilimitado com recurso a arquitectura paralela de
execuo de processos

Novas metodos de analise em Machine Learning

(Aprendizagemm Maquina)
Incremento no uso comercial de algoritmos com origem na
comunidade cientifica
Surgimento e introduo de melhores e escalaveis algoritmos
Incremento de joint ventures entre centros de pequisa e empresas
comerciais
Analise Inteligente de Dados-OZ@
UniTiva-2015

SQL x OLAP x KDD

SQL permite analisar e encontrar dados rasos (sem
dimenso), i.e. Permite obter informao
facilemente acessivel a partir do conjunto de dados
Analise de dados multidimensionais possivel usando
OLAP
Note-se que o resultado conseguido por via de OLAP, pode
ser alcanado com SQL (eficiencia reduzida), onde esta
ferramenta foi optimizada para analise e pesquisa
multidimensional
OLAP uma abordagem para fazer as pesquisas de dados
no modo Multi-Dimensional Analytical (MDA). Enquadra-se
na categoria de Business Intelligence, abarcando base de
dados relacionais, gestao de relatorios e data mining

Analise Inteligente de Dados-OZ@

UniTiva-2015

10

SQL x OLAP x KDD (cont.)

Reconhece-se que 80% de informao interessante em
uma base de dados pode ser extraida com recurso a
SQL
Adicionais 20%, constituem-se em dados ocultos e
profundos
Analise requer tecnicas mais avanadas no dominio de KDD
Relevancia superior emm organizaoes onde o marketing uma
estrategia importante do negocio
Diversas tecnicas
Estatisticas
Visualizao
Semelhana e distancia
Arvores de deciso e regras de associao
Redes neurais e algoritmos geneticos
Maquina Vectoriais de Suporte, etc.
Analise Inteligente de Dados-OZ@
UniTiva-2015

11

SQL x OLAP
Explorao de dados inclue:
Representa a anlise tradicional dados (realizada-se
como: linguagem query, grficos, estatsticas )
anlise multidimensional
Permite a disponibilizacao de representaes dos

dados adequadas obteno de informao

Considerando a Extraccao:
Visa extraco de informao para apoio deciso
Requer a formulao prvia de hipteses
Implica saber-se previamente o que vamos procurar

Analise Inteligente de Dados-OZ@

UniTiva-2015

12

KDD
Extraco de Conhecimento em Bases de Dados (ECBD)
(Knowledge Discovery in Databases - KDD):
tcnicas e ferramentas para a anlise inteligente e
automtica de bases de dados

Objectivo:
obteno de conhecimento no bvio e de valor para o
negcio a partir de grandes bases de dados
Permite a descoberta de informao sem formulao
prvia de hipteses, i.e., no necessrio conhecer-se
previamente o que procuramos
Possui natureza exploratria

Minerao de Dados (data mining)

Algoritmos para detectar padres nos dados (constitui um
das fases da extraco de conhecimento em BD)
Analise Inteligente de Dados-OZ@
UniTiva-2015

13

Resumindo: SQL x OLAP x KDD

Quando sabemos exactamente o que procuramos:
Usa-se SQL
No caso de dados multi-dimenensionais, usa-se a OLAP

Conhecendo vagamente o que se busca, usa-se data

mining
Inicialmente pouco ou quase nenhuma info temos do
que exactamente procuramos
Uso de data mining parece ser o mais adequado
Info poder, quem a possui mais vantagens tem no negoocio....

Analise Inteligente de Dados-OZ@

UniTiva-2015

14