Data Warehouse y Data Mining

Ing. Jos Paladines Morn

Data Warehouse
Es el sistema para el almacenamiento y distribucin de cantidades masivas de datos.

Data Warehouse y Data Mining

Puede ser aplicado para mejorar procesos de negocios en toda la organizacin, en reas tales como manejo de campaas promocionales, deteccin de fraudes, lanzamiento de nuevos productos, etc.

Data Warehouse y Data Mining

Objetivo de Data Warehouse

Proveer una visin nica de los clientes en toda la empresa Poner tanta informacin comercial como sea posible en manos de tantos usuarios diferentes como sea posible Mejorar el tiempo de espera que insumen los informes habituales Monitorear el comportamiento de los clientes Predecir compras de productos Mejorar la capacidad de respuesta a problemas comerciales

Data Warehouse y Data Mining

Cmo trabaja Data Warehouse?

Extrae la informacin operacional. Transforma la operacin a formatos consistentes. Automatiza las tareas de la informacin para prepararla a un anlisis eficiente.

En qu se lo puede usar?

Manejo de relaciones de marketing. Anlisis de rentabilidad. Reduccin de costos.

Data Warehouse y Data Mining

Arquitectura de Data Warehouse?

Relational Databases Optimized Loader ERP Systems

Extraction Cleansing Data Warehouse Engine Analyze Query

Purchased Data Legacy Data

Metadata Repository

Data Warehouse y Data Mining

OLAP
line

Procesamiento anlitico on -

Se refiere a aplicaciones de bases de datos orientadas a array que permite a los usuarios ver, navegar, manipular y analizar bases de datos multidimensionales. Un server multidimensional OLAP permite que un modelo de negocios ms sofisticado pueda ser aplicado cuando se navega por el data warehouse.

Las estructuras multidimensionales permiten que el usuario analice los datos de acuerdo a como quiera mirar el negocio, por lnea de producto, u otras perspectivas claves para su negocio.

Data Warehouse y Data Mining

OLAP
line

Procesamiento anlitico on -

El server de Data Mining debe estar integrado con el data warehouse y el server OLAP para insertar el anlisis de negocios directamente en esta infraestructura. Un avanzado, metadato centrado en procesos define los objetivos del Data Mining para resultados especficos tales como manejos de campaa, prospecting, y optimizacin de promociones.

La integracin con el data warehouse permite que decisiones operacionales sean implementadas directamente y monitoreadas.

Data Warehouse y Data Mining

Sistemas de Data Warehouse y Oltp

Una base de datos para soportar procesos transaccionales en lnea (OLTP), puede no ser adecuada para el Data Warehouse ya que ha sido diseada para maximizar la capacidad transaccional de sus datos y tpicamente tiene cientos de tablas la gran mayora normalizadas. Su diseo tambin ha sido condicionado por los procesos operacionales que deber soportar para la ptima actualizacin de sus datos, normalmente muchas de sus tablas en constantes y continuos cambios. L os sistemas Data Warehouse estn orientados a procesos de consultas en contraposicin con los procesos transaccionales

Data Warehouse y Data Mining

Diferencias del Data Warehouse vs Oltp

Los sistemas tradicionales de transacciones y las aplicaciones de Data Warehousing son polos opuestos en cuanto a sus requerimientos de diseo y sus caractersticas de operacin.

Las aplicaciones de OLTP estn organizadas para ejecutar las transacciones para los cuales fueron hechos, como por ejemplo: mover dinero entre cuentas, un cargo o abono, una devolucin de inventario, etc. Por otro lado, un Data Warehouse est organizado en base a conceptos, como por ejemplo: clientes, facturas, productos, etc.

Data Warehouse y Data Mining

Diferencias del Data Warehouse vs Oltp

Otra diferencia radica en el nmero de usuarios. Normalmente, el nmero de usuarios de un Data Warehouse es menor al de un OLTP. Es comn encontrar que los sistemas transaccionales son accedidos por cientos de usuarios simultneamente, mientras que los Data Warehouse slo por decenas. Los sistemas de OLTP realizan cientos de transacciones por segundo mientras que una sola consulta de un Data Warehouse puede tomar minutos. Otro factor es que frecuentemente los sistemas transaccionales son menores en tamao a los Data Warehouses, esto es debido a que un Data Warehouse puede estar formado por informacin de varios OLTPs.

Data Warehouse y Data Mining

Relacin OLAP y Nivel 3 DSS

Data Warehouse ROLAP Engine Decision Support Client

Database Layer Store atomic data in industry standard RDBMS.

Application Logic Layer Presentation Layer Generate SQL execution plans in the ROLAP engine to obtain OLAP functionality. Obtain multidimensional reports from the DSS Client.

Data Warehouse y Data Mining

Data Marts
Es un pequeo Data Warehouse, para un determinado numero de usuarios, para un arrea funcional, especifica de la compaa. Tambin podemos definir que un Data Marts es un subconjunto de una bodega de datos para un propsito especifico. Su funcin es apoyar a otros sistemas para la toma de decisiones. Los procesos que conforma el datawarehouse son: 1- Extraccin 2- Elaboracin 3- Carga 4- Explotacin

De Data Warehouse a Data Marts

Information Individually Structured Departmentally Structured

Data Warehouse y Data Mining

Less History Normalized Detailed

Organizationally Data Warehouse Structured Data

More

Data Warehouse y Data Mining

Middleware
El middleware es un software que permite a los sistemas de hablar entre s al tiempo que oculta la complejidad de la conectividad de red. Middleware es un componente importante de datos de almacn ya que es el medio por el cual las aplicaciones se comunican con el almacn de datos. La funcin del middleware en el contexto de los data warehouse es la de asegurar la conectividad entre todos los componentes de la arquitectura de un almacn de datos.

Data Warehouse y Data Mining

Data Mining
Es el anlisis de archivos y bitcoras de transacciones, trabaja a nivel del conocimiento con el fin de descubrir patrones, relaciones, reglas, asociaciones o incluso excepciones tiles para la toma de decisiones. La md puede ser dividida en: minera de datos predictiva (mdp): usa primordialmente tcnicas estadsticas. minera de datos para descubrimiento de conocimiento (mddc): usa principalmente tcnicas de inteligencia artificial

Data Warehouse y Data Mining

Aplicaciones Data Mining

En la actualidad, existe una gran cantidad de aplicaciones, en reas tales como: Astronoma: clasificacin de cuerpos celestes. Aspectos climatolgicos: prediccin de tormentas, etc. Medicina: caracterizacin y prediccin de enfermedades, probabilidad de respuesta satisfactoria a tratamiento mdico. Industria y manufactura: diagnstico de fallas. Mercadotecnia: identificar clientes susceptibles de responder a ofertas de productos y servicios por correo, fidelidad de clientes, seleccin de sitios de tiendas, afinidad de productos, etc.

Data Warehouse y Data Mining

Etapas del proceso de Data Mining

1. Determinacin de los objetivos: delimitar los objetivos que el cliente desea bajo la orientacin del especialista en data mining. 2. Preprocesamiento de los datos: se refiere a la seleccin, la limpieza, el enriquecimiento, la reduccin y la transformacin de las bases de datos. 3. Determinacin del modelo: se comienza realizando un anlisis estadstico de los datos, y despus se lleva a cabo una visualizacin grfica de los mismos para tener una primera aproximacin. 4. Anlisis de los resultados: verifica si los resultados obtenidos son coherentes y los coteja con los obtenidos por el anlisis estadstico y de visualizacin grfica.

Data Warehouse y Data Mining

Extensiones de Data Mining

Web mining: consiste en aplicar las tcnicas de minera de datos a documentos y servicios del Web. Text mining: las tcnicas como la categorizacin de texto, el procesamiento de lenguaje natural, la extraccin y recuperacin de la informacin apoyan al text mining.

Data Warehouse y Data Mining

Ventajas de Data Mining

Ahorra grandes cantidades de dinero a una empresa y abre nuevas oportunidades de negocios. Trabajar con esta tecnologa implica cuidar un sin nmero de detalles debido a que el producto final involucra "toma de decisiones". Contribuye a la toma de decisiones tcticas y estratgicas proporcionando un sentido automatizado para identificar informacin clave desde volmenes de datos generados por procesos tradicionales y de e-Business. Permite a los usuarios dar prioridad a decisiones y acciones mostrando factores que tienen un mayor en un objetivo, qu segmentos de clientes son desechables y qu unidades de negocio son sobrepasados y por qu.