Académique Documents
Professionnel Documents
Culture Documents
descubierto
Tendencias actuales
05 de Junio 2014
CLE Formacin
ndice
Qu es Business Intelligence (BI).
Definicin de BI
Que puede aportar el BI a la empresa
Soluciones actuales de BI
Herramientas y plataformas ms
utilizadas en la actualidad
Tendencias previstas en BI en los
prximos aos
Qu es Business Inteligence?
Introduccin
Qu es Business Intelligence?
Conjunto de sistemas y tecnologas que
estn enfocadas a la toma de decisiones en
la empresa.
Para poder sacar partido a esta tecnologa
debemos conocer la informacin que hay en
la empresa y como podemos explotarla
Introduccin
Introduccin
Informacin tcnico/operativa
La usa el personal tcnico y operativo para
Introduccin
Informacin tctica
Usada por responsables y coordinadores de operaciones para
dirigir los trabajos del personal a su cargo.
Los datos estn en los sistemas de inteligencia de negocio
Introduccin
Informacin estratgica
Usada por altos directivos para decidir la
marcha global y las lneas estratgicas de la
empresa.
Los datos estn en los sistemas de
inteligencia de negocio
Introduccin
CONOCIMIENTO
BUSINESS
INTELLIGENCE
INFORMACIN
DATOS
BUSINESS
OPERATION
Introduccin
Datos: Los datos son la mnima unidad semntica, y se
corresponden con elementos primarios de informacin
que por s solos son irrelevantes como apoyo a la toma
de decisiones.
Tambin se pueden ver como un conjunto discreto
de valores, que no dicen nada sobre el por qu de las
cosas y no son orientativos para la accin.
Introduccin
Informacin: un conjunto de datos procesados y que
tienen un significado (relevancia, propsito y contexto),
y que por lo tanto son de utilidad para quin debe
tomar decisiones, al disminuir su incertidumbre.
Los datos se pueden transforman en informacin
aadindoles valor:
Contextualizando
Categorizando
Calculando.
Corrigiendo
Condensando
Introduccin
Conocimiento: es una mezcla de experiencia,
valores, informacin, que sirve como marco
para la incorporacin de nuevas experiencias e
informacin, y es til para la accin.
Introduccin
El conocimiento se deriva de la informacin, as
como la informacin se deriva de los datos.
Para que la informacin se convierta en
conocimiento es necesario realizar acciones
como:
Introduccin
Introduccin
Introduccin
Introduccin
La informacin que se quiere investigar sobre
un cierto dominio de la organizacin se
encuentra en bases de datos y otras fuentes
muy diversas, tanto internas como externas.
Muchas de estas fuentes son las que se utilizan
para el trabajo diario (bases de datos
operacionales y/o transaccionales).
Introduccin
Sobre estas mismas bases de datos de trabajo
ya se puede extraer conocimiento (visin
tradicional).
Uso de la base de datos transaccional para:
Se mantiene el trabajo transaccional diario
de los sistemas de informacin originales
(OLTP, On-Line Transactional Processing).
Adems se puede hacer anlisis de los datos
en tiempo real sobre la misma base de
datos.
Introduccin
Problemas:
Perturba el trabajo transaccional diario de
los sistemas de informacin originales
(killer queries). Se debe hacer por la noche
o en fines de semana.
La base de datos est diseada para el
trabajo transaccional, no para el anlisis de
los datos. Generalmente no puede ser en
tiempo real .
Introduccin
Adicionalmente
Los costes de almacenamiento y
conectividad se han reducido en ltimos
aos,
Parece razonable recoger los datos
(informacin histrica) en un sistema
separado y especfico.
Data warehouse (Almacenes o Bodegas de
Datos)
Nace Data-Warehousing.
CONCEPTOS
Introduccin
Data Warehouse
Repositorio completo de datos de la empresa,
Introduccin
Data Warehouse
El almacn de datos es ahora el sistema de
informacin central en todo este proceso.
Un almacn de datos es una coleccin de datos:
orientada a un dominio
integrada
no voltil
variante en el tiempo
Para ayudar en la toma de decisiones.
Introduccin
Data Warehouse
Introduccin
Data Warehouse
Introduccin
Data Warehouse
Introduccin
Data Warehouse
Introduccin
Data Warehouse
Introduccin
Data Warehouse
Introduccin
Data Warehouse
Introduccin
Data Warehouse
Introduccin
Data Warehouse
Introduccin
Data Warehouse
Introduccin
Data Warehouse
Introduccin
Arquitectura de un Data Warehouse
Componentes:
Sistema ETL (Extraction, Transformation, Load): realiza
las funciones de extraccin de las fuentes de datos
(transaccionales o externas), transformacin (limpieza,
consolidacin, ...) y la carga del Data Warehouse,
realizando:
Introduccin
Introduccin
Data Mart
Introduccin
DataMart
Introduccin
DATAMART
Un Datamart es una base de datos departamental,
especializada en el almacenamiento de los datos
de un rea de negocio especfica.
Se caracteriza por disponer la estructura ptima de
datos para analizar la informacin al detalle desde
todas las perspectivas que afecten a los procesos
de dicho departamento.
Un datamart puede ser alimentado desde los datos
de un Datawarehouse
Introduccin
OLAP
Introduccin
OLAP
Introduccin
OLAP
En la base de cualquier sistema OLAP se
encuentra el concepto de cubo OLAP (tambin
llamado cubo multidimensional o hipercubo).
Se compone de hechos numricos o medidas,
que se clasifican por dimensiones.
Introduccin
ROLAP
Almacena los datos en un motor relacional. Tpicamente, los datos son
detallados, evitando las agregaciones y las tablas se encuentran
desnormalizadas.
Los esquemas ms comunes sobre los que se trabaja son estrella copo de
nieve.
Arquitectura est compuesta por un servidor relacional y el motor OLAP se
encuentra en un servidor dedicado.
MOLAP
Esta implementacin OLAP almacena los datos en una base de datos
multidimensional.
Para optimizar los tiempos de respuesta, el resumen de la informacin es
usualmente calculado por adelantado.
Estos valores precalculados o agregaciones son la base de las ganancias de
desempeo de este sistema.
Algunos sistemas utilizan tcnicas de compresin de datos para disminuir el
espacio de almacenamiento en disco debido a los valores precalculados.
HOLAP (Hybrid OLAP)
Almacena algunos datos en un motor relacional y otros en una base de datos
multidimensional.
Introduccin
OLAP
Introduccin
OLAP
Introduccin
OLAP y OLTP
Introduccin
OLAP
Introduccin
Herramientas OLAP
Datamining
Datamining
Datamining
Datamining
Datamining
Datamining
Datamining
Datamining
Datamining
Introduccin
OLAP y DataMining
Introduccin
OLAP y DataMining
Introduccin
EIS (Sistema de Informacion Ejecutivos)
EIS ofrece un conjunto de escenarios o dashboards,
compuestos por una serie de herramientas visuales
e interactivas.
Estas herramientas permiten a los usuarios
identificar rpidamente el estado de alguno de los
indicadores de su inters y que adems puede
proveer de detalles y anlisis inmediato, con el fin
de presentar alarmas visibles al usuario ante
situaciones criticas, de forma que estos realicen
seguimiento a los datos asociados para identificar
la razn de un comportamiento o evento no
esperado.
Introduccin
EIS (Sistema de Informacion Ejecutivos)
EIS ofrece un conjunto de escenarios o dashboards,
compuestos por una serie de herramientas visuales
e interactivas.
Estas herramientas permiten a los usuarios
identificar rpidamente el estado de alguno de los
indicadores de su inters y que adems puede
proveer de detalles y anlisis inmediato, con el fin
de presentar alarmas visibles al usuario ante
situaciones criticas, de forma que estos realicen
seguimiento a los datos asociados para identificar
la razn de un comportamiento o evento no
esperado.
Introduccin
EIS (Sistema de Informacion Ejecutivos)
Introduccin
BSC
Introduccin
Cuadros de
mandos
Un cuadro de mando es un
conjunto de indicadores
que aportan informacin
sumarizada y que aporta
datos de forma rpida y
visual al usuario.
Introduccin
Data Discovery
Palabro que se utiliza para muchas cosas
En realidad pretende identificarse con herramientas
que permiten una granfacilidad de uso de las
herramientas a utilizar y que adems generan datos
visuales atractivos y de gran impacto.
Las dos acceden a Data o BigData pero Data
Discovery est ms enfocado a usuarios finales y a la
capacidad de hacer informes dinmicos de una
forma potentes
Ejemplos son TabLeau Desktop, Cognos Insight.
Introduccin
ETL son las siglas en ingls de Extraer, Transformar y
Cargar (Extract, Transform and Load). Es el proceso que
permite a las organizaciones mover datos desde
mltiples fuentes, reformatearlos y limpiarlos, y
cargarlos en otra base de datos, data mart, o data
warehouse para analizar, o en otro sistema operacional
para apoyar un proceso de negocio.
Los procesos ETL tambin se pueden utilizar para la
integracin con sistemas heredados (aplicaciones
antiguas existentes en las organizaciones que se han de
integrar con los nuevos aplicativos, por ejemplo, ERPs.
La tecnologa utilizada en dichas aplicaciones puede
hacer dificil la integracin con los nuevos programas).
Introduccin
EXTRAER
La primera parte del proceso ETL consiste en extraer
los datos desde los sistemas de origen. La mayora
de los proyectos de almacenamiento de datos
fusionan datos provenientes de diferentes sistemas
de origen.
Cada sistema separado puede usar una organizacin
diferente de los datos o formatos distintos. Los
formatos de las fuentes normalmente se encuentran
en bases de datos relacionales o ficheros planos,
pero pueden incluir bases de datos no relacionales u
otras estructuras diferentes. La extraccin convierte
los datos a un formato preparado para iniciar el
proceso de transformacin.
Introduccin
EXTRAER
Una parte intrnseca del proceso de extraccin es la de
analizar los datos extrados, de lo que resulta un chequeo
que verifica si los datos cumplen la pauta o estructura
que se esperaba. De no ser as los datos son rechazados.
Un requerimiento importante que se debe exigir a la
tarea de extraccin es que sta cause un impacto mnimo
en el sistema origen. Si los datos a extraer son muchos, el
sistema de origen se podra ralentizar e incluso colapsar,
provocando que ste no pueda utilizarse con normalidad
para su uso cotidiano. Por esta razn, en sistemas
grandes las operaciones de extraccin suelen
programarse en horarios o das donde este impacto sea
nulo o mnimo.
Introduccin
TRANSFORMAR
La fase de transformacin aplica una serie de reglas de negocio o
funciones sobre los datos extrados para convertirlos en datos que
sern cargados. Algunas fuentes de datos requerirn alguna
pequea manipulacin de los datos. No obstante en otros casos
pueden ser necesarias aplicar algunas de las siguientes
transformaciones:
Seleccionar slo ciertas columnas para su carga (por ejemplo,
que las columnas con valores nulos no se carguen).
Traducir cdigos (por ejemplo, si la fuente almacena una H
para Hombre y M para Mujer pero el destino tiene que
guardar 1 para Hombre y 2 para Mujer).
Codificar valores libres (por ejemplo, convertir Hombre en
H o Sr en 1).
Introduccin
TRANSFORMAR
Obtener nuevos valores calculados (por ejemplo,
total_venta = cantidad * precio).
Unir datos de mltiples fuentes (por ejemplo,
bsquedas, combinaciones, etc.).
Calcular totales de mltiples filas de datos (por
ejemplo, ventas totales de cada regin).
Generacin de campos clave en el destino.
Transponer o pivotar (girando mltiples columnas
en filas o viceversa).
Dividir una columna en varias (por ejemplo,
columna Nombre: Garca, Miguel; pasar a dos
columnas Nombre: Miguel y Apellido: Garca).
Introduccin
CARGA
La fase de carga es el momento en el cual los datos
de la fase anterior (transformacin) son cargados en
el sistema de destino. Dependiendo de los
requerimientos de la organizacin, este proceso
puede abarcar una amplia variedad de acciones
diferentes. En algunas bases de datos se sobrescribe
la informacin antigua con nuevos datos. Los data
warehouse mantienen un historial de los registros
de manera que se pueda hacer una auditora de los
mismos y disponer de un rastro de toda la historia
de un valor a lo largo del tiempo.
Introduccin
CARGA
Existen dos formas bsicas de desarrollar
el proceso de carga:
Acumulacin simple: La acumulacin simple es la ms sencilla y comn, y
consiste en realizar un resumen de todas las transacciones comprendidas en el
perodo de tiempo seleccionado y transportar el resultado como una nica
transaccin hacia el data warehouse, almacenando un valor calculado que
consistir tpicamente en un sumatorio o un promedio de la magnitud
considerada.
Rolling: El proceso de Rolling por su parte, se aplica en los casos en que se opta
por mantener varios niveles de granularidad. Para ello se almacena
informacin resumida a distintos niveles, correspondientes a distintas
agrupaciones de la unidad de tiempo o diferentes niveles jerrquicos en
alguna o varias de las dimensiones de la magnitud almacenada (por ejemplo,
totales diarios, totales semanales, totales mensuales, etc.).
Introduccin
En definitiva, una solucin BI completa
permite:
Observar qu est ocurriendo?
Comprender por qu ocurre?
Predecir qu ocurrira?
Decidir qu camino se debe seguir?
Qu aporta a la empresa
Qu aporta a la empresa
Generar reportes
globales o por
secciones.
Hacer pronsticos de
ventas y
devoluciones.
Compartir
informacin entre
departamentos.
Anlisis
multidimensionales.
Generar y procesar
datos.
Cambiar la
estructura de toma
de decisiones.
Mejorar el servicio al
cliente
Qu aporta a la empresa
Ventas
Marketing
Finanzas
Manufactura
Embarques
Anlisis de ventas
Deteccin de clientes importantes
Anlisis de productos, lneas, mercados
Pronsticos y proyecciones.
Anlisis de gastos
Rotacin de cartera
Razones Financieras.
Productividad en lneas
Anlisis de desperdicios
Anlisis de calidad
Rotacin de inventarios y partes crticas.
Seguimiento de embarques
Motivos por los cuales se pierden pedidos.
Qu aporta a la empresa?
Control del negocio
Mejor acceso a la informacin
Ahorro en costes
Tomar decisiones ms eficaces y ms rpidas
Oportunidades de negocio
Implementacin de procesos automticos
Eliminacin de informes manuales
..
Qu aporta a la empresa?
Oportunidades de negocio
Generar 4,4 millones de puestos de trabajo a
nivel mundial para 2015
Incremento del 7% en inversin para BI durante el
prximo ao
Un 74% de las organizaciones han invertido o
planean invertir en Big Data durante 2014
Es el momento de invertir esfuerzos y recursos en
ofrecer a los clientes soluciones BI
Qu aporta a la empresa?
Oportunidades de negocio
Introduccin
Posibles preguntas
HERRAMIENTAS Y SOLUCIONES
ACTUALES
Fabricantes actuales
Fabricantes actuales
Introduccin
Posibles alternativas
Sistemas tradicionales. Suites completas de
productos
IBM Cognos, Oracle OBI, SAP BO, Microstrategy..
BI OpenSource
QlikView, Pentaho
BI en Cloud
Birst
Introduccin
Diferencias
BI PROPIETARIO
BI OPEN SOURCE
Coste de licencias
Todo integrado
Ms sencillos de implementar
Herramientas actuales
BI se ha democratizado. Ya no solo lo
usan 4 personas en grandes empresas.
El auge de las herramientas OpenSource
ha permitido un nuevo horizonte en BI.
Tambin hay una democratizacin del
dato, tanto desde las propias empresas
como los proveniente de Internet.
Herramientas actuales
Herramientas actuales
Herramientas actuales
Herramientas actuales
Herramientas actuales
Leader: fabricante con una gran solucin y que est
muy enfocado a las necesidades actuales del mercado
Challenger: tambin tiene una buena solucin pero le
faltan algunas caractersticas interesantes para llegar a
ser un lider consolidado
Visionaries: Han sido capaces de detectar nichos de
mercado y ofrecen algn producto para cubrirla pero
les faltan capacidades a sus productos
Niche Players: no tienen ni el producto ni componentes
para ser lderes pero que han destacado por algn
motivo durante 2013
Herramientas actuales
Herramientas actuales
Herramientas actuales
Herramientas actuales
Herramientas actuales
Herramientas actuales
Herramientas actuales
Tendencias Actuales
Tendencias actuales
Big Data
Real Time BI
BI Mobile
Cloud BI
Social Media
End User self-service
Multiples BI Tools. Herramientas Open Source
Mejoras en la visualizacin
Bases de datos especficas
Tendencias actuales
Tendencias actuales
introduccin
introduccin
introduccin
Petabytes de datos creados diariamente
introduccin
introduccin
introduccin
Las tres Vs
introduccin
Volumen:
Grandes cantidades de informacin
Terabytes, Petabytes,
Los datos no se pueden almacenar en RDBMS tradicionales
Variedad
La fuente de datos s muy diversa: Web Logs, Application
Logs, Mdatos variados, Redes sociales
Suele ser poco estructurado o sin ninguna estructura
Velocidad
Datos en streaming. Procesamiento complejo de datos
Es necesaria una velocidad en la entrada y salida
introduccin
introduccin
introduccin
Tecnologas Hadoop
.
introduccin
Tecnologas Hadoop
.
Hadoop
Hadoop
Hadoop
Hadoop
Hadoop
HDFS
HDFS es un sistema de almacenamiento tolerante a
fallos que puede almacenar gran cantidad de datos,
escalar de forma incremental y sobrevivir a fallos de
hardware sin perder datos
Los clusters Hadoop se utilizan sobre ordenadores
baratos.
Si un nodo falla, el cluster puede continuar trabajando
sin perder datos o interrumpri el trabajo.
Sencillamente redistribuye el trabajo entre los nodos
restantes del cluster.
Hadoop
HDFS
HDFS gestionar el
almacenamiento
en el cluster,
dividiendo los
ficheros en
bloques
pequeos y
almacenando
copias duplicadas
a traves de los
nodos.
Hadoop
HDFS
Comparada con otras tcnicas de redundancia
como Redundant Array of Independent Disks
(RAID) , HDFS ofrece dos ventajas:
No se requiere un hardware espcial
Se implement a una tcnica eficiente de
procesamiento de datos: MapReduce.
Hadoop
MapReduce
La mayor parte de las herramientas de
consulta estn diseadas para realizar
consultas simples que deben ejecutarse
rpidamente.
El dato suele estar indexado y por tanto solo
pequeas porciones de datos se examinan
durante la bsqueda.
Hadoop
MapReduce
Esta solucin, en cambio no es til para datos
no indexados de tipo semi estructurado
(textos) o sin estructurar (multimedia).
Para responder una query en esta solucin es
necesario examinar todos los datos
Hadoop utiliza MapReduce para realizar un
anlisis exahustivo de forma rpida.
Hadoop
MapReduce
Es un algoritmo de procesamiento de datos que
implmenta un proceso en paralelo
De forma simple distribuye las atareas a travs de los
nodos de un cluster ejecutanto una funcin map.
La funcin map estudia el problema, lo divide en trozos y
los manda a diferentes mquinas para que todos los trozos
puedan ejecutarse concurrentemente..
Los reusltados de este proceso paralelo se recogen y se
distribuyen a travs de un distintos servidores que
ejecutan una funcin reduce, que toma los resultados de
los trozos y los recombina para obtener una respuesta
simple
Hadoop
MapReduce
Map step: The master node takes the input,
chops it up into smaller sub-problems, and
distributes those to worker nodes. A worker
node may do this again in turn, leading to a
multi-level tree structure.
Map(k1,v1) list(k2,v2)
Hadoop
MapReduce
Reduce step: The master node then takes
the answers to all the sub-problems and
combines them in a way to get the output the answer to the problem it was originally
trying to solve.
Reduce(k2, list (v2)) list(v3)
Hadoop
MapReduce. Ejemplo
Contador de palabras
Entrada
Hello World
Hello MapReduce
Funcin MAP
void map(string i, string line):
for word in line:
print word, 1
Hadoop
MapReduce. Ejemplo
Contador de palabras
Funcin REDUCE
void reduce(string word, list partial_counts):
total = 0
for c in partial_counts:
total += c
print word, total
Hadoop
MapReduce. Ejemplo
Contador de palabras
Hadoop
MapReduce. Arquitectura
Hadoop
Procesos
NameNode: metados de ficheros
DataNode: datos en los nodos
SecondaryNodeName.Realiza checkpoints del HDFS
image
JobTracker: gestor de trabajos
TaskTracker: ejecutor de trabajos
Hadoop
Arquitectura MapReduce
Social MEDIA
Social MEDIA
Social MEDIA
Social MEDIA
BI MOVIL
BI mvil
Otro nicho de crecimiento BI para los
prximos aos ser sin duda la expansin de la
tecnologa mvil. Los smartphones y las
tablets han acercado BI a un entorno donde
hasta hace poco era impensable.
Segn previsiones, un 35% de las empresas
usar BI en dispositivos mviles en el ao
2014.
BI MOVIL
BI mvil
BI MOVIL
BI mvil
Entre los usos que se pueden dar a estos
componentes encontramos por ejemplo:
Vendedores que se desplazan, con acceso a los datos
de clientes, stock, tendencias de compras del cliente,
etc
Acceso a datos estratgicos desde cualquier lugar, en
viajes o desplazamientos de directivos y responsables.
Toma de decisiones en tiempo real en reuniones o
desplazamientos
Etc
BI MOVIL
BI mvil
Al igual que con otras tecnologas, las grandes
empresas de BI estn comercializando
herramientas o versiones de sus productos
para ser utilizados en smartphones y tablets y
de esa forma poder acceder a datos, cuadros
de mandos y estadsticas de forma sencilla y
rpida.
RealTime BI
Real Time BI
Todas las tecnologa mencionadas anteriormente
permite el acceso al dato en tiempo real, y por tanto
la posibilidad de tomar decisiones instantneas sin
necesidad de esperar informes o estadsticas
posteriores.
Por ejemplo Google analytics sera un buen ejemplo
del uso de estas tecnologas.
RealTime BI
Real Time BI
Por supuesto, no siempre el dato inmediato es el
nico, ya que se seguramente las decisiones en
muchos casos se deben tomar junto a informacin
histrica y evolucionada que se almacenar en un
Data Warehouse tradicional.
RealTime BI
Real Time BI
BI en la nube
BI en la nube
BI en la nube
BI en la nube
Por supuesto, el acceso a los datos BI en un sistema en
Cloud es otra de las tendencias que veremos en los
prximos aos. Tanto de forma privada como pblica
asistiremos a una tendencia a desplazar el dato a un
entorno cloud para poder acceder y manejarlo de
forma eficiente.
Tener las herramientas de Business Intelligence
alojadas en la nube aporta adems un valor aadido
sobre aquellas empresas que no pueden permitirse
disponer de tecnologas tan sofisticadas en plataformas
fsicas propias.
BI en la nube
BI en la nube
Quizs el inconveniente ms importante de
subir el dato a una nube que no sea privada es
el hecho de que la informacin crtica de la
empresa est alojada fuera del entorno de la
propia empresa. Sin embargo, el
abaratamiento del coste del hardware hace
que las soluciones privadas sean cada vez ms
abordables y eficientes.
BI en la nube
BI en la nube
En la parte de infraestructuras
BIRST es actualmente Birst es el primer vendedor de Inteligencia de
Negocios basada en la nube en tener la suficiente fuerza dentro del
mercado y referencias de clientes para entrar en el cuadrante mgico.
Por poner otro ejemplo reciente, SAS ha implementado una solucin
de visualizacin analtica de datos en la nube para el mercado espaol,
denominado SAS Visual Analytics en Cloud, con el objetivo de que
empresas de cualquier tamao y sector dispongan de la capacidad
analtica que puedan necesitar.
BI en la nube
Otras
End User self-service
Multiples BI Tools.
Herramientas Open Source
Mejoras en la visualizacin
Bases de datos especficas
https://twitter.com/CLEFormacion
http://www.linkedin.com/company/cleformaci-n
cursos@cleformacin.com
Sguenos !