ESPECIALIZACION TECNOLOGICA EN GESTION Y SEGURIDAD

EN BASE DE DATOS

PLAN DE MIGRACIN DE DATOS PARA SAN ANTONIO DEL SENA

MODULO EJECUCION

SENA

2016

INTRODUCCION

Para escoger la estrategia de migracin, se realiz un anlisis detallado, teniendo

en cuenta las directrices del sistema, especialmente en lo referente a mantener la
integracin de la funcionalidad y de los datos, as como las expectativas de los
usuarios respecto a la informacin activa e histrica, la facilidad de operacin y de
consulta, la viabilidad tcnica y las restricciones del Proyecto.
La estrategia tecnolgica escogida para el desarrollo de la migracin es la
implementacin de ambientes separados de diseo y ejecucin. Con esta opcin
existe un repositorio que almacena definiciones de metadatos para objetos como
fuentes, destinos, y procesos de extraccin, transformacin y carga a los cuales
tienen acceso los usuarios a travs del Centro de Diseo .

TECNICA Y ESTRATEGIA A UTILIZAR

La herramienta escogida para el proceso de migracin de datos determina la

arquitectura tecnolgica a implementar. A continuacin se describen los principales
componentes de la arquitectura y la opcin de implementacin escogida.

Pentaho Data Integration

Pentaho Data Integration proporciona un enfoque declarativo de ETL donde se
especifica qu hacer en lugar de como hacerlo. Incluye una biblioteca de
transformacin con ms de 70 objetos de mapeo. En incluye la capacidad de
almacenamiento de datos para cambiar lentamente y basura Dimensiones. Incluye
soporte para mltiples fuentes de datos, incluyendo ms de 25 plataformas de
cdigo abierto y de base de datos , archivos planos, documentos de Excel, y
mucho ms. La arquitectura es extensible con un mehcanism plug-in.
Integracin de datos
. La plataforma ofrece, "anlisis listos" datos precisos a los usuarios finales de
cualquier fuente. Con las herramientas visuales para eliminar la codificacin y
complejidad, Pentaho pone de datos grandes y todas las fuentes de datos en las
yemas de los dedos de las empresas y los usuarios de TI.
El Centro de Diseo es la interfaz de usuario que se utiliza en el diseo,
administracin, programacin y despliegue de procesos para mover y transformar
los datos. Todos los metadatos asociados con el trabajo hecho en el Centro de
Diseo se almacenan en el repositorio.

CARACTERRISTICAS DE LA HERRAMIENTA
INTEGRACIN DE DATOS GRANDE CON CERO CODIFICACIN
OBLIGATORIO

Herramientas intuitivas de Pentaho aceleran el tiempo que se necesita para

disear, desarrollar y desplegar anlisis de datos grandes en hasta 15x.

Grandes herramientas de integracin de datos visuales completas eliminan

la codificacin en SQL o escribir funciones MapReduce Java.

Amplia conectividad a cualquier tipo o fuente de datos con soporte nativo

para Hadoop, NoSQL y bases de datos analticos.

Motor de procesamiento paralelo para garantizar un alto rendimiento y

escalabilidad empresarial.

Extraer y combinar los datos existentes y diversos para producir uniformes

y de alta calidad listos para analizar los datos.

SIMPLE DISEADOR VISUAL DE ARRASTRAR Y DESARROLLO GOTA

Empoderar a los desarrolladores con herramientas visuales para minimizar la

codificacin y lograr una mayor productividad.

Extraccin, transformacin y carga grfica (ETL) herramienta para cargar y

fuentes de datos grandes de proceso en formas familiares.

Rich librera de componentes pre-construidos para acceder y transformar

datos de un amplio espectro de fuentes.

Interfaz visual para llamar a cdigo personalizado, analizar las imgenes y

archivos de vdeo para crear metadatos significativa.

Transformaciones dinmicas, utilizando las variables para determinar

asignaciones de campo, validacin y reglas de enriquecimiento.

Depurador integrado para pruebas y puesta a punto la ejecucin del trabajo.

OPORTE NATIVO Y FLEXIBLE PARA TODAS LAS FUENTES DE BIG DATA

Una combinacin de conexiones nativas de profundidad y una capa de datos de

datos de gran adaptativo aseguran el acceso acelerado a las distribuciones
principales de Hadoop, bases de datos NoSQL, y otras tiendas de grandes datos.

El apoyo a las distribuciones de Hadoop de Cloudera, Hortonworks y MapR.

Plugins a bases de datos NoSQL como Cassandra y MongoDB, as como

las conexiones a almacenes de datos especializados como Amazon
Redshift y Splunk.

Capa de datos grande adaptable ahorra empresas considerable el tiempo

de desarrollo, ya que aprovechan las nuevas versiones y capacidades.

Mayor flexibilidad, reduccin del riesgo, y el aislamiento de los cambios en

el gran ecosistema de datos.

Presentacin de informes y anlisis sobre las cantidades crecientes de

usuario y los datos de mquina generado, incluyendo contenido de la web,
documentos, medios de comunicacin social y los archivos de registro.

Integracin de las tareas de datos Hadoop en general de TI / ETL /

soluciones de BI con distribucin escalable en el clster.

El apoyo a los servicios pblicos para carga de datos a granel paralelos

para la carga de datos con el mximo rendimiento.

DESCRIPCION DE LAS FASES

Anlisis y Diseo
Objetivo: Realizar un examen completo y establecer una lista de chequeo de los
elementos de datos del sistema que sern migrados. Del mismo modo se realiza
el mapeo de los elementos de datos de la fuente al destino.

Actividades
En el esquema iterativo, las actividades de anlisis estn dirigidas a suplir los
requerimientos del sistema. Se deben hacer tres consideraciones.
-

Descubrimiento inicial. Proceso que permite entender el valor de todos los

elementos de datos, rangos, etc. y poner en evidencia las relaciones entre
ellos.

Mapeo. Permite entender cules bases de datos, entidades y atributos

satisfacen los requerimientos de informacin del sistema destino. Se debe
evaluar qu relacin origen-destino satisface el requerimiento de manera
ptima y determinar los cambios requeridos (transformacin) en los esquemas
de datos incluyendo cules elementos no existen, y son necesarios, en la
nueva aplicacin.

El resultado de la fase de anlisis y diseo es la especificacin del mapeo entre

los sistemas fuente y el sistema destino. Entre mejor sea la especificacin inicial
menos iteraciones se tendrn que realizar.
Realizar el anlisis de la topologa y obtener estimados de desempeo. Es
necesario precisar la duracin de la migracin una vez se ejecuten las iteraciones
previas a la migracin final.

Extraccin y Transformacin
Objetivo: Desarrollar los procedimientos transformacin y validacin

Actividades:

Un anlisis preciso permitir un trabajo eficiente en las siguientes fases. Despus

de que se conoce que datos migrar, donde conseguirlos y como se mapean en el
destino, el siguiente paso es construir los procedimientos necesarios para extraer
los datos y transformarlos hacia el formato adecuado.
Durante la fase de desarrollo adems de construir los scripts y el cdigo especfico
de la migracin utilizando la herramienta de migracin seleccionada se deben
enfrentar dos situaciones:
Validacin

Objetivo: Validacin de datos en de preparacin.

Actividades:
Una vez se tiene listo el mapeo el siguiente paso es chequear si los datos cumplen
las validaciones del sistema destino, incluyendo reglas de negocio, restricciones
de semntica o sintcticas. Estas actividades se pueden realizar con la misma
herramienta de desarrollo de tal manera que el resultado de esta fase es un
conjunto de procedimientos o scripts a travs de los cuales se realizarn las
validaciones mencionadas.

Pruebas y cargue
Objetivo: Ejecutar los scripts o el cdigo generados en la fase de desarrollo de la
migracin, enmarcndolos en un contexto de semntica del negocio que permita
resolver los problemas lgicos as como los errores fsicos.

Actividades

En la fase de pruebas del usuario se identifican y resuelven los errores lgicos. El

primer paso es ejecutar los mapas. As los mapas se ejecuten correctamente hay
que identificar:

El nmero de registros que se espera que el script cree.

Si efectivamente ese nmero de registros se crearon, si no explicar el por qu

no fue as.

Si los datos fueron cargados en los campos correctos.

Si el formato de los datos fue el adecuado.

Si el sistema destino permite limpiar los datos cargados si la carga no fue

satisfactoria y existe el procedimiento para hacerlo, mediante el uso de la capa
intermedia de transformacin. El objeto es asegurar que la migracin est
correcta antes de poblar el sistema destino.