Aa5-Ev1 Migracin y Herrameinta de ETCL.

PROGRAMA DE FORMACIN:

Especializacin Tecnolgica En Gestin Y Seguridad De Bases De Datos

Modalidad Virtual

Servicio Nacional De Aprendizaje

SENA

2017

Tcnica Requerimientos tcnicos para su Ventajas y desventajas

utilizacin
Sincronizacin Copia de datos y metadatos de una Un fallo en uno de los servidores de
de base de base de datos origen a una base de base de datos no impida a los usuarios
datos datos destino mediante una seguir utilizando la aplicacin.
herramienta tecnolgica.
A travs de mltiples servidores, te
Los asistentes de sincronizacin de aseguras que los datos van a estar
los SMBD son configurados con las disponibles incluso en el caso de que
bases de datos origen y la base de una de las mquinas tenga un fallo
datos destino, parametrizando la grave de hardware. El sistema
ubicacin de particiones y mtodos distribuido de gestin de bases de datos
de seguridad. debe ser capaz de enrutar a los
usuarios afectados a otro de los nodos
disponibles.

al estar los datos distribuidos en

diferentes servidores, los mltiples
accesos no saturan los servidores
Importacin/Ex Se pueden utilizar diferentes tipos Los archivos de texto pueden tener
portacin de de archivos pero los formatos ms formato delimitado utilizando coma(,),
Archivos usados son los archivos de texto, punto y coma (;) o Tabulaciones para
(CSV) o XML a llamados archivos planos, que delimitar los campos definiendo de esa
travs de guardan la informacin sin formato forma columnas y filas. Tambin
comandos de usando solo caracteres pueden tener formato de ancho fijo para
consola o los campos, que se utiliza para delimitar
interfaz grfica Los sistemas de codificacin ms columnas y filas.
comunes para estos archivos son:
ASCII, ISO-8859-1 o Latn-1 y Un formato de archivo plano muy usado
Unicode. es el .CSV (Comma-
SeparatedValues, en espaol Valores
Separados por Coma), donde el
delimitador usado es una coma. Muy
usado para movimientos de datos con
hojas de clculo.
Sentencias Una posibilidad de los SMBD es la En un script SQL se pueden realizar las
DML utilizacin de sentencias DML para siguientes tareas:
generar scripts SQL que permiten Copia de seguridad para creacin de
realizar migraciones de bases de todos los usuarios, grupos, inicios de
datos existentes. sesin y permisos.
Creacin o actualizacin de cdigo
para la implementacin de una base de
datos.
Creacin de un entorno de pruebas
Procedimiento Esta tcnica se basa en el diseo y Todos los procesos ETL constan de
s ETCL construccin de procedimientos tres fases diferenciadas:
(Extraccin, tcnicos para realizar Extraccin, 1) Extraccin.
Transformaci Transformacin, Limpieza y
n, Limpieza y Cargue de Datos (ETCL). 2) Transformacin.
Carga) 3) Carga.
2. Herramientas ETCL

Benetl: Es una herramienta ETL de uso libre, desarrollada entre los aos 2007 2014,
hecha en java y trabaja con base a lenguajes de base de datos PostgreSQL o MySQL.
Esta herramienta se cre para facilitar el trabajo con archivos TXT, CSV o archivos de
fuente de datos XML. Para recuperar los datos que tendrn que definir un dato de tiempo
y una entidad, que est representado por datos a calcular o para mostrar. Todos los objetos
tiles sern creados por Benetl dentro de una base de datos MySQL o PostgreSQL. La
aplicacin tambin es capaz de recuperar automticamente los datos mediante el uso de
diversas tareas planificadas de su sistema.
Mediante el uso de Benetl podr se ha podido recuperar fcilmente la informacin de los
archivos de datos planos, la organizacin y el filtrado de acuerdo con su dato de tiempo y
entidad.

Caracteristicas Benetl

Tecnologias:
Java 7 update 80
PostgreSQL 9.5.0 (con el apoyo plpgsql)
MySQL 5.6 con funcin de OLD_PASSWORD de inicio de sesin de usuario
(para controlador suministrado)
Con Windows (se utiliza "tareas programadas")
Benetl 4.7 funciona en Linux.
Requerimientos Tecnicos:
ejecucin de Java (JRE) 1.7
base de datos PostgreSQL 9.5 con soporte plpgsql
base de datos de MySQL 5.6 con OLD_PASSWORD la funcin de inicio de
sesin de usuario o el controlador oficial de MySQL (no incluido)
Probado en sistemas de 64 bits
Ejemplo: Nombre EtlTool Definir Nombre, Este nombre es tambin el nombre de
la tabla de PostgreSQL o tabla de MySQL donde se almacenan las lneas de datos.
Un archivo llamado "EtlTool.bat" se crear en la carpeta de origen de datos.
Debe presionar enter para validar su nombre EtlTool, y luego se pueden guardar los
parmetros.
Aplicacin SMBD seleccionado
SQL Server Integration Services:
Microsoft Integration Services es una plataforma para la creacin de soluciones
empresariales de transformaciones de datos e integracin de datos. Integration Services
sirve para resolver complejos problemas empresariales mediante la copia o descarga de
archivos, el envo de mensajes de correo electrnico como respuesta a eventos, la
actualizacin de almacenamientos de datos, la limpieza y minera de datos, y la
administracin de objetos y datos de SQL Server. Los paquetes pueden funcionar en
solitario o junto con otros paquetes para hacer frente a las complejas necesidades de la
empresa. Integration Services puede extraer y transformar datos de diversos orgenes como
archivos de datos XML, archivos planos y orgenes de datos relacionales y, despus, cargar
los datos en uno o varios destinos.
Integration Services contiene un variado conjunto de tareas y transformaciones integradas,
herramientas para la creacin de paquetes y el servicio Integration Services para ejecutar
y administrar los paquetes. Las herramientas grficas de Integration Services se pueden
usar para crear soluciones sin escribir una sola lnea de cdigo. Tambin se puede
programar el amplio modelo de objetos de Integration Services para crear paquetes
mediante programacin y codificar tareas personalizadas y otros objetos de paquete.
El SSIS Import/Export Wizard permite mover datos de origen a destino sin modificar los
datos del origen y permitiendo hacer iteraciones y cambios de informacin antes de llegar
al destino dentro de tablas de ETL. Se pueden importar datos de fuentes diferentes a SQL
Server.
Con la herramienta Business Intelligence Development Studio, se pueden realizar tareas
de migracin fcilmente usando tareas visuales. Si se desea crear nueva funcionalidad, se
pueden crear scripts en c# o VB.
Los paquetes, que son las unidades de almacenamiento de estas tareas de migracin se
pueden guardar en archivos dtsx o en la base de datos en formato XML.
Una vez implementado el paquete puede ser depurado.
Caracteristicas SSIS

Ultima Version: SQL Server 2014 Integration Services

Requerimientos Tcnicos:
Instalar en un equipo de 64 bits
Instalar en un servidor dedicado para ETL
Si requiere las caractersticas en tiempo de diseo de Integration Services, tambin
debe instalar Business Intelligence Development Studio.
Si necesita las versiones de 32 bits de las herramientas y del motor en tiempo de
ejecucin de Integration Services para ejecutar ciertos paquetes en modo de 32 bits,
tambin debe instalar Business Intelligence Development Studio.

1. Oracle Warehouse Builder:

Es una complete herramienta para todos los aspectos de administracin de datos y
metadatos. Esta brinda caractersticas para asegurar la calidad de datos, que integran el
modelado relacional y multidimensional y que permiten la administracin de todo el ciclo de
vida de datos y metadatos
Enterprise ETL Option

La opcin empresarial ETL (Enterprise ETL Option) para Warehouse Builder es una opcin
que puede ser adquirida con Oracle Warehouse Builder como parte de la edicin
empresarial del motor de base de datos (Oracle DB Enterprise Edition).

Opciones Avanzadas para Carga de Datos

En grandes implementaciones, ms y ms procesos se ejecutan en paralelo, agotando los

recursos debido a las grandes cantidades de datos que participan en la carga.

Como parte de la Enterprise ETL Option, Warehouse Builder permite ejecutar cargas de
datos usando mtodos rpidos y eficientes tales como el Oracle Data Pump y transportable
tablespaces. Esta es una aproximacin completamente diferente al movimiento de datos
que se realiza por medio de conjuntos de datos controlados por el motor de base de datos.
Los incrementos en velocidad de carga se deben entonces a la omisin de las capas SQL
tradicionales.

Soporte a Dimensiones Lentamente Cambiantes Integrado

En Warehouse Builder la lgica de dimensiones lentamente cambiantes es diseada en los

metadatos de la dimensin. La dimensin captura toda la lgica que ser aplicada a los
datos que se insertan dentro de la misma.
Una vez, los usuarios de negocio han decidido que atributos son importantes, el modelador
de datos disea la dimensin. Con los pasos de ETL el desarrollador ve esta dimensin
como cualquier otra. El siguiente paso es definir cmo efectuar los cambios y
actualizaciones en la dimensin. Warehouse Builder automatiza esto basado en la
definicin de la dimensin. La combinacin entre estos pasos, el diseo y la estandarizacin
hacen que los procesos relacionados con dimensiones lentamente cambiantes presente un
alto desempeo en su ejecucin.

Traza Lineal de Principio a Fin

Los servicios de administracin de dependencias (Warehouse Builder Dependency

Management ) le permiten prever el efecto que puedan tener los cambios que se hagan en
cualquier lugar de los metadatos del sistema ETL antes de que estos puedan afectarlo y
deteriralo.

Administracin de Configuraciones Avanzadas

Tener que mover sistemas o aplicaciones de un ambiente a otro (por ejemplo de desarrollo
a produccin) es un problema frecuente.
Con la Enterprise ETL Option de Warehouse Builder, es posible generar un modelo para
configurar los ambientes de desarrollo, pruebas y produccin a niveles separados. Para
mover los cambios desde el ambiente de desarrollo a produccin, el cdigo generado en
desarrollo es modificado en produccin solo en reas especficas. Por ejemplo, la
informacin sobre las conexiones es substituida por la definida en desarrollo.
IBM InfoSphere DataStage:
IBM InfoSphere DataStage integra datos de mltiples sistemas utilizando una estructura
paralela de elevado rendimiento y da soporte a la gestin ampliada de metadatos y la
conectividad de la empresa. Esta plataforma escalable proporciona una integracin ms
flexible de todos los tipos de datos, incluidos big data inactivos (basados en Hadoop) o en
ejecucin (basados en secuencias), en plataformas de mainframe y distribuidas.
InfoSphere DataStage incluye estas caractersticas y beneficios:
La plataforma ETL potente y escalableadmite la recopilacin, integracin y
transformacin de grandes volmenes de datos con estructuras de datos tanto simples
como complejas.
El soporte para Big Data y Hadooppermite el acceso directo a BIG Data en un sistema
de archivos distribuido.
Integracin de datos prcticamente en tiempo realy conectividad entre aplicaciones y
orgenes de datos.
La gestin de cargas de trabajo y reglas de negociooptimiza la utilizacin de hardware y
prioriza las tareas ms importantes.
La facilidad de usoampla la velocidad, la flexibilidad y la efectividad para crear,
desplegar, actualizar y gestionar la infraestructura de integracin de datos.