Validación de técnicas de migración y herramientas ETL

Yeison Alejandro Valencia Holguín.

Agosto 2019.

Servicio Nacional De Aprendizaje.

Manizales – Caldas - Colombia.
Especialización Tecnológica en Gestión Y Seguridad De Bases De Datos
 Tabla de Contenidos

Migracion de la secretaria de recreacion ............................................................................. 3

Tecnicas existentes .............................................................................................................. 3
Sincronizacion de la base de datos ...................................................................................... 3
Exportación e importación de archivos. .......................................................................... 4
Interfaz gráfica o comando de consolas .......................................................................... 4
DML sentencias .................................................................................................................. 4
Procedimientos ETL. ...................................................................................................... 5
Herramientas ETL .............................................................................................................. 7
Aplicación SMBD .............................................................................................................. 7
Ventahas y desventajas ....................................................................................................... 8
Precios de licencia de SQL SERVER 2008 R2 .................................................................. 8
Otras comparativas de herramientas ETL ......................................................................... 10
 Migración de la secretaria de recreación

La migración de datos es un proceso en la cual se traslada o se mueve información entre

una base de datos a otra.

Por ejemplo:
En el caso que se necesite pasar una base de datos se tiene que utilizar un sistema de
gestión de base de datos para poder soportar la información como por ejemplo de SQL
SERVER a ORACLE.

Este proceso se realiza para una serie de requerimientos y actividades técnicas para
trasladar una base de datos a otra y haci poderlo almacenar en un sistema a otro.

Técnicas existentes

En una base de datos existen varias técnicas para poder relacionar los procesos de
migración de una base de datos a otra y haci poder soportar un sistema de almacenamiento
complejo.

Sincronización de base de datos

Es la técnica más utilizada en los procesos de trasformación de datos y en la migración haci

como consiste en hacer dos bases de datos ya sean equivalentes en el mismo tiempo.

En la base de datos se logra copiar la metadatos de la base de datos correspondiente al

origen y destino mediante una herramienta técnica, los asistentes de la sincronización de los
sistemas manejadores de datos son configurados con la base de datos de origen y destino
con la parametrizacion y ubicación de las particiones con la seguridad respectiva.

El suceso más importante que pueden surgir en la sincronización de una base de datos son:
“renovación periódica, desalojo y anulación programática”:

 Renovación periódica:

Se puede invalidar la memoria del cache y actualizar de una forma automática ya sea para
una renovación de datos periódica utilizando la base de datos requerida basados en el
tiempo JPA.

El actualizador de consultas periódicamente se actualiza la base de datos utilizando el

proveedor de JPA.
  Desalojo

La escases puede que la memoria del cache tenga que utilizar politicas de desalojo para
eliminar automaticamente datos de la memoria sin afectar a la base de datos.

 Anulacion programatica

Las API eXtreme Scale permiten la interacción manual de la memoria caché cercana y de
servidor utilizando los métodos de API Session.beginNoWriteThrough(),
ObjectMap.invalidate() y EntityManager.invalidate().

Si un proceso de cliente o servidor ya no necesita una parte de los datos, los métodos de
anulación se pueden utilizar para eliminar datos de la memoria caché cercana o del
servidor.
 Exportacion e importacion de archivos
Interfaz grafica o comandos de consola

En las actividades de migracion de datos es muy comun utilizar archivos para el manejo y
movimiento de datos.

Se puede utilizar diferentes tipos de archivos, pero los formatos mas usados en los archivos
de texto, llamados archivos planos, que guardan la informacion sin formato usando
caracteres.

El sistema de codificacion mas comunes para estos archivos son: ASCII, ISO-8859-1 o
latin-1 y unicode.

Un formato de archivo plano muy usado es el “.CSV” (Comma-Separated-Values, en

español Valores Separados por Coma), donde el delimitador usado es una coma.

Muy usado para movimientos de datos con hojas de cálculo.

Otro formato útil para la migración de datos es el “.XML” (eXtensible Marckup Language),
que utiliza un metalenguaje extensible de etiquetas las cuales sirven como estándar para
intercambio de información estructurada entre distintas plataformas.

DML sentencias

Hay una posibilidad de los SMBD es la utilizacion de las sentencias DML para generar los
scripts SQL que permiten realizar migraciones de base de datos existentes.

En un scripts SQL se pueden realizar las siguientes tareas:

 Copia de seguridad para la creacion de todos los usuarios, grupos, inicios de sesion
y permisos.
 Creacion y actualizacion de codigos para lla implementacion de una base de datos.
 Creacion de un entorno de pruebas.
 Los procesos se orientan hacia el uso delas sentencias DML, para retomar el paso de datos
de la base de datos requeridas y de origen en la base de datos de destiono, atraves del
entorno administrativo de los SMBD.

Prcedimientos ETL

Las tecnicas se basan en el diseño y la construccion de procedimientos tecnicos para

realizar: “TELC”.

Los procedimientos o pasos necesarios para el desarrollo del proyecto de migracion de

datos utilizados la metodologia ETLC, son:

 procesos de extracion:

Para llevar a cabo de manera correcta el proceso de extracción, primera fase del ETL, hay
que seguir los siguientes pasos:

 Extraer los datos desde los sistemas de origen.

 Analizar los datos extraídos obteniendo un chequeo.
 Interpretar este chequeo para verificar que los datos extraídos cumplen la pauta o
estructura que se esperaba. Si no fuese así, los datos deberían ser rechazados.
 Convertir los datos a un formato preparado para iniciar el proceso de transformación.

 Procesos de transformación:

La fase de transformación de un proceso de ETL aplica una serie de reglas de negocio o

funciones sobre los datos extraídos para convertirlos en datos que serán cargados. Estas
directrices pueden ser declarativas, pueden basarse en excepciones o restricciones pero,
para potenciar su pragmatismo y eficacia, hay que asegurarse de que sean:

 Declarativas.
 Independientes.
 Claras.
 Inteligibles.
 Con una finalidad útil para el negocio.

 Procesos de caga:

Acumulación simple: esta manera de cargar los datos consiste en realizar un resumen de
todas las transacciones comprendidas en el período de tiempo seleccionado y transportar el
resultado como una única transacción hacia el data warehouse, almacenando un valor
calculado que consistirá típicamente en un sumatorio o un promedio de la magnitud
considerada. Es la forma más sencilla y común de llevar a cabo el proceso de carga.
Rolling: este proceso sería el más recomendable en los casos en que se busque mantener
varios niveles de granularidad. Para ello se almacena información resumida a distintos
niveles, correspondientes a distintas agrupaciones de la unidad de tiempo o diferentes
niveles jerárquicos en alguna o varias de las dimensiones de la magnitud almacenada (por
ejemplo, totales diarios, totales semanales, totales mensuales, etc.).

Herramientas ETL

 Ab Initio
 Benetl
 BITool – ETL Software
 CloverETL
 Cognos Decisionstream (IBM)
 Data Integrator (herramienta de Sap Business Objects)
 ETI*Extract (ahora llamada Eti Solution)
 IBM Websphere DataStage (antes Ascential DataStage)
 Microsoft Integration Services
 Oracle Warehouse Builder
 WebFocus-iWay DataMigrator Server
 Pervasive
 Informática PowerCenter
 Oxio Data Intelligence ETL full web
 SmartDB Workbench
 Sunopsis (Oracle)
 SAS Dataflux
 Sybase
 Syncsort: DMExpress.
 Opentext (antes Genio, Hummingbird).

Aplicación SMBD

 SQL SERVER INTEGRATION SERVICES:

El SSIS Import/Export Wizard permite mover datos de origen a destino sin modificar los
datos del origen y permitiendo hacer iteraciones y cambios de información antes de llegar
al destino dentro de tablas de ETL. Se pueden importar datos de fuentes diferentes a SQL
Server.

Con la herramienta Business Intelligence Development Studio, se pueden realizar tareas de

migración fácilmente usando tareas visuales. Si se desea crear nueva funcionalidad, se
pueden crear scripts en C# o Visual Basic.

Los paquetes, que son las unidades de almacenamiento de estas tareas de migración se
pueden guardar en archivos dtsx o en la base de datos en formato XML.
  Requisitos:

 Instalar en un equipo de 64 bits

 Instalar en un servidor dedicado para ETL
 Si requiere las características en tiempo de diseño de Integration Services,
también debe instalar Business Intelligence Development Studio.
 Si necesita las versiones de 32 bits de las herramientas y del motor en tiempo
de ejecución de Integration Services para ejecutar ciertos paquetes en modo
de 32 bits, también debe instalar Business Intelligence Development Studio.

Ventajas y desventajas

Precios y licencias de SQL SERVER 2008 R2

Ediciones
de SQL Modelo de Disponibilidad Precio de Open
Server 2008 Ideal para... licencia de canal No Level (USD)
Enterprise Rendimiento confiable y Licencias por
completo para satisfacer los volumen,
requisitos de base de datos hosting
y de Business Intelligence
más exigentes. Proporciona
los niveles de servicio y el
rendimiento más altos para
las cargas de trabajo de
nivel 1. Por núcleo 14.256 USD
Standard: Funcionalidad de Business Licencias por
por Intelligence y volumen,
volumen administración de datos hosting
básica para cargas de
trabajo que no son críticas,
con recursos de TI
mínimos. Por núcleo 3.717 USD
Standard - Funcionalidad de Business Licencias por
servidor + Intelligence y volumen,
CAL administración de datos hosting,
básica para cargas de minorista
trabajo que no son críticas, (FPP)
con recursos de TI
mínimos. Servidor + CAL 931 USD
Developer Versión completamente Por usuario Gratis
funcional de SQL Server
que permite a los
desarrolladores crear,
probar y demostrar
aplicaciones con software
de SQL Server de una Descarga
manera rentable. gratuita
Web Plataforma de datos segura, No aplicable Solo hosting Consulta los
rentable y altamente precios con tu
escalable para sitios web partner de hosting
públicos. Disponible solo
para proveedores de
servicios de software de
terceros.
Express Base de datos básica No aplicable Gratis
gratuita, ideal para aprender
y para crear aplicaciones de
escritorio y pequeñas
aplicaciones de servidor
controladas por datos de Descarga
hasta 10 GB. gratuita
 Otras comparativas de herramientas ETL
Informática PowerCenter
IBM Infosphere DataStage
Oracle Data Integrator
Microsoft SQL Server Integration
Services
SAP Data Services
SAS Data Manager
Este producto es posiblemente el producto de ETL más maduro
del mercado. Es parte de una gran cartera de productos, incluida
como plataforma de Informática. Informática es menos maduro
que otros productos para fuentes semiestructuradas y no
estructuradas
A diferencia de muchas otras herramientas ETL,
proporciona capacidades sólidaspara trabajar con
computadoras mainframe
Utiliza una arquitectura diferenciada frente a otros productos. En
lugar de realizar las transformaciones empleando el motor de la
propia herramienta ETL, a través de los recursos
de hardware, envía los datos al destino y luego realiza
las transformaciones utilizando el motor de la base de datos
Tiene un costo menor que otras herramientas ETL empresariales
y es bastante intuitiva y fácil de usar. Sin embargo, está limitada
a implementaciones bajo el sistema operativo de Windows
Es una herramienta ETL diseñada principalmente para mover
datos entre aplicaciones SAP. No tiene un uso amplio fuera de
estos entornos
SAS ha desarrollado un producto ETL con fuerte soporte para
Hadoop, transmisión de datos y aprendizaje automático