Actividad AA5-1: Conceptualización sobre Técnicas de migración y

herramientas ETCL

Programa: Gestión y Seguridad de Base de Datos – 1564956

Cuadrado Quiroz Jose Rafael
Cód.: 3839909

Introducción

El cuidado de la información siempre será considerado el principal activo de las

empresas, si las empresas pierden datos, pierden dinero, afectando su
competitividad y participación en el mercado, por lo que es de vital importancia que
al momento que los sistemas informáticos son reemplazados por nuevas
tecnologías, también se formalice el cuidado de datos procesados en los sistemas
anteriores.

La calidad de los datos puede ser la diferencia entre el éxito y el fracaso en una
empresa y debe ser un aspecto a evaluar a la hora de elegir entre las distintas
herramientas de migración de bases de datos del mercado. Cuando no se
administran correctamente los datos, su deterioro aumenta, y ello termina afectando
a la agilidad del negocio. Además, los problemas de calidad de datos pueden
conducir a violaciones de políticas o requerimientos legales que afecten a la imagen
corporativa. Calidad de datos es sinónimo de ventaja competitiva y hay que buscarla
y garantizarla en cada acción y proceso de la empresa.

El proceso de Migración de Datos es cada vez más utilizado y demandado, debido

a la necesidad de tomar los datos de unos repositorios y trasladarlos a otros más
eficientes, con mayores capacidades de almacenamiento, con mejores
mecanismos de seguridad y provistos de mejores posibilidades de explotación de
la data1. En el siguiente informe se identifican algunas Técnicas de migración y
herramientas ETCL y los procesos utilizados para una migración exitosa de datos
sin perdida y duplicidad.

1
Elmasri, R Navathe, S.B. Fundamentos de sistemas de bases de datos. 3ª e. Madrid, Pearson Educación, 2002.
MIGRACION EXITOSA DE DATOS

La migración de datos es un proceso que se hace para transferir los datos de un

sistema a otro mientras se cambia el sistema de almacenamiento donde se
encuentran los datos, o bien mientras se practican las modificaciones necesarias en
la base de datos o la aplicación que los gestiona; dicho en otras palabras la
migración de datos es el proceso mediante el cual realizamos una transferencia de
datos de unos sistemas de almacenamiento de datos a otros, de unos formatos de
datos a otros o entre diferentes sistemas informáticos2.

Técnicas de Migración de Datos

Planeación

Lo más importante al migrar una BD, es llevar a cabo un proceso de planeación y

análisis del trabajo, puesto que aunque pareciera tomarse algún tiempo adicional,
este será retribuido en el éxito de la operación y menos costos por errores de datos.
Es importante que esto sea aplicado cuando la Base de Datos destino esta en
producción.
Contador de registros

Si la migración se realiza de forma manual, mediante alguna consulta de inserción

es recomendable inicializar un contador para cada registro insertado con éxito y otro
para los no insertados, así obviamente, la suma de ambos debe ser igual a los
registros originales.
Mapeador de Tipos de datos

Algunas plataformas no soportan algunos tipos de datos, así que es necesario que
planificar el mapeo de los campos en la nueva base de datos.
Restricciones y Trigers

Antes de iniciar la migración de la BD, es recomendable deshabiliatar los Trigers y/o

restricciones que nos puedan generar error al momento que el DBMS ejecute el
proceso de escritura de los datos.
Codificación de Caracteres

Cuando el copiado se realiza de forma automática, es necesario identificar la

codificación de caracteres que la BD destino espera, pues así evitaremos el
reemplazo automático de caracteres o en su caso perdida de los mismos

2
https://www.powerdata.es/migracion-de-datos
Técnicas existentes de Migración

 Sincronización de Base de Datos

 Importación/Exportación de Archivos
 Sentencias DML
 Procedimientos ETCL

Estas últimas son muy adecuadas para la tarea de migrar datos de una base de
datos a otra, estando su uso aún más indicado en proyectos en que existen pocas
conexiones entre origen y destino.

En los casos en que, además de ejercer la función de almacenamiento de datos, la

base de datos represente también la lógica empresarial en forma de procedimientos
almacenados y disparadores, realizar un estudio de viabilidad de la migración a la
base de datos de destino, podría ser la acción más indicada. De esta forma, si se
demostrase que la base de destino no admite algunas de las características, todavía
se estaría a tiempo de implementar cambios en las aplicaciones o en el software
middleware.

HERRAMIENTAS ETCL
Existen muchas herramientas de ETCL diferentes, como también hay infinidad de
bases de datos, sistemas y organizaciones distintas. En el momento de
seleccionar la que liderará la migración e integración de datos pueden tomarse en
consideración las recomendaciones de Gartner en cuanto a las cualidades que la
herramienta ha de presentar:

 Adaptabilidad a distintos sistemas operativos y plataformas hardware.

 Capacidades de gestión de datos: en cuanto a minería, perfilado y calidad.
 Habilidades para monitorizar, gestionar y controlar los procesos de
integración de datos: en lo relativo a gestión de errores, recolección de
estadísticas de ejecución, controles de seguridad, etc.
 Capacidades SOA.
 Capacidades de diseño y entorno de desarrollo: como soporte para test,
representaciones gráficas, modelos y flujos de datos y flujos de datos, etc.
 Cualidades de arquitectura e integración referidas al grado de
interoperabilidad, compactación y consistencia de los diferentes
componentes que la formen.

Aunque la elección de un software de ETCL no es sencilla, su repercusión en el

curso del proyecto es decisiva. Una decisión correcta pasa por la automatización y
en base a ella quedan garantizados:
  Un aumento en la velocidad de desarrollo del proyecto.
 La descentralización del control de la ejecución y de todos los procesos.
 Una mayor agilidad en el negocio.
 Mayor precisión.
 Minimización de errores.
Herramienta IBM Cognos Data Manager3
Características:

 IBM® Cognos Data Manager proporciona funciones dimensionales de

extracción, transformación y carga (ETL) para conseguir una inteligencia
empresarial de alto rendimiento.
 Se puede integrar con la GUI de IBM Data Manager Designer para diseñar y
crear prototipos
 Se pueden ejecutar compilaciones y secuencias de trabajos en sistemas
remotos desde un sistema de entorno de diseño de Data Manager.
 Data Manager Engine se tiene que instalar en un sistema UNIX o Linux.

Componentes de IBM Cognos Data Manager

Data Manager Engine

Data Manager Engine está formado por diversos programas que se pueden
ejecutar desde Data Manager Designer (en Windows®) o directamente en la
línea de mandatos (en Windows®, UNIX®, o Linux®). En la mayoría de
aplicaciones, se pueden diseñar y crear prototipos mediante Data Manager
Designer en un sistema Windows. Data Manager Engine se puede instalar en
los sistemas Windows, UNIX, o Linux.
Data Manager Designer
En Data Manager Designer, se utilizan compilaciones para especificar un
conjunto de reglas de proceso que determinan cómo Data Manager adquiere
datos desde las bases de datos de origen, los transforma y los entrega a la base
de datos de destino. Esta información se almacena en un catálogo de Data
Manager. Data Manager Designer sólo se puede instalar en los sistemas
Windows.

3
https://www.ibm.com/support/knowledgecenter/es/SSRL5J_1.0.0/com.ibm.rational.raer.overview.doc/top
ics/c_datamanager.html
 Data Movement Service

Puede utilizar Data Movement Service para ejecutar y planificar compilaciones y

secuencias de trabajos en sistemas remotos mediante Cognos Connection, la
interfaz de usuario para Cognos 8. Para utilizar Data Movement Service, Cognos
8 debe estar instalado en el entorno y Data Manager Engine debe estar instalado
en la misma ubicación que los componentes del servidor de Cognos 8.
Data Manager Network Services

Se utiliza Data Manager Network Services para ejecutar compilaciones y

secuencias de trabajos en sistemas remotos desde un sistema de entorno de
diseño de Data Manager. Por ejemplo, si ha instalado Data Manager Engine en
un sistema UNIX o Linux, también puede instalar el servidor de Data Manager
Network Services para que se puedan ejecutar compilaciones y secuencias de
trabajos en dicho servidor desde Data Manager Designer. Data Manager
Network Services incluye un componente de servidor que debe instalarse con
Data Manager Engine. El servidor permite establecer comunicación, ya sea
directamente mediante una conexión de socket o mediante un servidor de
aplicaciones, entre Data Manager Designer y Data Manager Engine.

IBM Cognos Data Manager Versions

Cognos Planning - Analyst4

Puede acceder a datos de plan publicados en IBM Cognos BI mediante el

asistente para Generar modelo de Framework Manager, que requiere IBM
Cognos Planning - Analyst 7.3 MR1 o posterior. Si se desea utilizar este producto
con el servidor IBM Cognos BI, debe asegurarse de que los dos productos
corresponden a la misma versión.
Cognos Planning - Contributor

Puede acceder (en tiempo real) a cubos no publicados de Contributor en IBM

Cognos BI mediante la instalación personalizada del componente de IBM
Cognos BI - Contributor Data Server que se incluye en la versión IBM Cognos
Planning - Contributor 7.3 MR1 o posterior. Puede acceder a datos de plan
publicados en IBM Cognos BI con la extensión de administración de Contributor
Generar modelo de Framework Manager, que requiere IBM Cognos Planning -
Contributor 7.3 MR1 o posterior.

4
https://www.ibm.com/support/knowledgecenter/es/SSEP7J_10.2.0/com.ibm.swg.ba.cognos.crn_arch.10.2.
0.doc/c_interop_interoperability.html
Si desea utilizar este producto con el servidor IBM Cognos BI, debe asegurarse
de que los dos productos corresponden a la misma versión. No puede instalar
IBM Cognos Planning en la misma ruta que IBM Cognos BI de 64 bits.

Cognos Finance

Puede acceder a cubos de IBM Cognos Finance que están protegidos contra un
espacio de nombres de Series 7 mediante el servicio IBM Cognos Finance
Network API. También puede exportar datos y metadatos de IBM Cognos
Finance para utilizarlos en Framework Manager.
Cognos Controller

Puede acceder a IBM Cognos BI para crear informes estándar de IBM Cognos
Controller mediante un modelo predefinido de Framework Manager que se crea
cuando se instala IBM Cognos Controller. También puede acceder a datos y
estructuras publicados de Controller en Framework Manager para la creación de
informes y análisis personalizados. Si se desea utilizar este producto con el
servidor IBM Cognos BI, se debe asegurar que los dos productos corresponden
a la misma versión.
Cognos Transformer

Puede utilizar modelos de IBM Cognos PowerCubes y Transformer que se han

generado con Transformer 7.3 o posterior directamente en IBM Cognos BI. Los
cubos y modelos son compatibles con las versiones posteriores y no requieren
herramientas de migración o actualización. Puede ejecutar informes y análisis
en IBM Cognos BI de IBM Cognos PowerCubes.

Si se desea utilizar las nuevas características de integración de Transformer con

IBM Cognos BI, se puede actualizar modelos de IBM Cognos Series 7.x
Transformer a IBM Cognos BI Transformer 8.4 o posterior. Esto le permite utilizar
orígenes de datos de IBM Cognos BI (como paquetes publicados), enumerar
informes creados en Query Studio o Report Studio, autenticar utilizando la
seguridad de IBM Cognos BI y publicar directamente en IBM Cognos
Connection.

Antes de cargar el modelo, hay que configurar el espacio de nombres de IBM

Cognos Series 7 en IBM Cognos BI. El identificador de nombre que se utiliza
para configurar el espacio de nombres en IBM Cognos BI debe coincidir con el
nombre utilizado en IBM Cognos Series 7. Para obtener más información acerca
de la configuración de un espacio de nombres de IBM Cognos Series 7 en IBM
Cognos Data Manager

Data Manager sirve para crear almacenes de datos y repositorios de datos para
la creación de informes, el análisis y la administración del rendimiento. Al instalar
Data Manager en su entorno de IBM Cognos BI, puede utilizar el servicio de
movimiento de datos para ejecutar compilaciones y flujos de trabajo en IBM
Cognos Connection. Debe instalar Data Manager Engine en la misma ubicación
que los componentes de nivel de aplicación de IBM Cognos BI. Tanto Data
Manager como IBM Cognos BI deben pertenecer a la misma versión.
Cognos Analytic Applications

IBM Cognos Analytic Applications es una solución de gestión del rendimiento

que incluye un almacén de datos rellenado, paquetes que describen los datos
disponibles en el almacén de datos y un conjunto de informes predefinidos. IBM
Cognos Analytic Applications Workbench es una solución de gestión del
rendimiento que incluye datos de ejemplo de inteligencia empresarial con los
que puede crear aplicaciones y archivos de origen de documentación que puede
modificar para producir su propia documentación personalizada para el
producto.

Algunos componentes de IBM Cognos Analytic Application están disponibles

para su instalación en sistemas de 64 bits. Los directorios de instalación
predeterminados para las instalaciones de 64 bits son distintos de los directorios
de instalación predeterminados para las instalaciones de 32 bits.
Independientemente de si va a instalar todos los componentes de servidor juntos
en un único servidor o en varios servidores, los componentes de 32 bits y los de
64 bits deben encontrarse en directorios distintos.
Cognos Mobile

Con IBM Cognos Mobile puede acceder a los informes que se han creado con
Analysis Studio, Report Studio, Query Studio y a los espacios de trabajo creados
en IBM Cognos Workspace desde un dispositivo móvil (como una Blackberry) o
una tableta.
Cognos Lifecycle Manager

Lifecycle Manager es una aplicación basada en Windows para auditar

actualizaciones de ReportNet 1.1 MR3 o MR4 y versiones anteriores de IBM
Cognos BI a versiones más recientes de IBM Cognos BI. Proporciona una
característica de verificación que valida, ejecuta y compara los resultados de
informes desde dos versiones diferentes de IBM Cognos BI. Esto permite
identificar problemas de actualización y de compatibilidad entre las dos
versiones. El diseño de la interfaz de usuario y la funcionalidad de creación de
informes de estado proporcionan un proceso de prácticas recomendables y
soporte para actualizar la planificación de proyectos y los informes de estado.
Asimismo, Lifecycle Manager automatiza la mayoría de los procesos de
recopilación de los archivos necesarios, como los informes y los modelos, para
el caso de prueba.
Cognos BI Business Viewpoint Studio

IBM Cognos BI Business Viewpoint Studio le ofrece una versión de las

dimensiones reales que se utilizan en los procesos de gestión del rendimiento
en las empresas. Con Business Viewpoint Studio dispone de un proceso
empresarial controlado, colaborativo y orientado al flujo de trabajo para gestionar
tanto los cambios manuales como los automáticos en todos los datos
relacionados con el modo que tienen las empresas de analizar y gestionar sus
negocios. Tanto IBM Cognos BI Business Viewpoint Studio como IBM Cognos
BI deben tener la misma versión.
Cognos Content Archival

Con IBM Cognos Content Archival, puede almacenar versiones de salida de

informe y sus especificaciones de informe de origen en un repositorio de
archivado de contenido externo. Esto mejora el rendimiento del sistema y amplía
la escalabilidad del producto de IBM Cognos, pues reduce el tamaño del
almacén de contenido, a la vez que contribuye a garantizar el cumplimiento de
los estrictos requisitos relacionados con la normativa. IBM Cognos Content
Archival da soporte a un IBM FileNet® Content Manager con el repositorio
externo de IBM FileNet CMIS.
Cognos TM1

IBM Cognos TM1 integra planificación empresarial, medición del rendimiento y

datos operativos para que las empresas puedan optimizar la efectividad de sus
negocios y la interacción con los clientes, con independencia del área geográfica
o estructura. Cognos TM1 proporciona visibilidad inmediata de los datos,
responsabilidad dentro de un proceso colaborativo y una visión coherente de la
información, lo que permite a los directores estabilizar rápidamente las
fluctuaciones operativas y aprovechar las nuevas oportunidades.
Herramienta Oracle Database 11g: Oracle Warehouse Builder Enterprise etl
Option
Características:

 La opción empresarial ETL (Enterprise ETL Option) para Warehouse Builder

es una opción que puede ser adquirida con Oracle Warehouse Builder como
parte de la edición empresarial del motor de base de datos.
 Permite ejecutar cargas de datos usando métodos rápidos y eficientes tales
como el Oracle Data Pump y transportable tablespaces.
 Permite prever el efecto que puedan tener los cambios que se hagan en
cualquier lugar de los metadatos del sistema ETL
 Es posible generar un modelo para configurar los ambientes de desarrollo,
pruebas y producción a niveles separados.
Oracle Warehouse Builder 11g Release 1 es una completa herramienta para
todos los aspectos de administración de datos y metadatos. Esta brinda
características para asegurar la calidad de datos, que integran el modelado
relacional y multidimensional y que permiten la administración de todo el ciclo de
vida de datos y metadatos5.

Enterprise ETL Option. La opción empresarial ETL (Enterprise ETL Option)

para Warehouse Builder es una opción que puede ser adquirida con Oracle
Warehouse Builder como parte de la edición empresarial del motor de base de
datos (Oracle DB Enterprise Edition).

Una de las características más interesantes del nuevo rendimiento de Oracle

Database 11g son vistas materializadas basadas en OLAP. Los métodos
convencionales para el ajuste del desempeño para esquemas de estrella dentro
de los almacenes de datos han implicado durante mucho tiempo el uso de tablas
de resumen (o vistas materializadas). Con este enfoque, el rendimiento de las
consultas se ve mejorado al calcular previamente uno o más resúmenes y al
almacenar esos resúmenes en el almacén de datos6

El tamaño de los almacenes de datos más grandes está creciendo

exponencialmente. En la actualidad, cada vez más procesos de negocios se
vuelven completamente automatizados y se recopilan más datos con mayores
niveles de detalle, de manera que estos aumentos en el volumen de datos no
muestren signos de reducción. Oracle Database 11g ofrece cuatro capacidades

5
http://www.oracle.com/technetwork/es/documentation/317509-esa.pdf
6
http://www.oracle.com/technetwork/es/database/enterprise-edition/documentation/database-11g-
warehousing-y-bi-426655-esa.pdf
clave para permitir la escalabilidad: Particionamiento, compresión, agrupamiento
en clusters y paralelismo.

Otras Herramientas de Migración de Base de Datos

Data Quality de Informática

Las principales características de una de las mejores herramientas de migración

de bases de datos del mercado, la solución Data Quality de Informática son:

 Análisis de datos: desde una interfaz de autoservicio que facilita un acceso

sencillo para la gestión el ciclo de vida del dato al completo.

 Descubrimiento de negocio: proporcionando la capacidad de visualizar todos

los datos, con sus relaciones e interconexiones, para alcanzar una visión
completa del negocio.

 Descubrimiento de datos: facilita las tareas de búsqueda de datos, términos

de negocio, definición de reglas y perfiles; aportando una perspectiva única
sobre sus relaciones.

 Perfilado de datos: permite analizar todos los datos del negocio en función
de su estructura, relevancia o completitud, facilitando la detección de
problemas de calidad y la creación de políticas y reglas aplicables en todo el
negocio para velar por la consistencia de los datos. Esta funcionalidad debe
ser requisito imprescindible a la hora de elegir entre las distintas herramientas
de migración de bases de datos.

 Construcción de reglas de calidad: provee una política top-down que permite

concentrarse en las definiciones lógicas y objetivos de negocio sin necesidad
de acceder a los datos.

 Creación del glosario de negocio: hace posible crear un diccionario común

de negocio que aclare conceptos y contextos. Además, es posible indexarlo
a los metadatos técnicos subyacentes para facilitar la documentación de
relaciones semánticas y el trazado de dependencias.

 Gestión de metadatos y linaje de datos: crea un marco de referencia para os

datos, capturando detalles que dan soporte a los sistemas informacionales
corporativos.
 Transformaciones de calidad de datos: que incluyen todos los
procedimientos necesarios para asegurar la calidad de los datos, tanto en
una migración de datos como en otros procesos de negocio. Entre las más
destacables se encuentran la estandarización, el matching, el parsing, el
enriquecimiento o la validación de datos.

 Formación en modo de autoservicio: cuenta con una biblioteca de libros

explicativos que ayudan a optimizar el aprovechamiento de sus productos.
Data Integration Hub

La solución Data Integration Hub proporciona excelentes resultados en la

integración de datos complejos, algo necesario ya en muchas empresas puesto
que, incluso los entornos de integración de datos empresariales a gran escala
mejor administrados aumentan de complejidad con el tiempo, dificultando la
tarea de descubrir errores e inconsistencias. Aspecto crítico en cualquier
migración de datos que se planee llevar a cabo si se quiere garantizar la solidez
y calidad en los resultados.

Los beneficios que esta solución de integración, indispensable en cualquier

herramienta de migración de bases de datos, aporta son de gran valor para el
negocio:

 Garantía de independencia en las aplicaciones: que consigue que

operaciones como una migración de datos, su actualización o su traslado a
la nube-todo se tornen mucho más simples, disminuyendo drásticamente la
tasa de errores y el tiempo empleado para su consecución.
 Aumento sustancial de los niveles de productividad de TI: llegando a
alcanzar cifras de hasta un setenta por ciento menos de interfaces en
grandes implementaciones.
 Aseguramiento del control total: tanto sobre el linaje de los datos, como sobre
su trazabilidad y seguridad.
 Dirección efectiva del negocio: capacidad de tomar posesión de la lógica de
negocio sin la necesidad de esperar a las respuestas o soluciones por parte
de TI.
 Habilitación TI: la solución aporta la capacidad para diseñar y gestionar el
flujo y consumo de información de forma que se traduzca inmediatamente en
ventaja competitiva distintiva de las empresas que saben tomar acción con
agilidad.
Data Integration Hub se diferencia de otras herramientas de migración de bases
de datos del mercado por su flexibilidad y su coherencia. Permite, además,
disminuir la complejidad general de una operación de migración de datos y
garantizar agilidad en los procesos.