🚀PROMO #PLANCARRERA2024 - 🔥Bonificaciones, Precios Congelados y Cuotas

 X 

✒️SAP BI / BW BO Introducción al ETL

SAP BI / BW BO Introducción al ETL

SAP BI / BW BO Introducción al ETL

ETL

Es el proceso que permite a las organizaciones mover datos desde múltiples fuentes, reformatearlos y limpiarlos, y cargarlos en otro repositorio para apoyar procesos de negocios.Su abreviación, significa: Extracción, Transformación y Carga (Load en inglés).

Esto se debe, a que se extraen los datos de una fuente. Se transforman o modelan de acuerdo con las necesidades del negocio, y se cargan en un destino para poder ser mostrados a través de una herramienta de reporting.

Mediante Los procesos ETL los cuales se extrae información de uno o varios orígenes de datos. Ésta se transforma para adaptarla a las necesidades del negocio y posteriormente se carga en un sitio compartido para su consulta por todas las partes interesadas.

Una de las características más importantes del sistema ETL es que permite integrar en un entorno homogéneo aquellos datos de orígenes heterogéneos. Sin embargo, la configuración del flujo de trabajo tiene un cierto nivel de complejidad y un proceso ETL mal diseñado puede causar problemas operacionales de un coste muy elevado.

¿Por qué son importantes los procesos ETL?

Los procesos ETL son la principal fuente de información para la capa de negocios de la empresa. A veces, la única. Estos procesos permiten que los gerentes tengan un panorama claro, detallado y profundo de la gestión empresarial. Y gracias a esta información, en una fase posterior de análisis, se pueden detectar patrones y tendencias sobre las que tomar decisiones estratégicas de alto impacto.

Sin embargo, los datos por sí solos no aportan valor alguno, pues éstos son recogidos en un estado bruto, que no permiten ni lectura ni análisis por parte de las personas. Para que los datos puedan ser valiosos, deben ser procesados y transformados desde su estado bruto a un estado legible y práctico. Aquí es donde entra en juego el proceso ETL.

Por ejemplo, un historial de compras de un cliente está conformado, entre otros puntos, por la siguiente información:

  • Datos de contacto del cliente y otros datos relevantes.
  • Listado con los artículos adquiridos.
  • Detalles sobre dichos artículos: descripciones, precios, cantidades, etc.
  • Importe final de cada pedido.
  • Estado transaccional de los pedidos (en curso, finalizados, anulados, etc.).

Para que el historial de compras pueda brindar toda esta información de manera clara y legible, el proceso ETL tiene que intervenir para obtener y procesar los datos en bruto hasta adaptarlos a los formatos adecuados. Esto es debido a que los datos no se almacenan en los sistemas de la organización tal cual se muestran en el historial.

Si un gerente quiere consultar el historial de un único cliente, el sistema debería limitar su búsqueda a esos únicos datos (entre la ingente cantidad que maneja la empresa), realizar cálculos, seleccionar los campos que se van a mostrar en la plantilla del historial y darles el formato indicado para su presentación.

Fases de un proceso ETL

1. Extracción (extract)

La primera fase de un proceso ETL es la de extracción de datos. En ésta se obtiene la “materia prima” con la que se trabajará en las siguientes dos fases, hasta conseguir una utilidad práctica.

La mayoría de los proyectos que se realizan para generar un Datawarehouse obtienen datos provenientes de diferentes. Cada uno de estos sistemas por separado puede tener almacenados de una manera diferente sus datos, esto significa que puede tenerlos en ficheros Excel, en texto plano, en ficheros XML, en bases de datos relacionales, entre otros.

La extracción busca en un primer momento obtener los datos y dejarlos listos para que se les pueda aplicar algún proceso de transformación. Una parte muy importante en este proceso es que se deben analizar los datos a extraer para determinar cuáles son los que nos serán útiles y cuáles no, para de esta manera rechazar los que no utilizaremos y evitar datos innecesarios en nuestro sistema.

Otro ítem muy importante al momento de realizar el análisis de la extracción que vamos a realizar es el de determinar el impacto que puede generar esta extracción en el sistema fuente, ya que podría perjudicar a los sistemas transaccionales y por lo tanto complicar la operatoria diaria de la empresa.

Los datos provienen de distintos orígenes y fuentes: registros de sistema, CRM, puntos de venta y dispositivos utilizados, entre otros. Es muy probable que estas fuentes sean heterogéneas, por ello los datos deben ser normalizados. También se deben compaginar en estructuras comunes aquellos datos que contengan el mismo tipo de información, aunque provengan de orígenes distintos.

El objetivo de la fase de extracción es sintetizar toda la información en una o varias estructuras comunes en las que se almacenen los datos normalizados, dejándolos completamente homogeneizados, organizados y listos para la fase de transformación. Es posible que en esta primera etapa se ejecuten algunas transformaciones propias del origen de datos. El objetivo es que estos queden optimizados para la etapa de transformación.

Un ejemplo de extracción sería un fichero de datos de ventas agregados por meses y departamentos, una fila por cada departamento y una columna por cada mes, es decir, cada nuevo mes se añadiría una columna. Este formato es adecuado para tratar ficheros manuales pero muy poco eficiente para una base de datos.

Por otra parte, en esta fase técnica se desarrolla la mayoría de las operaciones de I/O (entrada/salida), que suelen ser bastante costosas.

2. Transformación (transform)

En la fase de transformación es cuando aportamos valor a los datos obtenidos en la fase de extracción. Es donde radica el fundamento del proceso ETL. El proceso de transformación busca adaptar los datos extraídos en datos que finalmente serán cargados en el Datawarehouse.

Estas transformaciones serán adaptaciones de los datos basándose en reglas preestablecidas del negocio.

3. Carga (load)

La tercera y última fase es la carga. Es cuando el sistema recibe los datos debidamente procesados y los almacena en el destino que se haya definido. En esta etapa también se aísla a la fase de transformación de posibles cambios en el destino.

El proceso de carga es el proceso en el cual los datos pasan por la fase de Transformación y son cargados en nuestro sistema. Existen diferentes maneras de cubrir los requerimientos, por ejemplo, en algunos casos se sobre escriben los datos que se obtienen y en otros se va almacenando un historial de los registros de forma que se pueda conocer como fue variando un determinado valor a lo largo del tiempo.

Las cargas pueden ser realizadas de 2 maneras:

  1. Cargas Full: Este tipo de cargas generalmente se realizan inicialmente y es cuando queremos que pasen todos los datos de la fuente al destino.
  2. Cargas Delta: Con este tipo de cargas sólo traeremos a nuestro sistema los datos que aún no fueron almacenados. Las cargas deltas son imprescindibles, ya que sin ellas todas las veces que realizamos una carga, sobrecargaría al sistema fuente con esta solicitud.

Por ejemplo, es posible que inicialmente el resultado de la ETL se almacene en un fichero para que sea utilizado por la capa de negocio, pero más adelante se decida almacenar esos resultados en una base de datos.

En determinados entornos, cuestiones como la definición, validación o implementación de un modelo de datos y de procesos de ingesta pueden durar meses. Por eso, la capa de negocio puede obtener gran valor al contar con la posibilidad de generar resultados inmediatos en ficheros y, más adelante, almacenarlos en base de datos al cambiar solo la fase de carga.

SAP BI BW ETL CONCEPTO

Es un proceso de extracción, transformación y carga (ETL, por sus siglas en inglés) necesario en todo proyecto de implementación de un Datawarehouse.

Consiste en tres tareas principales:

  • 1. la extracción cuyo propósito es obtener los datos desde los sistemas de origen (generalmente sistemas transaccionales) con la premisa de causar un impacto mínimo en el sistema origen.
  • 2. La transformación consiste en aplicar una serie de reglas de negocio o funciones sobre los datos extraídos para convertirlos en datos que serán cargados luego en Datawarehouse.
  • 3. La carga es el momento en el cual los datos resultantes de la tarea de transformación son cargados en el sistema de destino, generalmente un Datawarehouse.

SAP BW cumple ampliamente con este proceso de forma eficiente y eficaz sobre sistemas fuentes SAP, pero también para cualquier otro tipo de sistema origen.

Metodología de desarrollo flexible y ágil en procesos ETL

Las tres fases pueden desarrollarse de forma integrada, especialmente cuando los procesos ETL no son complejos. No obstante, desarrollarlas de forma flexible e independiente aporta las siguientes ventajas:

  • Es posible asignar cada fase a equipos distintos para acortar plazos de trabajo.
  • El desarrollo de cada etapa se puede hacer con diferentes tecnologías.
  • Los cambios que afecten a una fase (por ejemplo, el cambio en el origen de los datos) se pueden aislar del resto de fases.
  • Se pueden hacer pruebas en cada etapa por separado, puesto que solo se verá afectada la etapa en la que se está introduciendo la prueba.
  • El trabajo hecho para un proceso ETL puede ser reutilizado para otros procesos ETL, especialmente las fases de extracción y carga.
  • La capa de negocio se puede implicar en la fase de transformación, con el objetivo de definir la lógica del sistema ETL, sin tratar cuestiones técnicas que quedan aisladas en la fase de extracción y dificultarían la compresión de la capa de negocio.
  • Los resultados pueden ser generados a corto y largo plazo sin que ello afecte a la lógica del proceso ETL, realizando cambios únicamente en la fase de carga.

Es importante aplicar un enfoque de desarrollo flexible, pues, su mayor importancia está en poder implicar a la capa de negocio en la definición de la lógica ETL con el fin de generar resultados a corto plazo, sin necesidad de involucrarse en cuestiones técnicas.


 

 

 


Sobre el autor

Publicación académica de David Pérez Cogolludo, en su ámbito de estudios para la Carrera Consultor en SAP BI / BW BO.

SAP Master

David Pérez Cogolludo

Profesión: Business Intelligence Analyst - Austria - Legajo: JZ19A

✒️Autor de: 75 Publicaciones Académicas

🎓Egresado de los módulos:

Presentación:

Interesado en profundizar cocimientos en la analítica de negocios para afrontar nuevos retos y desafíos profesionales.

Certificación Académica de David Pérez

✒️+Comunidad Académica CVOSOFT

Continúe aprendiendo sobre el tema "Introducción al ETL" de la mano de nuestros alumnos.

SAP SemiSenior

En esta lección se hace una introducción al proceso ETL. Consiste en un flujo de datos que va desde la extracción de la información, su transformación en un formatoestándar y su carga al datawarehouse. a. Proceso de extracción: - Distintas fuentes. Determinar el impacto b. Proceso de transformación: - Se estandarizan los datos para que puedan ser manipulados. c. Proceso de carga. - Se sube la información al sistema datawarehouse. Se sube mediante carga full (completa y se usa a las primeras veces) y cargas delta (modificaciones sobre las cargas iniciales)

Acceder a esta publicación

Creado y Compartido por: David Antonio Montoya Morales

*** CVOSOFT - Nuestros Alumnos - Nuestro Mayor Orgullo como Academia ***

Unidad 2 - Introducción al ETL ETL = Extracción / Transformación / Carga (Load) 1.- Proceso de Extracción: Es el paso en que se extraen los datos desde diferentes sistemas de información. Estos datos pueden estar almacenados en diferentes formatos (excel, txt, xml, bd transaccional...) y se dejan preparados para que se pueda aplicar algún proceso de transformación. En este paso es necesario hacer un estudio previo para discernir los datos que nos interesan y despreciar los que no serán de utilidad. 2.- Proceso de transformación: Es el paso en que se adaptan los datos extraídos, aplicando reglas de negocio, para cargarlos al DW. Algunas de las adaptaciones que se suelen...

Acceder a esta publicación

Creado y Compartido por: Carme Vicens Paul

*** CVOSOFT - Nuestros Alumnos - Nuestro Mayor Orgullo como Academia ***

SAP Junior

Unidad 2. El proceso ETL 2.1 Introducción al ETL El ETL también es llmado fujo de datos y son los pasos que se deben seguir para que los datos sean extraidos, transformados y cargads al sistema SAP. Paso 1 . Extracción: esta es la primera parte del proceso de ETL y busca principalmente obtener los datos y dejarlos listos para poder realizarles el proceso de transformación. En la extracción es importate hacer la selección de los datos que se van a utilizar para no tener datos innecesarios en el sistema fuente. Paso 2. Transformación: Busca adaptar los datos exraidos en los datos que finalemnete seran cargados en el Datawarehouse. En las trasnfomaciones se puede dar las siguientes modificaciones:...

Acceder a esta publicación

Creado y Compartido por: Claudia De La Hoz / Disponibilidad Laboral: PartTime

*** CVOSOFT - Nuestros Alumnos - Nuestro Mayor Orgullo como Academia ***

SAP Master

Unidad 2: Introducción al ETL 1. Proceso ETL ETL también llamado flujo de datos, son los pasos que debe seguir la informacion (datos) contenbida en los sistemas fuentes (SAP y NO SAP), para que la misma sea extraida, transformada y cargada a nuestro sistema SAP BI El flujo seria: FUENTES / area Staging / transformaciones / cargas (ODS y Cubos) 2. Proceso de Extracción: La extracción puede ser de diferentes sistemas. (SAP y NO SAP) El almancenamiento puede hacerse desde archivos excel, en texto plano, en ficheros XML, en bases de datos relacionales, entre otros. La idea es obtener los datos y dejarlos listos para que se pueda aplicar algún proceso de transformación. Se deben analizar los datos a extraer...

Acceder a esta publicación

Creado y Compartido por: Vanessa Cristal Vera

*** CVOSOFT - Nuestros Alumnos - Nuestro Mayor Orgullo como Academia ***

SAP Senior

Introducción a ETL Proceso ETL El proceso ETL también se lo denomina flujo de datos, que son los pasos que deben seguir los datos en su estado inicial (Sistema fuente) para que sean extraidos, transformados y finalmente cargados en nuestro sistema SAP BI. Proceso de Extracción La primera parte del proceso ETL consiste en extraer los datos desde los sistemas de origen. Los proyectos que se realizan para generar un Datawarehouse extraen datos de diferentes sistemas y estos están almacenados de maneras diferentes como por ejemplo Excel, xml bases de datos. Proceso de Transformación Busca adaptar los datos extraídos en datos que finamente sean cargados en el Datawarehouse. Estas transformaciones serán...

Acceder a esta publicación

Creado y Compartido por: Daniel Fernando Yanez Guevara

*** CVOSOFT - Nuestros Alumnos - Nuestro Mayor Orgullo como Academia ***

SAP SemiSenior

INTRODUCCIÓN ETL Proceso ETL Son los pasos que debe seguir los datos en su estado inicial para que sean extraídos, transformados y cargados a SAP BI Proceso de Extracción La primer parte del proceso de ETL consiste en extraer los datos desde el sistema de origen. La mayoría de los proyectos obtienen datos provenientes de diferentes sistemas y cada uno puede almacenarlos de una manera diferente, es decir en excel, txt, xml, etc. La extracción busca en primer momento obtener los datos y dejarlos listos para que se les pueda aplicar un proceso de transformación, por lo tanto se debe determinar cuáles serán útiles y cuales no y de esta manera evitar datos innecesarios...

Acceder a esta publicación

Creado y Compartido por: Cesar Augusto Bedoya Gomez / Disponibilidad Laboral: FullTime

*** CVOSOFT - Nuestros Alumnos - Nuestro Mayor Orgullo como Academia ***

SAP Senior

Audio de Procesos de Carga: Unidad 2: Ventajas que vienen de la mano del Flujo de Datos de la Versión 7.0 ü Mejora de Performance en las cargas. Ya que se pueden paralelizar los procesos ü Hacer más sencillo el proceso de creación., mantenimiento del flujo desde la Fuente de datos , pasando por la Transformación hasta el Destino de Datos, ü Y la mejora en el manejo de errores en caso de detectar registros erróneos en la PSA.

Acceder a esta publicación

Creado y Compartido por: Eugenia Saucedo

*** CVOSOFT - Nuestros Alumnos - Nuestro Mayor Orgullo como Academia ***

Proceso ETL ETL - este termino viene de ingles de las siglas Extract-Transform-Load que significan Extraer, Transformar y Cargar y se refiere a los datos en una empresa. ETL es el proceso que organiza el flujo de los datos entre diferentes sistemas en una organización y aporta los métodos y herramientas necesarias para mover datos desde múltiples fuentes (externas), a un almacén de datos, reformatearlos, limpiarlos y cargarlos en otra base de datos, data mart ó bodega de datos. ETL forma parte de la Inteligencia Empresarial (Business Intelligence), t La idea es que una aplicación ETL lea los datos primarios de unas bases de datos de los sistemas principales, realice transformación, validación,...

Acceder a esta publicación

Creado y Compartido por: Guillermo Lozada Yanguas

*** CVOSOFT - Nuestros Alumnos - Nuestro Mayor Orgullo como Academia ***

SAP SemiSenior

ETL = flujo de datos, son los pasos que deben seguir los datos en su estado inicial para que sean extraídos, transformados y finalmente cargados al sistema SAP BI PROCESO DE EXTRACCIÓN, La primera parte del proceso ETL consiste en extraer los datos des el sistema origen La mayoría de los proyectos que se realizan para generar un Datawarehouse obtienen los datos provenientes de diferentes sistemas Cada uno de estos sistemas por separado puede tener almacenados de una manera diferente sus datos esto significa que puede tenerlo en ficheros Excel, en texto plano, en ficheros xml, en base de datos relacionales, entre otros La extracción busca en un primer momento obtener los datos y dejarlos listos para que se les pueda...

Acceder a esta publicación

Creado y Compartido por: Julian Lara

*** CVOSOFT - Nuestros Alumnos - Nuestro Mayor Orgullo como Academia ***

SAP SemiSenior

En esta lección aprendemos conceptos básicos sobre ETL. 1. Es un Proceso de Extract-Transformation-Load de datos de los sistemas sap o no sap y archivos fuentes hacia el sistema BI 2. Extracción: Los datos se obtienes de las fuentes y mediante la ejecución de un objeto InfoPackage se trasladan hacia el PSA (Persistent Staging Area), que son tablas con la misma estructura de la fuente de datos. Si el proceso de extracción con consultas a BD o Extractores posee mucha lógica de negocio y el volumen de datos es bastante podemos ocasionar bloqueos o lentitud en el sistema origen. 3. Transformación En este proceso se ejecutan las reglas del negocio para depurar datos o realizar lógica de sumatorias...

Acceder a esta publicación

Creado y Compartido por: Dennis Ned Urbano Eusebio

 


 

👌Genial!, estos fueron los últimos artículos sobre más de 79.000 publicaciones académicas abiertas, libres y gratuitas compartidas con la comunidad, para acceder a ellas le dejamos el enlace a CVOPEN ACADEMY.

Buscador de Publicaciones:

 


 

No sea Juan... Solo podrá llegar alto si realiza su formación con los mejores!