✒️SAP BI / Introducción al ETL Por Simon Murua

Selector Alummnos / Empresas

CVOSOFT UNITED STATES OF AMERICA | 17 años de ingeniería dedicados a formación profesional de Consultores SAP | +info

SAP BI Introducción al ETL

SAP BI Introducción al ETL

Proceso ETL: es un flujo de datos para extraer, transformar y cargar datos desde cualquier fuente de datos en SAP BI.

Proceso de extraccion: obtiene datos de fuentes de datos heterogeneas (excel, txt, csv, sql server, mysql, etc).

Es importante analizar que datos vamos a utilizar en el proceso de transformacion, para asi evitar traer datos innecesarios.

Es muy importante ver que nivel de impacto va a tener este proceso de extraccion en las fuentes de datos porque podemos generar bloqueos/bajas de performance en sistemas altamente transaccionales.

Proceso de transformacion: basado en reglas del negocio, se adaptan los datos extraidos para despues ser cargados en el datawarehouse. Algunas de las modificaciones podrian ser:

  • codificacion: es cambiar el valor original por otro que se va a usar en el datawarehouse. Ej: el valor "chocolate" en el origen deberia ser "CH" en el datawarehouse.
  • crear nuevos valores a traves de formulas o reglas. Ej: Importe_Total = importe_producto + impuestos
  • crear campos claves, es estandarizar codigos para un mismo elemento pero que vienen de distintas fuentes de datos. Para el mismo producto pero que tiene valores distintos en varias fuentes de datos, se le asigna un nuevo valor univoco en SAP BI mas un prefijo de 3 caracteres para determinar la fuente de datos. Ej: para el producto "vasos" en SAP BI se le asigna un nuevo codigo SAP0087654, EXC0087654, MSQ0087654, ORA0087654, etc. Donde el prefijo dice cual es la fuente de datos
    • SAP: hana db
    • EXC: excel file
    • MSQ: SQL Server db
    • ORA: Oracle db
  • generar registros calculados para tener los valores listos en el datawarehouse en lugar de tener que hacer los calculo cada vez que se necesiten consumirlos.
  • crear nuevas columnas en el destino a partir de una o mas columnas existentes en el origen. Ej: Nombre="Juan" y Apellido="Lopez", pero en el datawarehouse solo almacenamos una sola columna NombreApellido="Juan Lopez".
  • poner reglas para que algunos campos que tengan determinados valores, se conviertan a otros valores. Ej: el campo Nombre="Juan#Lopez" del origen, deberia descartar el simbolo #, para que en el datawarehouse solo llegue Nombre="Juan Lopez".

Proceso de carga: es la fase en donde los datos pasan desde la transformacion y se almacenan en el datawarehouse o repositorio de datos destino.

Los datos en el destino se pueden sobreescribir o se pueden anexar para saber como fueron variando a lo largo de los procesos ETL.

Hay 2 tipos de cargas:

  • cargas full: es cuando se cargan todos los datos en el destino sin importar si ya existen o no.
  • cargas delta: es cuando se cargan solo los datos que se modificaron desde la ultima vez que se hizo la carga. Esto es para evitar cargar todo de nuevo y sobrecargar el datawarehouse.

 

Escanear / Compartir

 

 

Sobre el autor

Publicación académica de Simon Murua, en su ámbito de estudios para la Carrera Consultor SAP BI / BW BO Nivel Inicial.

SAP Training

Simon Murua

Profesión: Dba Sap Hana - Sql Server - Oracle - Argentina - Legajo: LZ44K

✒️Autor de: 3 Publicaciones Académicas

🎓Egresado de los módulos:

Disponibilidad Laboral: FullTime

Presentación:

Sap hana bi engineer

Certificación Académica de Simon Murua

✒️+Comunidad Académica CVOSOFT

Continúe aprendiendo sobre el tema "Introducción al ETL" de la mano de nuestros alumnos.

SAP Junior

ETL: Flujo de datos, pasos que se deben seguir 1 se deben analizar los datos a extraer, ya que pueden estar en Excel, texto plano, XML, entre otras. El principal objetivo de extracción es alistar los datos necesarios para luego aplicarseles cualquier otro proceso. ¡ IMPORTANTE! Analizar el tipo de datos que funcionan y que no. 2. Proceso de transformación: Adaptacion de los datos. algunas de las modificaciones que puedan ocurrir. Codificar: Chocolate - CH Nuevos Valores: Importe_total = importe_producto impuestos Generar campos claves: cuando se tienen datos de un mismo producto en diferentes bases de datos, se busca traer todos pero identificando de que lugar vienen. CARAMELO = 000321, Al codificar se ponen las siglas...

Acceder a esta publicación

Creado y Compartido por: David Santiago Sanchez Rojas / Disponibilidad Laboral: FullTime + Carta Presentación

*** CVOSOFT - Nuestros Alumnos - Nuestro Mayor Orgullo como Academia ***

SAP Senior

Proceso ETL También se le llama FLUJO DE DATOS, que son los pasos que deben seguir los datos en su estado inicial (Sistema fuente) para que sean extraídos, trasformados y cargados en el sistema SAP BI. Proceso de EXTRACCIÓN La primera pate del proceso ETL consiste en extraer los datos desde los sistemas de origen. LA mayoría de los proyectos que se realizan para generar un datawarehouse obtienen datos provenienes de diferentes sistemas. La extracción buca en u primer momento obtener los datos y dejarlos listos para que se les pueda aplicar algún proceso de transformación. Algo muy importante en este proceso es que se debe analizar los datos a extraer para determinar que datos son útiles...

Acceder a esta publicación

Creado y Compartido por: Jhon Jairo Monsalvo Villalobos / Disponibilidad Laboral: FullTime + Carta Presentación

*** CVOSOFT - Nuestros Alumnos - Nuestro Mayor Orgullo como Academia ***

SAP Junior

Unidad 2. El proceso ETL 2.1 Introducción al ETL El ETL también es llmado fujo de datos y son los pasos que se deben seguir para que los datos sean extraidos, transformados y cargads al sistema SAP. Paso 1 . Extracción: esta es la primera parte del proceso de ETL y busca principalmente obtener los datos y dejarlos listos para poder realizarles el proceso de transformación. En la extracción es importate hacer la selección de los datos que se van a utilizar para no tener datos innecesarios en el sistema fuente. Paso 2. Transformación: Busca adaptar los datos exraidos en los datos que finalemnete seran cargados en el Datawarehouse. En las trasnfomaciones se puede dar las siguientes modificaciones:...

Acceder a esta publicación

Creado y Compartido por: Claudia De La Hoz / Disponibilidad Laboral: PartTime

*** CVOSOFT - Nuestros Alumnos - Nuestro Mayor Orgullo como Academia ***

SAP Training

ETL 1 Proceso ETL, se llama a los pasos que se deben seguir los datos desde su estado incial, para ser, extraidos, transformado y cargados en SAP BI 1.1 (E)Extraccion busca en un primer momento obtener los datos y dejarlos listos para que se les pueda aplicar algun proceso de transfromacion. Dos puntos importantes a tener en cuenta 1) Se debe analizar los datos a extraer, para determinar cuales seran utiles y cuales no 2) Se debe analizar el impacto que puede generar la extraccion en el sistema fuente, y ver si tomar estos datos podrian perjudicar las transacciones y la operativa diaria de la empresa 1.2) (T)Transformacion buscar adaptar los datos extraidos a como finalmente van a ser cargados en el Datawarehouse 1) Puede ser...

Acceder a esta publicación

Creado y Compartido por: Adrian Sposari / Disponibilidad Laboral: FullTime + Carta Presentación

*** CVOSOFT - Nuestros Alumnos - Nuestro Mayor Orgullo como Academia ***

SAP SemiSenior

El proceso ETL: Conocido como Flujo de Datos, esto muestra cuales son los pasos que deben seguir los datos en su forma base o inicial (esto es llamado sistema fuente) para que puedan ser extraídos, trasformados y finalmente cargados a nuestro sistema BI, esto significa que hacen parte de un sistema externo a SAP BI. Así que lo primero que se debe hacer es extraer los datos desde los sistemas de origen. De esta manera también vamos creando un Datawarehouse pues los mismos datos proviene de diferentes sistemas. Lo que se busca hacer con la extracción es obtener los datos y dejarlos listos para el proceso de transformación. Se debe de tener en cuenta que primeramente se deben analizar los datos a extraer para...

Acceder a esta publicación

Creado y Compartido por: Marena Dayana Alvis Camargo / Disponibilidad Laboral: FullTime

*** CVOSOFT - Nuestros Alumnos - Nuestro Mayor Orgullo como Academia ***

SAP Senior

1.- Procesos ETL (Extract, Transform and Load - Extraccion, transformacion y carga) de datos También conocido como flujo de datos, los cuales corresponden a los pasos que deben seguir los datos en su estado inicial, sistema fuente, para que sean extraídos, transformados y finalmente cargados en nuestro sistema, caso de estudio SAP BI. En resumen, tendremos un dato inicial "crudo" proveniente de nuestro sistema fuente/base para luego realizar las transformaciones del dato necesarios; union, desunion, eliminacion de caracteres especiales, etc para luego ser cargados en nuestras tablas del modelo de datos final. 2.- Proceso de Extracción Este proceso es el paso inicial de un ETL, el cual consiste en recuperar/leer/extraer...

Acceder a esta publicación

Creado y Compartido por: Mauricio Osenga Vasquez

*** CVOSOFT - Nuestros Alumnos - Nuestro Mayor Orgullo como Academia ***

SAP SemiSenior

INTRODUCCIÓN ETL Proceso ETL Son los pasos que debe seguir los datos en su estado inicial para que sean extraídos, transformados y cargados a SAP BI Proceso de Extracción La primer parte del proceso de ETL consiste en extraer los datos desde el sistema de origen. La mayoría de los proyectos obtienen datos provenientes de diferentes sistemas y cada uno puede almacenarlos de una manera diferente, es decir en excel, txt, xml, etc. La extracción busca en primer momento obtener los datos y dejarlos listos para que se les pueda aplicar un proceso de transformación, por lo tanto se debe determinar cuáles serán útiles y cuales no y de esta manera evitar datos innecesarios...

Acceder a esta publicación

Creado y Compartido por: Cesar Augusto Bedoya Gomez / Disponibilidad Laboral: FullTime

*** CVOSOFT - Nuestros Alumnos - Nuestro Mayor Orgullo como Academia ***

SAP Junior

ETL .- Es el proceso que permite a las organizaciones mover los datos desde múltiples fuentes, reformatearlos y limpiarlos y cargarlos en otro repositorio para apoyar al proceso de negocios. Extracción Busca en un primer momento obtener los datos y dejarlos listos para que se les pueda aplicar algún proceso de transformación. Analizar los datos a extraer para determinar cuales son los que nos serán útiles. Determinar el impacto que puede generar esta extracción en el sistema fuente Proceso de transformación Busca adaptar los datos extraídos en datos que finalmente serán cargados en el DW. Serán adaptaciones de los datos basándose en reglas preestablecidas del...

Acceder a esta publicación

Creado y Compartido por: Edgar Beimar Ajata Zambrana

*** CVOSOFT - Nuestros Alumnos - Nuestro Mayor Orgullo como Academia ***

SAP Junior

Proceso ETL: Flujo de datos (sistema fuente (SAP - NO SAP) -> Extracción -> Transformación -> Carga en sistema SAP BI) Extracción: Dejar listos para transformación, filtrar datos innecesarios. Transformación: Adaptar datos para carga en Datawarehouse. - Codificar datos de determinada manera. - Obtener nuevos valores: Calculos de valores existentes. - Generar campos claves en el destino de datos. Identificación uniquívoca. - Generar calculos totales. Carga: Subir datos al sistema luego de transformación. puede variar el método (siempre nuevos registros - historial, o sobre escribir registros) - Full: carga todos los datos al destino. - Delta: Carga los datos nuevos q no se...

Acceder a esta publicación

Creado y Compartido por: Camilo Barrera / Disponibilidad Laboral: FullTime

*** CVOSOFT - Nuestros Alumnos - Nuestro Mayor Orgullo como Academia ***

SAP Training

A un ELT se le dice Flujo de datos, El proceso de transmisión de información de un ETL empieza en las fuentes de datos SAP y otras, luego pasan al PSA, luego a transformaciones (DTP), y luego a las ODS's y/o a los cubos Proceso de extracción: El labor de la extracción busca en un primer momento obtener los datos y dejarlos listos para el proceso de transformación. Proceso de Transformación. La idea es convertir los datos extraídos en datos que van a ser cargados en el Datawerehouse, En el proceso de transformación se puede realizar la creación de un nuevo campo Proceso de Carga, Es el proceso en el cal se cargan los datos ya transformados previamente en el sistema -Cargas Full...

Acceder a esta publicación

Creado y Compartido por: Eider Julian Lopez Fajardo

 

 

👌Genial!, estos fueron los últimos artículos sobre más de 99.000 publicaciones académicas abiertas, libres y gratuitas compartidas con la comunidad, para acceder a ellas le dejamos el enlace a CVOPEN ACADEMY.

🔎Buscador de Publicaciones:

 

 

No sea Juan... Solo podrá llegar alto si realiza su formación con los mejores!