tecnicas etl

analisis de datos

tecnicas etl

indice

Concepto

Ejemplos

Caracteristicas

Tabla comparativa

Ventajas y desventajas

Diagrama

Fases

concepto

Es un método para reunir datos de varios orígenes, organizarlos en un formato uniforme y llevarlos a un destino donde puedan analizarse con facilidad.

ventajas y desvenjatas

Ventajas:Calidad de datos: Limpia y corrige errores antes de que lleguen al destino. Histórico: Permite guardar años de datos para ver tendencias. Consolidación: Junta info de SQL, Excel y APIs en un solo lugar. Desventajas Lentitud inicial: El proceso de transformación puede ser pesado y tardado. Costo: Requiere herramientas especializadas y personal técnico. Rigidez: Si la fuente cambia de formato, el ETL suele romperse.

caracteristicas

• Automatización: Se programan para ejecutarse en intervalos (diarios, por horas).
• Escalabilidad: Capacidad de procesar volúmenes masivos de datos (Big Data).
• Reglas de Negocio: Aplica lógica específica para que los datos sean útiles.
• Seguimiento (Logging): Registra cada paso para detectar errores en la carga.

extraccion(extract)

Es la fase inicial donde se obtienen los datos crudos de diversos sistemas de origen.

• Fuentes diversas: Se extraen datos de bases de datos relacionales (MySQL, SQL Server), archivos planos (CSV, Excel), APIs, redes sociales, sistemas ERP/CRM o dispositivos IoT.
• Métodos de captura: Puede ser una extracción completa (todo el contenido) o incremental, donde solo se capturan los registros nuevos o modificados desde la última ejecución para optimizar recursos.

transformacion(transform)

Considerada la etapa más crítica, donde los datos se "limpian" y adaptan para que tengan sentido y calidad.

• Limpieza de datos: Eliminación de duplicados, corrección de errores tipográficos y manejo de valores nulos.
• Estandarización: Conversión de formatos (por ejemplo, unificar fechas a AAAA-MM-DD o unidades de medida).
• Filtrado y Selección: Seleccionar solo las columnas o filas necesarias basándose en reglas de negocio.
• Enriquecimiento y Agregación: Combinar datos de diferentes fuentes o realizar cálculos (sumas, promedios) antes de guardarlos.

carga (LOAD)

Es el paso final donde los datos procesados se insertan en el sistema de destino.

• Carga Inicial: Se realiza la primera vez para llenar el repositorio con datos históricos.
• Carga Incremental: Se añaden periódicamente nuevos datos para mantener el sistema actualizado.
• Destinos comunes: Almacenes de datos (Data Warehouses), lagos de datos (Data Lakes) o herramientas de visualización como Power BI

Ejemplos

• Retail (Supermercados): Un negocio extrae las ventas de sus cajas (fuente 1) y el inventario de su almacén (fuente 2), calcula el margen de ganancia (transformación) y lo sube a un tablero para que el gerente vea qué productos faltan (carga).
• Banca: El banco toma transacciones de cajeros, web y apps, detecta posibles fraudes filtrando movimientos inusuales (transformación) y guarda solo lo relevante en su reporte de seguridad.
• Marketing Digital: Se extraen clics de Facebook Ads y Google Ads, se unifican las monedas a dólares (transformación) y se cargan en una base de datos para medir el retorno de inversión (ROI).

etl vs elt

diagrama

• aqui va un diagrama

¡GRACIAS!