Actividad 2.2. Modelos y arquitecturas para Big Data

Actividad 2.2. Modelos y arquitecturas de big data

¡Vamos!

Para poder llevar a cabo una óptima implementación de diferentes modelos de big data, es necesario comprender un poco más a fondo acerca de las diferentes herramientas que podemos utilizar, como por ejemplo frameworks o arquitecturas.

Modelos de Big Data

• Streaming: Utilizado para el proceso de datos en tiempo real, como monitoreo en redes sociales o incluso el manejo de datos recolectados de sensores.

• Batch processing: Para el procesado de grandes volúmenes de datos como datos históricos o datos periódicos.

• Modelo de datos distribuido: Para datos que necesitan ser almacenados en diferentes tipos de nodos o servidores.

Frameworks

• Apache Hadoop: Utiliza unos ciertos componentes clave como el "HDFS" para llevar a cabo el almacenamiento distribuido de grandes volúmenes de datos.

• Apache spark: Ofrece un tipo de procesamiento en memoria llamado "in-memory" para de esta manera mejorar la capacidad de procesamiento.

• Apache Flink: Este framework esta especializado en el procesamiento de datos de streaming y tipo batch.

• Apache Kafka: Plataforma de mensajería que facilita el manejo de flujo de datos en tiempo real.

• Apache HBase: específicamente para bases de datos Nosql que es ejecutado en HDFS y es utilizado para manejar grandes volúmenes de datos.

• Elasticsearch: Cuenta con un motor de búsqueda en tiempo real basado en Lucene.

Arquitecturas de Big Data

• Lamda: Esta arquitectura lleva a cabo una combinación por lotes de procesamiento y es utilizada con frecuencia en sistemas que requieren procesamiento de datos en tiempo real.

• Kappa: Simplifica el proceso de la arquitectura Lambda al hacer uso de un solo flujo de datos que está enfocado en la reutilización de datos.

• Data lake: Tiene como objetivo principal el almacenar grandes cantidades de datos y facilita llevar a cabo un procesamiento flexible, comúnmente utilizado en el análisis de datos tanto estructurado como no estructurado.

• Data warehouse: Lleva a cabo el almacenamiento de datos previamente procesados y estructurados y está especialmente optimizada para llevar a cabo consultas y análisis de datos complejos.

¿Qué es big data? | Oracle México. (n.d.). Www.oracle.com. https://www.oracle.com/mx/big-data/what-is-big-data/The, R. (2024, February 7). Herramientas de Big Data - The Information Lab. The Information Lab. https://www.theinformationlab.es/blog/herramientas-de-big-data/‌‌

Resumen

Es de gran importancia tener en cuenta cada uno de los aspectos anteriormente mencionados para, de esta manera, hacer una elección prudente dependiendo de los requisitos del proyecto que se está llevando a cabo, así como sus limitaciones tanto de presupuesto como de hardware.