Tema 6. CR3 - Big Data

Big Data

1. ¿Qué es Big Data?

2. Los Metadatos

3. Data Scrapping

4. Usos del Big Data

1. ¿QUÉ ES EL BIG DATA? Big Data se refiere a conjuntos de datos que son tan grandes y complejos que no se pueden manejar con las herramientas tradicionales. Este tipo de datos se usa en todo, desde redes sociales hasta el comercio online y la investigación científica. La importancia de Big Data está en que permite descubrir patrones y hacer predicciones que antes no eran posibles. 1.1. Las 3 V's del Big Data El Big Data, esa gran base de datos, basa su definición en estos tres conceptos:

• Volumen: Grandes cantidades de datos.
• Velocidad: La rapidez con la que se generan y procesan.
• Variedad: Diferentes tipos de datos (texto, imágenes, videos, etc.).

2. LOS METADATOS Los metadatos son datos sobre datos. Funcionan como etiquetas que nos ayudan a entender y organizar la información que tenemos. Los metadatos se clasifican en tres categorías principales:

• Metadatos descriptivos: Proporcionan información sobre el contenido del dato, como el título o el autor. Por ejemplo, la información de una foto en tu móvil, como la fecha en que se tomó.

• Metadatos estructurales: Indican cómo están organizados los datos. En un archivo de música, estos metadatos pueden incluir la separación entre canciones.

• Metadatos administrativos: Ayudan en la gestión de los datos, como la fecha de creación de un archivo o el tipo de archivo (PDF, JPEG, etc.).

2.1. Uso de los Metadatos Los metadatos son muy importantes para que los ordenadores y nosotros mismos podamos encontrar y usar datos rápidamente. Sin metadatos, los archivos y la información estarían desorganizados. Algunos usos comunes de los metadatos son:

• Búsqueda de archivos: En tu móvil o computadora, los metadatos ayudan a encontrar imágenes de un lugar o una fecha específica.

• Organización de datos en internet: Los metadatos hacen que las búsquedas en Google sean más precisas.

2.2. Almacenamiento de Metadatos Los metadatos necesitan estar almacenados en bases de datos para que los sistemas los usen de forma rápida y eficiente. Este almacenamiento puede hacerse en:

• Bases de datos relacionales: Organizan datos en tablas, como hojas de cálculo.

• Bases de datos no relacionales (NoSQL): Son más flexibles y se usan para manejar grandes volúmenes de datos no estructurados, como redes sociales o sitios web.

3. DATA SCRAPPING Imagina que quieres saber cuáles son los juegos de moda, ver precios de teléfonos en diferentes tiendas o saber qué opina la gente sobre tu serie favorita en redes sociales. Buscar y leer cada página una por una sería demasiado lento, ¿verdad? Aquí es donde entra el Data Scraping. 3.1. ¿Qué es el Data Scrapping? Data Scraping es una técnica para extraer información automáticamente de sitios web. En lugar de hacerlo manualmente, se utiliza un programa que "lee" y recopila datos rápidamente. Esto es muy útil cuando queremos analizar grandes cantidades de información que están en internet. 3.2. ¿Para qué sirve el Data Scrapping? El Data Scraping se utiliza en muchos ámbitos y con diferentes propósitos. Veamos algunos ejemplos:

• Comparar Precios: Las tiendas en línea suelen cambiar sus precios, y con data scraping podemos extraer estos datos y comparar los precios de un producto en varias páginas. Así, puedes encontrar la mejor oferta.

• Opiniones y Reseñas: Si quieres saber qué opina la gente sobre un videojuego, una película o incluso un equipo de fútbol, puedes utilizar data scraping para recoger opiniones de foros, redes sociales o sitios de reseñas y así ver la tendencia general (si las opiniones son positivas o negativas).

• Monitoreo de Noticias o Tendencias: Algunas empresas y medios de comunicación usan data scraping para recopilar noticias o artículos relacionados con ciertos temas o palabras clave. Así pueden mantenerse actualizados y saber qué temas son de interés en tiempo real.

• Investigación y Análisis de Datos: Los científicos de datos, periodistas e investigadores también utilizan data scraping para recopilar datos que les permitan analizar fenómenos sociales, económicos y culturales.

3.3. ¿Cómo funciona el Data Scrapping? El proceso de Data Scrapping pasa por las siguientes etapas: 1. Identificar la Página y el Contenido: Primero, decides de dónde quieres obtener la información. Por ejemplo, una página de deportes, una tienda en línea o una red social. 2. Configurar el Programa de Scraping: Usas un programa o una herramienta especial para hacer la "extracción". En el mundo de la programación, existen lenguajes como Python, que tienen bibliotecas (conjuntos de herramientas) específicas para hacer scraping, como BeautifulSoup o Scrapy. 3. Extraer los Datos: El programa se encarga de navegar por la página web, localizar la información que necesitas (por ejemplo, precio de un producto o número de likes de una publicación) y guardarla en tu ordenador. 4. Organizar y Analizar: Una vez extraída la información, puedes organizarla en tablas o gráficos para analizarla. De esta forma, puedes entender mejor los datos y responder preguntas específicas, como "¿Cuándo bajan los precios de un producto?", o "¿Qué palabras son las más usadas en redes sociales?". 3.4. Ejemplo de Data Scrapping Vamos a suponer que quieres saber cómo de popular es una serie de televisión. Usando data scraping, puedes programar una herramienta que busque comentarios y menciones de esa serie en redes sociales o en foros. Esto te permitirá analizar cuántas personas están hablando de la serie, si les gusta o no, y qué aspectos mencionan más. 3.5. ¿Es legal hacer Data Scrapping? El Data Scraping puede ser legal, pero siempre es importante:

• Respetar los Términos de Uso: Algunas páginas no permiten el scraping y lo indican en sus términos de servicio. Es importante leer estas reglas para evitar problemas.

• No saturar las Páginas Web: Al hacer scraping, es necesario configurar el programa para no sobrecargar los servidores, es decir, no hacer demasiadas solicitudes al mismo tiempo.

• Respetar la Privacidad: No debes recolectar datos privados o información personal sin permiso.

3.6. Herramientas de Data Scrapping Para empezar con el Data Scraping, existen herramientas que no requieren mucha programación y pueden ser interesantes para principiantes:

• ParseHub y Octoparse: Son programas que permiten hacer scraping sin escribir código. Son fáciles de usar y solo necesitas indicar en qué partes de la página están los datos que quieres.

• Python y BeautifulSoup: Para los que se interesen en programar, Python es un lenguaje de programación que permite hacer scraping de manera eficiente. Con la biblioteca BeautifulSoup, puedes aprender a extraer datos específicos de una página web.

4. USOS DEL BIG DATA 1. Recomendaciones en Plataformas de Streaming (Netflix, Spotify, etc.) ¿Alguna vez has notado que, después de ver una serie o escuchar una canción, te recomiendan otras parecidas? Eso es gracias al Big Data. ¿Cómo funciona?: Las plataformas como Netflix o Spotify almacenan datos sobre tus gustos y los de millones de personas. Analizan qué series o canciones ves y escuchas más, cuándo pausas o cambias, y hasta qué géneros prefieres. Con toda esta información, utilizan algoritmos de Big Data para recomendarte contenido que piensan que te gustará, ¡haciendo tu experiencia más personalizada! 2. Predicción del ClimaCuando vemos el pronóstico del tiempo, estamos viendo el resultado de un gran análisis de datos. ¿Cómo funciona?: Satélites, estaciones meteorológicas, sensores y radares en todo el mundo recogen datos sobre la temperatura, la humedad, la velocidad del viento, y otros factores. Con Big Data, los ordenadores pueden analizar estos datos en tiempo real y hacer predicciones sobre el clima con bastante precisión. Por ejemplo, pueden decirnos si lloverá mañana o si habrá una ola de calor la próxima semana. 3. Tráfico y Navegación (Google Maps, Waze)Cuando usas Google Maps o Waze, estas aplicaciones te dicen cuál es la ruta más rápida y, a veces, hasta te avisan si hay tráfico o accidentes en tu camino. ¿Cómo funciona?: Google Maps recopila datos de miles de personas que están usando el GPS en sus teléfonos. Al ver por dónde se mueve la gente y a qué velocidad, el sistema identifica las zonas con tráfico lento o atascos. Con esta información, el Big Data permite a la app encontrar y sugerir rutas alternativas, ayudándote a llegar más rápido. 4. Redes Sociales y Anuncios PersonalizadosSeguro has notado que cuando buscas algo en internet, como "zapatillas deportivas", luego ves anuncios de zapatillas en Instagram o Facebook. Esto también se debe al Big Data. ¿Cómo funciona?: Las redes sociales y los motores de búsqueda (como Google) recopilan datos sobre las cosas que buscas, los "likes" que das y los anuncios en los que haces clic. Analizan esta información para entender qué te interesa y luego te muestran anuncios personalizados. El objetivo es mostrarte solo anuncios de cosas que podrían interesarte, en lugar de cualquier cosa al azar. 5. Videojuegos en Línea: Mejorando la Experiencia de los JugadoresEn juegos en línea como Fortnite o Call of Duty, el Big Data ayuda a los desarrolladores a mejorar el juego y hacer que sea más justo. ¿Cómo funciona?: Los servidores de los juegos recopilan datos sobre cómo juegan las personas, qué personajes o armas prefieren, cuánto tiempo juegan y en qué niveles tienen más dificultades. Analizando estos datos, los desarrolladores pueden ajustar el juego, corregir errores y mejorar la jugabilidad. Además, usan estos datos para crear contenido nuevo que saben que los jugadores disfrutarán. 6. En la Salud: Detectar Enfermedades y Prevenir Epidemias El Big Data también se usa en el ámbito de la salud para salvar vidas. ¿Cómo funciona?: Los hospitales y centros de investigación recopilan datos de millones de pacientes: desde síntomas y resultados de análisis hasta información genética. Al analizar estos datos, los científicos pueden identificar patrones y descubrir qué factores pueden causar ciertas enfermedades. También pueden predecir si un virus se propagará rápidamente y tomar medidas preventivas para proteger a la población. 7. Deportes: Mejorando el Rendimiento de los AtletasEn los deportes profesionales, los entrenadores y atletas utilizan Big Data para mejorar su rendimiento y estrategias de juego. ¿Cómo funciona?: En deportes como el fútbol o el baloncesto, se recopilan datos sobre el rendimiento de los jugadores: cuántos pases dan, cuántos tiros hacen, cuánto corren, etc. Analizando esta información, los entrenadores pueden ajustar las estrategias y mejorar los entrenamientos para que los jugadores sean más eficientes en el campo. 8. En la Agricultura: Cultivos InteligentesEn las granjas modernas, los agricultores usan Big Data para mejorar el rendimiento de los cultivos y ahorrar recursos. ¿Cómo funciona?: Sensores en los campos y drones recogen datos sobre el suelo, el clima, el agua y el crecimiento de las plantas. Analizando estos datos, los agricultores pueden saber cuándo es el mejor momento para regar o fertilizar, y cuánta cantidad usar. Esto ayuda a aumentar la producción de alimentos y a cuidar el medio ambiente, al usar solo los recursos necesarios. Estos ejemplos muestran cómo el Big Data impacta en muchas áreas de nuestra vida diaria, ayudando a personalizar experiencias, mejorar servicios y hacer que muchas industrias sean más eficientes.