Presentación HPC

PONTIFICIA UNIVERSIDAD CATÓLICA DEL ECUADOR FACULTAD DE INGENIERÍA

Análisis de los requisitos para una plataforma HPC (High Performance Computing), características, beneficios y campos de aplicación.

Trabajo de Titulación como requisito previo para la obtención del título de Magíster en Tecnologías de Información mención Gestión y Administración de TI

Autor: Alvaro Carrera CarrielDirector: Santiago Silva Proaño

Quito 2024

Introducción HPC

La HPC se encarga de ejecutar procesos aritméticos complejos que son capaces de llevarse a cabo solo en supercomputadoras.Se la aplica en distintos escenarios como en el area militar, entornos climáticos y sismológicos, estudios sobre el genoma humano e infraestructura terrestre de geolocalización, etc. Da como resultado, modelos de simulación de datos en el diseño de armas nucleares, ámbito científico, métodos de predicción de fenómenos naturales e inteligencia militar para apoyo a la seguridad nacional, lo que ha generado un tiempo de solución eficiente para el avance tecnológico.

Problemática

Con la aparición de problemas complejos científicos que las computadoras convencionales no son capaces de resolverlas. La HPC saca provecho en procesar grandes volúmenes de datos para mejorar la calidad de vida del ser humano.La ejecución de grandes volúmenes de datos en la computación paralela o distribuida. Su implementación es muy costosa y requiere de mucho conocimiento. Respecto a Latinoamérica los centros de procesamiento de datos tipo HPC son muy limitados debido a su alto costo de implementación y uso del manejo de datos para el desarrollo investigativo que es un factor considerable por los centros de investigación que apuestan sobre la tecnología en HPC.

Objetivos de la Investigación

Objetivo GeneralAnalizar los requisitos para una plataforma HPC (High Performance Computing), características, beneficios y campos de aplicación.

Objetivos Específicos

• Recabar información sobre los requerimientos de una plataforma HPC que permita identificar sus características, beneficios y campos de aplicación.
• Construir un clúster virtualizado mediante la herramienta de configuración OpenHPC.
• Realizar el análisis de desempeño de un clúster mediante la aplicación Ganglia Monitoring.
• Efectuar la ejecución de aproximación del número pi en el entorno RStudio Server para verificar su simulación.

Justificación

Dirigida al análisis de los requisitos de una plataforma HPC con sus características, beneficios y campos de aplicación.El constante avance de las infraestructuras de TI en aplicaciones, simulaciones, mediciones y cálculos; requieren opciones de cómputo en paralelo para lograr procesos óptimos que generen resultados favorables hacia el avance científico y tecnológico de la humanidad en general. La tecnología HPC busca ejecutar procesos de manera paralela que brinden soluciones a problemas complejos en el ámbito científico, industrial, medico, físico, químico y meteorológico. Motivo por el cual se realiza este presente trabajo de titulación.

Fundamentación Teórica

Que es High Performance ComputingLa HPC es una supercomputación que requiere de un rendimiento amplio sobre las computadoras convencionales que no son capaces de realizar resoluciones de problemas científicos, en el campo de ingeniería o de empresa. Las aplicaciones y algoritmos se ejecutan de forma simultánea en los servidores de clústeres que están conectados al almacenamiento de datos para realizar las distintas tareas que se vayan a emplear.

Características HPC

Alto rendimiento en tecnología computacional

Tecnología computacional paralela

Conjunto de Clústeres

Es un esquema en el que coexisten varios clústeres HPC dentro de servidores informáticos conectados entre sí por medio de una red de comunicación.

Implica recursos informáticos de un clúster HPC como almacenamiento, redes, memoria y sistemas de archivos.

Se refiere a la ejecución de varias tareas de manera simultánea en servidores informáticos masivos que permite el uso de miles o hasta millones de procesadores.

Beneficios

Reducción en pruebas de cómputo

Prontitud

Novedoso

Con las nuevas tecnologías en GPU (Unidades de procesamiento gráfico) se obtiene una carga de red de menos latencia que optimiza los accesos a memoria para alcanzar respuestas veloces a los cálculos que se realicen.

Impulsa la innovación hacia la investigación en ciertos sectores del campo científico.

Se puede utilizar para simulaciones de diversos ámbitos que facilita la reducción de pruebas consecutivas para determinar un resultado obtenido.

A mayor demanda en tiempos de respuestas se puede evitar el desperdicio de tiempo y dinero para la ejecución de cargas de trabajo de HPC que brinda una libre elección del servicio según la necesidad que se requiera.

Reducción de Costos

Campos de Aplicación

Empresarial

Médico

Gubernamental

Orientado a modelos financieros por medio de la ciencia de datos para emplear tecnologías de inteligencia artificial.

Se aplica para crear vacunas, investigar sobre nuevos medicamentos y desarrollar tratamientos medicinales para la innovación médica..

Se realiza estudios sobre el impacto ambiental para la investigación científica en el uso de materia energética

Data Center

Investigativo

Se enfoca en soluciones HPC en la nube para favorecer el acceso a la información que se optimiza por medio de cargas de trabajo en el ámbito de negocios o defensa gubernamental. .

Se lo emplea para la implementación de chips en la industria farmacéutica en materia de laboratorios de dinámica molecular..

Factores Económicos

Beneficios de Implementación

Operación de la Plataforma HPC

Costos Financieros

Acorde a la magnitud del proyecto HPC que requiera la empresa en los costos operativos y de inversion.

Favorece la investigación y adquisición de clientes que requieran los servicios de la HPC.

Optimización de recursos puesta en marcha en la nube..

Rentabilidad de la actividad empresarial

Proyecto en Marcha

Eficiencia financiera de los clústeres HPC acorde al consumo que se requiera.

Relación precio-rendimiento para las soluciones HPC.

Clúster HPC

Es una agrupación de nodos de cómputo autónomos e independientes que se integran en una red privada de alta velocidad, donde cada uno posee su propio sistema operativo. Sus nodos son de funcionamiento básico que alcanzan un rendimiento limitado con respecto a procesadores paralelos masivos.Agrupa varios servidores informáticos conectados entre sí, que trabajan con grandes tareas para un gran desempeño computacional.

OpenHPC

Es una herramienta colaborativa Open Source para implementar y/o administrar clústeres de distribución Linux para sistemas HPC. Contiene herramientas de provisionamiento, administración de recursos, clientes de E/S, herramientas de desarrollo y una gama de bibliotecas científicas.

Ganglia Monitoring System

Ganglia es un sistema de monitoreo distribuido escalable para sistemas HPC como clústeres y grids . Su diseño es a nivel jerárquico conformado por clústeres que aprovechan las tecnologías utilizadas. Optimiza considerablemente el uso de recursos de los nodos por medio de la estructura de datos y algoritmos.

Virtualización HPC

Se refiere a la creación de un numero de servidores virtuales que están alojados dentro un servidor físico u host. Añade flexibilidad, eficiencia operativa, agilidad y seguridad para ejecutar múltiples aplicaciones en una misma máquina que administra los recursos de memoria, CPU y red. Reduce el tiempo considerablemente en la recopilación de información y datos.

Paralelización de Cómputo HPC y Punto Flotante.

Se realiza con la ejecución de dos o más tareas de cómputo independientes dentro de un mismo lapso. Por lo regular, es utilizado en sistemas multitareas donde un único núcleo aplica una técnica de división para que se ejecuten de manera simultánea para un paralelismo virtual. El punto flotante por segundo es la métrica de rendimiento que más se utiliza en la HPC, no obstante, no es la única medida que se refleje en el ámbito de las supercomputadoras. Los sistemas HPC son clasificados en un ranking que basa sus resultados en técnicas de benchmark.

Metodología

Tipo de investigación cuantitativa

TipodeInvestigacion

Selección de herramientas de Apoyo y Validación

• VMWare, OpenHPC, CentOS 7, Ganglia
• RStudio Server

Fase de Ejecucion y Analisis

Fase de Instalacion y Configuracion

Instalación y Configuración de componentes y Construcción de cluster.

• Componentes de OpenHPC
• Cluster Virtual HPC en VmWAre

• Ejecución Número Pi en RStudio Server
• Análisis de la Platafoma HPC en Ganglia

Pruebas de Validación y Análisis de la plataforma HPC

Presentación y Análisis de la Platafroma.

Arquitectura del Clúster HPC

Clúster Virtual HPC

Se muestran los nodos que conforman el Grid que son TesisMaster, C1 y C2 respectivamente instalados en la herramienta VmWare Workstation Pro.

Plataforma HPC en Ganglia

Plataforma de la Plataforma HPC

Script Aproximación Número Pi

Instalación y Configuración de Open HPC

Se ingresa a la configuración interna del clúster mediante conexión SSH (por sus siglas en ingles Secure Shell).

Instalación y Configuración de Open HPC

Instalación y Configuración de Open HPC

Instalación y Configuración de Open HPC

Instalación RStudio Server

Análisis de la Plataforma HPC

Análisis de la Plataforma HPC

Métricas del nodo master

Entorno de RStudio Server

Reporte de Carga del Cluster Open HPC

Conclusiones y Recomendaciones.

• La HPC motiva a implementar centros de alto rendimiento en las distintas organizaciones a nivel mundial porque proporciona una ventaja competitiva en el área de investigación científica. Realiza velozmente mejoras en la ejecución de tareas debido a su procesamiento paralelo.
• Con la información recabada se concluye que las plataformas HPC poseen servidores de cómputo conectados en red que se llaman nodos, sus requerimientos de computación, red y almacenamiento proveen datos hacia y desde los servidores.
• Mediante la tecnología de virtualización se consiguió aprovechar la ejecución de varias máquinas virtuales en un solo procesador.
• A través de la aplicación Ganglia Monitoring se consiguió obtener los resultados para realizar el análisis de desempeño de la plataforma HPC y supervisar el comportamiento del grid.
• Con la ejecución del script de número Pi se logró la simulación de aproximación del punto flotante en el desempeño de la plataforma HPC.

Conclusiones y Recomendaciones.

• Con el avance tecnológico de información que se incrementa de manera exponencial, se recomienda a las organizaciones de investigación en Latinoamérica y Ecuador implementar sistemas de HPC para fomentar el avance tecnológico en el ámbito investigativo y científico a fin de brindar soluciones óptimas en favor de la humanidad en general.
• Se recomienda el uso de RStudio Server porque ofrece una interfaz amigable para el usuario y poder realizar simulaciones de algoritmos basados en HPC.
• Se recomienda optar por la informática HPC en RHEL debido a que brinda una plataforma confiable y eficiente al momento de acceder a las diversas herramientas que ofrece OpenHPC porque implica un ahorro de coste considerable al momento de construir un clúster en una herramienta opensource.
• Es recomendable recurrir a la aplicación de Ganglia Monitoring porque permite supervisar y evaluar de manera oportuna el desempeño del grid, con la finalidad de realizar un análisis sobre que nodo se encuentra disponible o está haciendo uso de recursos de cpu y memoria.

Trabajos a Futuro.

• En un entorno físico óptimo donde se instale un centro HPC se propondría plantear un modelo de servidores de almacenamiento para cargas de trabajo que pueda ser usado para futuras consultas o referencias para trabajos en HPC de la PUCE.
• Se deberá adquirir diversos equipos de hardware y software que se ofertan en el mercado tales como, servidores HPC, chasis de rack, equipos de interconexión de redes, procesadores y aceleradores gráficos RAM y equipos de almacenamiento.
• Los proyectos en HPC podrían incorporar herramientas de monitoreo como ganglia u otras herramientas disponibles en el mercado para evaluar minuciosamente en el comportamiento de los clústeres en tiempo real.
• Con los conocimientos adquiridos sobre servidores HPC los desarrolladores de proyectos de software podrían realizar pruebas y administrar los cálculos científicos de alto rendimiento.