Avance de tesis_2024-2

Ensenada, Baja California, a diciembre del 2024.

Director de tesis:Dr. Everardo Inzunza González Co-directora de tesis: Dra. Laura Jimenez Beristain

Presenta:Susana Borrego Domínguez Grado a obtener: Maestría

COMITÉ

Evaluación de métodos convencionales y no convencionales para la planificación de rutas de cuadricóptero

10 Conclusiones

09 Propuesta de actividades

08 Logros

07 Resumen de actividades

06 Resultados preliminares

05 Metodología propuesta

04 Estado del arte

03 Objetivos

02 Planteamiento del problema

01 Introducción

Agenda de presentación

01

INTRODUCCIÓN

Esquema de control

Dinámica no lineal

01 Antecedentes

Cuadricóptero

Configuración "+"

• Orientación de los brazos: Los cuatro brazos del cuadricóptero están alineados con los ejes vertical y horizontal, formando una cruz perfecta cuando se ve desde arriba.
• Dirección frontal: Uno de los brazos apunta directamente hacia adelante y se considera el frente del vehículo.
• Control y maniobrabilidad: En esta configuración, los movimientos de cabeceo (adelante y atrás) y balanceo (izquierda y derecha) están directamente alineados con los brazos, lo que puede simplificar aspectos de control.
• Campo de visión: Puede ser menos ideal para montar cámaras frontales, ya que el brazo delantero y la hélice pueden obstruir la vista.

Configuración "X"

• Orientación de los brazos: Los brazos están orientados en ángulos de 45° respecto a los ejes vertical y horizontal, formando una X cuando se ve desde arriba.
• Dirección frontal: El frente del cuadricóptero está situado entre dos brazos, proporcionando una línea de visión despejada hacia adelante.
• Control y maniobrabilidad: Esta configuración suele ofrecer una mejor respuesta aerodinámica y estabilidad durante maniobras rápidas o vuelos de alta velocidad.
• Campo de visión: Es más adecuada para aplicaciones que requieren una vista frontal sin obstrucciones, como la fotografía y videografía aérea.

Pasos para dinámica de uav según Belhadjer et al. (2023)

1. Aceleración lineal: describe cómo cambia la velocidad de un punto específico del cuadricóptero (centro de masa) en el tiempo, dentro del marco de referencia del cuerpo.
2. Matriz de inercia: define cómo la masa del UAV está distribuida y cómo afecta su resistencia al girar.
3. Coeficiente de empuje: es la fuerza que generan los motores para levantar el UAV.
4. Coeficiente de torque: es la fuerza que hace girar el UAV alrededor de su eje vertical (yaw).
5. Matriz inicial de fuerzas y momentos: esta matriz combina todas las fuerzas y giros en un solo sistema, que se usa para calcular el comportamiento del UAV.
6. Relación comando-aceleración: esto traduce los comandos del piloto en velocidades reales de los motores.
7. Fuerzas giroscópicas: cuando las hélices giran, crean fuerzas giroscópicas que afectan el movimiento. Se incluyen para evitar errores en el control.
8. Ecuaciones de estado: describen el comportamiento general del cuadricóptero.

La planificación de rutas en cuadricópteros es vital por sus diversas aplicaciones. Los controladores PID son simples pero limitados en entornos no lineales. El aprendizaje por refuerzo surge como alternativa, permitiendo adaptabilidad sin intervención humana. Esta investigación pretende comparar ambos enfoques para diseñar sistemas de control más eficientes y adaptativos.

JUSTIFICACIÓN Y USO DE RESULTADOS

02

PLANTEAMIENTO DEL PROBLEMA

La planificación de rutas para cuadricópteros es un desafío crítico en aplicaciones como entrega de mercancías, monitoreo ambiental y rescates (Shan et al., 2023). Los métodos de control convencionales, como los algoritmos basados en reglas predefinidas, presentan limitaciones en entornos dinámicos y desconocidos. Por otro lado, los enfoques no convencionales, como el aprendizaje por refuerzo o las redes neuronales, ofrecen soluciones adaptativas, pero su implementación requiere un análisis exhaustivo de eficiencia y viabilidad (Bi et al., 2023). Esto plantea la necesidad de evaluar comparativamente ambos enfoques para determinar cuál es más adecuado en términos de precisión, estabilidad y capacidad de respuesta en distintos escenarios operativos.

PLANTEAMIENTO DEL PROBLEMA

03

OBJETIVOS

OBJETIVO GENERAL

Diseñar e implementar técnicas de control convencionales, y técnicas de control no convencionales para el problema de seguimiento de trayectoria de un vehículo aéreo no tripulado de 6 grados de libertad, también conocido como cuadricóptero, para su posterior análisis y comparación, identificando así las fortalezas y debilidades de cada técnica de control.

03

Definir el hardware, cuadricóptero y aditamentos, y el software.

02

Definir las técnicas de control convencional y no convencional para resolver el problema de planificación de rutas del cuadricóptero.

01

Definir el modelo de la dinámica del cuadricóptero.

06

Identificar las ventajas y desventajas de ambas técnicas de control en la planificación de rutas del cuadricóptero.

05

Analizar y comparar los datos obtenidos de las simulaciones de ambas técnicas de control.

04

Simular las técnicas de control considerando las características físicas del cuadricóptero.

04

ESTADO DEL ARTE

Fig. 5. Diagrama de bloque del método utilizado en Ramezani y Atashgah (2024).

Título: Energy-Aware Hierarchical Reinforcement Learning Based on the Predictive Energy Consumption Algorithm for Search and Rescue Aerial Robots in Unknown Environments. Autores: Ramezani, M.; Amiri Atashgah, M.A. Año: 2024 Journal: Drones Abstract: El artículo utiliza Aprendizaje por Refuerzo Jerárquico (HRL) para optimizar la autonomía de drones en misiones de búsqueda y rescate en entornos peligrosos. El enfoque integra un modelo LSTM para predecir el consumo de batería, permitiendo que un controlador de alto nivel planifique objetivos eficientes en energía para un controlador de bajo nivel. Esto maximiza la capacidad de los drones para entregar paquetes de rescate a múltiples supervivientes sin recargas frecuentes, mejorando su desempeño en condiciones dinámicas e impredecibles.

04 ESTADO DEL ARTE

Fig. 6. Comando y resultados del motor en Belhadjer et al. (2023).

Título: Dynamic Modeling and Control of an S500 UAV Using Proportional-Integral-Derivative (PID) Algorithm Autores: Younes Belhadjer; Billel Naceri; Hamou Ait Abbas; Smail Haroun; Kouider Laroussi; Okba Fergani Año: 2023 Journal: 2023 1st International Conference on Renewable Solutions for Ecosystems: Towards a Sustainable Energy Transition Abstract: El artículo utiliza un controlador PID (Proporcional-Integral-Derivativo) para gestionar y estabilizar la dinámica del UAV S500. Se centra en el diseño, ajuste de ganancias y simulación del controlador para mantener estabilidad y precisión en vuelo. Los resultados muestran la efectividad del PID, señalando también retos y limitaciones, y sugiriendo futuras investigaciones en el control de UAV.

04 ESTADO DEL ARTE

Fig. 7. El espacio del entorno del UAV (izquierda) y el flujo principal del algoritmo A2C (derecha) en Chronis et al. (2023b).

Título: Path planning of autonomous UAVs using reinforcement learning Autores: Chronis, Christos; Anagnostopoulos, Georgios; Politi, Elena; Garyfallou, Antonios; Varlamis, Iraklis; Dimitrakopoulos, George Año: 2023 Journal: Journal of Physics: Conference Series Abstract: El artículo utiliza Aprendizaje por refuerzo para permitir que drones autónomos naveguen en entornos desconocidos y dinámicos, superando las limitaciones de algoritmos tradicionales. Con un enfoque basado en sensores de bajo costo, el método demuestra ser efectivo para evitar obstáculos y navegar de manera eficiente, incluso en escenarios complejos, según pruebas en simulaciones.

04 ESTADO DEL ARTE

05

METODOLOGÍA PROPUESTA

05. mETODOLOGÍA PROPUESTA

06

RESULTADOS PRELIMINARES

Fig. 9. Sistema PIDs en cascada para control de trayectoria de cuadricóptero.

Fig. 8. Planta de modelo linealizado de cuadricóptero.

Un cuadricóptero es un sistema dinámico complejo que se mueve en tres dimensiones utilizando la fuerza generada por sus cuatro rotores. Sin embargo, en esta actividad, se simplifica el modelo para que opere en dos dimensiones (Y y Z). El cuadricóptero se controla ajustando las fuerzas generadas por los propulsores y los momentos aplicados para regular su inclinación (Φ).

6.1 pRUEBAS CON PID'S EN CASCADA CON MODELO LINEALIZADO DE CUADRICÓPTERO

Para esta actividad también se hicieron algunas suposiciones:

• Distribución de la masa: se asume que el 50% de la masa está en el centro y el otro 50% se distribuye equitativamente entre los cuatro extremos de los brazos.
• Momento de inercia del centro: si el centro del cuadricóptero lo consideramos como un disco.
• Momento de inercia de las masas en los extremos: cada masa en el extremo se considera como una masa puntual, calculando así el momento de inercia total.

6.1 pRUEBAS CON PID'S EN CASCADA CON MODELO LINEALIZADO DE CUADRICÓPTERO

6.2 entrenamiento y comparación de modelos avanzados

Se entrenaron modelos para la detección de objetos, esto con el dataset UAV123. Se usaron 3 modelos: ResNet, DenseNet y VGG. El análisis muestra que DenseNet es el modelo más robusto tanto en entrenamiento como en validación, con una mayor precisión y menores errores. ResNet sigue de cerca, aunque con un rendimiento algo inferior en validación, lo que podría indicar un leve sobreajuste. VGG, a pesar de mejorar a lo largo de las épocas, no iguala el rendimiento de DenseNet y ResNet, especialmente en validación, sugiriendo que es menos eficiente para esta tarea.

• Definición del formato.
• Diseño y acomodo de los capítulos.
• Selección de información relevante para la Introducción y el Estado del arte.

6.3 BORRADOR DE MANUSCRITO DE TESIS

La redacción de esta tesis comenzó simultáneamente con el inicio de la investigación del tema. Los elementos con los que se cuentan en el manuscrito de tesis son:

07

RESUMEN DE ACTIVIDADES

08

LOGROS

• EDIESCA 2024.
• Expo Ciencia y Tecnología 2024.

Actividades y presentaciones

Se participó en los eventos:

09

PROPUESTA DE ACTIVIDADES

10

CONCLUSIONES

La comparación entre métodos convencionales, como los controladores PID, y enfoques no convencionales, como el aprendizaje por refuerzo, puede revelar diferencias significativas en la efectividad y adaptabilidad de las técnicas utilizadas para la planificación de rutas de drones. Los controladores PID han demostrado ser efectivos y fáciles de implementar en una variedad de aplicaciones debido a su simplicidad y estabilidad. En contraste, los métodos basados en aprendizaje por refuerzo ofrecen una adaptabilidad superior a entornos complejos y dinámicos. Estos métodos aprovechan técnicas avanzadas de inteligencia artificial, permitiendo el aprendizaje autónomo y la optimización de rutas, ajustándose así a las condiciones cambiantes y mejorando la eficiencia operativa. Aunque los métodos convencionales siguen siendo relevantes y útiles, especialmente en escenarios bien definidos, los avances en el aprendizaje por refuerzo prometen revolucionar la gestión de trayectorias de drones, desbloqueando nuevas posibilidades para su aplicación en diversos campos.

10. conclusiones

REFERENCIAS BIBLIOGRÁFICAS

Abdelhay, Sabir, and Alia Zakriti. 2019. “Modeling of a Quadcopter Trajectory Tracking System Using PID Controller.” Procedia Manufacturing 32:564-571. https://libcon.rec.uabc.mx:4440/10.1016/j.promfg.2019.02.253. Abdelmaksoud, Sherif I., Musa Mailah, and Ayman M. Abdallah. 2021. “Improving Disturbance Rejection Capability for a Quadcopter UAV System Using Self-Regulating Fuzzy PID Controller.” 2020 International Conference on Computer, Control, Electrical, and Electronics Engineering (ICCCEEE), (Febrero). https://libcon.rec.uabc.mx:4440/10.1109/ICCCEEE49695.2021.9429661. Amiruddin, Brilian Putra, Eka Iskandar, Ali Fatoni, and Ari Santoso. 2020. “Deep Learning based System Identification of Quadcopter Unmanned Aerial Vehicle.” 2020 3rd International Conference on Information and Communications Technology (ICOIACT), (Noviembre). https://libcon.rec.uabc.mx:4440/10.1109/ICOIACT50329.2020.9332059. Asti, Irfin Sandra, Trihastuti Agustinah, and Ari Santoso. 2020. “Obstacle Avoidance with Energy Efficiency and Distance Deviation Using KNN Algorithm for Quadcopter.” 2020 International Seminar on Intelligent Technology and Its Applications (ISITIA), (Julio). https://libcon.rec.uabc.mx:4440/10.1109/ISITIA49792.2020.9163788. Beck, Hadrien, Julien Lesueur, Guillaume Charland-Arcand, Ouassima Akhrif, Samuel Gagné, François Gagnon, and Denis Couillard. 2016. “Autonomous takeoff and landing of a quadcopter.” 2016 International Conference on Unmanned Aircraft Systems (ICUAS), (Junio). https://libcon.rec.uabc.mx:4440/10.1109/ICUAS.2016.7502614. Bernini, Nicola, Mikhail Bessa, Rémi Delmas, Arthur Gold, Eric Goubault, Romain Pennec, Sylvie Putot, and François Sillion. 2023. “Reinforcement learning with formal performance metrics for quadcopter attitude control under non-nominal contexts.” Engineering Applications of Artificial Intelligence 127 (Enero). https://libcon.rec.uabc.mx:4440/10.1016/j.engappai.2023.107090. Breese, Bennett, Manish Kumar, Michael Bolender, and David W. Casbeer. 2022. “Physics-Based Neural Networks for Modeling & Control of Aerial Vehicles.” 2022 American Control Conference (ACC), (Junio). https://libcon.rec.uabc.mx:4440/10.23919/ACC53348.2022.9867338. Brito, Alexandre, Vasco Brito, Luís Brito Palma, Fernando Coito, and Paulo Gil. 2018. “Trajectory control approaches for a fault tolerant quadcopter.” 2018 International Young Engineers Forum (YEF-ECE), (Mayo). https://libcon.rec.uabc.mx:4440/10.1109/YEF-ECE.2018.8368932. Cohen, Mitchell R., Khairi Abdulrahim, and James Richard Forbes. 2020. “Finite-Horizon LQR Control of Quadrotors on SE2(3).” IEEE Robotics and Automation Letters 5, no. 4 (Julio). https://libcon.rec.uabc.mx:4440/10.1109/LRA.2020.3010214. Eltayeb, Ahmed, Mohd Fuaad Rahmat, M. A Mohammed Eltoum, M. H. Sanhoury Ibrahim, and Mohd Ariffanan Mohd Basri. 2021. “Trajectory Tracking for the Quadcopter UAV utilizing Fuzzy PID Control Approach.” 2020 International Conference on Computer, Control, Electrical, and Electronics Engineering (ICCCEEE), (Febrero). https://libcon.rec.uabc.mx:4440/10.1109/ICCCEEE49695.2021.9429636.

Esfandiari, Mohamadamin, and M.A. Amiri Atashgah. 2022. “Machine Learning Control of an Aerial Robot Based on a Tuned Deep Deterministic Policy Gradient Method.” Proceedings of the 10th RSI International Conference on Robotics and Mechatronics (ICRoM 2022), (Noviembre). https://libcon.rec.uabc.mx:4440/10.1109/ICRoM57054.2022.10025345. Gautam, Deepak, and Cheolkeun Ha. 2013. “Control of a Quadrotor Using a Smart Self-Tuning Fuzzy PID Controller.” International Journal of Advanced Robotic Systems, (Agosto). 10.5772/56911. Guardeño, Rafael, Manuel J. López, and Víctor M. Sánchez. 2019. “MIMO PID Controller Tuning Method for Quadrotor Based on LQR/LQG Theory.” robotics 8, no. 36 (Mayo). 10.3390/robotics8020036. MASSÉ, Catherine, Olivier GOUGEON, Duc-Tien NGUYEN, and David SAUSSIÉ. 2018. “Modeling and Control of a Quadcopter Flying in a Wind Field: A Comparison Between LQR and Structured ℋ∞ Control Techniques.” 2018 International Conference on Unmanned Aircraft Systems (ICUAS), (Junio). https://libcon.rec.uabc.mx:4440/10.1109/ICUAS.2018.8453402. Murmu, N., and K. D. Sharma. 2020. “Trajectory Tracking Control for a Nano Quadcopter Employing Stochastically Optimal PID Control.” Michael Faraday IET International Summit 2020 (MFIIS 2020), (Octubre). https://libcon.rec.uabc.mx:4440/10.1049/icp.2021.1146. Olaz, Xabier, Daniel Alaez, Manuel Prieto, Jesús Villadangos, and José Javier Astrain. 2023. “Quadcopter neural controller for take-off and landing in windy environments.” Expert Systems With Applications 225 (Septiembre). https://libcon.rec.uabc.mx:4440/10.1016/j.eswa.2023.120146. Perdana Agustina, Nilla, and Purwadi i Agus Darwito. 2023. “Autonomous Quadcopter Trajectory Tracking and Stabilization Using Control System Based on Sliding Mode Control and Kalman Filter.” 2023 International Seminar on Intelligent Technology and Its Applications (ISITIA), no. 2023 (Julio). https://libcon.rec.uabc.mx:4440/10.1109/ISITIA59021.2023.10221176. Pratama, Billie, Abdul Muis, Aries Subiantoro, Mohamed Djemai, and Rabie Ben Atitallah. 2019. “Quadcopter Trajectory Tracking and Attitude Control Based on Euler Angle Limitation.” 2018 6th International Conference on Control Engineering & Information Technology (CEIT), (Octubre). https://libcon.rec.uabc.mx:4440/10.1109/CEIT.2018.8751819.

Salem, Ahmad S., Catherine M. Elias, Omar M. Shehata, and Elsayed I. Morgan. 2020. “Investigation of Various Optimization Algorithms in Tuning Fuzzy Logic-based Trajectory Tracking Control of Quadcopter.” 2020 8th International Conference on Control, Mechatronics and Automation (ICCMA), (Noviembre). https://libcon.rec.uabc.mx:4440/10.1109/ICCMA51325.2020.9301485. Saxena, Aditi, and Richa Negi. 2023. “Trajectory Tracking of Quadcopter using Type-2 Fuzzy-aided Supertwisting Algorithm.” 2023 IEEE 12th International Conference on Communication Systems and Network Technologies (CSNT), no. 12th (Abril). https://libcon.rec.uabc.mx:4440/10.1109/CSNT57126.2023.10134719. Tajammal, Abdul Rahim, and Muzaffar Habib. 2021. “Autonomous Control of a Quadcopter using Machine Learning Algorithm.” 2021 Seventh International Conference on Aerospace Science and Engineering (ICASE), (Diciembre). https://libcon.rec.uabc.mx:4440/10.1109/ICASE54940.2021.9904256. Tran, Vu Phi, Fendy Santoso, Matthew A. Garratt, and Ian R. Petersen. 2021. “Fuzzy Self-Tuning of Strictly Negative-Imaginary Controllers for Trajectory Tracking of a Quadcopter Unmanned Aerial Vehicle.” IEEE Transactions on Industrial Electronics 68, no. 6 (Junio). https://libcon.rec.uabc.mx:4440/10.1109/TIE.2020.2988219. Trenev, I., A. Tkachenko, and A. Kustov. 2021. “Movement stabilization of the parrot mambo quadcopter along a given trajectory based on PID controllers.” IFAC-PapersOnLine 54 (13): 227-232. https://libcon.rec.uabc.mx:4440/10.1016/j.ifacol.2021.10.450. Van Quan, Phan, Dang Xuan Ba, Cong-Doan Truong, Nguyen Phong Luu, Vu Quang Huy, and Nguyen Tu Duc. 2022. “An Adaptive Robust Nonlinear Control Approach of a Quadcopter with Disturbance Observer.” 2022 11th International Conference on Control, Automation and Information Sciences (ICCAIS), (Noviembre). https://libcon.rec.uabc.mx:4440/10.1109/ICCAIS56082.2022.9990185. Vong, Chi Hei, Kris Ryan, and Hoam Chung. 2021. “Trajectory tracking control of quadcopters under tunnel effects.” Mechatronics 78 (Octubre). https://libcon.rec.uabc.mx:4440/10.1016/j.mechatronics.2021.102628.

Fig. 3. Estructura de aprendizaje por refuerzo (Khlif et al., 2022).

Fig. 4. Estructura de controlador PID (Trenev et al., 2021).

El control de trayectoria de un cuadricóptero consiste en dirigir su movimiento para que siga un camino predefinido o alcance un destino específico. Esto incluye ajustar su posición (ejes X, Y y Z) y orientación (ángulos de giro, cabeceo y guiñada) de manera precisa, a pesar de perturbaciones externas como viento o cambios en la carga. Algunas formas de controlar la trayectoria son:

• Un controlador PID es una herramienta de control que ajusta las entradas de un sistema para minimizar la diferencia entre su estado actual y el deseado.
• El aprendizaje por fuerzo es una técnica de IA donde un agente aprende a tomar decisiones óptimas mediante ensayo y error. El agente recibe recompensas o penalizaciones según sus acciones y ajusta su estrategia para maximizar recompensas.

Fig. 2. Ejes principales en Bernini et al. (2023).

• Subsistema de traslación: genera posición de altitud (ejes x, y y z).
• Subsistema de rotación: genera la posición de actitud (alabeo, cabeceo y guiñada).

Un cuadricóptero es un sistema dinámico con 6 grados de libertad. Sin embargo, sólo tiene cuatro entradas independientes. La dinámica del cuadricóptero puede dividirse en dos subsistemas:

Esta fórmula muestra cómo el empuje depende de la velocidad de las hélices y las características físicas del cuadricóptero.

• CT: Coeficiente de empuje (depende del diseño del motor y la hélice).
• ρ: Densidad del aire.
• Ar: Área de rotación de las hélices.
• r: Radio de las hélices.
• ω: Velocidad angular de las hélices.

Donde:

La fórmula del coeficiente de empuje es:

• Jm: Momento de inercia del motor.
• P, Q: Velocidades angulares de pitch y roll.
• ω1, ω2, ω3, ω4: Velocidades angulares de los motores.

Las fuerzas giroscópicas para pitch y roll son:

• ΣT: Suma de las fuerzas de empuje de los motores.
• τϕ,τθ,τψ: Momentos de giro alrededor de los ejes X (roll), Y (pitch) y Z (yaw).
• CT, CQ: Coeficientes de empuje y torque.
• d: Distancia del motor al centro del UAV.
• ( ):Velocidades angulares al cuadrado de los motores.

Para representar todas las fuerzas y momentos (giros) generados por los motores, se usa una matriz:

• Superíndice b: Indica que las mediciones están en el marco del cuerpo del UAV.
• Subíndice CM|i: Se refiere al centro de masas del cuadricóptero, con respecto al marco inercial (un marco fijo, como el suelo).

Donde:

La expresión de la aceleración lineal es:

Fig. 1. Diagrama de modelo de cuadricóptero en Belhadjer et al. (2023).

Los sistemas en los que no existe una relación lineal o proporcional entre las entradas y las salidas se conocen como sistemas no lineales. Un ejemplo de este tipo de sistema es el vehículo aéreo no tripulado (UAV). Un cuadricóptero es básicamente un UAV de cuatro motores sin escobillas con hélices como propulsión. Tiene dos configuraciones principales: la configuración + y la configuración X (Saxena & Negi, 2023).

El torque depende de cómo giran las hélices y cómo están diseñadas.

• CQ es el coeficiente de torque.
• ω es la velocidad angular

Donde:

La fórmula del coeficiente de torque es:

• Jxx, Jyy, Jzz representan las resistencias al giro alrededor de los ejes X, Y y Z.

Donde:

La matriz es diagonal porque el cuadricóptero tiene simetría, lo que facilita el cálculo porque solo consideramos los valores en la diagonal.

La matriz de inercia se define como:

• ωSS: Velocidad constante del motor.
• Throttle%: Porcentaje de aceleración que indica el control remoto.
• CR,b: Constantes que dependen de las pruebas de los motores.

La relación entre el comando de aceleración (porcentaje de acelerador) y la velocidad angular del motor es lineal: