DeepET

Examen Transversal

Deep Learning

Integrantes: Aldo Arroyo Juan Bórquez

ÍNDICE

Carga de datos y preprocesado (CNN)

RNN estándar vs LSTM

Carga de datos y preprocesado (LSTM)

Modelo CNN Aumentado

Modelo CNN Max

Definición de modelos LSTM One-hot

Definición de modelos LSTM Embedding

Mejor modelo CNN

Mejor modelo LSTM

ÍNDICE

Carga de datos y preprocesado

Transformer Texto vectorizado

Transformer Tokenizer

Mejor modelo Transfomer

01

Los Simpson

CNN

Carga de datos y preprocesado

One hot encoding

Normalización

Modelo CNN Aumentado

Arquitectura

Resultados

Resultados Test

Modelo CNN Max

Arquitectura

Resultados

Resultados Test

Mejor modelo CNN Max

Arquitectura

Resultados

Resultados Test

Ejemplo predicciones con el mejor modelo (CNN Max)

02

Don Quijote

RNN (LSTM)

RNN estándar vs LSTM

Carga de datos y preprocesado

One hot encoding y Embedding

Limpieza de caracteres

Mapa de caracteres

Tokenización

Definición de modelos LSTM One-hot

Arquitectura

Resultados

Definición de modelos LSTM Embedding

Arquitectura

Resultados

Mejor modelo LSTM LSTM Embedding

03

Daily-Dialog

NLP - Generación de texto

Carga de datos y preprocesado

Limpieza de caracteres

Tokenización

Embedding

Transformer Tokenizer

Arquitectura

Resultados

Resultados Test

Transformer Tokenizer 2

Arquitectura

Resultados

Resultados Test

Mejor modelo Transfomer Tokenizer

¡GRACIAS!

Capas

• Dos capas Embedding de dimensión 128 para representar los tokens en espacio vectorial.
• Encoder: una capa de atención multi-cabeza, normalización, red densa con activación ReLU, y dropout.
• Decoder: atención enmascarada, atención cruzada con salida del encoder, red densa con activación ReLU y dropout.
• Capa de salida con softmax sobre 22,079 clases del vocabulario.
• Dropout y normalización aplicados en múltiples bloques para mejorar generalización y estabilidad.

Resultados

Resultados

Resultados

Resultados

Capas

• 3 grupos de convolucion cada uno con dos capas y activacion ReLu.
• Max_pooling tras cada dos capas de convolucion
• Dropout aplicado con el objetivo de reducir el sobreentrenamiento.

• Capa de salida con 18 neuronas, correspondiente a 18 clases.
• Entrada a través de una capa `Flatten`.

Funciones de activación (Ocultas): ReluFunción de activación (Salida): Softmax

Capas

• 4 grupos de convolucion cada uno con dos capas y activacion ReLu.
• Max_pooling tras cada capa de convolucion
• Dropout aplicado con el objetivo de reducir el sobreentrenamiento.

• Capa de salida con 18 neuronas, correspondiente a 18 clases.
• Entrada a través de una capa `Flatten`.

Funciones de activación (Ocultas): ReluFunción de activación (Salida): Softmax

Capas

• 4 grupos de convolucion cada uno con dos capas y activacion ReLu.
• Max_pooling tras cada capa de convolucion
• Dropout aplicado con el objetivo de reducir el sobreentrenamiento.

• Capa de salida con 18 neuronas, correspondiente a 18 clases.
• Entrada a través de una capa `Flatten`.

Funciones de activación (Ocultas): ReluFunción de activación (Salida): Softmax

Resultados Test

Resultados Test

Test Loss: 0.158Test Acuracy: 0.961

Capas

• Capa Embedding (64 dimensiones)
• Capa LSTM (128 unidades)
• Capa de salida con softmax
• Optimizador: Adam
• Funcion de perdida: sparse_categorical_crossentropy

Capas

• Capa LSTM (128 unidades)
• Capa de salida con softmax
• Optimizador: Adam
• Funcion de perdida: Categorical_crossentropy

Resultados

Resultados Test

Test Loss: 0.123Test Acuracy: 0.974

Resultados

Resultados Test

Test Loss: 0.123Test Acuracy: 0.974

Resultados Test

Capas

• Dos capas Embedding de dimensión 128 para representar los tokens en espacio vectorial.
• Encoder: una capa de atención multi-cabeza, normalización, red densa con activación ReLU, y dropout.
• Decoder: atención enmascarada, atención cruzada con salida del encoder, red densa con activación ReLU y dropout.
• Capa de salida con softmax sobre 22,079 clases del vocabulario.
• Dropout y normalización aplicados en múltiples bloques para mejorar generalización y estabilidad.

Resultados