TimeSeries Forecast

Timeseries forecasting

Integrantes:

• Saul López
• Luis Corrales
• Arely Gonzales
• Cristian Valenzuela

Contenido

/05

/01

Regularización: Dropout y Recurrent Dropout

Tareas de Timeseries

/06

/02

Apilamiento de Capas Recurrentes

Redes Neuronales Recurrentes

/07

/03

RNNs Bidireccionales

Long Short-Term Memory

/08

/04

Aplicación en codigo

Gated Recurrent Unit

Tareas de Timeseries (series temporales)

Es cualquier serie de datos obtenidos de manera regular a intervalos.

Involucra el entendimiento de las dinamicas de un sistema.

Componentes de los datos de un TimeSeries

La tarea relacionada a timeseries más común es el forecasting (pronóstico).

Hay varios usos para los timeseries, entre ellos los siguientes:

• Detección de anomalías
• Clasificación
• Detección de eventos

Ejemplo de un implemento que se le puede dar al TimeSeries

Diferentes tipos de Tareas de Timeseries

Deteccion de anomalías

• Suele realizarse mediante el modo de aprendizaje no supervisado
• Detecta cualquier ocurrencia inusual dentro de un flujo continuo de datos

Ejemplo de como se detectan las anomalias en una grafica

Diferentes tipos de Tareas de Timeseries

Clasificación

Asignar una o varias etiquetas categóricas a una serie temporal.

Ejemplo de los distintos tipos de clasificacion en una grafica representada por colores

Diferentes tipos de Tareas de Timeseries

Detección de Eventos

La Detección de eventos- Identifica la ocurrencia de un evento específico y esperado dentro de una corriente contiua de datos Por ejemplo el "Hotword detection"

Ejemplo de programas que utilizan Hotword detection

Redes Neuronales Recurrentes (RNN)

Son un tipo de red diseñada para procesr secuencias de datos resaltando el orden temporal y la dependencia entre elementos. A diferencia de las convoluciones y del feedforward, las RNN mantienen un estado Interno

Fundamentos de las RNN

Limitaciones del modelo Simple RNN

Introduce un bucle interno que actualiza un estado oculto (state_t) con base en la entrada actual (input_t) y el estado anterior. 𝑜𝑢𝑡𝑝𝑢t_t=tanh(𝑊⋅𝑖𝑛𝑝𝑢t_t+𝑈⋅𝑠𝑡𝑎𝑡e_t+𝑏)

Pseucodigo del RNN

Redes Neuronales Recurrentes (RNN)

Gated Recurrent Unit

Long Short-Term Memory

Simple RNN

Las LSTM a largo y corto plazo resuelve problemas del desvanecimiento del gradiente mediante el mecanismo de compuertas

• Compuerta de entrada
• Compuerta de olvido
• Compuerta de salida

• SimpleRNN procesa lotes de secuencias

• Toma entradas de forma (batch_size, timesteps, input_features)

• La GU es una simplificación de la LSTM introducida en 2014.

• Fusiona algunas compuertas y reduce la complejidad manteniendo un rendimiento similar, haciéndolo más eficiente

Redes Neuronales Recurrentes (RNN)

Apilamiento de Capas Recurrentes

Dropouts Recurrentes para Combatir el Sobreajuste

• Un Dropout desactiva neuronas aleatoriamente en cada paso.

• Esto causa que el modelo olvide lo aprendido al ser en cada paso.

• Un Dropout recurrente usa una máscara para todos los pasos.

• Evita sobreajuste, pero hace el entrenamiento más lento.

• Aplicar múltiples capas LSTM o GRU para aumentar la capacidad representativa.

• Parámetro return_sequences=True para pasar toda la secuencia a la siguiente capa.

Redes Neuronales Recurrentes (RNN)

RNNs Bidireccionales

Dropouts Recurrentes para Combatir el Sobreajuste

• Se combinan para captar patrones mejor.

• Funciona si importa el orden pero no la dirección de la secuencia.

• Las RNNs procesan en orden conológico.

• Las RNNs Bidireccionales procesan en orden cronológico y anticronológico.

Ejemplo de pronóstico de temperatura

https://colab.research.google.com/drive/14Ex_wuveHdFryLEoLbgY3iAIlSdqlcnB?usp=sharing