Análisis de series temporales del aprendizaje profundo en la lectura de textos

Compilado | Enron

Un artículo reciente publicado en DataScience presenta el tiempo en "Procesamiento de datos" del análisis de secuencia estadounidense CNN-lst ms "RNN LSTM", y explica el concepto de series temporales y por qué se eligen los métodos de aprendizaje profundo.

¿Qué es el análisis de series temporales?

Las series de tiempo son una serie de puntos de datos y la clasificación por marca de tiempo es el análisis de datos de series de tiempo.

Desde los precios diarios de la fruta hasta las lecturas de voltaje de salida proporcionadas por los circuitos, el alcance de las series temporales es amplio, al igual que el campo del análisis de series temporales. El análisis de datos de series de tiempo generalmente se centra en la predicción, pero también puede incluir clasificación, agrupación, detección de anomalías, etc.

Por ejemplo, al estudiar los patrones de cambio de precios pasados, podemos intentar predecir el precio de un reloj que alguna vez quisimos comprar y determinar el mejor momento para comprarlo.

¿Por qué elegir el aprendizaje profundo?

Los datos de series temporales pueden ser muy volátiles y complejos. Los métodos de aprendizaje profundo no asumen patrones subyacentes en los datos y son más resistentes al ruido (común en los datos de series temporales), lo que los hace preferidos para el análisis de series temporales.

Procesamiento de datos

Antes de hacer predicciones, es importante procesar primero los datos en una forma que pueda ser entendida por el modelo matemático. Los datos de series de tiempo se pueden transformar en un problema de aprendizaje supervisado mediante el uso de ventanas deslizantes para dividir los puntos de datos. Entonces, el resultado esperado de cada ventana deslizante es el paso de tiempo después del final de la ventana.

Red recurrente

La red recurrente es una red compleja de aprendizaje profundo. Recuerdan el pasado y, por tanto, son los preferidos para el procesamiento de secuencias. La unidad RNN es la columna vertebral de la red en anillo.

La unidad RNN tiene 2 conexiones de entrada, a saber, entrada y estado anterior. Del mismo modo, también cuentan con 2 conexiones de salida, salida y estado actual. Este estado les ayuda a combinar información de entrada pasada y actual.

Las unidades RNN simples son demasiado simples para usarse en el análisis de series temporales en múltiples dominios. Así, a lo largo de los años, se han propuesto varias variantes para adaptar la red en anillo a diversos campos, ¡pero la idea central permanece sin cambios! ,

LSTM en RNN

La unidad LSTM es una unidad RNN especial con una "puerta". La puerta es esencialmente un valor entre 0 y 1, correspondiente a la entrada de estado. La intuición detrás de estas puertas es olvidar o retener información del pasado, permitiéndoles recordar algo más que el pasado.

CNN

Debido a que la información del estado pasa por cada paso, los RNN solo pueden recordar el pasado reciente.

Por otro lado, las redes cerradas como LSTM y GRU pueden manejar secuencias relativamente largas, ¡pero incluso estas redes tienen sus limitaciones! ! Para comprender mejor este problema, también podemos estudiar los gradientes que desaparecen y explotan.

Entonces, ¿cómo lidiar con secuencias largas? ¡La solución obvia es acortarlos! ! ¿Pero qué? Un enfoque consiste en descartar la información temporal detallada presente en la señal.

Esto se puede lograr acumulando un pequeño conjunto de puntos de datos y creando funciones a partir de ellos, y luego pasando estas funciones al LSTM como puntos de datos individuales.

LSTM jerárquicos de múltiples escalas

Al observar la arquitectura CNN-LSTM, pensé en una cosa... ¿Por qué usar CNN para fusionar esos grupos? ¿Por qué no utilizar un LSTM diferente? Los LSTM jerárquicos de múltiples escalas se basan en la misma idea.

La entrada se procesa en múltiples escalas, cada una dedicada a hacer algo único. Los niveles más bajos de entrada detallada se centran en proporcionar información temporal detallada (pero solo reciente).

Por otro lado, las proporciones más altas se centran en proporcionar una imagen completa (pero sin detalles detallados). La combinación de varias escalas puede comprender mejor las series temporales.

¿Qué sigue?

El análisis de series de tiempo es un campo muy antiguo que incluye una variedad de problemas interdisciplinarios, cada uno de los cuales presenta problemas con sus propios desafíos.

Sin embargo, aunque cada campo ha adaptado el modelo según sus propios requisitos, todavía hay algunas direcciones generales de investigación que necesitan mejorar en el análisis de series temporales.

Por ejemplo, cada desarrollo, desde la unidad RNN más básica hasta el LSTM jerárquico de múltiples escalas, se ha centrado en procesar secuencias más largas de alguna manera, pero incluso las últimas modificaciones de LSTM tienen sus propias secuencias Límite de longitud, existe Todavía no hay una arquitectura realmente capaz de manejar secuencias extremadamente largas.