Predicción avanzada de precios de series temporales multivariadas utilizando Transformadores. Iinvestiga la aplicación de modelos avanzados de aprendizaje profundo para la predicción de series temporales multivariadas, centrándose específicamente en la predicción de precios de acciones. Se diseña y desarrolla un modelo novedoso basado en transformadores para predecir el precio de las acciones del día siguiente o del día posterior. Esta investigación abarca tres contribuciones clave:
1.Marco de Preprocesamiento de Datos: Se establece un robusto marco de preprocesamiento de datos para manejar datos del mercado de valores del mundo real. Este marco incluye técnicas para la limpieza de datos, la ingeniería de características y la normalización, asegurando la idoneidad de los datos para los modelos de aprendizaje profundo.
2.Modelo de Predicción de Precios basado en Transformadores: Esta tesis propone una novedosa arquitectura de transformadores para la predicción de series temporales multivariadas. El modelo aprovecha el poder de la arquitectura de codificador-decodificador de transformadores para capturar dependencias a largo plazo y relaciones dentro de los datos. La versión inicial del modelo utiliza capas lineales para la predicción.
3.Análisis Comparativo y Mejoras del Modelo: El rendimiento del modelo de transformadores propuesto se compara con un modelo personalizado de Memoria a Largo Plazo (LSTM) y un modelo de transformadores preconstruido de una biblioteca de Análisis de Series Temporales (TSAI). Este análisis comparativo proporciona valiosos conocimientos sobre la efectividad de la metodología propuesta. Además, la tesis explora la posibilidad de emplear capas convolucionales dentro de la arquitectura de transformadores. Este desarrollo patrones localizados dentro de los datos. Además, la investigación investiga la viabilidad de predecir múltiples variables objetivo simultáneamente a través de un mecanismo de atención multi-cabeza.
4.Datos y Evaluación: La investigación utiliza un conjunto de datos integral que abarca varios puntos de datos del mercado de valores recopilados desde el 31 de diciembre de 2015 hasta el 30 de diciembre de 2022. Este extenso período de datos permite la evaluación del rendimiento del modelo bajo diversas condiciones de mercado. Mientras que la exploración inicial se basó en visualizaciones de resultados para evaluar el rendimiento del modelo, la tesis está investigando actualmente la implementación de métricas de evaluación cuantitativas establecidas. Estas métricas pueden incluir el Error Cuadrático Medio (MSE), el Error Absoluto Medio (MAE) y la Raíz del Error Cuadrático Medio (RMSE) para proporcionar una medida más estadísticamente robusta de la precisión de la predicción.
5.Desarrollo de la Aplicación: Finalmente, la culminación de esta investigación conduce al desarrollo de una aplicación amigable para el usuario. Esta aplicación simplifica el proceso de despliegue del modelo al permitir a los usuarios importar conjuntos de datos de acciones, realizar tareas de preprocesamiento automáticamente y alimentar los datos preparados en el modelo de predicción elegido. Este enfoque centrado en el usuario fomenta la implementación práctica de la metodología propuesta.
ABSTRACT
Advanced Multivariate Time Series Price Prediction using Transformers. This thesis investigates the application of advanced deep learning models for multivariate time series forecasting, specifically focusing on stock price prediction. A novel transformer-based model is designed and developed to predict tomorrow’s or the next day’s stock price. This research encompasses three key contributions:
1.Data Preprocessing Framework: A robust data preprocessing framework is established to handle real-world stock market data. This framework includes techniques for data cleaning, feature engineering, and normalization, ensuring the suitability of data for deep learning models.
2.Transformer-based Price Prediction Model: This thesis proposes a novel transformer architecture for multivariate time series forecasting. The model leverages the power of transformer encoder-decoder architecture to capture long-range dependencies and relationships within the data. The initial version of the model utilizes linear layers for prediction.
3.Comparative Analysis and Model Enhancements: The performance of the proposed transformer model is compared against a custom Long Short-Term Memory (LSTM) model and a pre-built transformer model from a Time Series Analysis (TSAI) library. This comparative analysis provides valuable insights into the effectiveness of the proposed methodology. Furthermore, the thesis explores the potential of employing convolutional layers within the transformer architecture. This development aims to further enhance the model’s ability to extract localized patterns within the data. Additionally, the research investigates the feasibility of predicting multiple target variables simultaneously through a multi-head attention mechanism.
4.Data and Evaluation: The research utilizes a comprehensive dataset encompassing various stock market data points collected from December 31st, 2015, to December 30th, 2022. This extensive data period allows for the evaluation of the model’s performance under diverse market conditions. While the initial exploration relied on visualizations of results to assess model performance, the thesis is currently investigating the implementation of established quantitative evaluation metrics. These metrics may include Mean Squared Error (MSE), Mean Absolute Error (MAE), and Root Mean Squared Error (RMSE) to provide a more statistically robust measure of prediction accuracy.
5.Application Development: Finally, the culmination of this research leads to the development of a user-friendly application. This application streamlines the model deployment process by allowing users to import stock data sets, perform preprocessing tasks automatically, and feed the prepared data into the chosen prediction model. This user-centric approach fosters the practical implementation of the proposed methodology.
Predicción avanzada de precios de series temporales multivariadas utilizando Transformadores. Iinvestiga la aplicación de modelos avanzados de aprendizaje profundo para la predicción de series temporales multivariadas, centrándose específicamente en la predicción de precios de acciones. Se diseña y desarrolla un modelo novedoso basado en transformadores para predecir el precio de las acciones del día siguiente o del día posterior. Esta investigación abarca tres contribuciones clave:
1.Marco de Preprocesamiento de Datos: Se establece un robusto marco de preprocesamiento de datos para manejar datos del mercado de valores del mundo real. Este marco incluye técnicas para la limpieza de datos, la ingeniería de características y la normalización, asegurando la idoneidad de los datos para los modelos de aprendizaje profundo.
2.Modelo de Predicción de Precios basado en Transformadores: Esta tesis propone una novedosa arquitectura de transformadores para la predicción de series temporales multivariadas. El modelo aprovecha el poder de la arquitectura de codificador-decodificador de transformadores para capturar dependencias a largo plazo y relaciones dentro de los datos. La versión inicial del modelo utiliza capas lineales para la predicción.
3.Análisis Comparativo y Mejoras del Modelo: El rendimiento del modelo de transformadores propuesto se compara con un modelo personalizado de Memoria a Largo Plazo (LSTM) y un modelo de transformadores preconstruido de una biblioteca de Análisis de Series Temporales (TSAI). Este análisis comparativo proporciona valiosos conocimientos sobre la efectividad de la metodología propuesta. Además, la tesis explora la posibilidad de emplear capas convolucionales dentro de la arquitectura de transformadores. Este desarrollo patrones localizados dentro de los datos. Además, la investigación investiga la viabilidad de predecir múltiples variables objetivo simultáneamente a través de un mecanismo de atención multi-cabeza.
4.Datos y Evaluación: La investigación utiliza un conjunto de datos integral que abarca varios puntos de datos del mercado de valores recopilados desde el 31 de diciembre de 2015 hasta el 30 de diciembre de 2022. Este extenso período de datos permite la evaluación del rendimiento del modelo bajo diversas condiciones de mercado. Mientras que la exploración inicial se basó en visualizaciones de resultados para evaluar el rendimiento del modelo, la tesis está investigando actualmente la implementación de métricas de evaluación cuantitativas establecidas. Estas métricas pueden incluir el Error Cuadrático Medio (MSE), el Error Absoluto Medio (MAE) y la Raíz del Error Cuadrático Medio (RMSE) para proporcionar una medida más estadísticamente robusta de la precisión de la predicción.
5.Desarrollo de la Aplicación: Finalmente, la culminación de esta investigación conduce al desarrollo de una aplicación amigable para el usuario. Esta aplicación simplifica el proceso de despliegue del modelo al permitir a los usuarios importar conjuntos de datos de acciones, realizar tareas de preprocesamiento automáticamente y alimentar los datos preparados en el modelo de predicción elegido. Este enfoque centrado en el usuario fomenta la implementación práctica de la metodología propuesta.
ABSTRACT
Advanced Multivariate Time Series Price Prediction using Transformers. This thesis investigates the application of advanced deep learning models for multivariate time series forecasting, specifically focusing on stock price prediction. A novel transformer-based model is designed and developed to predict tomorrow’s or the next day’s stock price. This research encompasses three key contributions:
1.Data Preprocessing Framework: A robust data preprocessing framework is established to handle real-world stock market data. This framework includes techniques for data cleaning, feature engineering, and normalization, ensuring the suitability of data for deep learning models.
2.Transformer-based Price Prediction Model: This thesis proposes a novel transformer architecture for multivariate time series forecasting. The model leverages the power of transformer encoder-decoder architecture to capture long-range dependencies and relationships within the data. The initial version of the model utilizes linear layers for prediction.
3.Comparative Analysis and Model Enhancements: The performance of the proposed transformer model is compared against a custom Long Short-Term Memory (LSTM) model and a pre-built transformer model from a Time Series Analysis (TSAI) library. This comparative analysis provides valuable insights into the effectiveness of the proposed methodology. Furthermore, the thesis explores the potential of employing convolutional layers within the transformer architecture. This development aims to further enhance the model’s ability to extract localized patterns within the data. Additionally, the research investigates the feasibility of predicting multiple target variables simultaneously through a multi-head attention mechanism.
4.Data and Evaluation: The research utilizes a comprehensive dataset encompassing various stock market data points collected from December 31st, 2015, to December 30th, 2022. This extensive data period allows for the evaluation of the model’s performance under diverse market conditions. While the initial exploration relied on visualizations of results to assess model performance, the thesis is currently investigating the implementation of established quantitative evaluation metrics. These metrics may include Mean Squared Error (MSE), Mean Absolute Error (MAE), and Root Mean Squared Error (RMSE) to provide a more statistically robust measure of prediction accuracy.
5.Application Development: Finally, the culmination of this research leads to the development of a user-friendly application. This application streamlines the model deployment process by allowing users to import stock data sets, perform preprocessing tasks automatically, and feed the prepared data into the chosen prediction model. This user-centric approach fosters the practical implementation of the proposed methodology. Read More
Related posts:
Predicción de la demanda de movilidad espacio-temporal del transporte público mediante transformers
Predicción avanzada de Sepsis en pacientes hospitalizados: exploración de métodos y modelos en series temporales
Previsión del precio SPOT en el mercado eléctrico español con redes neuronales
A Novel Transformer Network With Shifted Window Cross-Attention for Spatiotemporal Weather Forecasting
Diseño de una metodología de cálculo del Valor del Cliente (CLTV) basada en
redes neuronales para la predicción del comportamiento de los consumidores
en un entorno empresarial
Predicción de demanda de gas y electricidad utilizando técnicas estadísticas avanzadas e inteligencia artificial