Este trabajo de fin de grado analiza el potencial de los LLMs en tareas de predicción de series temporales, un campo tradicionalmente dominado por métodos estadísticos como (S)ARIMA(X). El objetivo es evaluar si los LLMs, entrenados principalmente para comprender y generar lenguaje natural, pueden adaptarse con éxito a las predicciones temporales, concretamente en el contexto de ventas semanales de una empresa líder del mercado español de Telecomunicaciones.
Inicialmente se han aplicado modelos clásicos como (S)ARIMA(X) y Prophet, siendo este último el que ha ofrecido mejores resultados en términos de precisión y estabilidad. Posteriormente, se ha implementado un enfoque basado en TimeLLM, que convierte las series numéricas en representaciones textuales estructuradas, permitiendo a modelos como GPT-2, GPT-Neo o Pythia realizar predicciones autoregresivas sobre los datos. El dataset incluye variables exógenas relevantes como intensidad promocional, campañas publicitarias, festivos o impacto del COVID, y se ha preprocesado cuidadosamente para mantener la coherencia temporal.
Los resultados obtenidos con los LLMs han sido, en general, menos prometedores de lo previsto bajo las condiciones del trabajo, especialmente si se tienen en cuenta las altas expectativas generadas por estos modelos en otros contextos. Aun así, presentan un punto de partida interesante y abren la puerta a futuras mejoras, tanto en la ingeniería del prompt como en el ajuste fino de los modelos para tareas específicas de forecasting.
Abstract:
This final degree project explores the potential of LLMs in time series forecasting tasks, a field traditionally dominated by statistical methods such as (S)ARIMA(X). The main objective is to assess whether LLMs—primarily trained to understand and generate natural language—can successfully adapt to temporal prediction tasks, specifically in the context of weekly sales forecasting for for a leading company in the Spanish telecommunications market.
Initially, classical models such as (S)ARIMA(X) and Prophet were applied, with the latter delivering the best results in terms of accuracy and stability. Subsequently, an approach based on TimeLLM was implemented, which transforms numerical series into structured textual representations, allowing models such as GPT-2, GPT-Neo, or Pythia to perform autoregressive predictions on the data. The dataset includes relevant exogenous variables such as promotional intensity, advertising campaigns, public holidays, or the impact of COVID, and it has been carefully preprocessed to preserve temporal consistency.
The results obtained with LLMs were generally less promising than expected under the conditions of this study, especially considering the high expectations these models have generated in other contexts. Nevertheless, they offer an interesting starting point and open the door to future improvements, both in prompt engineering and in fine-tuning models for specific forecasting tasks.
Este trabajo de fin de grado analiza el potencial de los LLMs en tareas de predicción de series temporales, un campo tradicionalmente dominado por métodos estadísticos como (S)ARIMA(X). El objetivo es evaluar si los LLMs, entrenados principalmente para comprender y generar lenguaje natural, pueden adaptarse con éxito a las predicciones temporales, concretamente en el contexto de ventas semanales de una empresa líder del mercado español de Telecomunicaciones.
Inicialmente se han aplicado modelos clásicos como (S)ARIMA(X) y Prophet, siendo este último el que ha ofrecido mejores resultados en términos de precisión y estabilidad. Posteriormente, se ha implementado un enfoque basado en TimeLLM, que convierte las series numéricas en representaciones textuales estructuradas, permitiendo a modelos como GPT-2, GPT-Neo o Pythia realizar predicciones autoregresivas sobre los datos. El dataset incluye variables exógenas relevantes como intensidad promocional, campañas publicitarias, festivos o impacto del COVID, y se ha preprocesado cuidadosamente para mantener la coherencia temporal.
Los resultados obtenidos con los LLMs han sido, en general, menos prometedores de lo previsto bajo las condiciones del trabajo, especialmente si se tienen en cuenta las altas expectativas generadas por estos modelos en otros contextos. Aun así, presentan un punto de partida interesante y abren la puerta a futuras mejoras, tanto en la ingeniería del prompt como en el ajuste fino de los modelos para tareas específicas de forecasting.
Abstract:
This final degree project explores the potential of LLMs in time series forecasting tasks, a field traditionally dominated by statistical methods such as (S)ARIMA(X). The main objective is to assess whether LLMs—primarily trained to understand and generate natural language—can successfully adapt to temporal prediction tasks, specifically in the context of weekly sales forecasting for for a leading company in the Spanish telecommunications market.
Initially, classical models such as (S)ARIMA(X) and Prophet were applied, with the latter delivering the best results in terms of accuracy and stability. Subsequently, an approach based on TimeLLM was implemented, which transforms numerical series into structured textual representations, allowing models such as GPT-2, GPT-Neo, or Pythia to perform autoregressive predictions on the data. The dataset includes relevant exogenous variables such as promotional intensity, advertising campaigns, public holidays, or the impact of COVID, and it has been carefully preprocessed to preserve temporal consistency.
The results obtained with LLMs were generally less promising than expected under the conditions of this study, especially considering the high expectations these models have generated in other contexts. Nevertheless, they offer an interesting starting point and open the door to future improvements, both in prompt engineering and in fine-tuning models for specific forecasting tasks. Read More
Related posts:
Desarrollo de una interfaz para el análisis de series temporales
Análisis de series temporales: estudio de casos prácticos en economía
Enhancing urban air quality predictions with Temporal Fusion Transformers: a methodological evaluation
Predicción de la demanda de movilidad espacio-temporal del transporte público mediante transformers
Impact of Stationarizing Solar Inputs on Very-Short-Term Spatio-Temporal Global Horizontal Irradiance (GHI) Forecasting
Optimización de estrategias para mitigación de riesgo de colisión en órbitas terrestres