Este trabajo presenta un enfoque innovador dentro del ámbito de la Inteligencia Artificial Explicable (XAI) para la generación de explicaciones contrafácticas basadas en subsecuencias para modelos de clasificación de series temporales. El creciente uso de modelos de Machine Learning (ML), en áreas críticas como la medicina, las finanzas y la seguridad plantea la necesidad de métodos que permitan entender y justificar las decisiones tomadas por estos sistemas. Las explicaciones contrafácticas son especialmente útiles para este propósito, ya que permiten identificar los cambios mínimos necesarios en los datos de entrada que habrían conducido a un resultado diferente, facilitando así la interpretación y aumentando la confianza de los usuarios en los modelos de ML.
El objetivo principal de este proyecto es implementar y evaluar el funcionamiento de tres métodos post-hoc para la generación de explicaciones contrafácticas en series temporales: TimeX, Attention-based Counterfactual Explanation for Multivariate Time Series (AB-CF) y and Motif-Guided Time Series Counterfactual Explanations (MG-CF). El método TimeX utiliza un enfoque de optimización iterativa basado en el promedio baricéntrico dinámico (DBA) para ajustar segmentos significativos de las series temporales, mejorando la plausibilidad de las explicaciones generadas. AB-CF se basa en identificación de las subsecuencias críticas y genera explicaciones contrafácticas mediante el intercambio de estas subsecuencias más representativas de la clase de entrada por su Nearest Unlike Neighbor, permitiendo modificaciones precisas que alteren la clasificación del modelo. Por último, MG-CF emplea la detección de motifs, que son los segmentos más representativos específicos de cada clase de salida, y los intercambia.
Estos tres métodos han sido evaluados utilizando cinco conjuntos de datos del archivo University of California, Riverside (UCR) de clasificación de series temporales: CBF, Chinatown, ECG200, Gunpoint y Coffee. Estos datasets ofrecen una diversidad de desafíos, lo que ha permitido analizar la efectividad de los métodos en diferentes escenarios. Las métricas de evaluación incluyen proximidad, sparsity, plausibilidad, validez y eficiencia. Los resultados de estas métricas muestran que AB-CF proporciona explicaciones altamente interpretables, al conseguir unos excelentes valores de validez, una sparsity moderada y un tiempo de ejecución muy bajos, mientras que TimeX sorprende con una validez muy baja y con tiempos de ejecución altísimos. MG-CF, por su parte, fluctúa con valores bajos como altos dependiendo del conjunto de datos evaluado y con unos tiempos de cálculo que facilitan enormemente su uso.
Por último, se toma como conclusión la significativa aportación del proyecto al campo de XAI mediante la comparación de diferentes metodologías que mejoran la interpretabilidad de los modelos de series temporales. Estas técnicas no solo incrementan la transparencia en la toma de decisiones automatizadas, sino que también potencian la adopción y confianza de sistemas de ML en sectores donde la explicabilidad es crucial.
Abstract:
This paper presents an innovative approach within the field of Explainable Artificial Intelligence (XAI) for the generation of subsequence-based counterfactual explanations for time series classification models. The increasing use of Machine Learning (ML) models in critical areas such as medicine, finance and security raises the need for methods to understand and justify the decisions made by these systems. Counterfactual explanations are particularly useful for this purpose, as they allow identifying the minimum necessary changes in the input data that would have led to a different outcome, thus facilitating interpretation and increasing users’ confidence in ML models.
The main objective of this project is to implement and evaluate the performance of three post-hoc methods for generating counterfactual explanations in time series: TimeX, Attention-based Counterfactual Explanation for Multivariate Time Series (AB-CF) and Motif-Guided Time Series Counterfactual Explanations (MG-CF). The TimeX method uses an iterative optimisation approach based on dynamic barycentric averaging (DBA) to fit significant segments of the time series, improving the plausibility of the generated explanations. AB-CF is based on the identification of critical sub-sequences and generates counterfactual explanations by exchanging these most representative subsequences of the input class for their Nearest Unlike Neighbor, allowing precise modifications that alter the classification of the model. Finally, MG-CF employs the detection of motifs, which are the most representative segments specific to each output class, and swaps them.
These three methods have been evaluated using five datasets from the University of California, Riverside (UCR) time series classification archive: CBF, Chinatown, ECG200, Gunpoint and Coffee. These datasets offer a diversity of challenges, allowing the effectiveness of the methods to be analysed in different scenarios. The evaluation metrics include proximity, sparsity, plausibility, validity and efficiency. The results of these metrics show that AB-CF provides highly interpretable explanations by achieving excellent validity values, moderate sparsity and a very low runtime, while TimeX surprises with very low validity and very high runtimes. MG-CF, on the other hand, fluctuates with both low and high values depending on the dataset evaluated and with calculation times that make it very easy to use.
Finally, we conclude that the project makes a significant contribution to the field of XAI by comparing different methodologies that improve the interpretability of time series models. These techniques not only increase transparency in automated decision making, but also boost the adoption and confidence of ML systems in sectors where explainability is crucial.
Este trabajo presenta un enfoque innovador dentro del ámbito de la Inteligencia Artificial Explicable (XAI) para la generación de explicaciones contrafácticas basadas en subsecuencias para modelos de clasificación de series temporales. El creciente uso de modelos de Machine Learning (ML), en áreas críticas como la medicina, las finanzas y la seguridad plantea la necesidad de métodos que permitan entender y justificar las decisiones tomadas por estos sistemas. Las explicaciones contrafácticas son especialmente útiles para este propósito, ya que permiten identificar los cambios mínimos necesarios en los datos de entrada que habrían conducido a un resultado diferente, facilitando así la interpretación y aumentando la confianza de los usuarios en los modelos de ML.
El objetivo principal de este proyecto es implementar y evaluar el funcionamiento de tres métodos post-hoc para la generación de explicaciones contrafácticas en series temporales: TimeX, Attention-based Counterfactual Explanation for Multivariate Time Series (AB-CF) y and Motif-Guided Time Series Counterfactual Explanations (MG-CF). El método TimeX utiliza un enfoque de optimización iterativa basado en el promedio baricéntrico dinámico (DBA) para ajustar segmentos significativos de las series temporales, mejorando la plausibilidad de las explicaciones generadas. AB-CF se basa en identificación de las subsecuencias críticas y genera explicaciones contrafácticas mediante el intercambio de estas subsecuencias más representativas de la clase de entrada por su Nearest Unlike Neighbor, permitiendo modificaciones precisas que alteren la clasificación del modelo. Por último, MG-CF emplea la detección de motifs, que son los segmentos más representativos específicos de cada clase de salida, y los intercambia.
Estos tres métodos han sido evaluados utilizando cinco conjuntos de datos del archivo University of California, Riverside (UCR) de clasificación de series temporales: CBF, Chinatown, ECG200, Gunpoint y Coffee. Estos datasets ofrecen una diversidad de desafíos, lo que ha permitido analizar la efectividad de los métodos en diferentes escenarios. Las métricas de evaluación incluyen proximidad, sparsity, plausibilidad, validez y eficiencia. Los resultados de estas métricas muestran que AB-CF proporciona explicaciones altamente interpretables, al conseguir unos excelentes valores de validez, una sparsity moderada y un tiempo de ejecución muy bajos, mientras que TimeX sorprende con una validez muy baja y con tiempos de ejecución altísimos. MG-CF, por su parte, fluctúa con valores bajos como altos dependiendo del conjunto de datos evaluado y con unos tiempos de cálculo que facilitan enormemente su uso.
Por último, se toma como conclusión la significativa aportación del proyecto al campo de XAI mediante la comparación de diferentes metodologías que mejoran la interpretabilidad de los modelos de series temporales. Estas técnicas no solo incrementan la transparencia en la toma de decisiones automatizadas, sino que también potencian la adopción y confianza de sistemas de ML en sectores donde la explicabilidad es crucial.
Abstract:
This paper presents an innovative approach within the field of Explainable Artificial Intelligence (XAI) for the generation of subsequence-based counterfactual explanations for time series classification models. The increasing use of Machine Learning (ML) models in critical areas such as medicine, finance and security raises the need for methods to understand and justify the decisions made by these systems. Counterfactual explanations are particularly useful for this purpose, as they allow identifying the minimum necessary changes in the input data that would have led to a different outcome, thus facilitating interpretation and increasing users’ confidence in ML models.
The main objective of this project is to implement and evaluate the performance of three post-hoc methods for generating counterfactual explanations in time series: TimeX, Attention-based Counterfactual Explanation for Multivariate Time Series (AB-CF) and Motif-Guided Time Series Counterfactual Explanations (MG-CF). The TimeX method uses an iterative optimisation approach based on dynamic barycentric averaging (DBA) to fit significant segments of the time series, improving the plausibility of the generated explanations. AB-CF is based on the identification of critical sub-sequences and generates counterfactual explanations by exchanging these most representative subsequences of the input class for their Nearest Unlike Neighbor, allowing precise modifications that alter the classification of the model. Finally, MG-CF employs the detection of motifs, which are the most representative segments specific to each output class, and swaps them.
These three methods have been evaluated using five datasets from the University of California, Riverside (UCR) time series classification archive: CBF, Chinatown, ECG200, Gunpoint and Coffee. These datasets offer a diversity of challenges, allowing the effectiveness of the methods to be analysed in different scenarios. The evaluation metrics include proximity, sparsity, plausibility, validity and efficiency. The results of these metrics show that AB-CF provides highly interpretable explanations by achieving excellent validity values, moderate sparsity and a very low runtime, while TimeX surprises with very low validity and very high runtimes. MG-CF, on the other hand, fluctuates with both low and high values depending on the dataset evaluated and with calculation times that make it very easy to use.
Finally, we conclude that the project makes a significant contribution to the field of XAI by comparing different methodologies that improve the interpretability of time series models. These techniques not only increase transparency in automated decision making, but also boost the adoption and confidence of ML systems in sectors where explainability is crucial. Read More
Related posts:
Metodología de validación de explicaciones generadas mediante técnicas de IAX post-hoc para procesos de aprendizaje automático
Generación de muestras contrafactuales basada en la importancia de las características
Counterfactuals based on generative models
Creación de un modelo de predicción de ventas basado en modelos de redes neuronales recurrentes
Validación de explicabilidad post-hoc de modelos de tipo caja-negra usando grandes modelos de lenguaje
Desarrollo de modelos intrínsecamente interpretables para estimación de vida útil remanente