Integración y evaluación de modelos interpretables utilizando la librería interpretML

Bookmark (0)
Please login to bookmark Close

En la actualidad, los sistemas de inteligencia artificial han adquirido un papel fundamental en múltiples ámbitos de la sociedad, desde asistentes personales y motores de recomendación hasta herramientas utilizadas en medicina, banca y justicia. Sin embargo, mientras que muchos modelos avanzados como XGBoost o redes neuronales profundas ofrecen altos niveles de precisión, suelen ser considerados “cajas negras” (blackbox), es decir, su proceso de decisión resulta opaco para los usuarios. Esta falta de transparencia supone una barrera en dominios donde las decisiones automatizadas deben ser justificables y confiables. En este contexto, la Inteligencia Artificial Explicable (XAI) surge como una rama esencial del aprendizaje automático, centrada en desarrollar modelos que permitan entender, analizar y confiar en sus predicciones. La mayor parte del desarrollo de este Trabajo Fin de Grado se ha llevado a cabo en el marco de una Beca de Colaboración en Departamentos Universitarios, convocada por el Ministerio de Educación, con el objetivo de fomentar la iniciación en tareas de investigación. La resolución de concesión fue publicada en noviembre de 2024 y, desde entonces, he estado trabajando en este proyecto, profundizando en el campo de la Inteligencia Artificial Explicable (XAI) y colaborando con el departamento de IA para integrar y evaluar herramientas relacionadas con modelos transparentes de aprendizaje automático. Este Trabajo Fin de Grado tiene como objetivo contribuir a este campo mediante la integración y evaluación de modelos interpretables utilizando la librería InterpretML, un marco reconocido en la comunidad de XAI. Se ha desarrollado una extensión de dicha librería, denominada interpret-extension, que amplía sus capacidades para incluir nuevos modelos que hasta ahora no eran compatibles. Entre los modelos incorporados se encuentran clasificadores probabilísticos como Naive Bayes, Tree Augmented Naive Bayes (TAN) y Análisis Discriminante Lineal (LDA), así como modelos aditivos más modernos como Neural Additive Models (NAM). Esta integración se ha diseñado respetando la estructura de InterpretML, permitiendo generar explicaciones tanto globales como locales mediante representaciones gráficas. El desarrollo de la extensión ha incluido la creación de clases específicas para cada modelo, la implementación de métodos de visualización compatibles con el ecosistema de InterpretML y la publicación del paquete en el repositorio oficial PyPI. A través de esta herramienta, se busca facilitar el uso de modelos explicables en entornos reales, permitiendo a profesionales y desarrolladores acceder a modelos transparentes. La validación de estas implementaciones se ha llevado a cabo mediante una evaluación en condiciones reproducibles utilizando el benchmark TabZilla, una plataforma que permite comparar modelos de machine learning en diversos conjuntos de datos. La experimentación se ha centrado en 15 datasets de clasificación binaria, empleando métricas como precisión (accuracy), log loss, y tiempos de entrenamiento e inferencia. Los resultados obtenidos muestran que, si bien los modelos de boosting como CatBoost y XGBoost siguen liderando en términos de rendimiento bruto, modelos como EBM han alcanzado precisiones comparables, situándose incluso como el modelo más efectivo en varios datasets. Este hallazgo refuerza la idea de que es posible lograr un equilibrio entre interpretabilidad y rendimiento, especialmente en entornos donde la comprensión de las decisiones es tan importante como la precisión del modelo. En conclusión, este trabajo no solo presenta una contribución mediante la extensión de una librería de referencia en el campo, sino que también muestra el potencial de los modelos explicables como una alternativa frente a los modelos opacos.
ABSTRACT
Nowadays, artificial intelligence systems have taken on a key role in many areas of society, from personal assistants and recommendation engines to tools used in medicine, banking, and justice. However, although many advanced models like XGBoost or deep neural networks offer high levels of accuracy, they are often considered “blackbox”, meaning their decision-making process is not clear to users. This lack of transparency becomes a challenge in fields where automated decisions need to be justified and trustworthy. In this context, Explainable Artificial Intelligence (XAI) has emerged as an essential branch of machine learning, focused on developing models that allow us to understand, analyze, and trust their predictions. The majority of this Final Degree Project has been carried out within the framework of a Collaboration Grant in University Departments, funded by the Spanish Ministry of Education, with the aim of promoting early involvement in research activities. The award resolution was published in November 2024, and since then, I have been working on this project, delving into the field of Explainable Artificial Intelligence (XAI) and collaborating with the Department of Artificial Intelligence to integrate and evaluate tools related to transparent machine learning models. This Final Degree Project aims to contribute to this field through the integration and evaluation of interpretable models using the InterpretML library, a framework widely recognized within the XAI community. An extension of this library has been developed, called interpret-extension, which expands its capabilities to include new models that were previously unsupported. Among the incorporated models are probabilistic classifiers such as Naive Bayes, Tree Augmented Naive Bayes (TAN), and Linear Discriminant Analysis (LDA), as well as more modern additive models like Neural Additive Models (NAM). This integration was designed to align with InterpretML’s architecture, enabling the generation of both global and local explanations through graphical representations. The development of the extension included the creation of specific classes for each model, the implementation of visualization methods compatible with the InterpretML ecosystem, and the publication of the package in the official PyPI repository. With this tool, the goal is to make explainable models easier to use in real-world environments, allowing professionals and developers to access transparent models. The validation of these implementations was carried out through evaluation under reproducible conditions using the TabZilla benchmark, a platform that allows comparison of machine learning models across various datasets. The experimentation focused on 15 binary classification datasets, using metrics such as accuracy, log loss, and training and inference times. The results show that, although boosting models like CatBoost and XGBoost still lead in terms of raw performance, models like EBM achieved comparable accuracy, even ranking as the most effective model in several datasets. This finding supports the idea that it is possible to find a balance between interpretability and performance, especially in areas where understanding the model’s decisions is as important as its accuracy. In conclusion, this project not only presents a contribution through the extension of a key library in the field, but also provides evidence of the potential of explainable models as a real alternative to traditional black-box models.

​En la actualidad, los sistemas de inteligencia artificial han adquirido un papel fundamental en múltiples ámbitos de la sociedad, desde asistentes personales y motores de recomendación hasta herramientas utilizadas en medicina, banca y justicia. Sin embargo, mientras que muchos modelos avanzados como XGBoost o redes neuronales profundas ofrecen altos niveles de precisión, suelen ser considerados “cajas negras” (blackbox), es decir, su proceso de decisión resulta opaco para los usuarios. Esta falta de transparencia supone una barrera en dominios donde las decisiones automatizadas deben ser justificables y confiables. En este contexto, la Inteligencia Artificial Explicable (XAI) surge como una rama esencial del aprendizaje automático, centrada en desarrollar modelos que permitan entender, analizar y confiar en sus predicciones. La mayor parte del desarrollo de este Trabajo Fin de Grado se ha llevado a cabo en el marco de una Beca de Colaboración en Departamentos Universitarios, convocada por el Ministerio de Educación, con el objetivo de fomentar la iniciación en tareas de investigación. La resolución de concesión fue publicada en noviembre de 2024 y, desde entonces, he estado trabajando en este proyecto, profundizando en el campo de la Inteligencia Artificial Explicable (XAI) y colaborando con el departamento de IA para integrar y evaluar herramientas relacionadas con modelos transparentes de aprendizaje automático. Este Trabajo Fin de Grado tiene como objetivo contribuir a este campo mediante la integración y evaluación de modelos interpretables utilizando la librería InterpretML, un marco reconocido en la comunidad de XAI. Se ha desarrollado una extensión de dicha librería, denominada interpret-extension, que amplía sus capacidades para incluir nuevos modelos que hasta ahora no eran compatibles. Entre los modelos incorporados se encuentran clasificadores probabilísticos como Naive Bayes, Tree Augmented Naive Bayes (TAN) y Análisis Discriminante Lineal (LDA), así como modelos aditivos más modernos como Neural Additive Models (NAM). Esta integración se ha diseñado respetando la estructura de InterpretML, permitiendo generar explicaciones tanto globales como locales mediante representaciones gráficas. El desarrollo de la extensión ha incluido la creación de clases específicas para cada modelo, la implementación de métodos de visualización compatibles con el ecosistema de InterpretML y la publicación del paquete en el repositorio oficial PyPI. A través de esta herramienta, se busca facilitar el uso de modelos explicables en entornos reales, permitiendo a profesionales y desarrolladores acceder a modelos transparentes. La validación de estas implementaciones se ha llevado a cabo mediante una evaluación en condiciones reproducibles utilizando el benchmark TabZilla, una plataforma que permite comparar modelos de machine learning en diversos conjuntos de datos. La experimentación se ha centrado en 15 datasets de clasificación binaria, empleando métricas como precisión (accuracy), log loss, y tiempos de entrenamiento e inferencia. Los resultados obtenidos muestran que, si bien los modelos de boosting como CatBoost y XGBoost siguen liderando en términos de rendimiento bruto, modelos como EBM han alcanzado precisiones comparables, situándose incluso como el modelo más efectivo en varios datasets. Este hallazgo refuerza la idea de que es posible lograr un equilibrio entre interpretabilidad y rendimiento, especialmente en entornos donde la comprensión de las decisiones es tan importante como la precisión del modelo. En conclusión, este trabajo no solo presenta una contribución mediante la extensión de una librería de referencia en el campo, sino que también muestra el potencial de los modelos explicables como una alternativa frente a los modelos opacos.
ABSTRACT
Nowadays, artificial intelligence systems have taken on a key role in many areas of society, from personal assistants and recommendation engines to tools used in medicine, banking, and justice. However, although many advanced models like XGBoost or deep neural networks offer high levels of accuracy, they are often considered “blackbox”, meaning their decision-making process is not clear to users. This lack of transparency becomes a challenge in fields where automated decisions need to be justified and trustworthy. In this context, Explainable Artificial Intelligence (XAI) has emerged as an essential branch of machine learning, focused on developing models that allow us to understand, analyze, and trust their predictions. The majority of this Final Degree Project has been carried out within the framework of a Collaboration Grant in University Departments, funded by the Spanish Ministry of Education, with the aim of promoting early involvement in research activities. The award resolution was published in November 2024, and since then, I have been working on this project, delving into the field of Explainable Artificial Intelligence (XAI) and collaborating with the Department of Artificial Intelligence to integrate and evaluate tools related to transparent machine learning models. This Final Degree Project aims to contribute to this field through the integration and evaluation of interpretable models using the InterpretML library, a framework widely recognized within the XAI community. An extension of this library has been developed, called interpret-extension, which expands its capabilities to include new models that were previously unsupported. Among the incorporated models are probabilistic classifiers such as Naive Bayes, Tree Augmented Naive Bayes (TAN), and Linear Discriminant Analysis (LDA), as well as more modern additive models like Neural Additive Models (NAM). This integration was designed to align with InterpretML’s architecture, enabling the generation of both global and local explanations through graphical representations. The development of the extension included the creation of specific classes for each model, the implementation of visualization methods compatible with the InterpretML ecosystem, and the publication of the package in the official PyPI repository. With this tool, the goal is to make explainable models easier to use in real-world environments, allowing professionals and developers to access transparent models. The validation of these implementations was carried out through evaluation under reproducible conditions using the TabZilla benchmark, a platform that allows comparison of machine learning models across various datasets. The experimentation focused on 15 binary classification datasets, using metrics such as accuracy, log loss, and training and inference times. The results show that, although boosting models like CatBoost and XGBoost still lead in terms of raw performance, models like EBM achieved comparable accuracy, even ranking as the most effective model in several datasets. This finding supports the idea that it is possible to find a balance between interpretability and performance, especially in areas where understanding the model’s decisions is as important as its accuracy. In conclusion, this project not only presents a contribution through the extension of a key library in the field, but also provides evidence of the potential of explainable models as a real alternative to traditional black-box models. Read More