Evaluación de rendimiento predictivo de métodos transparentes

Bookmark (0)
Please login to bookmark Close

El presente Trabajo de Fin de Grado se enfoca en realizar una comparación del rendimiento predictivo entre métodos de machine learning transparentes y métodos de caja negra. Además, se integrará el clasificador Naive Bayes en la librería interpretml obteniendo una interpretabilidad local y global de este modelo, publicando el código y la documentación. Este proyecto tiene como objetivo principal contribuir al avance del conocimiento en el campo del machine learning mediante una investigación sobre el rendimiento predictivo de diferentes enfoques algorítmicos. Se dará especial énfasis a la importancia del código open-source al interactuar con la librería interpretml, donde se explorará la integración del clasificador Naive Bayes de scikit-learn. Este proceso de integración no solo busca ampliar las funcionalidades de la librería, sino también mejorar el entendimiento de su desempeño al analizar técnicas de clasificación. Se ha optado por seleccionar conjuntos de datos ideales para realizar un benchmarking completo, asegurando que cumplan con criterios de calidad, extensión y diversidad. A la hora de elegir los datos se eligen bases de datos en los que la explicabilidad sea importante, pero también otras que puedan abarcar cualquier tipo de contexto. En el transcurso de este Trabajo de Fin de Grado, se ofrecerá un detallado análisis sobre los conceptos esenciales de los métodos de machine learning, centrándose particularmente en los métodos transparentes y métodos de caja negra que serán implementadas. Se describirán minuciosamente las metodologías de evaluación utilizadas para valorar la eficacia de los modelos desarrollados. Como parte final del proyecto, se analizarán los resultados obtenidos y se extraerán conclusiones en base a ellos. El objetivo de esta fase es recopilar nueva información útil a través del análisis de los resultados. Estas conclusiones se utilizarán para mejorar nuestra comprensión ente área de investigación y mejorar las herramientas ya existentes para abordar el problema de la interpretabilidad en la Inteligencia Artificial.
ABSTRACT
This thesis focuses on a comprehensive comparison of the predictive performance between glassbox machine learning models and blackbox models. In addition, the Naive Bayes classifier will be integrated into the interpretml library obtaining a local and global interpretability of this model, publishing the code and documentation. The main objective of this project is to contribute to the advancement of knowledge in the field of machine learning by means of exhaustive research on the predictive performance of different algorithmic approaches. Special emphasis will be given to the importance of open-source code when interacting with the interpretml library, where the integration of scikit-learn’s Naive Bayes classifier will be explored. This integration process not only seeks to extend the functionalities of the library, but also to improve the understanding of its performance when analysing classification techniques. We have chosen to select ideal datasets for full benchmarking, ensuring that they meet criteria of quality, breadth, and diversity. In the choice of data, databases are chosen where explainability is important, but also others that can cover any kind of context. In the course of this thesis, a detailed analysis of the essential concepts of machine learning methods will be provided, focusing particularly on the Glassbox models and Blackbox models that will be implemented. The evaluation methodologies used to assess the effectiveness of the developed models will be described in detail. As a final part of the project, the results obtained will be analysed and conclusions will be drawn based on them. The aim of this phase is to gather new useful information through the analysis of the results. These conclusions will be used to improve our understanding of the research area and to improve existing tools to address the problem of interpretability in Artificial Intelligence.

​El presente Trabajo de Fin de Grado se enfoca en realizar una comparación del rendimiento predictivo entre métodos de machine learning transparentes y métodos de caja negra. Además, se integrará el clasificador Naive Bayes en la librería interpretml obteniendo una interpretabilidad local y global de este modelo, publicando el código y la documentación. Este proyecto tiene como objetivo principal contribuir al avance del conocimiento en el campo del machine learning mediante una investigación sobre el rendimiento predictivo de diferentes enfoques algorítmicos. Se dará especial énfasis a la importancia del código open-source al interactuar con la librería interpretml, donde se explorará la integración del clasificador Naive Bayes de scikit-learn. Este proceso de integración no solo busca ampliar las funcionalidades de la librería, sino también mejorar el entendimiento de su desempeño al analizar técnicas de clasificación. Se ha optado por seleccionar conjuntos de datos ideales para realizar un benchmarking completo, asegurando que cumplan con criterios de calidad, extensión y diversidad. A la hora de elegir los datos se eligen bases de datos en los que la explicabilidad sea importante, pero también otras que puedan abarcar cualquier tipo de contexto. En el transcurso de este Trabajo de Fin de Grado, se ofrecerá un detallado análisis sobre los conceptos esenciales de los métodos de machine learning, centrándose particularmente en los métodos transparentes y métodos de caja negra que serán implementadas. Se describirán minuciosamente las metodologías de evaluación utilizadas para valorar la eficacia de los modelos desarrollados. Como parte final del proyecto, se analizarán los resultados obtenidos y se extraerán conclusiones en base a ellos. El objetivo de esta fase es recopilar nueva información útil a través del análisis de los resultados. Estas conclusiones se utilizarán para mejorar nuestra comprensión ente área de investigación y mejorar las herramientas ya existentes para abordar el problema de la interpretabilidad en la Inteligencia Artificial.
ABSTRACT
This thesis focuses on a comprehensive comparison of the predictive performance between glassbox machine learning models and blackbox models. In addition, the Naive Bayes classifier will be integrated into the interpretml library obtaining a local and global interpretability of this model, publishing the code and documentation. The main objective of this project is to contribute to the advancement of knowledge in the field of machine learning by means of exhaustive research on the predictive performance of different algorithmic approaches. Special emphasis will be given to the importance of open-source code when interacting with the interpretml library, where the integration of scikit-learn’s Naive Bayes classifier will be explored. This integration process not only seeks to extend the functionalities of the library, but also to improve the understanding of its performance when analysing classification techniques. We have chosen to select ideal datasets for full benchmarking, ensuring that they meet criteria of quality, breadth, and diversity. In the choice of data, databases are chosen where explainability is important, but also others that can cover any kind of context. In the course of this thesis, a detailed analysis of the essential concepts of machine learning methods will be provided, focusing particularly on the Glassbox models and Blackbox models that will be implemented. The evaluation methodologies used to assess the effectiveness of the developed models will be described in detail. As a final part of the project, the results obtained will be analysed and conclusions will be drawn based on them. The aim of this phase is to gather new useful information through the analysis of the results. These conclusions will be used to improve our understanding of the research area and to improve existing tools to address the problem of interpretability in Artificial Intelligence. Read More