La desinformación representa una amenaza creciente en la era digital, con implicaciones directas en la política, la salud pública y la confianza social. Este Trabajo Fin de Máster aborda dicha problemática mediante el desarrollo de un sistema automático de verificación de hechos, basado en técnicas de recuperación de información (Information Retrieval, IR) e inferencia del lenguaje natural (Natural Language Inference, NLI). El sistema propuesto tiene como objetivo evaluar la veracidad de afirmaciones mediante la recuperación de evidencias relevantes desde un corpus extenso (Wikipedia) y la posterior inferencia lógica para determinar si las evidencias sustentan, refutan o resultan insuficientes respecto a la afirmación.
El objetivo principal no solo es replicar enfoques existentes, sino innovar sobre lo establecido en el estado del arte mediante una arquitectura modular que aprovecha los avances en modelos de lenguaje y técnicas de fine-tuning eficiente. En particular, se busca mejorar la precisión, escalabilidad y eficiencia de los sistemas actuales, integrando componentes que permitan una mayor flexibilidad y aplicabilidad práctica en entornos reales.
El proyecto se estructura en dos fases principales. En la primera, se implementa un sistema de inferencia sin recuperación semántica activa, utilizando el dataset FEVER enriquecido con evidencias y distractores, lo que permite simular escenarios con ruido informativo. En la segunda fase, se incorpora un módulo de recuperación semántica mediante la biblioteca FAISS y embeddings generados con el modelo BGE (BAAI/bge-small-en-v1.5), lo que habilita búsquedas vectoriales eficientes y contextuales. El módulo de inferencia se construye sobre modelos de la familia LLaMA (1B, 3B y 8B parámetros), ajustados mediante la técnica Low- Rank Adaptation (LoRA), lo cual reduce significativamente los requisitos computacionales sin comprometer el rendimiento.
Los resultados experimentales muestran que el uso de LoRA mejora sustancialmente la capacidad de clasificación del modelo, eliminando la necesidad de ajustar todos los parámetros del LLM. Asimismo, la incorporación del módulo de recuperación semántica incrementa notablemente la precisión global del sistema. Se observa que los modelos de mayor tamaño (LLaMA-8B) presentan mayor robustez, especialmente en entornos con evidencia dispersa y distractores, confirmando su superioridad en tareas complejas de verificación.
El sistema propuesto alcanza métricas competitivas en precisión y recall, validando su utilidad práctica y su contribución a la innovación en la detección automatizada de desinformación. Finalmente, el trabajo analiza consideraciones éticas clave asociadas al uso de inteligencia artificial en este contexto, como la transparencia, la explicabilidad y la mitigación de sesgos. Se plantean futuras líneas de investigación centradas en la incorporación de modelos generativos para justificar decisiones, la extensión a múltiples idiomas y la integración en flujos de trabajo en tiempo real.
Abstract:
Disinformation represents a growing threat in the digital age, with direct implications for politics, public health, and social trust. This Master’s Thesis addresses this issue through the development of an automatic fact-checking system based on Information Retrieval (IR) and Natural Language Inference (NLI) techniques. The proposed system aims to assess the veracity of claims by retrieving relevant evidence from a large corpus (Wikipedia) and performing logical inference to determine whether the evidence supports, refutes, or is insufficient with respect to the claim.
The primary objective is not only to replicate existing approaches but to innovate upon the state of the art through a modular architecture that leverages advances in language models and efficient fine-tuning methods. In particular, the goal is to enhance the accuracy, scalability, and computational efficiency of current systems by integrating flexible and practical components for real-world scenarios.
The project is structured into two main phases. In the first, an inference system is implemented without active semantic retrieval, using the FEVER dataset enriched with evidence and distractors, simulating noisy information environments. In the second phase, a semantic retrieval module is introduced using the FAISS library and embeddings generated with the BGE model (BAAI/bge-small-en-v1.5), enabling efficient and context-aware vector-based search. The inference module is built upon LLaMA language models (1B, 3B, and 8B parameters), fine-tuned using Low-Rank Adaptation (LoRA), which significantly reduces computational requirements without compromising performance.
Experimental results show that LoRA substantially improves the model’s classification capabilities, eliminating the need to update all parameters of the large language model. Moreover, the integration of the semantic retrieval module significantly increases the system’s overall accuracy. Larger models (LLaMA-8B) demonstrate greater robustness, especially in scenarios involving dispersed evidence and distractors, confirming their superiority in complex fact-checking tasks.
The proposed system achieves competitive precision and recall metrics, validating its practical utility and contribution to innovation in automated disinformation detection. Finally, the thesis discusses key ethical considerations related to the use of artificial intelligence in this context, including transparency, explainability, and bias mitigation. Future research directions include the integration of generative models for automatic justification, multilingual adaptation, and deployment in real-time workflows.
La desinformación representa una amenaza creciente en la era digital, con implicaciones directas en la política, la salud pública y la confianza social. Este Trabajo Fin de Máster aborda dicha problemática mediante el desarrollo de un sistema automático de verificación de hechos, basado en técnicas de recuperación de información (Information Retrieval, IR) e inferencia del lenguaje natural (Natural Language Inference, NLI). El sistema propuesto tiene como objetivo evaluar la veracidad de afirmaciones mediante la recuperación de evidencias relevantes desde un corpus extenso (Wikipedia) y la posterior inferencia lógica para determinar si las evidencias sustentan, refutan o resultan insuficientes respecto a la afirmación.
El objetivo principal no solo es replicar enfoques existentes, sino innovar sobre lo establecido en el estado del arte mediante una arquitectura modular que aprovecha los avances en modelos de lenguaje y técnicas de fine-tuning eficiente. En particular, se busca mejorar la precisión, escalabilidad y eficiencia de los sistemas actuales, integrando componentes que permitan una mayor flexibilidad y aplicabilidad práctica en entornos reales.
El proyecto se estructura en dos fases principales. En la primera, se implementa un sistema de inferencia sin recuperación semántica activa, utilizando el dataset FEVER enriquecido con evidencias y distractores, lo que permite simular escenarios con ruido informativo. En la segunda fase, se incorpora un módulo de recuperación semántica mediante la biblioteca FAISS y embeddings generados con el modelo BGE (BAAI/bge-small-en-v1.5), lo que habilita búsquedas vectoriales eficientes y contextuales. El módulo de inferencia se construye sobre modelos de la familia LLaMA (1B, 3B y 8B parámetros), ajustados mediante la técnica Low- Rank Adaptation (LoRA), lo cual reduce significativamente los requisitos computacionales sin comprometer el rendimiento.
Los resultados experimentales muestran que el uso de LoRA mejora sustancialmente la capacidad de clasificación del modelo, eliminando la necesidad de ajustar todos los parámetros del LLM. Asimismo, la incorporación del módulo de recuperación semántica incrementa notablemente la precisión global del sistema. Se observa que los modelos de mayor tamaño (LLaMA-8B) presentan mayor robustez, especialmente en entornos con evidencia dispersa y distractores, confirmando su superioridad en tareas complejas de verificación.
El sistema propuesto alcanza métricas competitivas en precisión y recall, validando su utilidad práctica y su contribución a la innovación en la detección automatizada de desinformación. Finalmente, el trabajo analiza consideraciones éticas clave asociadas al uso de inteligencia artificial en este contexto, como la transparencia, la explicabilidad y la mitigación de sesgos. Se plantean futuras líneas de investigación centradas en la incorporación de modelos generativos para justificar decisiones, la extensión a múltiples idiomas y la integración en flujos de trabajo en tiempo real.
Abstract:
Disinformation represents a growing threat in the digital age, with direct implications for politics, public health, and social trust. This Master’s Thesis addresses this issue through the development of an automatic fact-checking system based on Information Retrieval (IR) and Natural Language Inference (NLI) techniques. The proposed system aims to assess the veracity of claims by retrieving relevant evidence from a large corpus (Wikipedia) and performing logical inference to determine whether the evidence supports, refutes, or is insufficient with respect to the claim.
The primary objective is not only to replicate existing approaches but to innovate upon the state of the art through a modular architecture that leverages advances in language models and efficient fine-tuning methods. In particular, the goal is to enhance the accuracy, scalability, and computational efficiency of current systems by integrating flexible and practical components for real-world scenarios.
The project is structured into two main phases. In the first, an inference system is implemented without active semantic retrieval, using the FEVER dataset enriched with evidence and distractors, simulating noisy information environments. In the second phase, a semantic retrieval module is introduced using the FAISS library and embeddings generated with the BGE model (BAAI/bge-small-en-v1.5), enabling efficient and context-aware vector-based search. The inference module is built upon LLaMA language models (1B, 3B, and 8B parameters), fine-tuned using Low-Rank Adaptation (LoRA), which significantly reduces computational requirements without compromising performance.
Experimental results show that LoRA substantially improves the model’s classification capabilities, eliminating the need to update all parameters of the large language model. Moreover, the integration of the semantic retrieval module significantly increases the system’s overall accuracy. Larger models (LLaMA-8B) demonstrate greater robustness, especially in scenarios involving dispersed evidence and distractors, confirming their superiority in complex fact-checking tasks.
The proposed system achieves competitive precision and recall metrics, validating its practical utility and contribution to innovation in automated disinformation detection. Finally, the thesis discusses key ethical considerations related to the use of artificial intelligence in this context, including transparency, explainability, and bias mitigation. Future research directions include the integration of generative models for automatic justification, multilingual adaptation, and deployment in real-time workflows. Read More
Related posts:
Diseño de un sistema avanzado de recomendación médica mediante redes neuronales de grafos y el uso de modelos LLM
Provisión de modelos predictivos en el sector salud con preservación de la privacidad
SoroIA: diseño e implementación de un sistema conversacional basado en modelos grandes de lenguaje para el Museo Sorolla
Sistema de recuperación de información basado en RAG aplicado a trabajos de fin de grado de la ETSISI
Legal Engine Search (LES): motor de búsqueda de jurisprudencia
Generación automática de preguntas y respuestas realistas para la evaluación de modelos RAG