Este trabajo de fin de máster presenta SoroIA, un sistema conversacional inteligente basado en modelos grandes de lenguaje (LLMs) diseñado para el Museo Sorolla. Su objetivo es mejorar la interacción del usuario con la información de la colección, del autor y del museo, ofreciendo un acceso intuitivo y dinámico al patrimonio cultural público.
El sistema se estructura en tres módulos principales: un clasificador de intención del usuario, un sistema de generación aumentada por recuperación (RAG) y un traductor de lenguaje natural a consulta SQL (Text2SQL) para interactuar con la base de datos estructurada del museo.
La evaluación del clasificador de intención demostró una alta precisión en modo zeroshot, subrayando su capacidad para comprender y clasificar las preguntas del usuario sin entrenamiento previo específico. El módulo RAG exhibió un rendimiento notable en consultas específicas, con alta relevancia contextual y precisión en respuestas cerradas, aunque se identificaron oportunidades de mejora en la recuperación de información para preguntas más abiertas debido a limitaciones en la recuperación de información relevante. Por otro lado, el módulo Text2SQL alcanzó una excelente precisión de ejecución, garantizando la recuperación de datos correcta y sin alucinaciones, destacando la importancia de la ingeniería de prompts para guiar al LLM.
SoroIA fue desarrollado y desplegado sobre una arquitectura en la nube, lo que asegura su escalabilidad, baja latencia y disponibilidad para un uso público. En conjunto, este trabajo demuestra la efectividad del pipeline diseñado y la integración de LLMs en entornos culturales, proporcionando una solución innovadora para el acceso a las ricas fuentes de información museísticas públicas.
–ABSTRACT–
This master’s thesis presents SoroIA, an intelligent conversational system based on large language models (LLMs) designed for the Sorolla Museum. Its objective is to improve user interaction with information about the collection, the author and the museum, offering an intuitive and dynamic access to public cultural heritage.
The system is structured in three main modules: a user intent classifier, a retrievalaugmented generation (RAG) system and a natural language to SQL query translator (Text2SQL) to interact with the structured database of the museum.
Evaluation of the intent classifier demonstrated high accuracy in zero-shot mode, highlighting its ability to understand and classify user queries without specific prior training. The RAG module exhibited remarkable performance on specific queries, with high contextual relevance and accuracy on closed answers, although opportunities for improvement in information retrieval for more open-ended questions were identified due to limitations in retrieving relevant information. On the other hand, the Text2SQL module achieved excellent execution accuracy, ensuring correct and hallucination-free data retrieval, highlighting the importance of prompts engineering to guide the LLM.
SoroIA was developed and deployed on a cloud architecture, ensuring scalability, low latency and availability for public use. Overall, this work demonstrates the effectiveness of the designed pipeline and the integration of LLMs in cultural environments, providing an innovative solution for accessing rich public museum information sources.
Este trabajo de fin de máster presenta SoroIA, un sistema conversacional inteligente basado en modelos grandes de lenguaje (LLMs) diseñado para el Museo Sorolla. Su objetivo es mejorar la interacción del usuario con la información de la colección, del autor y del museo, ofreciendo un acceso intuitivo y dinámico al patrimonio cultural público.
El sistema se estructura en tres módulos principales: un clasificador de intención del usuario, un sistema de generación aumentada por recuperación (RAG) y un traductor de lenguaje natural a consulta SQL (Text2SQL) para interactuar con la base de datos estructurada del museo.
La evaluación del clasificador de intención demostró una alta precisión en modo zeroshot, subrayando su capacidad para comprender y clasificar las preguntas del usuario sin entrenamiento previo específico. El módulo RAG exhibió un rendimiento notable en consultas específicas, con alta relevancia contextual y precisión en respuestas cerradas, aunque se identificaron oportunidades de mejora en la recuperación de información para preguntas más abiertas debido a limitaciones en la recuperación de información relevante. Por otro lado, el módulo Text2SQL alcanzó una excelente precisión de ejecución, garantizando la recuperación de datos correcta y sin alucinaciones, destacando la importancia de la ingeniería de prompts para guiar al LLM.
SoroIA fue desarrollado y desplegado sobre una arquitectura en la nube, lo que asegura su escalabilidad, baja latencia y disponibilidad para un uso público. En conjunto, este trabajo demuestra la efectividad del pipeline diseñado y la integración de LLMs en entornos culturales, proporcionando una solución innovadora para el acceso a las ricas fuentes de información museísticas públicas.
–ABSTRACT–
This master’s thesis presents SoroIA, an intelligent conversational system based on large language models (LLMs) designed for the Sorolla Museum. Its objective is to improve user interaction with information about the collection, the author and the museum, offering an intuitive and dynamic access to public cultural heritage.
The system is structured in three main modules: a user intent classifier, a retrievalaugmented generation (RAG) system and a natural language to SQL query translator (Text2SQL) to interact with the structured database of the museum.
Evaluation of the intent classifier demonstrated high accuracy in zero-shot mode, highlighting its ability to understand and classify user queries without specific prior training. The RAG module exhibited remarkable performance on specific queries, with high contextual relevance and accuracy on closed answers, although opportunities for improvement in information retrieval for more open-ended questions were identified due to limitations in retrieving relevant information. On the other hand, the Text2SQL module achieved excellent execution accuracy, ensuring correct and hallucination-free data retrieval, highlighting the importance of prompts engineering to guide the LLM.
SoroIA was developed and deployed on a cloud architecture, ensuring scalability, low latency and availability for public use. Overall, this work demonstrates the effectiveness of the designed pipeline and the integration of LLMs in cultural environments, providing an innovative solution for accessing rich public museum information sources. Read More
Related posts:
El Archivo de la Biblioteca de la E.T.S.A. (UPM): Notas sobre la historia de su compromiso con la docencia y el patrimonio = The Archive of the Library of the School of Architecture, Universidad Politécnica de Madrid: Notes on the history of its commitment to education and heritage
Aplicación Android para un sistema de recomendación grupal de restautantes
IMLS Rolls Out an Information Literacy Resource
Museion: desarrollo de una aplicación basada en IA generativa para la interacción personalizada en entornos culturales (Museo Nacional Thyssen-Bornemisza)
NO APARECEN TODAVIA APROBADOS LOS CREDITOS DEL TFM EN ACADEMICO 16/07/24 Museo New Hans Christian Andersen
Una forma de mirar el museo Munch = A way of looking at the Munch Museum