En este Trabajo de fin de Máster (TFM) presentamos un sistema innovador de generación y evaluación automática de cuestionarios (SGEC) capaz de generar cuestionarios controlando el nivel de dificultad en preguntas de opción múltiple y preguntas abiertas. El proceso se realiza sin intervención humana mediante técnicas de procesamiento del lenguaje natural en combinación con modelos de lenguaje de gran escala y aprendizaje contextual.
La iniciativa surge ante la necesidad de optimizar la creación de cuestionarios educativos en idioma castellano, tarea que tradicionalmente consume tiempo y es susceptible a la subjetividad evaluadora del docente. Nuestro sistema no solo genera cuestionarios adaptados a tres niveles de dificultad, sino que también permite la autoevaluación, promoviendo así la autonomía y adaptabilidad en el aprendizaje. El sistema, desarrollado como servicio online basado en modelos de lenguaje, aborda varios desafíos específicos del ámbito educativo de habla hispana. Entre estos se incluyen la generación de cuestionarios personalizados y la adaptación de la dificultad de las preguntas según el nivel de conocimiento de los estudiantes.
Los resultados de las encuestas realizadas para el sistema SGEC muestran una alineación adecuada con las categorías de dificultad propuestas. Además, los resultados de las evaluaciones muestran que el SGEC genera preguntas semánticamente correctas, sintácticamente precisas, y contextualmente relevantes. También se obtuvo una retroalimentación detallada y precisa sobre las respuestas de los estudiantes con el sistema de evaluación automática en preguntas abiertas.
Finalmente, se revisan algunas limitaciones tecnológicas y de integración, y se proponen nuevas líneas de investigación para la mejora del sistema presentado.
—ABSTRACT—
In this Master’s Thesis (TFM) we present an innovative system for the automatic generation and evaluation of questionnaires (SGEC) capable of generating questionnaires controlling the level of difficulty in multiple choice questions and open questions. The process is performed without human intervention using natural language processing techniques in combination with large language models and fine tuning at the instruction level.
The initiative arises from the need to optimize the creation of educational questionnaires, a task that traditionally consumes time and is susceptible to the teacher’s evaluative subjectivity. Our system not only generates questionnaires adapted to three levels of difficulty, but also allows self- evaluation, thus promoting autonomy and adaptability in learning. The system, developed as an online service based on language models, addresses several challenges in the Spanish-speaking educational field. These include generating personalized quizzes and adapting the difficulty of questions according to the level of knowledge of the students.
The results of the surveys carried out for the SGEC system show adequate alignment with the proposed difficulty categories. Furthermore, the results of the evaluations show that the SGEC generates questions that are semantically correct, syntactically precise, and contextually relevant. Detailed and precise feedback on the students’ responses was also obtained with the automatic evaluation tool for open questions.
Finally, some technological and integration limitations are reviewed, and new lines of research are proposed to improve the presented system.
En este Trabajo de fin de Máster (TFM) presentamos un sistema innovador de generación y evaluación automática de cuestionarios (SGEC) capaz de generar cuestionarios controlando el nivel de dificultad en preguntas de opción múltiple y preguntas abiertas. El proceso se realiza sin intervención humana mediante técnicas de procesamiento del lenguaje natural en combinación con modelos de lenguaje de gran escala y aprendizaje contextual.
La iniciativa surge ante la necesidad de optimizar la creación de cuestionarios educativos en idioma castellano, tarea que tradicionalmente consume tiempo y es susceptible a la subjetividad evaluadora del docente. Nuestro sistema no solo genera cuestionarios adaptados a tres niveles de dificultad, sino que también permite la autoevaluación, promoviendo así la autonomía y adaptabilidad en el aprendizaje. El sistema, desarrollado como servicio online basado en modelos de lenguaje, aborda varios desafíos específicos del ámbito educativo de habla hispana. Entre estos se incluyen la generación de cuestionarios personalizados y la adaptación de la dificultad de las preguntas según el nivel de conocimiento de los estudiantes.
Los resultados de las encuestas realizadas para el sistema SGEC muestran una alineación adecuada con las categorías de dificultad propuestas. Además, los resultados de las evaluaciones muestran que el SGEC genera preguntas semánticamente correctas, sintácticamente precisas, y contextualmente relevantes. También se obtuvo una retroalimentación detallada y precisa sobre las respuestas de los estudiantes con el sistema de evaluación automática en preguntas abiertas.
Finalmente, se revisan algunas limitaciones tecnológicas y de integración, y se proponen nuevas líneas de investigación para la mejora del sistema presentado.
—ABSTRACT—
In this Master’s Thesis (TFM) we present an innovative system for the automatic generation and evaluation of questionnaires (SGEC) capable of generating questionnaires controlling the level of difficulty in multiple choice questions and open questions. The process is performed without human intervention using natural language processing techniques in combination with large language models and fine tuning at the instruction level.
The initiative arises from the need to optimize the creation of educational questionnaires, a task that traditionally consumes time and is susceptible to the teacher’s evaluative subjectivity. Our system not only generates questionnaires adapted to three levels of difficulty, but also allows self- evaluation, thus promoting autonomy and adaptability in learning. The system, developed as an online service based on language models, addresses several challenges in the Spanish-speaking educational field. These include generating personalized quizzes and adapting the difficulty of questions according to the level of knowledge of the students.
The results of the surveys carried out for the SGEC system show adequate alignment with the proposed difficulty categories. Furthermore, the results of the evaluations show that the SGEC generates questions that are semantically correct, syntactically precise, and contextually relevant. Detailed and precise feedback on the students’ responses was also obtained with the automatic evaluation tool for open questions.
Finally, some technological and integration limitations are reviewed, and new lines of research are proposed to improve the presented system. Read More
Related posts:
System for the design and implementation of user experience assessments with UEQ
Comparativa del rendimiento de una GPU programada con OpenMP, OpenACC y CUDA mediante el ejemplo del producto de matrices
Uso de modelos del lenguaje para búsquedas semánticas en textos científicos
Plataforma de análisis de datos abiertos de la contratación del sector público
Comparativa del rendimiento de una GPU usando OpenMP, OpenACC CUDA mediante un ejemplo de dinámica molecular
Learning by doing: an experience with a novel e-Learning platform and a Learning Object authoring tool in a teachers’ course about e-Safety