En la sesión virtual de la Comunidad IA (27 de febrero de 2026) se presentó la experiencia de Adam Sánchez, investigador e ingeniero de IA en UNESS (Francia), sobre la automatización de bancos de preguntas en educación superior mediante modelos de lenguaje, con un caso de uso particularmente exigente: la preparación de estudiantes de medicina para exámenes nacionales de alta exigencia. La conversación situó el problema en un contexto realista: la necesidad de producir preguntas nuevas con criterios estrictos, pese a la limitada disponibilidad de especialistas para redactarlas manualmente.
A partir de ese punto, la exposición abordó el desafío central de esta automatización: cómo sostener la calidad y reducir errores propios de los modelos (incluidas las “alucinaciones”, es decir, respuestas plausibles pero incorrectas). Se planteó una estrategia técnica y pedagógica que combina: uso de fuentes externas (PDF, documentos del curso) para anclar la generación, diseño de un prompt profesional construido en coordinación entre expertos del dominio (médicos) e ingenieros de modelos de lenguaje, y una premisa no negociable: la validación humana de preguntas y respuestas. En medicina, se insistió, la automatización no reemplaza el criterio experto; lo reubica hacia la curaduría.
Un aspecto relevante fue la tipología de preguntas que se emplea en la formación médica y cómo esa diversidad condiciona la generación automática. Se describieron preguntas de respuesta única y múltiple, respuestas abiertas cortas (limitadas por normativa), formatos proporcionales para casos progresivos y “mini-dossiers” que encadenan ítems de distinta naturaleza. Además, se resaltó la importancia de los comentarios justificativos (“por qué” una opción es correcta o no), considerados parte del estándar de calidad en evaluación médica. Esta estructura compleja tensiona las capacidades del modelo: no solo debe formular, sino también justificar y ajustarse a reglas de redacción y dificultad.
En términos de implementación, se compartió un enfoque de ingeniería que traslada la configuración al experto: un software donde el docente define parámetros (tipo de pregunta, nivel de dificultad, restricciones, fuentes y objetivos), y el sistema construye el prompt con controles para evitar desviaciones. Luego, se explicó un proceso de selección y evaluación de modelos open source (y pruebas controladas con modelos propietarios solo cuando el contenido era público), incluyendo experimentación con versiones cuantizadas y pruebas en diversos entornos de hardware (CPU, GPU, clústeres universitarios). Dos desarrollos ilustraron el avance: una herramienta para generar y evaluar preguntas desde documentos (con métricas de calidad por modelo) y otra para mapear objetivos de aprendizaje entre sistemas curriculares antiguos y nuevos mediante consenso entre modelos.
La discusión final conectó la automatización con retos académicos actuales: integración con LMS (se mencionó el desarrollo de un plugin para Moodle que permite generar ítems desde un PDF y cargarlos al banco de preguntas), límites de la evaluación automatizada (especialmente en respuestas abiertas) y la necesidad de complementar lo digital con instancias presenciales u orales para sostener el rigor. También emergieron dos consideraciones transversales: la relación entre tipos de ítems y niveles cognitivos (alusión a la taxonomía de Bloom) y el peso del contexto clínico local en la validez de una respuesta (lo correcto puede variar según el país o sistema). Finalmente, el caso francés se vinculó con un tema estratégico: la soberanía tecnológica y las restricciones de privacidad en Europa, que impulsan a universidades a desplegar modelos propios para garantizar acceso y reducir brechas.
¿Te gustaría participar activamente en la Comunidad IA en Educación?
Si quieres ser parte de nuestras sesiones virtuales y contribuir a este espacio de aprendizaje e intercambio, completa el siguiente formulario. Así podremos conocerte mejor y enviarte el enlace para unirte a las reuniones en vivo: https://forms.office.com/r/6nCJ4wtVaS
Mira el video completo de la sesión:
