Abstract

La evaluación es un aspecto esencial del aprendizaje, siendo los bancos de ítems un recurso común para realizar este tipo de quehaceres. La evaluación profesional utiliza bancos calibrados, siendo la calibración un proceso para la estimación de parámetros de dichos ítems, por ejemplo, la dificultad. Una opción para la calibración de ítems es el proceso basado en utilizar un panel de expertos para recabar sus valoraciones y determinar a partir de ellas los parámetros. Este artículo describe CALLIE-PRO: un sistema que personaliza y automatiza el proceso de calibración de ítems basado en el juicio de expertos. El sistema guía al usuario recomendando una opción para cada decisión que hay que tomar, adaptándose a alteraciones en la especificación y avisando de decisiones no recomendables o incorrectas. Además, a partir de la especificación del proceso, genera un paquete de contenidos de e-learning que se puede incluir en un sistema de gestión del aprendizaje (LMS) como, por ejemplo, Moodle. El paquete se encarga de recopilar los juicios de expertos a través de la red y finalmente, genera un workflow ejecutable con las actividades que se deben realizar utilizando los datos recopilados, generalmente estudios y cálculos, para estimar la dificultad de los ítems.