E-learning y la calibración de ítems de test : teoría de respuesta al ítem versus calibración basada en juicios de expertos. Un estudio empírico

Abstract

Hezinet es un sistema hipermedia adaptativo (SHA) para el aprendizaje de euskera basado en la realización de actividades implementadas mediante ítems. Desde 2001 el Grupo de Hipermedia y Multimedia de la UPV/EHU viene realizando evaluaciones del sistema de cara a implementar mejoras para afinar la experiencia con el sistema de los diferentes usuarios. Uno de esos análisis llevó a observar que un problema a mejorar era la clasificación inicial de los nuevos alumnos añadiendo un módulo que administre pruebas de nivel mediante Tests Adaptativos Informatizados (TAI). Esta decisión provocará alguna modificación en los procesos de negocio asociados a la creación de los ítems que compondrán los tests, ya que éstos tienen que estar calibrados. Aunque en Hezinet los ítems se han calibrado siempre siguiendo la experiencia de los profesores, si se usa el método propuesto por la TRI, supone un concepto nuevo para los creadores de nuevo material que necesita de muestras muy numerosas y un procedimiento, aunque no complicado, si largo y tedioso, con muchas actividades alternativas, lo cual puede suponer un problema, por lo que se echa en falta un proceso definido a seguir. Es en este punto cuando surgen varias cuestiones: ¿Qué actividades tendría un proceso de calibración de un banco de ítems? ¿Se podrían emplear TAIs utilizando una calibración hecha por los profesores? ¿Qué recursos son necesarios para hacer dichas calibraciones? ¿Es equiparable una calibración hecha por profesores a la de la TRI? Si lo fuera, ¿cuándo es conveniente hacer cada una? El trabajo de tesis se plantea con tres objetivos fundamentales: (1) formalizar una propuesta de proceso para la calibración de ítems utilizando la TRI, y establecer ciertas métricas asociadas para evaluar el consumo de recursos que conlleva; (2) crear una propuesta de proceso para la calibración de ítems utilizando juicios de expertos, así como aplicarles las mismas métricas que en el caso anterior; y (3) comparar las calibraciones de ítems obtenidas por el único rasgo que tienen en común ambas: la dificultad. Así mismo, contrastar el uso de recursos que tiene cada una de las opciones. Las dos propuestas enumeradas se pondrán en práctica para calibrar un conjunto de 252 ítems de partida que han sido entregados por Zornotzako barnetegia y que han servido de base para crear el sistema de clasificación de alumnos de Boga, la versión en Internet de Hezinet. Los ítems se calibrarán siguiendo cada uno de los procesos indicados utilizando métodos síncronos y asíncronos para la recogida de datos en cada uno de los casos. Como resultado de la experiencia se formalizará como propuesta uno de los procesos de calibración de ítems según la TRI y propondrá otro proceso para la calibración de ítems basada en los juicios de expertos. Además, se compararán los resultados obtenidos tanto en forma de calibración como de los recursos consumidos.