Análisis de reactivos

ANÁLISIS DE REACTIVOS

El problema básico y general para todo evaluador es el de saber, con algún nivel de precisión, la calidad intrínseca que tiene la prueba empleada y, en particular, cada uno de los reactivos o ítems empleados.
De un punto de vista general, se pueden distinguir dos grandes corrientes que permiten estudiar la calidad de un reactivo. La primera es la corriente tradicional,fundamentada en el análisis de dos parámetros: la dificultad y la discriminación del reactivo. La segunda, enfocada por la corriente de la Teoría de la Respuesta al Ítem (IRT por sus siglas en inglés, o TRI en español), donde a su vez se engloban las referencias a dos tendencias: el análisis de Rasch (denominado modelo de un parámetro) y los modelos de dos y tres parámetros.
Desde la forma deagrupar ambas corrientes se tiene problemas, debido a que tienen implícitas connotaciones no necesariamente correctas. Este es el caso del análisis de Rasch que, en realidad, no forma parte de la corriente del IRT, pero atendiendo a que esta última generó modelos probabilistas de 1 a 3 parámetros de manera "muy parecida", cuando menos a la vista de sus autores, de lo que hace el análisisprobabilista de Rasch, decidieron incluirlo en su IRT como un modelo de un parámetro. Nada más injusto para varios de los seguidores de Rasch, quienes se defienden continuamente de esta clasificación, no solamente por incluirlos en esta corriente, sino también porque se le identifica como modelo de un parámetro. Resulta evidente que, de acuerdo con la IRT, el modelo más completo y preciso, el que se diceque se ajusta mejor a los resultados es el de 3 parámetros, siendo el de un parámetro (y por lo tanto para ellos, el modelo de Rasch) un modelo muy burdo e ineficiente que no ajusta con los datos. No es motivo de este trabajo identificar los problemas conceptuales incluidos en la IRT y en el modelo de 3 parámetros, para ello pueden consultarse con provecho los trabajos de Wright. Por lo dichoaquí, en este trabajo se identificará al análisis de Rasch como una corriente distinta de la Teoría de la Repuesta al Ítem.
En lo que respecta al análisis tradicional, de entrada se le está dando la terrible asignación de "tradicional", que lleva consigo una alta carga de "obsoleto", "viejo" y "no actualizado". En efecto, puede afirmarse que el análisis tradicional tiene un alto contenido deelementos incorrectamente planteados. Pero se sataniza como inconveniente todo análisis que contiene la dificultad y la discriminación como parámetros de trabajo, cuando lo único que hay que hacer es establecer el modelo correcto que utiliza a ambos.
Se encuentra el evaluador en una encrucijada muy compleja. Si sigue una corriente debería reportar resultados en lógitos, siendo poco claro el significadodel lógito para las autoridades, los estudiantes y el público en general. Si reporta en términos de los tres parámetros se va a enfrentar con problemas conceptuales insalvables y con puntajes en escala logarítmica de difícil interpretación. Por último, si reporta los resultados en términos de grados de dificultad y valores de discriminación en términos de correlaciones o de valores de x2, seenfrentará con resultados "manipulables" y de muy baja o nula utilidad.
Una solución que se sigue muy comúnmente es adquirir o desarrollar un sistema de cómputo que haga todos los cálculos y que facilite la tarea de calificación y análisis de las pruebas. Generalmente se puede percibir que los usuarios de los programas "confían" en los resultados que emiten porque fueron obtenidos por lacomputadora. Pero no hay que olvidar que la computadora solamente es una herramienta que facilita los cálculos que hayan sido programados siguiendo algún esquema de cálculo o algoritmo.,
Tanto en el caso del análisis por el método tradicional como el de la IRT o el análisis de Rasch, es indispensable contar con un modelo. No se trata de repetir cálculos que se realizan a mano, o decisiones tomadas "por...