La evaluación auténtica
Con el fin de superar estos problemas han ido apareciendo nuevas tendencias en evaluación bajo la denominación de evaluación auténtica, que es definida por sus defensores por oposición a la evaluación tradicional (no-auténtica), a la que culpan de algunos de los problemas del actual sistema educativo, donde no se detecta el verdadero aprendizaje. Este término agrupa todo un conjunto de alternativas a la evaluación tradicional, donde la respuesta no está limitada a la elección de una de las alternativas presentadas y donde el contexto es significativo. La persona evaluada hace, crea o produce algo durante un tiempo suficiente para poder evaluar el proceso, el resultado o ambos (Messick, 1998). En los tests tradicionales la respuesta era correcta o incorrecta, sin posibilidad de conocer el proceso por el cual esa opción era elegida.
Algunos autores apuntan otros requerimientos para hablar de evaluación auténtica: la tarea debe dejar libertad al examinado; el material estimular no debe estar estandarizado; han de ser las propias personas evaluadas las que elijan el momento de actuar para estar verdaderamente motivados; incluso, y especialmente en el ámbito educativo, el evaluador debe conocer a las personas que está evaluando, sus circunstancias vitales y su historia de ejecución de la tarea (Sackett, 1998).
El nuevo modelo se centra en actuaciones más realistas, siendo su objetivo evaluar en una escala absoluta (no relativa según el grupo de referencia) cómo las personas dominan tareas específicas. Prácticamente cualquier alternativa al test de lápiz y papel entraría dentro del nuevo modelo: respuestas abiertas (construidas) frente a la mera elección de una alternativa; ensayos; realización de tareas que pueden simular el desempeño de un trabajo o ser verdaderas muestras del trabajo que está realizando la persona evaluada (portafolio, en el ámbito educativo).
Todos ellos, son indicadores más convincentes de lo que realmente sabe un estudiante o un candidato para desempeñar un trabajo. Siempre ha existido este tipo de medidas, pero ahora se proponen como un nuevo sistema de evaluación a gran escala. Hasta ahora se buscaban evaluaciones baratas, breves, fáciles de puntuar y objetivas, el nuevo modelo tiene características muy diferentes:
1. Se realizan observaciones y registros de la ejecución de tareas pertenecientes a un dominio específico, que proporcionan una base para hacer inferencias sobre las personas, sin pretender evaluar habilidades subyacentes.
2. La demanda se asemeja más a una situación instruccional real, donde se presenta un problema, pero no alternativas cerradas para resolverlo. La persona evaluada, no sólo tiene que acabar de definir el problema, sino además elaborar su respuesta.
3. Superan la simplicidad de las preguntas de alternativa múltiple, requiriendo que la persona actúe en situaciones más complejas y reales.
4. Los resultados son percibidos como más válidos por los profesores, representan mejor los verdaderos conocimientos y habilidades del alumno.
5. Pueden examinarse tanto el proceso como el resultado.
6. Se observa la calidad de la ejecución observada, sin valorar tanto la restrictiva estandarización de otras evaluaciones.
Para poner en práctica este modelo, es necesario superar importantes retos a los que se enfrentan tanto profesores como investigadores: las aulas son pequeñas, no se dispone de los materiales necesarios y las escuelas tienen esquemas de trabajo muy delimitados. Sin embargo, con más o menos dificultades, cada vez son más las experiencias donde la evaluación se aparta de los cánones de la estandarización para reflejar las características del nuevo modelo. Dos ejemplos de su puesta en marcha son: la propuesta de Solano-Flores y Shavelson (1997) para evaluar la realización de una tarea y el uso del portafolio en el ámbito educativo.
Solano-Flores y Shavelson configuran el proceso de evaluación a través de tres componentes y tres dimensiones.
Los componentes necesarios son siempre:
a) una tarea donde se presenta un problema bien contextualizado, cuya solución requiere el uso de materiales concretos que han de ser utilizados por los estudiantes;
b) un medio para recoger las respuestas de los estudiantes (grabaciones, gráficos que reflejan la solución, redacción de conclusiones...) y
c) un sistema de puntuación, con el fin de valorar el razonamiento y exactitud de las respuestas.
Las dimensiones tienen un carácter metodológico y práctico, y se encuentran muy vinculadas unas a otras: a) el contenido hace referencia a aspectos como la adecuada representación del dominio, asegurar que los contenidos sean significativos y comprensibles para las personas evaluadas y que exista una amplia variedad de soluciones de diferente grado de corrección; b) el equipamiento, tiene en cuenta los materiales y recursos disponibles; y c) la puesta en práctica, alude a la disponibilidad de las condiciones físicas y de tiempo necesarias, la fiabilidad interjueces, el tiempo para realizar la tarea o el entrenamiento con el sistema de puntuación. Son frecuentes las tensiones entre las dimensiones debido a su mutua influencia, por ejemplo, si se reduce el coste de los materiales pueden aumentar los errores de medida, y si estos son de alta calidad el coste puede ser muy alto. Se trata de un proceso cíclico, donde es imposible optimizarlas todas, se debe buscar la combinación que maximiza las ventajas y minimiza los inconvenientes.
El proceso comienza identificando las actuaciones que demuestran el dominio de ciertas habilidades y seleccionando las tareas que pueden licitarlas. Decididos los aspectos relativos a cada dimensión, el problema o tarea se presenta a las personas que se van a evaluar, y se van registrando los pasos que realizan durante el ejercicio. Las observaciones o registros son valorados por un grupo de jueces, expertos en el campo, quienes evalúan la expresión de dichas habilidades y todo el proceso de ejecución de la tarea.
Esta propuesta es una opción entre muchas de cómo llevar a la práctica la filosofía de la evaluación auténtica, ahora bien, la alternativa que más atención ha recibido, especialmente en el contexto educativo, es el portafolio. Se trata de un método muy útil en este ámbito y que representa un buen ejemplo para explicar algunas características del nuevo modelo. Arter y Spandel (1991), lo definen como el grupo de trabajos realizados intencionalmente por el estudiante, donde se muestran sus logros en una o más áreas. Según Meisels y Steele (1991), el portafolio permite a los estudiantes participar en la evaluación de su propio trabajo, permite seguir mejor la pista de su desarrollo y proporciona una base para realizar una evaluación cualitativa de todos los logros de cada niño.
El portafolio recoge múltiples pruebas de trabajo: redacciones, cuentos, dibujos, libros leídos, vídeos, fotografías, grabaciones,... Idealmente, debería incluir distintos tipos de observaciones (Grace y Shores, 1991):
a) Registros de actividades, hechos e intervenciones espontáneas realizadas por el estudiante, sin ser juzgadas. Dan una idea de su progreso diario.
b) Inventario de objetivos. Es una de las herramientas más útiles para seguir el progreso de los estudiantes, donde se especifican diferentes objetivos educativos, entre ellos los diferentes pasos para la adquisición de habilidades. En general, las observaciones se basan en actividades cotidianas de clase.
c) Escalas de evaluación. Son apropiadas cuando el comportamiento observado tiene diferentes aspectos o componentes.
d) Preguntas y peticiones. Una de las maneras más directas de recoger información es preguntar directamente al alumno sobre su opinión o conocimientos sobre un tema determinado. Demuestra no sólo sus conocimientos sino también sus habilidades lingüísticas.
e) Tests de prueba. Ayudan a identificar las habilidades y conocimientos adquiridos, con el fin de guiar la planificación del proceso de enseñanza.
El portafolio supone un buen ejemplo de lo que se viene llamando evaluación auténtica. Es un método que permite conocer mejor a los estudiantes y sus verdaderos logros, además de ofrecerles una visión más realista de las demandas que recibirán fuera del ámbito escolar. Un estudio de Calfee y Perfumo (1993) sobre la utilización del portafolio y basado en la opinión de los profesores, reveló dos aspectos importantes: por un lado, los profesores reconocen haber introducido el portafolio a su práctica educativa como un intento de renovación personal, impulsados por un nuevo compromiso que ha incrementado su estatus, haciéndoles más responsables de su propia instrucción; por otra parte, reconocen que los fundamentos técnicos de esta evaluación son aún débiles, todavía no está claro cómo medir los logros conseguidos.
Limitaciones de los nuevos modelos
A pesar de todas las ventajas mencionadas, no son pocos los problemas asociados a estas alternativas en evaluación:
1. Son métodos mucho más costosos. Al mayor coste económico, hay que añadir el tiempo, siendo además mucho menor el número de personas que pueden ser evaluadas simultáneamente.
2. Dificultad de elaborar evaluaciones paralelas. A diferencia de los tests, encontrar tareas cuyos requerimientos sean idénticos es muy difícil.
3. Falta de acuerdo en los constructos que han de evaluarse en el proceso de resolución de problemas.
4. El uso de jueces para puntuar la ejecución de tareas supone mayor subjetividad. La probabilidad de error aumenta y el coste es mayor. Aunque se entrene a los jueces y se les muestren ejemplos de una buena y mala ejecución, los jueces no siempre siguen estas reglas. Sus evaluaciones están sometidas a factores situacionales, características de los examinados y asunciones del estereotipo de lo que es una buena ejecución.
5. La compleja naturaleza de muchos ejercicios. Esta complejidad no sólo hace que la evaluación sea más cara y difícil de puntuar, sino que dificulta la obtención de una muestra adecuada de la expresión de estas habilidades. Por otro lado, el tiempo no puede alargarse más de dos horas, para asegurar un buen rendimiento, y esto limita el número de tareas a un máximo de tres o cuatro, lo que difícilmente asegura una adecuada representación de esa habilidad.
6. El efecto del contexto en la evaluación. Separar la influencia del contexto de evaluación de la ejecución realizada es muy difícil. Los resultados pueden verse influidos por la presencia de otras personas y en el caso concreto del portafolio, nos encontramos con el problema de cómo averiguar si las muestras presentadas han sido realizadas por el niño.
7. Generalización de las inferencias. Al centrarse en habilidades específicas es difícil generalizar a otros dominios. Se requerirían evaluaciones muy amplias, extendidas a diferentes dominios, lo que encarecería el coste y se perdería efectividad.
Los métodos utilizados en este modelo no son novedosos, de hecho responden al tipo de evaluación que se ha realizado dentro del aula durante muchos años, la novedad se encuentra en su aplicación a las evaluaciones a gran escala, y es aquí donde aparecen sus limitaciones. Aspectos como la validez y fiabilidad de las mediciones tienen gran relevancia, lo que es válido dentro del aula, puede no serlo en una evaluación a gran escala. Muchos autores han tratado el problema de la validación de estas mediciones, sin embargo, no sucede lo mismo con la fiabilidad, olvidada por los defensores de la evaluación auténtica.
Discusión
Cada modelo responde mejor a unos determinados objetivos (tabla 1), mientras la evaluación estandarizada permite evaluar a grandes grupos de personas simultáneamente de forma objetiva, la evaluación auténtica busca mayor profundidad y exhaustividad, centrándose más en el caso individual, a pesar de hacerlo a través de evaluaciones más subjetivas. No tiene sentido sustituir un modelo por otro cuando los dos han demostrado su efectividad en diferentes contextos.
La primera ha resultado de gran utilidad cuando hay que seleccionar a un número de personas dentro de una amplia muestra. De hecho, dentro de la tradición psicométrica se está desarrollando una nueva línea que supera muchos de los inconvenientes de la Teoría Clásica de los Test, se trata de la Teoría de Respuesta a los Ítems. Una de sus aplicaciones, los tests adaptativos informatizados, ha aportado grandes ventajas a la hora de realizar evaluaciones objetivas a un grupo muy amplio con fines de selección o clasificación (pruebas de acceso a la universidad, M.I.R., P.I.R., etc.).
Por otro lado, en contextos como el educativo, la evaluación auténtica va ganando adeptos, lo cual tiene sentido si el verdadero objetivo de la escuela es enseñar y no clasificar a los estudiantes según el nivel alcanzado en un test. Un profesor debe conocer lo que realmente ha aprendido cada uno de sus alumnos, con el fin de desarrollar mejor el proceso de enseñanza, para ello un único examen a fin de curso (o trimestral) no es el mejor indicador. De aquí proviene la defensa de la olvidada evaluación continua mediante métodos como los antes indicados por Grace y Shores (1991), si bien, para ello no vale sólo defender este nuevo modelo, sino adecuar el contexto educativo para poder aplicarlo (número reducido de alumnos, características del aula, contactos profesor-alumno).
No faltan en ambos modelos las ventajas e inconvenientes de su aplicación (tabla 1), aunque el espíritu de renovación de la evaluación auténtica ha provocado una cierta visión romántica de sus posibilidades. Para rechazar la evaluación estandarizada, conviene primero analizar cuál es el objetivo de la evaluación y los recursos disponibles, en palabras de Frechtling (1991): «antes de asumir que disponemos de una alternativa que puede solucionar los problemas a los que nos enfrentamos, debemos estudiar esta nueva herramienta de manera más analítica y menos emocional, y preguntarnos qué puede y no puede hacer».
||
||