Es noticia
¿El informe PISA es objetivo? Los académicos se rebelan...
  1. Alma, Corazón, Vida
CRITICAS AL INFORME DE LA OCDE

¿El informe PISA es objetivo? Los académicos se rebelan...

Hoy la OCDE presenta la segunda oleada de resultados del informe PISA 2012. ¿Podemos fiarnos de sus resultados? Muchos académicos creen que no

Foto: Finlandia y Corea del Sur tienen los escolares más capaces, según la OCDE. (Efe)
Finlandia y Corea del Sur tienen los escolares más capaces, según la OCDE. (Efe)

La Organización para la Cooperación y el Desarrollo Económico (OCDE) ha presentado esta mañana la segunda oleada de resultados del informe PISA 2012, relativos al área transversal de 'resolución de problemas'. De nuevo, el informe protagonizalas portadas de los periódicos, los informativos y las tertulias, no en vano, creemos que se trata de la mejor herramienta con la que contamos para conocer el éxito o fracaso de nuestros sistemas educativos. Pero, ¿podemos fiarnos de ella?

Numerosos académicos han criticado a PISA por tratarse de una prueba que sólo valora la calidad de los sistemas educativos en función de valores cuantitativos y, en su opinión, no sirve para valorar la calidad real de la educación de un país. Pero, al margen de esta crítica (la más convencional), hay quien piensa que PISA tiene graves fallos no sólo en su planteamiento, sino también en su diseño y su aplicación.

¿Utiliza PISA un modelo estadístico que no funciona?

La principal fortaleza de PISA reside en que está diseñado como un sistema “objetivo” de comparación entre países, pero muchos académicos dudan de esta supuesta imparcialidad. Aunque existen unos parámetros comunes, la OCDE diseña pruebas distintas para cada país en función de sus especificidades culturales ymediante un modelo estadísticoprocesa estos resultados para obtener una representación de lo que los alumnos han contestado.

No hay un sólo ítem de PISA que sea igual en los 56 países participantes. Por lo tanto, no se puede utilizar este modelo

Los técnicos de la OCDE utilizan un sistema basado en el modelo de Rasch, llamado así por su creador, el matemático danés George Rasch. El modelo (muy complejo) sirve, en resumidas cuentas, para estandarizar las respuestas a un cuestionario dado: los autores de PISA buscan así elaborar una versión plausible de las puntuaciones que los estudiantes de cada país habrían sacado si hubieran respondido a las mismas preguntas.

Hay quien piensa que el modelo de Rasch no funciona para PISA ni para ninguna otra cosa, pues parte de un error matemático de base. Pero esto no es lo más preocupante: según uno de los discípulos del propio Rasch, el profesor Svend Kreiner, de la Universidad de Copenhague, el modelo se está empleando de forma incorrecta.

Según explicó Kreiner en la revista británica Times Education Supplement, para que el modelo de Rasch funcionara correctamente, las preguntas de PISA deberían funcionar de la misma manera en todos los países participantes: deberían ser, en definitiva, igual de difíciles. Y no es así. Esto se conoce en estadística como un “funcionamiento diferencial de los ítems” (DIF, por sus siglas en inglés) y es un error con el que el modelo de Rasch no puede lidiar.

“Esto significa que las comparaciones entre países no tienen sentido”, asegura Kreiner. “De hecho, no he sido capaz de encontrar dos ítems en los test de PISA que funcionen exactamente de la misma manera en países diferentes. No hay un sólo ítem que sea igual en los 56 países participantes. Por lo tanto, no se puede utilizar este modelo”.

Si bien es cierto que todos los modelos estadísticos fallan, algunos modelos son peores que otros y no hay ninguna razón para usar el peor de todos

Según la OCDE –cuyos técnicos han mantenido una enconada discusión académica con Kreiner– no todos los expertos creen que el modelo de Rasch no pueda utilizarse con presencia de DIF. Pero, en opinión de Kreiner, si bien es cierto que todos los modelos estadísticos fallan, “algunos modelos son peores que otros y no hay ninguna razón para usar el peor de todos”.

placeholder ¿Puede PISA enseñarnos a mejorar nuestras escuelas? (Corbis)

PISA y la “pura especulación”

La educación es, hoy más que nunca, uno de los principales indicadores del progreso de un país, y PISA se ha convertido en el ranking al que miran todos los políticos: si su país ha mejorado, el gobierno de turno se pavonea (aunque los éxitos pertenezcan en realidad a la anterior administración), si ha empeorado, echa la culpa al gobierno anterior. Pero ¿sirve PISA para mejorar las políticas educativas en el futuro?

Los productos asociados a PISA, como los análisis sobre cómo deben ser las buenas escuelas, van mucho más allá de lo que permite una aproximación cauta a estos datos

La OCDE siempre ha argumentado que PISA ofrece un análisis mucho más completo de los sistemas educativos y no se limita sólo a ofrecer rankings –cuya “incertidumbre” ha reconocido públicamente– sino también a ofrecer ideas para mejorar la educación. Pero lo cierto es que los listados acaparan toda la atención mediática: nadie se preocupa del resto del informe. ¿Deberíamos?

En 2007, un grupo de 20 investigadores analizó de forma pormenorizada la metodología de PISA y publicó sus conclusiones en el libro PISA according to PISA (Transaction Publishers). Además de asegurar que los rankings que comparan los resultados entre países “están basados en tantos puntos débiles que deben ser abandonados de inmediato”, apuntaron que los productos asociados a PISA, como los análisis sobre cómo deben ser las buenas escuelas o las diferencias entre los distintos sistemas educativos, “van mucho más allá de lo que permite una aproximación cauta a estos datos. Son en su mayoría pura especulación”.

Todo esto no quiere decir que PISA no sirva para nada (aunque muchos académicos lo creen así), pero lo que es seguro es que sus conclusiones no deben ser tomadas como la única forma de conocer nuestros sistemas educativos. El informe, para más inri, sólo evalua los conocimientos y competencias de los alumnos de 15 años en matemáticas, ciencia y compresión lectora: ni realiza un seguimiento longitudinal de la evolución de los estudiantes ni se para analizar qué saben de otras materias o habilidades que van de la historia o la filosofía a la creatividad o el entusiasmo. PISA puede ser útil, pero en ningún caso debería tener la última palabra. Al menos según muchos y reconocidosmatemáticos y pedagogos.

La Organización para la Cooperación y el Desarrollo Económico (OCDE) ha presentado esta mañana la segunda oleada de resultados del informe PISA 2012, relativos al área transversal de 'resolución de problemas'. De nuevo, el informe protagonizalas portadas de los periódicos, los informativos y las tertulias, no en vano, creemos que se trata de la mejor herramienta con la que contamos para conocer el éxito o fracaso de nuestros sistemas educativos. Pero, ¿podemos fiarnos de ella?

Rankings
El redactor recomienda