“España no debe entrar en pánico”: cómo PISA cambió la educación para siempre

En la primera edición del examen PISA, publicada en 2001, los resultados mostraron una imagen poco favorecedora de Alemania, que, al contrario de lo que esperaban los germanos, aparecía por debajo de la OCDE. Es el conocido como 'shock de PISA', que provocó que el país tomase medidas, se abriese un debate sobre la educación y, finalmente, se decidiese duplicar el presupuesto educativo.

Es uno de los ejemplos utilizados habitualmente para mostrar cómo las pruebas han cambiado la manera de entender la educación a nivel global. Uno de los grandes expertos sobre el tema es el profesor Florian Waldow, de la Universidad de Berlín, que este año publicó 'Entendiendo el atractivo de PISA: análisis críticos en estudios de política comparada', en el que examina de qué manera los políticos y los medios de comunicación reaccionan a la publicación de los resultados de los exámenes, como ha ocurrido hoy, y por qué tienden a distorsionar lo que de otra manera podría ser una útil herramienta.

Los resultados de PISA son muy engañosos por la forma en que se presentan. Las tablas pueden exagerar las diferencias

La reacción en muchos países, sugiere el volumen, es una mezcla de escándalo y presión para llevar a cabo reformas educativas de manera inmediata. El profesor denuncia los “usos y abusos” relacionados con la prueba y, en una breve entrevista, explica a El Confidencial cómo deberíamos entender (y cómo no) los resultados.

PREGUNTA. Los resultados de PISA 2018 se publican hoy. Una de las reacciones más habituales en España es la de escandalizarnos. Usted ha demostrado que ocurre incluso en los países que obtienen buenos resultados. ¿Por qué?

RESPUESTA. PISA no reporta solo resultados medios por cada país, sino una variedad de medidas. Por ejemplo, es posible que los resultados en general sean buenos, pero que estén muy determinados socialmente o que ciertos aspectos (como las habilidades de resolución de problemas) no sean buenos aunque en general sí lo sean. Si ya hay un debate en el país sobre estos temas, es posible que haya un escándalo.

P. ¿Es imposible evitarlo?

R. Es muy difícil decir si puede sortearse de forma activa. Escandalizarse no ocurre automáticamente. La reacción por defecto a las evaluaciones internacionales a gran escala es la indiferencia, ¡incluso si los resultados no son buenos! Depende mucho de si hay ya un debate o no en el país.

P. ¿Deberíamos compararnos con otros países?

R. La comparación puede producir resultados muy interesantes, pero es importante recordar que, como regla, la comparación no produce planes infalibles para las reformas. Los resultados de PISA son muy engañosos por la forma en que se presentan. Las tablas pueden exagerar diferencias que en realidad no son tan grandes o que tal vez ni siquiera existen. Por ejemplo, distintos niveles pueden ser separados por diferencias que no son estadísticamente significativas. Esto, sin embargo, tiende a olvidarse en los debates políticos.

P. ¿Se han convertido los exámenes de PISA en un arma arrojadiza utilizada por los partidos políticos contra sus enemigos?

R. Desde luego que los resultados de PISA se usan como una legitimación para las reformas políticas (¡incluso las que se oponen mutuamente!). Los detalles están muy relacionados con cada país.

P. Hablemos del 'shock de PISA' en Alemania. ¿Fue un punto de inflexión en la educación germana? ¿De qué manera?

R. Fue un punto de giro, ya que contribuyó a acabar con una cierta complacencia que existía sobre la educación alemana. Probablemente, una de las razones por las que el 'shock' fue tan grande es porque los resultados de PISA dijeron lo contrario de lo que la gente había esperado. Además, PISA puso determinados problemas en la agenda del debate nacional, como el hecho de que los niños de origen inmigrante sufren una gran desventaja en el sistema alemán y que los resultados están muy condicionados socialmente. Un gran número de las reformas educativas de Alemania han sido justificadas a partir de PISA y la necesidad de mejorar los resultados. Sin embargo, muchas de estas reformas no tuvieron que ver con problemas relacionados con PISA, pero PISA fue utilizado como justificación.

Es muy fácil publicar historias de horror y héroes, de declive y gloria, asociadas con 'rankings' gracias a PISA

P. España ha sido un país tradicionalmente traumatizado por PISA. ¿Deberíamos?

R. ¡Definitivamente no! Los países deberían observar con detenimiento los resultados, pero también recordar que PISA mide tan solo un aspecto de la educación. También, es importante recordar que las diferencias entre los colegios en un país y especialmente entre alumnos tienden a ser mucho más grandes que las diferencias entre países. ¡Así que no hay que tener pánico!

P. Usted ha escrito sobre los “paraísos pedagógicos” y los “infiernos de exámenes” como visiones demasiado maniqueas de la educación. ¿Ha agravado PISA esta visión simplista, donde los resultados justifican casi todo?

R. Es difícil decir si PISA ha agravado esta forma de ver las cosas, ya que esta tendencia ha estado presente desde hace tiempo. Desde luego, no ha hecho nada para contribuir a que desaparezca. De nuevo, el hecho de que los resultados de PISA puedan ser fácilmente presentados en tablas como en una liga juega un papel importante. Es muy fácil publicar historias de horror y héroes, de declive y gloria, asociadas con 'rankings' que son producidos y publicados en intervalos regulares. Es un poco parecido a la clasificación de la liga de fútbol que cambia semanalmente, donde puedes contar historias dramáticas sobre el Barcelona superando al Madrid en el último momento, etc.

P. A nivel global, ¿ha cambiado PISA la forma en que se adoptan medidas educativas? ¿Cómo?

R. Es posible decir que PISA es parte de una tendencia general en la que los datos cuantificados y jerárquicos sobre aspectos de educación (como las clasificaciones) son cada vez más importantes a la hora de tomar medidas políticas. Las reacciones individuales, no obstante, cambian en cada país. En algunos países participantes, PISA no ha tenido ningún impacto. En otros, ha tenido un impacto gigantesco a la hora de justificar reformas.

P. ¿Es peligroso promover reformas políticas basándose casi exclusivamente en los resultados de PISA?

R. Sí. PISA es un estudio descriptivo, y el paso de la descripción a la prescripción no es fácil de dar, incluso si a veces parece que la OCDE tiene todas las respuestas. Las respuestas políticas nunca pueden emanar 'automáticamente' de un estudio de este tipo.

P. ¿Cómo deberíamos interpretar y usar los resultados de PISA y cómo no deberíamos hacerlo?

R. Deberíamos utilizar PISA como un estudio que nos ayude a darnos cuenta de problemas (como ocurrió con Alemania, por ejemplo, con los alumnos inmigrantes). Entonces, podemos reflexionar sobre qué hacer con esos problemas, pero PISA no nos va a decir qué tenemos que hacer. Siempre deberíamos recordar que la educación está extremadamente relacionada con cada contexto, y que eso condiciona y limita lo que un estudio como PISA nos puede decir sobre nosotros mismos. Definitivamente, no debemos dejar que la comparación con otros países nos haga entrar en pánico.