Por qué PISA puede ser un peligro: “Su objetivo es que seamos intercambiables”

El 6 de mayo de 2014, un grupo de alrededor de 80 profesores de todo el mundo publicaron en 'The Guardian' una carta abierta a Andreas Schleicher, director del programa PISA, en la que explicaban por qué la prueba estaba “dañando la educación”. Hasta entonces, las críticas al examen promovido por la OCDE que desde 2000 valora a los estudiantes de los países desarrollados habían sido una nota a pie de página ante los grandes titulares de los milagros finlandeses y los descalabros alemanes.

Entre las quejas de los firmantes se encontraban la excesiva confianza en los resultados a pesar de la imperfección de los datos; un cortoplacismo que ha empujado a muchos países a tomar decisiones políticas apresuradas para remontar en la siguiente oleada; el olvido de aspectos inmateriales o no medibles de la formación de los estudiantes como el desarrollo físico, moral o artístico; un análisis excesivamente económico de las escuelas públicas; en definitiva, concluían, “el nuevo régimen de PISA, con su ciclo continuo de tests globales, dañan a nuestros niños y empobrece nuestras clases, e inevitablemente implica menos autonomía para los profesores. Ha incrementado el estrés en los colegios, que pone en peligro el bienestar de los profesores y los alumnos”.

Sufrimos un exceso de cuantificación, y PISA está contribuyendo a ello

El profesor Andrea Saltelli, de la Universidad de Bergen (Noruega), está de acuerdo en casi todo con los firmantes, con una salvedad: “Veo un poco exagerado que digan que las pruebas estresan a los alumnos, no es para tanto”, explica a El Confidencial. Saltelli publicó hace unos años en 'International Journal of Cooperative Education el trabajo '¿Justifican los datos de PISA las políticas educativas basadas en PISA?' junto a Luisa Araujo y Sylke Schnepf, uno de los estudios más completos (y demoledores) sobre la célebre prueba.

“Como investigador, creo que sufrimos un exceso de datos y cuantificación”, lamenta, explicando el marco en el que debe entenderse la prueba de la OCDE. “Está en sintonía con la agenda neoliberal, que para extraer cada vez más de los trabajadores, desarrolla un sistema en el que, a diferencia del taylorismo, donde solo se trabajaba un número concreto de horas, el trabajador es movilizado 24 horas al día, porque tiene un objetivo medible que alcanzar. Medimos demasiado y eso va en detrimento de nuestra condición humana”.

Pero ¿cuáles son exactamente los problemas de la prueba PISA?

Una orientación falsamente neutral

Uno de los peligros de PISA es que sus resultados sean interpretados como una visión neutral, completamente desideologizada, de la educación. Saltelli y sus colegas recuerdan en su trabajo que su enfoque es eminentemente economicista y utilitario. “La OCDE, una institución conservadora y neoclásica, proyecta una imagen del mundo en la que lo importante no es evaluar la educación, sino cómo las personas pueden funcionar dentro la economía del conocimiento”, explica. “Es decir, quieren que sean funcionales, o peor, intercambiables, así que deben leer bien, saber matemáticas y un poco de ciencia, porque es lo único que se pone a prueba”.

Los ángulos muertos de PISA

Las pruebas de este año se centran en Lectura, pero otras oleadas lo han hecho en Ciencia y Matemáticas, las tres competencias evaluadas. “Las excepciones más obvias son Historia y Geografía, que no figuran en el examen, y en países como España, por ejemplo, creo que es importante conocerla para saber qué pasa en Cataluña”, recuerda Saltelli, que añade una anécdota reveladora: “¡Pero no hay nada que muestre mejor la ignorancia de alguien como decir que África es un país, como le ocurrió a Sarah Palin!”

'Teaching to the test'

Es el concepto estrella en todas las críticas a PISA: si gran parte de las políticas educativas dependen del resultado de un examen, es posible que las administraciones orienten sus currículos a salir guapos en el mismo. “PISA sufre enfermedades comunes a otras formas de medir, como la adaptación al test”, explica el profesor. “Cuando la medida se convierte en el objetivo, deja de servir, por eso se suele cambiar para que el que se medido no pueda adaptarse”. El resultado es que los currículos ya no se centran en las disciplinas en sí, sino en las pruebas basadas en esas disciplinas.

Si celebras Singapur, debes preguntarte si quieres que los niños sean maltratados a cambio de aparecer en los primeros puestos

La trampa del PIB

Un documento de la Comisión Europea aseguraba en 2014 que “si cada Estado miembro de la Unión Europea subiese 25 puntos en PISA (que es por ejemplo lo que Alemania y Polonia han conseguido durante la última década), el PIB de toda la UE aumentaría entre un 4 y un 6% para 2090, es decir, 35 billones de euros”. Para Saltelli, esta clase de aseveraciones son “basura estadística”.

“Es correlación, no causa y efecto”, recuerda. “Puedes decir que los países con mejores sistemas educativos son más ricos o que los países más ricos tienen mejores sistemas educativos”. Se trata, más bien, de una evolución concertada, un concepto extraído de la biología. “La realidad es que a medida que un país se desarrolla, su educación mejora, por lo que produce mejor capital humano: ambas cosas se refuerzan, hay un 'feedback' positivo entre ambas”. Huevo y gallina, PISA y PIB.

Datos opacos...

A Saltelli, como experto en metodología, le gustaría poder “trastear” con los datos puros de la OCDE, pero no es posible. “Nos gustaría poder echar un vistazo para señalar los errores”. Una de las críticas metodológicas a las pruebas de la OCDE es que algunas de las elecciones de ítems (pruebas), que varían en cada país para adaptarse a su realidad educativa, no son públicas, “lo que provoca que la reproducción de los 'rankings' de país de los datos puros sea imposible”.

TE PUEDE INTERESAR

Tres buenas razones para dejar de dar tanta importancia a los exámenes PISA

Héctor G. Barnés

...Y datos interesados

Saltelli cuenta una anécdota para explicar de qué forma los datos de PISA pueden ser utilizados para hacer una cosa o la contraria, de qué forma su ambigüedad sirve para justificar todo tipo de medidas: las puntuaciones de Reino Unido empeoraron en 2013, lo que llevó a culpar a los profesores de ello. “Pero no era culpa suya”, explica el profesor. “Simplemente, la OCDE se había dado cuenta de que estaban utilizando un truco, excluir a las minorías de la prueba. Al reintroducir a estos alumnos, los resultados bajaron, ¡pero no tenía nada que ver con los profesores!”

La OCDE ha robado competencias a los ministerios de cada país

Malos ejemplos

PISA ha creado mitos que, como tales, simplifican realidades complejas o contradictorias. Un ejemplo es Finlandia, cuyo rendimiento descendió en las últimas ediciones; o países asiáticos como China, Singapur o Taiwán, que ejercen tal presión sobre sus estudiantes que llegan a suicidarse. “Si celebras el éxito de Singapur, también debes observar qué precio pagas a cambio, y preguntarte si quieres que los niños sean tratados de forma inhumana a cambio de aparecer en los primeros puestos en los rankings internacionales”.

La OCDE, el nuevo ministerio de Educación

En 2014, el profesor de la Universidad de Albany Heinz-Dieter Meyer, uno de los firmantes de la carta, denunció que la OCDE se había convertido en un “superministerio global de educación” que había adquirido más poder sobre la educación que ninguna otra institución en el mundo, a pesar de que “es un club, ni siquiera aspira a una legitimidad democrática, ya que los miembros lo son por invitación”.

Saltelli está de acuerdo. “Por supuesto, no hace todo lo que puede hacer un ministerio”, recuerda, “pero sí muchas de las decisiones de los ministerios locales que no tienen otra opción que centrarse en Matemáticas, Ciencia y Lectura porque es lo que se mide, la OCDE ha extraído competencias de los ministerios locales”. La perversa lección que PISA ha enseñado a todo el mundo es, precisamente, que lo que no se puede medir no existe.

Cortoplacismo

Lo recordaba el trabajo publicado hace un par de años: el test, realizado cada tres años, favorece que los gobiernos tomen medidas educativas a corto plazo. Como explicaba Dieter Meyer, “PISA ha provocado un cambio de atención al corto plazo para ayudar a un país escalar en los rankings, a pesar de que las investigaciones muestran que los cambios a largo plazo en las prácticas educativas llevan décadas, no años”. Que se lo digan a Wert.