"El CIS ahora aplica ciencia y transparencia, no magias, creencias y fetichismos"

Antonio Alaminos Chica es catedrático de Sociología Matemática de la Universidad de Alicante y, desde julio, director de investigación del Centro de Investigaciones Sociológicas (CIS). Este experto en prospectiva electoral llegó al organismo público encargado de las encuestas con ganas de cambiar cosas. En su primer barómetro —en el de julio llevaba solo días en el cargo— se ha cargado la cocina y ha utilizado un método muchísimo más simple, una regla de tres, para trasladar las respuesta de los encuestados a la estimación de voto de los partidos. El resultado es un método criticado de forma casi unánime por las empresas de encuestas y que aumenta la ventaja del PSOE sobre el PP de cinco a diez puntos respecto a lo que habría pasado con el método anterior.

Ha acabado con la cocina y lo defiende sin medias tintas. En una entrevista por teléfono, mantiene que el nuevo sistema es científico mientras que el anterior era más próximo a la magia: "El problema es que los que estaban haciendo cocina no quieren explicar qué hacen, no sea que pase como en 'El mago de Oz', que detrás de la gran cortina haya un enano con un altavoz". Cree que todas las críticas que ha recibido se explican por la ruptura que supone el nuevo rumbo. "Hay pueblos que tiran una cabra del campanario. Y de repente llega un alcalde y dice: 'Oigan, no tiren más la cabra, que me parece una salvajada'. ¿En esas estamos? Y entonces cogen al alcalde y lo apalean porque ha decidido que no hay que maltratar a la cabra".

Pregunta. ¿Cómo explica que ahora no haya cocina?

Respuesta. No se debe hacer cocina cuando no existe un modelo que ajuste correctamente con las tendencias que se están produciendo. La cocina significa, en términos claros, que entre la información que llega objetiva de lo que opinan los ciudadanos a los resultados que se exponen hay un proceso intermedio desconocido por el cual no se puede verificar ni reproducir ni testar qué es lo que se ha hecho con los datos. Eso se llama cocina. Lo que ha hecho el CIS no es cocina. Ahora hemos hecho ciencia. Tienes los datos, dices lo que haces con ellos y expones hasta dónde puedes llegar con la información que tienes. Es la diferencia entre cocina e investigación científica. El CIS no ha hecho cocina porque ha hecho investigación.

P. Que no hay cocina en el último CIS está ya claro. Esa es precisamente la crítica, que hacen una simple extrapolación que además beneficia al PSOE.

R. Tengo una carrera de catedrático de metodología de un montón de años y cuando acepté ir al CIS no fue para hacer cocina, sino para hacer ciencia. Y facilito los datos para el que quiera hacerla a su riesgo.

TE PUEDE INTERESAR

Una simple regla de tres para estimar el CIS: la receta de Tezanos que dispara al PSOE

Rafael Méndez

P. Todos pensábamos cuando salió el CIS que era comparable al anterior y todos hicimos una gráfica comparando con el anterior CIS y eso no es correcto. Esa subida de seis décimas al PSOE no es real porque son métodos radicalmente distintos.

R. Está puesto en la ficha que cambia la comunicación del CIS de los resultados. Es que a veces cuesta mucho leer lo que pone en la ficha metodológica. Y lo sabe porque lo hemos contado

P. Entonces en la estimación de voto el CIS de julio que daba al PSOE 29,9% y el de septiembre que le dio 30,5% no son comparables.

R. En absoluto lo son. No hace falta explicarlo. Lees la ficha técnica y está claro que si el método para obtenerlo es distinto no son comparables. No tiene mucho misterio. La diferencia es que si hacen cocina —en el sentido de que no se publica cómo se hacen las cosas—, ni usted ni yo sabremos cuántas veces han cambiado el modelo y si realmente esa serie es comparable. Si se hace cocina yo puedo imaginar que alguna serie de algún medio, incluso la serie del CIS —porque el CIS utiliza varios modelos—, no es tal sino múltiples microseries en la que nunca sabemos cuándo cambiaron los modelos que usaron. Si no dices cómo lo haces no sabes cuándo cambian. Crees que tienes una serie y a lo mejor tienes un conjunto de pequeñas series con modelos diferentes. Científicamente eso no es admisible. ¿La estimación de septiembre es comparable a la de julio? En absoluto, si la de julio es un modelo de voto más simpatía ponderado por recuerdo de voto.

¿La estimación de voto del barómetro de septiembre es comparable a la de julio? En absoluto

P. ¿Para cambiar el CIS así no convendría haberlo anunciado, haber tenido un debate...? Nadie se lo esperaba.

R. Es que los profesionales estaban mal acostumbrados. ¿Por qué hay que comerse un plato que no sabes cómo se cocina y qué ingredientes tiene? ¿Por qué hay que asumir que las estimaciones que se publican sin explicar cómo se hacen hay que tragárselas? No lo entiendo. Lo que hay que preguntar es lo siguiente: usted cobra un dinero, hace una encuesta y me da una serie de estimaciones. Explíqueme cómo ha llegado ahí y yo me lo creeré o no. ¿Por qué es tolerable y es socialmente aceptable y a los profesionales les parece perfecto que haya esa opacidad?

P. ¿Entonces cree que el último resultado, con el PSOE a 10 puntos sobre el PP, está más cerca de la realidad de lo que daba antes con cocina?

R. Es lo que la gente dice.

P. Cuando hace estimación de voto no es lo que la gente dice.

R. Hemos hecho la imputación más básica que existe, que es la de simpatía.

P. Si le contratara un partido y le pidiera cómo está la estimación de voto ¿le daría este resultado?

R. Le diría que es lo que hay porque ahora mismo no dispongo de un modelo que dé información fiable, válida y segura para operar. Las empresas de mercado tienen que vivir de eso y vender las estimaciones más que el dato. Los medios de comunicación publican estimaciones pero es muy raro que publiquen datos. Se vende una alteración de los datos, una interpretación. No son lo mismo los datos que la interpretación de los datos. Y si un partido me contratara le diría que hoy no hay un modelo que de forma válida y fiable capture toda la heterogeneidad que hay en el entorno: las tendencias abstencionistas, la indecisión de participación, la transferencia tan volátil entre partidos contiguos...

P. ¿El resultado de julio entonces no valía para nada?

R. La estimación que daba se publicó porque correspondía al equipo anterior. El cambio en septiembre ya responde a la pregunta. Llegué al CIS a finales de julio, casi al mismo tiempo que los datos, pregunté cuál era el modelo que se había aplicado en abril. Me dijeron que el clásico y si era el último pues decidimos que se aplicara en la última encuesta. Llevaba dos días y a partir de ahí empecé a ver los modelos que había y se tomó la decisión de septiembre. No había ningún modelo que ajuste a lo que está pasando ahora. Entonces, mejor la expresión literal de lo que la gente dice. Si alguien sufre por la serie no importa porque tiene los datos.

"Como científico social le digo que el CIS no lo estaba haciendo bien"

P. El presidente del CIS dijo que no hay que creer en las encuestas. ¿Coincide?

R. Se lo traduzco. Usted una estimación de voto que no sabe cómo la han producido, ¿se la cree?

P. Hay un principio de autoridad. Entiendo que el CIS sabe lo que hace.

R. No hablo del CIS, sino de cualquier medio que publica estimaciones de voto sin explicar el modelo. Posiblemente se lo crea, pero eso es un acto de fe. Yo no me lo creo. Hasta que no me dicen cómo se hacen las cosas y de dónde vienen las cosas no me creo nada. Ese acto de fe que hacen ustedes no me lo puedo permitir.

P. ¿No se cree el barómetro del CIS de julio?

R. Los datos sí pero el resultado de la estimación me parece que está sesgada porque el modelo de ponderación por recuerdo no es efectivo. Ese es el último modelo de la última encuesta que hizo el último equipo. Es su cuestionario, los datos que ellos recogieron. El de septiembre corresponde al nuevo equipo. Y la lógica es muy simple: investigación científica, transparencia absoluta, facilitar los datos, explicar qué se hace y cómo se hace. No puede ser otra cosa. Otra cosa son magias, creencias y fetichismos. ¿Cuál es el problema? El problema es que los que estaban haciendo cocina no quieren explicar qué hacen no sea que pase como en 'El mago de Oz', que detrás de la gran cortina haya un enano con un altavoz. ¿No somos todos tan interesantes, tan inteligentes y lo sabemos hacer también? Pues vamos a poner los modelos encima de la mesa, a debatirlos. A ver en qué nos podemos ayudar unos a otros, modificar, corregir, ver cosas que unos no vemos. ¿O qué estamos haciendo? La cocina pertenece a la propaganda política, a la de partidos que prefiere una cosa u otra. La investigación es otra cosa.

"Los que cocinan no quieren explicar qué hacen no sea que pase como en el mago de Oz, que detrás de la gran cortina haya un enano con un altavoz"

P. Lo que dice que el CIS lo lleva haciendo mal desde siempre.

R. Lo ha hecho de acuerdo a su tradición. Si me pregunta mi opinión como científico social le digo que el CIS no lo estaba haciendo bien. Como no lo están haciendo bien las empresas.

P. Cuando alguien rompe una trayectoria de tanto tiempo choca.

R. Hay pueblos que tiran una cabra del campanario. Y de repente llega un alcalde y dice: 'Miren, no tiren más la cabra, que me parece una salvajada". Y entonces cogen al alcalde y lo apalean porque ha decidido que no hay que maltratar a la cabra. ¿En esas estamos? Se llega y se dice: la investigación científica se hace así, con transparencia, exposición de datos, control de datos... ¿Y entonces lo crucifican porque ha dejado de tirar la cabra del campanario?

P. No hay fuerza más poderosa que la resistencia al cambio.

R. Yo estoy cortado mentalmente por tantos años de ciencia y me sorprenden algunas preguntas. La investigación científica es lo que es, no tiene dos vueltas de hoja. Si cualquiera que produce una estimación de cocina lo manda a una revista científica las carcajadas se escuchan por la ventana. ¿Qué revista científica va a publicar una estimación de un comportamiento electoral sin que se le explique qué han dicho los datos y qué operaciones se han hecho con ellos y demás?

P. ¿Y no les faltó explicarlo antes para que la gente no se sorprendiera?

R. Es la diferencia entre estar en una subcultura específica y hacerlo en una generalista. Si estás en la subcultura de la investigación lees la ficha y ves que no son comparables. En una cultura generalista vas a la estimación y no entras en el detalle te puede desorientar. Eso lo entiendo y lo acepto.

"Si los modelos que aplicas no tienen suficiente credibilidad, porque hay que corregirlos, no hay que seguir utilizándolos y engañando a la gente"

Hasta ahora, el CIS ponderaba lo que la gente contestaba en la intención de voto para dar su estimación. Simplificando, restaba algo al PSOE porque tradicionalmente se ha visto que a la gente le da más reparo decir que votó a partidos de derechas. Se hacía una ponderación tomando en cuenta el recuerdo de voto: lo que la gente dijo que votó y lo que realmente pasó en las últimas elecciones. En esa cocina los partidos de izquierdas solían bajar y los de derechas subir. Los sociólogos defienden que es la única manera de dar una foto que se aproxime a la realidad. Que lo contrario es como publicar un texto sin editar, sin comas y en bruto, en palabras de un experto. El último CIS ha eliminado esa cocina, lo que ha producido un salto en las estimaciones y además ha roto la continuidad de la serie.

P. El último barómetro ya no es comparable con el anterior.

R. Eso es inmediato. Hasta el más novato puede aplicar el modelo anterior. Son 11 líneas de programación. Los datos se publican y el modelo se conoce. Se ha dicho cómo se hace. Quien quiera continuar la serie lo puede hacer.

P. Pero ya no habrá una serie larga comparable en la web del CIS.

R. Es irrelevante. Cualquier investigador tiene los datos y puede aplicar el modelo anterior. Lo que no tiene sentido es que, si no confiamos ya en ese modelo, en su capacidad para explicar las tendencias electorales, lo sigamos aplicando.

P. ¿Por que no confía en el modelo anterior?

R. Lo voy a plantear en la versión más simple. En las elecciones de 2016 el orden fue PP, PSOE, Podemos y Ciudadanos. La intención de voto actual directa da PSOE, PP, Ciudadanos y Podemos. No es el mismo orden. ¿La intención de voto con significación estadística implica que el orden ha cambiado y resulta que hay que corregirla según lo que ocurrió en el pasado? ¿Con una configuración diferente de partidos? No tiene ningún sentido.

"No es admisible que se permita que lleguen unos datos y se manipulen, transformen, se ponderen y se les someta a tratamientos de tortura"

P. El hecho de que salgan resultados del PSOE a 10 puntos sobre el PP o Bildu sobre el PNV...

R. Hemos cogido lo que los españoles han opinado y se ha informado a la opinión pública de ello, simplemente eso, que es lo que corresponde a un centro de investigación que produce datos oficiales. Lo primero es decir qué se hace y lo segundo es que si consideras que los modelos que aplicas no tienen suficiente credibilidad, porque hay que corregirlos, no hay que seguir utilizándolos y engañando a la gente.

P. ¿Le parece irrelevante que se haya roto la serie histórica?

R. Sería dramático si cada investigador no pudiese construir la serie cuándo y cómo quisiera. Pero es que los datos, los microdatos que llamamos, se publican y se publicarán muy rápidamente. Lo que no puede hacer el CIS, al menos este CIS, es continuar publicando una serie a partir de la aplicación de un modelo que se sabe que no es correcto. Desde la perspectiva de la investigación científica sería falsificar la realidad. El CIS no debe hacer cocina, no debe ocultar cómo opera con los datos.

Opinión

TE PUEDE INTERESAR

Más preguntas que respuestas en el CIS

Isidoro Tapia

P. ¿Cómo explica la crítica de prácticamente todos los sociólogos y empresas de encuestas?

R. Las empresas operan con una opacidad que no deberían de usar en investigación científica. No es admisible que se permita que sea al CIS o a quien sea lleguen unos datos y se manipulen, transformen, se ponderen y se les someta a tratamientos de tortura y que al final digan: 'El resultado es este'. No, no. Hay que explicar cómo se hace y que los demás puedan testar, debatir, discutir y corregir. El CIS ha entrado en modo seguir testando modelos, corrigiéndolos, viendo cómo ajustan a tendencias actuales y cuando tengamos uno que pensemos que funciona correctamente lo publicaremos.

P. ¿No descartan entonces volver a hacer cocina?

R. No, no. Cocina nunca. Un modelo que se explique sí. Qué se hace y en base a qué se hace y da unos resultados. Y que cualquiera pueda decir que no está de acuerdo con lo que hacemos. Y perfecto, tienes tus datos, ajusta tu modelo, pero pensamos que el que ajusta mejor es este.

P. ¿Hasta que tuvieran ese modelo no habría sido mejor seguir usando el actual? Porque lo que ha pasado es que bajando cinco puntos en intención directa de voto el PSOE sube seis décimas en la estimación.

R. No, no. En absoluto. Los datos de estimación de voto se van a publicar y quien quiera aplicar el modelo antiguo lo puede hacer. La de septiembre es muy simple. He leído que un señor se volvió loco intentando saber cómo se había hecho la estimación de voto del CIS de septiembre. Y luego resulta que en la primera página del barómetro lo contaba.

P. Una regla de tres.

R. Regla de tres, sí. Intención de voto más simpatía sobre el voto a candidaturas. Estaba puesto clarísimo y que no se habían tocado los datos.

P. ¿No lo han hecho para subir al PSOE?

R. Lo hemos hecho para aplicar criterios científicos y metodológicos. Lo que no se puede es aplicar modelos cuyo comportamiento sabes que matemáticamente distorsionan la realidad. Se sabe. No tiene sentido retrotraer lo que está pasando a 2016. El modelo cuando pondera por recuerdo de voto hace que recompone la muestra como si fuera parecida a lo que pasó en 2016. El resultado es que de cada cinco votantes socialistas en intención de voto quitas uno porque tienen más recuero de voto de lo que pasó. La estimación de PP y Ciudadanos está al alza porque su recuerdo de voto en relación con lo que pasó está infraestimado y hay que subirlo. Las dinámicas de cambio que se hayan podido producir entre 2016 y ahora las atenúas. Es un modelo que frena el cambio igual que hay otros que los aceleran hasta dinámicas que no son correctas. Lo que quiero decir es que este equipo nuevo de dirección aplica procedimientos y criterios de investigación científica: transparencia, explicar cómo se hace todo, que la gente pueda reproducirlo, coger los datos y aplicar el modelo que le dé la gana. No hacemos cocina.