Las encuestas ya no aciertan como antes y en parte es culpa tuya

Si te llama un número desconocido al móvil, ¿qué probabilidad hay de que respondas? Y si descuelgas y te dicen que es para hacer una encuesta, ¿la haces? En caso de que sí, es muy posible que seas un bicho raro. Pero si no, tu actitud afectaría directamente a la calidad de ese sondeo.

Hacer encuestas ya no es lo que era. En teoría, una muestra representativa debe ser aleatoria —los entrevistados se eligen al azar— y cumplir ciertas cuotas que reflejen a la población real. Al principio, las encuestas se hacían casa por casa. Luego, con la llegada del teléfono fijo, muchas empresas comenzaron a llamar en lugar de visitar, un método más rápido y barato.

Pero los teléfonos móviles y los cambios en el estilo de vida han roto esta fórmula. Para Belén Barreiro, directora de 40dB, la entrevista por teléfono "es como aquí te pillo aquí te mato". "La gente está trabajando, con los niños o en el metro y no te pueden atender fácilmente", coincide Jordi Muñoz, exdirector del Centre d'Estudis d'Opinió (CEO), también conocido como ‘el CIS catalán’, entre 2021 y 2024. "El telemarketing es otro factor. Estamos inundados de llamadas y la gente ya no responde a números desconocidos, tiene miedo a estafas online…", añade.

"El problema cuando tantos no responden es que la gente que termina en tu encuesta es un conjunto raro", afirma Luis Miller

Con Muñoz al mando del CEO, la tasa de respuesta por teléfono estaba por debajo del 5%. Javier Sánchez, responsable de investigación cuantitativa de GAD3, cuenta que en su caso el porcentaje es similar, cercano al 3%, aunque depende del tipo de estudio. Dicho de otra forma, para hacer una encuesta con una muestra de 1.000 personas, los institutos de opinión hacen cerca de 30.000 llamadas. Preguntado sobre esta cuestión, el Centro de Investigaciones Sociológicas (CIS) no ha ofrecido datos sobre su porcentaje de respuesta.

"El problema cuando tantos no responden es que la gente que termina en tu encuesta es un conjunto raro", afirma Luis Miller, sociólogo e investigador del CSIC. "Estás entrevistando solo a la parte de la sociedad que se deja entrevistar, y en la medida que esa parte no representa la totalidad, el problema es irresoluble: la muestra está sesgada", dice Antonio Argüeso, Director General de Planificación Estadística y Procesos del Instituto Nacional de Estadística (INE).

TE PUEDE INTERESAR

La demoscopia, en el diván: ¿por qué tenemos tantas encuestas y pocas aciertan?

Héctor García Barnés Gráficos: Unidad de Datos

El INE, sin embargo, se mueve en un mundo "radicalmente distinto" al de los sondeos de los institutos de opinión y las empresas demoscópicas. De forma general, su tasa de respuesta a encuestas está en el 70%, una cifra muy aceptable, pero el método de recogida de datos es diferente. En primer lugar, se envía una carta a la persona seleccionada en una muestra probabilística y, después, se le ofrece participar de forma online o por teléfono. En caso necesario, también se hacen algunas entrevistas cara a cara.

Ese es precisamente el sistema al que se pasó el CEO para remediar su problema de baja respuesta, que afectaba a la calidad de sus datos. "El teléfono tiene una tasa de respuesta muy baja y vas acumulando sesgos importantes que son difíciles de controlar", cuenta Muñoz. Con el cambio, elevaron sus tasas del 5% telefónico a cerca de un 30%. La fórmula, eso sí, es más lenta. "Tardábamos un mes por lo menos", cuenta.

En medio de esta transición, tuvieron que hacer rápido la encuesta electoral de las elecciones catalanas adelantadas de 2024. Se hizo con entrevistas telefónicas y el propio CEO reconoció que salió mal. Entre las posibles hipótesis sobre qué pudo influir, se alertaba de la baja respuesta y la consecuente selección no representativa de teléfonos.

Por su parte, el CIS dejó de hacer entrevistas presenciales en marzo de 2020 y desde entonces hasta ahora todos los barómetros se hacen 100% por teléfono (llamando mayoritariamente a móviles, pero también a fijos), justo la práctica con tasas más bajas de respuesta. Desde la casa, no han respondido a las preguntas sobre si se plantean algún cambio en esta forma de recopilar sus datos o sobre cómo afecta a sus resultados.

¿Qué hacen otras encuestadoras?

Ignacio Varela, analista de El Confidencial y experto demoscópico, afirma que ahora mismo las encuestadoras tienen "un lío metodológico monumental", ya que ninguna forma de recogida de datos te asegura una muestra equilibrada. "Todos los métodos producen desviaciones", asegura. Por ello, explica que ahora mismo la mayoría son híbridas.

"La clave no está en abandonar metodologías, sino en combinarlas, ya que se ha demostrado un aumento significativo en la fiabilidad de las estimaciones", cuentan desde Sigma Dos, donde mezclan recogida de datos online, presencial y telefónica para "asegurar una mayor cobertura de todos los segmentos de la población". "La combinación nos permite una investigación más rigurosa", añaden desde GAD3.

TE PUEDE INTERESAR

La encuesta que dice la verdad sobre la política. Y deja muchos perjudicados

Esteban Hernández

Para Varela, uno de los principales problemas de una muestra de mala calidad es la pretensión de estimar el voto. "Si preguntas por el aborto, un punto porcentual arriba o abajo no cambia el resultado, pero cuando haces estimación electoral, un error de un punto puede suponer un fallo de ocho escaños. Necesitas mucha más precisión", defiende.

Miller cree que "las muestras en general, y también las del CIS, son muy malas". En parte por eso, opina que el organismo público no debería hacer estimación de voto. El experto recuerda que la primera decisión que tomó Tezanos fue no estimar, sino presentar la intención directa de voto sobre el censo. "Duró poco, pero si se hubiera explorado, habría estado bien".

"La clave no está en abandonar metodologías, sino en combinarlas, ya que se ha demostrado un aumento en la fiabilidad de las estimaciones"

Muñoz discrepa, con matices. El exdirector del CEO cree que si preguntas por intención de voto, entonces debes hacer estimación "porque al final la gente y los periodistas lo toman como si fuera una estimación, cuando no lo es, así que es aún peor". Otra cuestión es si los organismos públicos deberían hacer estimación de voto hoy en día, teniendo en cuenta que esa información se cubre ampliamente desde las empresas privadas: "Es una anomalía española, en la mayoría de países no hay un organismo gubernamental que pregunte por intención de voto", razona.

La defensa del CIS

Los expertos consultados coinciden en que al CIS, como al resto, le afecta la baja tasa de respuesta, especialmente baja cuando se hacen encuestas por teléfono, como es el caso del organismo. Pero además, creen que el hecho de que se identifique al CIS al hacer la encuesta puede provocar en sí mismo un rechazo por parte del electorado conservador que empuje más hacia abajo este porcentaje, sesgue más su muestra y eleve, por tanto, el riesgo de fallar.

"Creo que el CIS siempre ha tenido la percepción, como el CEO, de que es un organismo del gobierno, porque lo es, pero quizás antes no estaba tan marcado como estos últimos años", dice Muñoz, que cree que esto ha podido agudizar ese sesgo y que eso es "más difícil de corregir" por ser un factor actitudinal o ideológico.

Desde el CIS consideran que esto no sucede. Aunque no han respondido a las cuestiones de El Confidencial, así lo aseguran un artículo publicado en REIS, la revista del organismo que dirige Tezanos, firmado por Antonio Alaminos, una de sus personas de confianza, y su hijo y empleado del CIS desde 2023, Antonio Alaminos-Fernández. Ninguno de los dos autores ha querido responder a las preguntas de este periódico sobre dicho artículo.

En el mismo, no solo niegan este sesgo "de casa" en su muestra, sino también el sesgo del recuerdo de voto, que sobrerrepresenta al electorado progresista, una de las críticas más repetidas cada vez que se publica un barómetro. Por el contrario, atribuyen la falta de votantes del PP a la ocultación de voto, algo que sucede históricamente.

Los autores concluyen que "las recomendaciones de ponderar la muestra según el recuerdo de voto son erróneas". No obstante, los críticos del CIS proponen una corrección a posteriori, una vez eres consciente de que la muestra está descompensada, como hacen en otras casas, especialmente si hay estimación de voto.

TE PUEDE INTERESAR

No hay ciencia en los sondeos del CIS: la trampa que usa Tezanos

José María Olmo

"Hay situaciones en las que no llegas a todos, pero tú sabes el resultado que hubo en las elecciones de 2023, y con eso hay que corregir", defiende el responsable de GAD3. "Si tienes una báscula que pesa siempre un kilo de menos, ¿por qué no le sumas un kilo?", resumía Kiko Llaneras hace poco en El País.

La fórmula Alaminos-Tezanos incluye la ponderación por recuerdo de voto "en un tercio de sus escenarios", siguiendo el artículo. Al margen de los debates, desde que está Tezanos, las encuestas del CIS ofrecen sistemáticamente mejores resultados para el PSOE que el resto y se desmarcan de todos los promedios.

Con todo, la ponderación no siempre es suficiente. Argüeso pone como ejemplo a la población extranjera, "que se deja encuestar menos que la nacional". "Hagas lo que hagas, aunque apliques factores de elevación, te faltan extranjeros". Cuando dejas a determinados colectivos fuera la ponderación "no es una solución completa porque al final las muestras están sesgadas, lo puedes paliar en cierta medida, pero no tenemos una varita mágica", afirma.

Una tendencia mundial

Que cada vez haya menos gente dispuesta a hacer encuestas no es un problema solo de España, sino que se trata de un patrón global. Hay datos de esto: la tasa de respuesta a la Encuesta Social Europea ha pasado de un 60% de media en 2004 a estar por debajo del 40% en 2024. Se trata de cuestionarios hechos en persona y que en los últimos años en España ha realizado el CIS. Aquí, si en 2004 la mayoría aceptaba ser encuestado de esta forma, ahora la tasa está también por debajo del 40%.

La experiencia del coronavirus, que dificultó las entrevistas presenciales, sumada al declive progresivo de las tasas de respuesta, han llevado a este organismo europeo a plantear un cambio en el modelo de recogida de datos en el que los propios entrevistados rellenen el formulario, sea por internet o por correo. Este método de autocumplimentación, además de ser mucho más barato, ha mostrado que devuelve "tasas de respuesta razonables" y una calidad de datos aceptable o similar a la de las encuestas cara a cara, según el propio organismo.

El Pew Research Center, uno de los institutos de opinión estadounidenses con mayor prestigio a nivel mundial, ya advirtió este problema en 2019, cuando solo el 6% respondía a sus sondeos telefónicos, mientras que en los 90 lo hacía el 36%. Desde el centro, explicaron entonces que esas tasas no necesariamente empeoraban sus resultados, pero sí incrementaban el riesgo de cometer más errores. Además, el coste era más alto que las encuestas por internet, hecho que inclinó la balanza por las encuestas online con panelistas como principal fuente de recogida de datos, método que mantienen hoy día.

TE PUEDE INTERESAR

Esta prestigiosa encuesta europea la ha hecho el CIS, pero trae malas noticias para Sánchez

Marta Ley

Barreiro, que dirigió el CIS entre 2008 y 2010, es una firme defensora de esta fórmula. Su empresa, 40dB, fue pionera en España en hacer estimaciones electorales a partir de encuestas online: "Empezamos hace 13 años", cuenta, y asegura que una de las razones de esta apuesta es que se consiguen tasas de respuesta "muchísimo mayores que con los métodos tradicionales". "El entrevistado contesta desde su casa, en un medio en el que se siente seguro, en fin, funciona muy bien", añade. Además, este sistema les permite ser muy rápidos y tiene un coste mucho menor que otros.

Para Varela, esta opción es buena "para adelantar tendencias", pero tampoco es perfecta. Según él, las muestras quedan "desviadas" porque "mucha gente mayor no utiliza internet y desde luego no contesta a una encuesta en internet y, además, no tienes la certeza de que el individuo que contesta sea el que tú crees". Por otra parte, los panelistas saben de antemano que les vas a encuestar y "toman conciencia de que son ratones de laboratorio, lo que cambia su manera de afrontar la entrevista. Tiene ventajas, pero pierden toda la espontaneidad", opina.

Sobre la cuestión de los mayores, Barreiro recuerda que esa población ya no es como antes, sino que está mucho más digitalizada. Desde Sigma Dos también explican que para garantizar la seguridad y calidad de este método ellos aplican medidas como el uso de algoritmos que detectan tiempos anómalos, respuestas incoherentes o patrones de no atención, entre otras.

¿Pueden predecir el voto las redes sociales?

Además de recopilar los datos con métodos híbridos, los institutos de opinión también recurren a fórmulas clásicas como el focus group y a otras más recientes, como el análisis de redes sociales. "Lo utilizamos internamente para entender climas de opinión", cuenta Barreiro, aunque advierte que no son representativas, ya que no todo el mundo está en redes y, entre los que están, no todos participan igual. Aun así, como complemento, "es utilísimo", afirma.

Por el momento, en GAD3 también ven estas fórmulas como un añadido "que permite una interpretación más cualitativa que cuantitativa, para ver por dónde van los discursos, las tendencias, pero no para dar una estimación de voto", añade Sánchez.

"Las encuestas como las hacíamos hasta ahora ya no nos sirven"

Sin embargo, ya existen experiencias de combinación de datos de redes sociales e inteligencia artificial para estimar quién ganará unas elecciones. El proyecto PoSSUM exploró la viabilidad de sustituir las estimaciones tradicionales por una aplicación de encuesta basada en inteligencia artificial que se nutría de perfiles creados a partir de más de 50 millones de usuarios en X. En las últimas elecciones estadounidenses esta herramienta analizó más de 50 millones de usuarios en X, predijo el ganador en 50 de los 51 estados y una ventaja para Trump, que finalmente ganó.

La sociedad cambia y las encuestadoras están obligadas a adaptar sus estrategias y tecnología lo más rápido posible. "Las encuestas como las hacíamos hasta ahora ya no nos sirven", sentencia Miller. Por su parte, Varela cree que el futuro vendrá determinado por las encuestas de mercado "porque metodológicamente siempre han ido por delante de las políticas, entre otras cosas porque constituyen el 80% o 90% del volumen de negocio de un instituto de opinión", asegura el experto.