10 cosas que tengo que decir sobre el CIS
Mis reflexiones como usuario (diario) de los datos del CIS.
El CIS vuelve a estar en el punto de mira. Esta vez por la tendenciosa redacción de varias preguntas —relacionadas con el TC— en su barómetro de enero, publicado hace un par de días.
Aquí va un ejemplo:
Pregunta 26. Y de forma general, ¿está Ud. a favor o en contra de que los/as jueces/zas del Tribunal Constitucional puedan prohibir al
Parlamento debatir leyes?
Está claro que la manera de formular la pregunta condiciona la respuesta del entrevistado. Esto es, se incorporan sesgos en su redacción y eso altera los resultados de la encuesta. Son preguntas tendenciosas. Porque no es lo mismo preguntar sobre «prohibir al Parlamento debatir leyes» o hablar de la «paralización cautelarísima del trámite legislativo».
Y claro, esto ha molestado a mucha gente. No solo a la oposición al Gobierno, también a buena parte de académicos, analistas o, simplemente, usuarios de los datos de la institución pública. Aunque me temo que el problema no se acaba ahí. Desde la llegada de Tezanos a la presidencia del CIS en julio de 2018, han sido numerosas las polémicas alrededor de su figura1 —que no son especialmente de mi interés— y de su toma de decisiones. Y esto es relevante.
Sin ser yo ningún experto en diseño de encuestas, y sin pretensión alguna, desde mi experiencia como analista de datos de opinión pública que trabaja en su día a día con esta fuente, estas son las 10 cosas que tengo que decir sobre el CIS.
🔴 Preguntas tendenciosas. Es el ejemplo que me ha llevado a escribir esta newsletter. Lo hemos visto a menudo en los últimos tiempos —en algunas preguntas concretas— y es una mala práctica por dos motivos: la primera, porque la pregunta se convierte en inservible; la segunda, porque afecta a la credibilidad del CIS: ¿se hace para tratar de sustentar con la opinión pública la posición del Gobierno sobre un determinado tema?
🔴 La comunicación. En los primeros meses de Tezanos al frente del CIS, hubo múltiples cambios metodológicos que no estuvieron bien explicados ni comunicados. Pasaron de publicar la estimación de voto en sus barómetros mensuales a no hacerlo; a ofrecer intención directa de voto —declaración directa de los encuestados— en vez de la estimación en su anexo; y un sinfín de cambios mal comunicados que explica con detalle —y cronológicamente— Kiko Llaneras en este artículo.
🟡 Procedimiento de muestreo. La pandemia de la COVID—19 obligó al CIS a hacer cambios estructurales en la forma de realizar el trabajo de campo de sus encuestas, cambiando el procedimiento de muestreo de presencial —entrevistas en persona— a telefónico, y esto ha tenido implicaciones directas en los estudios que realizan. Yo destacaría, sobre todo, una: las encuestas telefónicas son más breves —no tenemos la misma paciencia para responderlas por teléfono que en persona—, y aunque tengan cosas positivas (agilidad, coste, etc.), esto ha llevado al CIS a descartar algunas preguntas en sus barómetros.
🔴 Series y escalas. Contaba Iván Gil en El Confidencial que “la pregunta 21 del barómetro de mayo (2020) descartaba la posibilidad de calificar la situación económica de regular, como se había hecho históricamente”, produciendo resultados notablemente más positivos desde la perspectiva del Gobierno. Lo que ocurre es que cambiar las opciones de respuesta (también en escalas numéricas 0-10 etc.) rompe con las series históricas, y dificulta la comparación temporal de las variables.
🟡 Fichero integrado de datos (FID). Esta herramienta del CIS te da la opción de descargar grandes volúmenes de datos, de barómetros acumulados, en un mismo archivo. Es una muy buena idea —facilita el análisis y la comparación— pero la ausencia de variables relacionadas con el voto (intención, recuerdo o simpatía, entre otros) dificulta entender al electorado, que en parte, es de lo que se trata.
🟡 Sesgo de la muestra. La muestra de las encuestas del CIS suele estar bien diseñada en sus aspectos más básicos: equilibrios por sexo, edad, territorio, tamaño de hábitat o tipo de teléfono. Pero tiene sesgos notables si analizamos la muestra por recuerdo de voto: el CIS sobreestima a la izquierda. Es decir, tiende a haber más gente que recuerda haber votado a partidos de izquierda (PSOE, UP) que votantes en su momento. Un ejemplo que destaca Llaneras: “los votantes del PSOE fueron 19% del censo, pero son el 27% de los entrevistados.”
🟡 Estimación de voto. Uno de los puntos más polémicos, sin lugar a duda, es la estimación de voto del CIS. Es con lo que abren todos los telediarios y rotativas cada vez que la institución pública presenta sus resultados—normalmente, muy optimistas con la izquierda.
Esto, a priori, no tiene que ser un problema (al CIS no se le tiene que exigir precisión en sus estimaciones2), pero afianza los sesgos ‘muestrales’ en la proyección. En el siguiente gráfico se puede ver esto:
Los barómetros del CIS desde la llegada de Tezanos a la presidencia de la institución han sobrestimado al bloque de la izquierda en la mayoría de las ocasiones (en el gráfico, más puntos verdes a la derecha del 0), tanto en elecciones generales como autonómicas.
Y claro, esto, inevitablemente, te lleva a alejarte de los resultados electorales, y, por tanto, a cometer mayores errores en la estimación.
Destaco esto por un motivo muy evidente: partiendo de los mismos datos y realizando una cocina electoral distinta —que pondera por recuerdo de voto—, los resultados de la estimación se acercan más al promedio (consenso) de encuestas. Aquí el ejemplo de PRECISA:
Al hilo de esto. La estimación que hacemos en PRECISA —equilibrando muestra, ponderando por recuero y imputando indecisos con ML— nos da esto.
La muestra del CIS sigue sesgada la izquierda. Es común, pero conviene saberlo. La señal es el recuerdo de voto de 2019. Los votantes del PSOE fueron 19% del censo, pero son el 27% de los entrevistados CIS. Los de Vox fueron un 10% y en el CIS solo la mitad. Aquí va el resumen: https://t.co/m8HB37ITgD
Kiko Llaneras @kikollan🟢 Microdatos abiertos. Los datos brutos de la encuesta —un archivo con las respuestas de cada entrevistado a las preguntas planteadas— son de acceso abierto. Liberar estos datos es una práctica poco habitual en la industria. Prácticamente ninguna empresa privada lo hace —con alguna excepción como la de 40dB/El País—, y las instituciones públicas, aunque deben facilitar estos datos por transparencia, a menudo dificultan su acceso o limitan la información publicada.
🟡 Transparencia. El CIS ha mejorado en transparencia en estos últimos años. Junto a la encuesta, se publica una ficha técnica suficientemente detallada, el cuestionario con todas las preguntas y los microdatos, pero también la metodología que utilizan para realizar la estimación de voto. Solo hay un inconveniente: la metodología está redactada de una forma que su compresión se hace muy compleja para la mayoría.
🟢 Plazos. El CIS publica un avance de los resultados —con los resultados detallados, tablas cruzadas y estimación de voto— cada vez que realiza un estudio. Tras un tiempo, publican los microdatos. En el último año, el CIS ha recortado este tiempo más o menos a la mitad, de más de un mes a 15 días. Esto es clave, sobre todo, en periodos electorales, porque nos permite ver las tripas de la encuesta antes de que los ciudadanos acudan a votar (cosa que antes no pasada). Cabe decir que se pueden agilizar aun más los tiempos y publicar toda la documentación de una tacada (como hacen otras instituciones públicas).
No trato de identificar todos los aspectos mejorables del CIS, mucho menos anticiparme a los cambios que debería realizar una institución como esta. Simplemente, intento compartir algunas situaciones con las que me encuentro en mi día a día y reflexionar sobre el estado actual del CIS, que, a mi juicio, sigue siendo la mejor herramienta disponible para conocer a la opinión pública.
Y tú, ¿cómo lo ves?
José Félix Tezanos es un sociólogo de prestigio con una extensa trayectoria académica. Antes de presidir el Centro de Investigaciones Sociológicas (CIS), que depende del Ministerio de la Presidencia, había sido miembro de la Comisión Ejecutiva Federal del PSOE.
Esto merece un capítulo aparte. Lo dejamos para otro día.