Cómo saber si ese estudio científico sobre el Covid-19 que has visto en internet es legítimo

Cada día, entramos en internet buscando algo de información sobre el coronavirus y salimos aún más confundidos:

Un estudio dice que un perro o un tigre contrajeron el coronavirus. Pero otro dice que los animales no pueden contagiarse. Un médico asegura haber curado a cientos de pacientes de Covid-19 con hidroxicloroquina. Pero otros aseguran que funciona peor que el placebo. China ha desarrollado "con éxito" una vacuna contra el Covid-19 y empezará a probarla en humanos. ¡Un momento! Pero hay otros que dicen que la vacuna no estará lista hasta otoño de 2021.

TE PUEDE INTERESAR

España ya tiene robots para hacer test, pero nada de esos "80.000 PCR al día" prometidos

Antonio Villarreal Guillermo Cid

Así todo el rato, una cosa y la contraria, todas supuestamente avaladas por médicos y científicos. No son bulos en sentido estricto —como eso del WhatsApp— sino más bien el silbido de las balas de disparos que vuelan en todas direcciones en un campo de batalla en el que siempre estamos en medio.

Todo lo que sabemos del Covid-19 está ahora mismo dentro de una habitación a oscuras y los estudios científicos son la luz que nos permite reducir la incertidumbre sobre lo que hay realmente. Sin embargo, no es lo mismo usar una cerilla que una linterna: cada cual nos dará una imagen muy distinta de ese pequeño trozo de oscuridad, porque de momento iluminar toda la habitación es imposible. Habrá que empezar por distinguir cuál es la cerilla temblorosa y cuál es la potente bombilla.

Esta es la primera y más importante lección: cualquier estudio científico puede estar equivocado.

¿Dónde se publica?

Incluso las revistas científicas más prestigiosas pueden tragarse una trucha sobre el coronavirus. Le pasó incluso a la más considerada entre las revistas médicas, el 'New England Journal of Medicine', que el 30 de enero publicó un artículo —en forma de carta, no de estudio, aunque salió igualmente— diciendo que una de las primeras afectadas por el Covid-19 en Alemania contagió el virus pese a no tener síntomas. Esto supuso que el resto del mundo le pusiera el sello de calidad a la aserción, hasta entonces cuestionable, de que solo las personas con síntomas eran contagiosas.

En realidad, aquella persona, que había viajado a Shanghái, sí que tenía síntomas, según confirmó más tarde el Robert Koch Institute.

Sirva esto para decir que hasta el mejor escriba hace un borrón, pero al menos las principales revistas científicas aseguran un 'peer review' o revisión por pares: uno o varios académicos expertos en esa área del conocimiento hacen una lectura detallada del artículo antes de su publicación y deciden si es apropiado, si requiere cambios, si la metodología es transparente o si los resultados obtenidos en el laboratorio justifican las conclusiones del artículo.

Aquí van unos cuantos enlaces específicos a artículos sobre Covid-19 aparecidos en el 'top 5' de revistas científicas dedicadas a salud o medicina: 'New England Journal of Medicine', 'The Lancet', 'Cell', 'Proceedings of the National Academies of Science' o PNAS y el 'Journal of the American Medical Association' o JAMA.

Lo más habitual en esta crisis es que leamos acerca de un estudio publicado en una revista de la que jamás hemos oído hablar. Esto no es un mal síntoma en sí mismo, e incluso los propios investigadores tienen a veces problemas para ubicar una publicación fuera de su área de conocimiento. En lo que respecta al Covid-19, podemos consultar en Google Scholar las principales revistas en áreas como la epidemiología, la virología o la salud pública.

Si usted simplemente quiere saber si puede fiarse o no de una revista sin complicarse mucho la vida, puede utilizar el buscador de Eigenfactor o bajarse su 'plugin' para Chrome, que le señala automáticamente cuáles de los artículos listados en el directorio PubMed —otra herramienta imprescindible para estar al tanto de todo lo que se publica sobre el Covid-19 en el mundo— son más o menos fiables.

¿Quién y cómo lo publica?

Una de las mayores polémicas de esta epidemia es la que rodea a los tratamientos. Si nos basamos en los consejos anteriores para catalogar el trabajo del microbiólogo francés Didier Raoult sobre fármacos a base de cloroquina e hidroxicloroquina, publicados en el 'International Journal of Antimicrobial Agents', veríamos que se trata de una revista con un factor de impacto aceptable.

Sin embargo, nunca habríamos podido saber que el estudio se concluyó apenas dos días antes de publicarse o que Jean-Marc Rolain, uno de los autores del estudio, es, al mismo tiempo, editor jefe de la revista científica. De hecho, Elsevier, la empresa holandesa editora de la revista, está investigando actualmente el trabajo de Raoult y Rolain. ¿Por qué?

Los ensayos clínicos de un medicamento tienen varios baremos para comprobar si ese medicamento es realmente eficaz o simplemente ha sido una casualidad estadística. ¿Quizá las personas que estaban enfermas simplemente se curaron de forma natural y la administración del fármaco no fue determinante? Por eso, se introduce en estos estudios lo que se conoce como grupo de control, para compararlo. Además, a los participantes se les asigna en uno u otro grupo de forma aleatoria y no se les informa de si se les ha ofrecido el fármaco a probar o simplemente un placebo.

Esta forma de proceder, comúnmente llamada ensayo controlado y aleatorizado (en inglés, RCT) con doble ciego es el 'gold standard' de la investigación de un fármaco: el método que ofrece una mayor fiabilidad de saber si, en este caso, la hidroxicloroquina o el remdesivir funcionan de verdad contra el Covid-19.

¿Significa esto que la hidroxicloroquina no funcione? No, solo que no puede desprenderse de este estudio su efectividad contra el Covid-19

El problema del estudio de la hidroxicloroquina es precisamente que los voluntarios no estaban aleatorizados, por lo que aquellos con una mejor predicción clínica pudieron ser enrolados en el grupo al que se administró el fármaco. No lo sabemos, porque los autores no explicaron el criterio para formar estos grupos, algo que les ha señalado incluso la Sociedad Internacional de Quimioterapia Antimicrobiana, propietaria junto a Elsevier de la revista.

¿Significa esto que la hidroxicloroquina no funcione? No, solo que no puede desprenderse de este estudio su efectividad o idoneidad para tratar el Covid-19. Por supuesto, es una situación urgente y necesitamos datos. Este otro ensayo clínico llevado a cabo en el Hospital General de Massachussets sobre el uso de la hidroxicloroquina es impecable en ese sentido (510 pacientes, aleatorizado, siguiendo los protocolos más estrictos), pero no sabremos sus resultados hasta julio de 2021.

Señales de alarma

Metiéndonos más en harina, hay otros factores que deben hacer sonar nuestras señales de alarma. Por ejemplo, cuando un artículo promete resolver alguna de las grandes dudas sobre el coronavirus pero ha sido publicado en una revista desconocida. Es, como lo llaman en Calling Bullshit, el equivalente científico a "si eres tan listo, ¿por qué no eres rico?".

En efecto, si un grupo de investigadores descubre cómo paliar la infección o reducir la mortalidad o encuentra el motivo genético exacto que hizo al SARS-CoV-2 capaz de infectar a los seres humanos, seguramente aparecerá en alguna de las revistas que hemos mencionado en este artículo. Sin embargo, también es posible que ese artículo haya sido publicado antes en un repositorio de 'pre-prints' como medRxiv o bioRxiv. Normalmente. estos trabajos preliminares no suelen aparecer en medios de comunicación, pero la brutal demanda de información que ha provocado esta epidemia hace que cualquiera de sus 1.558 artículos esté moviéndose por las redes sociales o sea citado en noticias sin las debidas advertencias.

De hecho, el artículo científico más citado de los últimos ocho años es el 'pre-print' de bioRxiv que decía que el SARS-CoV-2 contenía en su genoma fragmentos del VIH. Para cuando sus autores lo retiraron días más tarde, otros científicos se habían apoyado en él. La mayoría para denostarlo, otros quién sabe. Y muchas otras veces ni siquiera está publicado cuando llega a nuestros ojos: por ejemplo, el fármaco anti-Covid desarrollado por la española Pharma Mar salió en prensa cuando solamente se había probado 'in vitro', es decir, en una placa de Petri y encima con otro coronavirus diferente.

Además del qué se publica, dónde se publica, quién y cómo lo publica, otra señal de alerta importante está en por qué se publica. Y esta pregunta suele responderse muy al final del artículo científico, después del 'abstract', de la metodología, de la discusión y las conclusiones, en un pequeño apartado llamado 'conflictos de interés'. ¿Quién ha pagado por el estudio?

Un estudio científico por sí solo no puede ser tomado jamás como prueba definitiva

Un ejemplo práctico para terminar, y de los difíciles. Esta semana, ha salido en el 'New England Journal of Medicine' un ensayo clínico de remdesivir, la gran esperanza farmacológica contra el Covid-19 junto a la hidroxicloroquina, solo que esta además promete ser efectiva en pacientes graves como los que están ingresados en la UCI. Eso es precisamente lo que pretendía evaluar este estudio.

El resultado es que tras el uso de remdesivir, se observó una mejora clínica en un 68% de los pacientes evaluados. La revista que lo publica es reputada y los autores son 46 médicos de hospitales de todo el mundo, incluido el madrileño Hospital La Paz. ¿Qué problemas tiene este estudio? La muestra (53 pacientes, casi tantos como autores) es muy pequeña, el seguimiento que se hizo a los pacientes fue breve, el ensayo no fue aleatorizado ni controlado, y sobre todo, ha sido fundado por Gilead, la farmacéutica que fabrica el remdesivir. Al menos, esta vez se probó en humanos.

Y la última lección: por legítimo que sea, un estudio científico por sí solo no puede ser tomado jamás como prueba definitiva.

Recursos útiles

La página Retraction Watch avisa cuando un estudio ha sido retirado por la revista científica o está siendo objeto de investigación.

El proyecto Calling Bullshit, creado por dos investigadores de la Universidad de Washington, tiene el objetivo de señalar estupideces que a menudo pasan por grandes verdades en un mundo oculto por gráficas y datos presuntuosos.

Más allá del tamaño de la muestra, un resumen visual muy completo de las cosas en las que fijarse en un artículo científico está en 'A rough guide to spotting bad science'.

Cinco preguntas que hay que hacerse al leer noticias de salud o avances médicos, en 'The Conversation'.