Científicos de todo el mundo descubren... absolutamente nada

La ciencia que nos venden está edulcorada. Es bueno simplificar los conceptos más complicados, sobre todo si no son el tema central de la historia, pero aquí hablamos de algo muy diferente. Hablamos de cuando los medios y las revistas científicas deciden hacerse eco solo de una parte de la ciencia, de la que sale bien, de la que consigue precisamente los resultados que espera. Mientras tanto, muy lejos de los focos, miles de científicos tropiezan a diario, se equivocan o simplemente tienen mala suerte. Porque quienes hacen la ciencia no son infalibles y lo más normal es que los estudios no salgan como esperamos.

¿Qué hacen todos estos profesionales cuando no encuentran lo que esperan? Es difícil vender un titular como el de esta noticia, no tiene gancho y no funciona porque no hay nada que anunciar. Las revistas científicas no suelen publicar resultados negativos, e incluso cuando lo hace, la prensa tiende a darle un giro para poder afirmar lo que el artículo original nunca llegó a demostrar. ¿Qué ha de hacer entonces el equipo de científicos cuya financiación, estabilidad y futuro dependen de publicar a destajo? Algunos lo tienen claro: mentir.

La ciencia no son los científicos

Estos últimos meses la sociedad ha podido ver de cerca cómo avanza realmente la ciencia: afinando poco a poco y aprendiendo de los errores. No es algo de lo que estar orgulloso, pero por ahora es inevitable en muchas disciplinas. No podemos ofrecer verdades absolutas, pero sí las mejores aproximaciones posibles. Definir ciencia es un embolado que trae de cabeza a los filósofos y no hay tal cosa como un único método científico, pero podemos decir que es, sin lugar a duda, la forma más objetiva y garantista de acercarnos a la verdad. Al menos esa es la teoría y el motivo por el que debemos defender a la ciencia. A fin de cuentas, le debemos gran parte de lo que hemos llegado a ser. Sin embargo, la forma en que la llevamos a la práctica puede pervertir todo lo dicho hasta ahora.

La ciencia la hacen personas con días mejores y días peores. Quien ha trabajado en un laboratorio sabe que, a veces, incluso los procedimientos más sencillos se resisten a funcionar. Geles de agarosa raros, cultivos de bacterias contaminados o Western blot que corren de forma extraña. En resumen, errores, ya sean culpa del investigador o por motivos imponderables. Si hay algo que los científicos conocen es la frustración de saber que estás haciendo algo mal, pero no tener ni la más remota idea de qué. Y claro, del mismo modo que a veces hay errores en esta dirección, estropeando los resultados, otras veces hacen que por pura casualidad consigamos los resultados que esperábamos obtener, aunque estos no sean correctos.

Precisamente por eso es tan importante registrar exactamente qué hemos hecho para llegar a nuestros resultados. Cualquier publicación científica que ose llamarse como tal cuenta con un apartado destinado exclusivamente a reportar el material y los métodos seguidos con todo tipo de detalles. Idealmente, en ella tendría que estar cada paso seguido con todos los pormenores. Tiempos, cantidades, sustancias, máquinas... como si fuera la receta de cocina más precisa del mundo. La idea es que, así, otros científicos en un laboratorio diferente puedan seguir paso a paso los procedimientos para ver si consiguen resultados compatibles. En teoría, si la conclusión del primer estudio es correcta, haciendo exactamente lo mismo tendríamos que reafirmarla y en caso contrario sospechar que ha habido algún tipo de error y cuestionar los resultados, ¿no? Pues bien, este concepto fundamental de la ciencia es lo que se conoce como “replicabilidad” y está en crisis.

La otra crisis científica

Hace años que se huele la liebre, que todos sabemos de estudios que no se han podido replicar. Dependiendo de la disciplina científica parece que este problema llega a afectar a un 50% de los artículos publicados, y aunque se ha apuntado sobre todo a las ciencias sociales, la psicología y la biología del cáncer, parece un mal generalizado. Según cuentan un 70% de los científicos han sido incapaces de replicar, al menos, un estudio en algún momento de su carrera investigadora. Un dato así mina la confianza en la ciencia hasta el punto de que ciertos profesionales han sugerido mantener este debate en privado para no airear trapos sucios. Ese no es mi estilo, mayormente porque el secretismo no suele ser una buena forma de hacer autocrítica y deja a la mente vagar imaginando que se esconden fantasmas mucho peores de los que hay realmente.

Antes de seguir, es importante decir que por mucho que la replicabilidad sea un problema, lo es precisamente porque la práctica científica pretende ser tan objetiva como pueda, pero incluso con estos baches, la evidencia que ofrece es, en términos generales, notablemente sólida. Sea como fuere, que no debamos perder la confianza en ella no significa que esté justificado hacer la vista gorda. Necesitamos entender qué falla y resolverlo cuanto antes.

Parece natural pensar que el principal motivo de estos problemas es que, a diferencia de en física, quienes estudian complejos sistemas biológicos o sociales, con cientos de miles de variables que no podemos controlar, están limitados por ellas. Pequeñas diferencias imperceptibles entre los grupos de estudio de una investigación y otra pueden decantar los resultados, sin duda, pero aquí viene lo interesante: esta excusa no vale en este caso. Imagina que tratando de replicar un estudio encontramos resultados negativos incompatibles con los originales. Si esto se debiera a diferencias en la muestra es probable que al repetirlo una tercera vez, una cuarta, una quinta… encontráramos cierta variabilidad en esos resultados. No obstante, parece que cuando el primer intento de replicación es negativo, los subsiguientes también lo son. Entonces ¿qué está fallando?

El currículum se mide en kilos

Ahora bien, te propongo un escenario hipotético. Imagina un mundo en que para conseguir vivir de la investigación lo más determinante (y con enorme diferencia) fuera la cantidad de artículos y la calidad de las revistas en las que han sido publicados. Imagina también que las revistas no tuvieran especial interés en publicar resultados negativos, porque, entre otras cosas, serán menos citados por otros investigadores, dándoles menos visibilidad. Pero entonces, si esos investigadores cuyo futuro depende de las revistas y no consiguen publicar los resultados negativos (con lo frecuentes que son), podemos suponer que ocurrirán dos cosas.

La primera es que se elegirá con mucho cuidado qué investigar, cuanto menos arriesgado mejor, porque es más fácil predecir que algo funcionará cuando ya hemos descubierto algo muy parecido y no cuando tenemos que lanzarnos al abismo de la elucubración. Pero claro, ni siquiera así podemos evitar que algunos estudios sigan arrojando resultados poco publicables y eso nos lleva a la segunda suposición.

Si tras meses de trabajo y recursos los investigadores no consiguen publicar sus resultados, es posible que pierdan las ayudas que les permiten subsistir, o incluso que el grupo de investigación tenga que ser disuelto. No es difícil imaginar entonces que, alguno de esos científicos, como seres humanos que son, pueda decidir retocar sus resultados, eliminar algunos datos puntuales para que los números den como esperaban. Si con eso consiguen que el resultado sea estadísticamente significativo mejorará las posibilidades de publicar en buenas revistas y tendrá más oportunidades de seguir investigando y llegando a fin de mes.

En caso de que las cosas fueran como en ese hipotético mundo podríamos decir que el sistema está preparado para premiar a quienes estén dispuestos a alterar sus resultados. Y por desgracia, ese mundo hipotético donde el propio sistema pervierte a la práctica científica es el mundo en el que vivimos.

Hay multitud de técnicas deliberada o inadvertidamente pueden sesgar los resultados, algunas reciben nombres tan sonoros como p-hacking y en todos los casos son malas prácticas que van en contra de lo que la metodología recomienda, porque la estadística funciona solo si sabes y quieres usarla correctamente. Un 14% de los científicos reconocen conocer a un investigador que se ha dado a estas pequeñas estafas. Y por qué no decirlo, yo mismo he trabajado en equipos donde el investigador principal eliminaba a ojo y por arte de magia los resultados que no le convenían. Es más, nos recomendó ir eliminando datos hasta que se adecuaran lo suficiente a nuestra hipótesis.

No creo que haga falta incidir en que la mayoría de los científicos son profesionales íntegros y que muchos grandes han logrado llegar a lo más alto sin artimañas. No obstante, nada de esto es incompatible con que el sistema propicie todo lo contrario.

Este problema estructural de la investigación científica es universal y se conoce como “publica o perece”, lo cual recuerda acertadamente a una suerte de selección natural del más adaptado. De hecho, sabiendo esto es más fácil entender uno de los factores que puede haber tras la crisis de replicabilidad incluso sin tener que presuponer mala intención. Cuanto más pautados estén los pasos de un estudio, menos probable será obtener resultados dispares al repetirlo, aunque incluso así hemos visto que pueden ocurrir excepciones.

Imaginemos varios estudios que tratan de probar una misma afirmación. Si están bien hechos lo normal es pensar que la mayoría apuntarán en la misma dirección. Si esta es en contra de la afirmación inicial no habrán probado nada y posiblemente nunca lleguen a ser publicados. Sin embargo, hemos dicho que la propia fluctuación estadística puede hacer que alguno apunte en la dirección contraria, mostrando resultados positivos. Viéndolos en conjunto queda claro que este último ha de ser un error, algo no significativo comparado con la unanimidad del resto de estudios. Sin embargo, como este último tendrá más facilidades de ser publicado, es probable que sea el único que conozcamos, dándolo por más fiable de lo que realmente es. Pero ¿qué pasará al replicarlo? Que lo más probable será obtener lo mismo que en todos aquellos estudios iniciales que nunca vieron la luz del sol, precisamente por no ser positivos. Habrá fallado la replicabilidad y el problema no estará en las malas prácticas de los investigadores, sino en el sesgo de publicación.

Las pruebas del delito

De hecho, precisamente en ciencias como biomedicina, sociología o psicología es frecuente que, dado que hay una gran variabilidad entre los grupos de estudio, no solo se creen métodos a prueba de balas, sino que se hagan metaanálisis. Dicho de otro modo, análisis estadísticos que toman los resultados de un gran número de estudios elegidos de forma no sesgada y de ellos consiguen extraer una evidencia más sólida que tomándolos por separado. Es como si intentáramos adivinar la altura media de todos los humanos del planeta midiendo solo a uno, o bien cogiendo a una buena cantidad de ellos y haciendo la media. Cogiendo solo a uno podemos tener la mala suerte de que sea un Pau Gasol, pero al tomar varios y verlos en conjunto será más difícil que los valores extremos nos parezcan lo normal.

Estos metaanálisis son tan importantes que se han creado métodos estadísticos para que el sesgo de publicación no les afecte y que saber cuándo se están dejando de publicar resultados positivos. Un ejemplo son los gráficos de embudo, donde se representan los resultados de los estudios que forman el metaanálisis. Cuando no hay sesgo de publicación lo esperable es que se distribuyan formando una suerte de embudo con la parte gruesa abajo y el pitorro arriba. Es simétrico porque la mayoría de los resultados de los estudios están cerca del verdadero valor y a medida que se vuelven más extremos (tanto en un sentido como en el otro) también se vuelven más escasos. Solo para hacernos una idea y sobresimplificando mucho, si queremos medir la altura, en nuestra muestra habrá más personas de estatura media o cercana a ella y cuanto más altas o bajas sean más infrecuente será encontrarlas. Ahora imagina que esto no se cumpliera, y que esa distribución tan simétrica que esperas encontrar tuviera como un extraño mordisco, una lateral del embudo en el que faltaran datos y donde los puntos paran de forma abrupta. Esa zona del gráfico donde parece no haber estudios suele ser la que corresponde a los resultados negativos y muestra que, por estadística, se han hecho, pero no han llegado a publicarse.

Es cierto que en realidad las técnicas son mucho más complejas y que incluso pueden ayudar a reconstruir el peso que tendrían todos esos resultados negativos y desconocidos, para así evitar que el metaanálisis cojee por el sesgo de publicación. Lo que ocurre es que es mucho más difícil detectar cuándo alguno de los positivos ha sido trucado. Cada vez se descubren más estudios irreplicables y grandes investigadores que han inventado o plagiado datos (algo que a diferencia de los resultados negativos sí es noticia), dañando la imagen no solo de esos científicos, sino de la ciencia como forma de obtener conocimiento. Esa es la dura realidad y el peligro que supone solo dar voz a lo que es noticia. Pero por suerte, parece haber soluciones.

Una esperanza

Algunos científicos apuntan a que la solución está en hacer más estrictos los criterios estadísticos para considerar que un resultado es realmente positivo o es compatible con la pura chiripa (dicho mal y pronto). Sin embargo, creo que conviene ser escéptico y asumir que en esos casos seguirá habiendo investigadores que por la presión de publicar retuerzan con malas artes sus resultados. Otros sugieren que se deje de usar los conceptos de “estadísticamente significativo” y “estadísticamente no significativo” para así hacer menos abrupto el límite entre una cosa y la otra y suavizar el mordisco que vemos en los gráficos de embudo. No obstante, estos cambios parecen dejar de lado el verdadero origen del problema, el cual semeja ser estructural y deberse a la combinación del “publica o perece” y de la omisión de resultados negativos.

Precisamente por eso se proponen cambios en la manera de ponderar la aptitud de un investigador para un puesto o de un equipo de investigación para la concesión de una ayuda. Hay más marcadores de excelencia que el número de publicaciones y el impacto de la revista donde han sido publicados. No son fáciles de implementar, pero por el bien del conocimiento científico debemos encontrarlos y articularlos de la forma correcta.

Por otro lado, es importante que las revistas empiecen a publicar resultados negativos, como ya hacen algunas. No obstante, ante el inmovilismo de la mayoría y los problemas que implicarían en su sistema de negocio, se ha optado por proponer otra vía. Para publicar en determinadas revistas, ahora se pide que el estudio esté previamente registrado, indicando qué esperaban encontrar y la metodología empleada antes de que de comienzo. Como alternativa, hay lugares donde se pueden compartir los artículos sin depender de la aprobación de una revista, pero se trata de repositorios que no gozan del mismo prestigio.

Puede sonar a esnobismo, pero se debe a que, aunque el sistema no sea perfecto, para publicar en una revista no solo ha de pasarse el filtro de un editor que considere el interés de la investigación. También pasa por un proceso conocido como revisión por pares donde dos o más expertos en el campo del artículo, y sin conflictos de intereses, lo analizan analizan en busca de errores. Pueden aceptarlo sin sugerir cambios, con cambios menores, cambios mayores o rechazarlo. En teoría, esto ayuda a mantener un estándar de calidad y es el motivo por el que todo lo que no ha sido publicado en una revista indexada (llamado “preprint” o “prepublicación”) no suele considerarse como una evidencia sólida.

Somos una civilización muy joven en esto de hacer ciencia a gran escala. El ritmo ha crecido con más brío que la calidad y, aunque esta última sigue siendo muy alta, está todavía muy lejos de lo que podríamos conseguir. No obstante, todos estos cambios en la producción científica son solo parte de lo que resolverá el problema, porque hay otro factor sobre el que tenemos que actuar nosotros. Por el bien de la ciencia y de quienes la practican tenemos que contenernos con los titulares. Hemos de aprender a escribir artículos sobre lo interesantes que son los estudios que no llegan al puerto que esperaban, porque efectivamente, son interesantes y nos ayudan a avanzar.

Así que, normalicemos titulares como el de este artículo. Porque decir que científicos de todo el mundo, la mayor parte del tiempo, no descubren absolutamente nada no es un insulto ni un chascarrillo, es la verdad, y su valor dependerá de lo que queramos hacer con ella.

QUE NO TE LA CUELEN:

• La crisis de la replicabilidad es un problema, pero ello no invalida automáticamente el conocimiento científico y, por supuestísimo, no justifica que decidamos encomendarnos a las pseudociencias, las cuales no ofrecen absolutamente ninguna garantía.

REFERENCIAS:

• Amrhein, Valentin et al. “Scientists Rise Up Against Statistical Significance”. Nature, vol 567, no. 7748, 2019, pp. 305-307. Springer Science And Business Media LLC, doi:10.1038/d41586-019-00857-9. Accessed 2 July 2020.
• Baker, Monya. “1,500 Scientists Lift The Lid On Reproducibility”. Nature, vol 533, no. 7604, 2016, pp. 452-454. Springer Science And Business Media LLC, doi:10.1038/533452a. Accessed 2 July 2020.
• John, Leslie K. et al. “Measuring The Prevalence Of Questionable Research Practices With Incentives For Truth Telling”. Psychological Science, vol 23, no. 5, 2012, pp. 524-532. SAGE Publications, doi:10.1177/0956797611430953. Accessed 2 July 2020.
• Siebert, Sabina et al. “Overflow In Science And Its Implications For Trust”. Elife, vol 4, 2015. Elife Sciences Publications, Ltd, doi:10.7554/elife.10825. Accessed 2 July 2020.
• “The Nine Circles Of Scientific Hell”. Vol 7, no. 6, 2012, pp. 643-644. SAGE Publications, doi:10.1177/1745691612459519. Accessed 2 July 2020.