Autor: Iñaki Úcar

¿Por qué no se publican los resultados negativos en ciencia?

Iñaki Úcar23 comentarios

Preguntaba @InerciaCreativa en Twitter lo siguiente:

A lo que yo replicaba:

El detalle es fundamental y, si se desea comprender por qué los resultados negativos no se publican, necesario. No es que sea secreto: no es que yo me guarde los resultados negativos para mí; es que, si los envío a una publicación, se rechazan.

Antes de comenzar, para los no familiarizados con esto, cabe preguntarse qué son los resultados negativos y si son importantes. Un resultado negativo sería, por ejemplo, que «tal vacuna que utiliza tal vector y preparada de tal forma no funciona»; o «la técnica x para confinar protones en un acelerador no funciona». ¿Son importantes? Sin duda. Algunos argumentan que tanto como los resultados positivos (i.e., una vacuna que sí funciona), pero yo no estoy de acuerdo por la sencilla razón de que hay millones de maneras de hacer las cosas mal y, en el mejor de los casos, unas pocas de hacerlas bien. Ahora bien, un equipo científico puede llegar a un resultado negativo siguiendo una vía en principio muy lógica y prometedora y que, por tanto, a otro equipo en otro lugar del mundo se le puede ocurrir explorar en algún momento. Dado que hacer ciencia es caro, la publicación de resultados negativos tiene el potencial de ahorrar muchísimo dinero.

Entonces, ¿por qué no se publican? La versión corta es porque el sistema de valoración de la actividad científica lo desincentiva, al igual que desincentiva otras cosas deseables en las que no voy a entrar en este artículo. Pero para entender el porqué, hay que entender primero cómo funciona este sistema que hemos erigido, uno de los demonios de la ciencia moderna.

El currículo de un científico —al contrario del de cualquier otro profesional, que cuanto más sintético, mejor—, dicho burdamente, se valora al peso: si tiene treinta páginas, mejor que veinte. Dentro de ese peso, destaca el número de publicaciones en revistas científicas importantes. Para decidir qué revistas son importantes, por consenso se toma la clasificación que todos los años elabora la empresa Thomson Reuters. Las revistas reciben un puesto en función de una métrica llamada factor de impacto, y dicha métrica depende fundamentalmente del número de citas que reciben sus artículos.

Por tanto, los científicos quieren aparecer en las revistas importantes y las revistas quieren ser importantes para que los científicos quieran publicar en ellas. Así las cosas, las revistas buscan —y los científicos preparan— artículos de impacto, artículos citables. Y un resultado negativo es muy informativo, pero no es citable. Un artículo podrá decir «hemos utilizado [esta técnica] para producir tal material», pero nunca dirá «no hemos utilizado [esta técnica] ni [esta] ni [esta] ni [esta], porque se reportó que no funcionaban». No tiene sentido.

Desde luego, yo no tengo la solución a este problema, pero la herramienta es clara: de media, lo que se incentiva sucede y lo que se desincentiva, no. En esta y en todas las actividades humanas.

Ideología con ecuaciones

Iñaki Úcar3 comentarios

No es muy común ver tirar piedras sobre el tejado propio en una disciplina en la que la autocrítica no es precisamente un valor al alza:

A los economistas nos gusta fingir que somos científicos, pero no lo somos. En ciencias naturales y en ingeniería, hay una demarcación muy clara entre el mundo de la ideología y el mundo de la ciencia práctica. Por tanto, tú y yo podríamos ser físicos, y tú podrías ser de extrema derecha y yo de extrema izquierda, pero eso no importa: cuando hablamos de física, estamos hablando de física. En economía, esto es absolutamente imposible. La economía es la única «ciencia» o disciplina en la que puedes tener dos premios Nobel que piensan al mismo tiempo que el otro es un charlatán. Lo diré de otra forma. Si de verdad fuéramos los maestros de la economía política, deberíamos prohibir la democracia. No deberíamos tener democracia. No debería haber elecciones para decidir quién es el ministro de finanzas o qué política económica se persigue. Deberíamos tener a los tecnócratas sentados en este despacho gestionando la economía de manera eficiente. Pero la cuestión es que la democracia es esencial porque la economía no es una ciencia. En el mejor de los casos, es una especie de ideología con ecuaciones. Se necesita la lógica, el razonamiento analítico, para descartar falsedades, las cosas que están equivocadas. Pero no es posible saber lo que es correcto a través de un proceso tecnocrático. Y dado que no es posible, la democracia es necesaria. La alternativa es la dictadura. Y yo la viví, y puedo decirte, como muchos españoles recuerdan, que no es un buen sistema.

Lo decía Yanis Varoufakis, profesor de economía y exministro griego de finanzas, en una entrevista de Jordi Évole para Salvados.

Tweet fractal

Iñaki Úcar

(Esta anotación se publica simultáneamente en Naukas)

Hace un par de días, @AitorMenta_ puso el siguiente tweet:

A este, le siguió otro tweet con el mismo texto que lo mencionaba:

Y así comenzó a generarse toda una red de menciones de tweets con el texto «tweet fractal» que mencionaban a otros con el mismo texto, que mencionaban a otros… Fractal o no, lo que se ha formado es un gran árbol cuya raíz es el tweet de Aitor. ¿Y qué pinta tendrá? Me dio la curiosidad, me puse manos a la obra y parí esta visualización. Espero que os guste.

tweet_fractal

Por supuesto, podéis seguir contribuyendo con menciones. Solo tened en cuenta que la visualización no carga automáticamente los nuevos tweets, sino que una tarea aparte lo hace cada varias horas, así que no seáis impacientes. ;-)

Estadística para todos: prevalencia e incidencia

Iñaki Úcar

De entre todos los conceptos que se emplean en epidemiología, hay dos medidas básicas que describen el impacto de una enfermedad: prevalencia e incidencia (incidencia acumulada, para ser más precisos, pero usaremos el término incidencia por simplicidad). Ambas son medidas de frecuencia, esto es, el porcentaje de casos afectados sobre un grupo. Vamos a analizar cada una de ellas mediante ejemplos gráficos.

Prevalencia

La prevalencia es el número de afectados por una enfermedad dividido por el número total de personas en la población o grupo de interés en un momento determinado. Pongamos que tenemos una población de 116 bolitas, de las cuales, hay 16 verdes y 100 azules. Las bolitas «enfermas» se nos van a volver rojas.

bolitas_prevalencia

Como vemos, tenemos 14 bolitas enfermas en total, de las cuales, 8 son azules (57.14 %) y 6 son verdes (42.86 %). La prevalencia en el total de la población es 14 enfermas entre 116 bolitas, 12.07 %. La prevalencia en el grupo de bolitas azules es 8 entre 100, 8 %, mientras que en el grupo de bolitas verdes es de 6 entre 16, 37.5 %.

Esto quiere decir que, si escoges una bolita al azar y no puedes ver el color, la probabilidad de que esté enferma es del 12.07 %. Sin embargo, si puedes ver el color, tienes más información: si la bolita es azul, la probabilidad de que esté enferma ahora es del 8 %, mientras que si es verde, la probabilidad pasa a ser del 37.5 %.

Incidencia

La incidencia es el número de nuevos afectados en un intervalo de tiempo dividido por el número de individuos sanos de una población o grupo de interés. Retomando el ejemplo anterior, supongamos que pasa un año y aparecen 2 nuevos casos en las bolitas azules y 1 nuevo caso en las verdes.

bolitas_incidencia

Tenemos que, de cada 3 nuevos enfermos, 2 son azules (el 66.67 %) frente a 1 verde. La incidencia el total de la población es de 3 entre 92+10, 2.9 %. Sin embargo, la incidencia en el caso de las bolitas azules es de 2 entre 92, 2.17 %, mientras que en las verdes es de 1 entre 10, 10 %.

Esto quiere decir que, si escoges una bolita sana al azar y no puedes ver el color, la probabilidad de que enferme en el próximo año es del 2.9 %. Sin embargo, si puedes ver el color, de nuevo, tienes más información: si la bolita es azul, la probabilidad de que enferme ahora es del 2.17 %, mientras que si es verde, la probabilidad pasa a ser del 10 %.

Las bolitas verdes tienen mayor tasa de contagio, el número de casos nuevos crece a más velocidad, a pesar de que, en números absolutos, hay más nuevos casos azules que verdes. La incidencia de las bolitas azules es muy parecida a la incidencia total porque las bolitas azules son amplia mayoría. Para que las bolitas azules tuvieran una tasa de contagio similar a la de las verdes, deberían haber aparecido unos 9 casos nuevos en lugar de solo 2.

Conclusiones

En nuestro ejemplo, conocer el color de las bolitas nos aporta mucha información. Nos dice que algo está sucediendo en las bolitas verdes porque sus números no cuadran: están muy por encima de los de la población general.

Sobre números, pragmatismo y ética

Iñaki Úcar2 comentarios

(Esta anotación se publica simultáneamente en Naukas)

En abril de 2009, un médico francés rechazó a un donante de sangre en base a una Orden Ministerial de ese mismo año que establecía exclusión permanente de la donación a «hombres que tienen relaciones sexuales con otros hombres» por considerarse un riesgo para los receptores. El donante recurrió a Estrasburgo y de allí la causa se elevó al Tribunal de Justicia de la UE (TJUE). Ayer, todos los medios se hicieron eco de la publicación de la sentencia de una manera que, personalmente, creo que deja bastante que desear en general. Como consecuencia, se han dicho muchas burradas al respecto.

Desde luego, titulares como «El TJUE avala la prohibición de donar sangre a homosexuales» no ayudan. Yo entiendo que un titular es un titular, pero un tema tan delicado requiere una elección de las palabras mucho más precisa y un tratamiento mucho más cuidadoso (cualidades que, por cierto, sí tiene el texto de la sentencia). Si tenéis que leer una sola noticia sobre el tema, que sea esta. El titular tampoco es ninguna maravilla, pero el cuerpo de la noticia, recogido de EFE Bruselas, es la explicación más fiel que podéis encontrar en los medios fuera de la propia sentencia. Aquí me gustaría dejar un análisis más sosegado y racional de todo el embrollo si me es posible.

El dilema ético sobre el rechazo de donantes varones que han tenido relaciones con otros hombres (de aquí en adelante y por abreviar, MSM, de men who have sex with men) viene de largo. Ojo, el término es preciso: no se dice homosexuales y no es un eufemismo, es literal. Pertenecer al colectivo MSM se considera factor de riesgo frente a enfermedades víricas de transmisión sexual como VIH, hepatitis C, etc. ¿Por qué? ¿Qué fundamento puede tener algo así?

Aquí entran en juego los números. Históricamente (permitidme el palabro aunque hablemos de los últimos 30-40 años), el colectivo MSM ha tenido una prevalencia de este tipo de enfermedades de hasta un par de órdenes de magnitud por encima de la población heterosexual, y lo mismo ocurre con la incidencia (tasa de nuevos contagios). Dicho en román paladino, si coges una muestra aleatoria de personas MSM, hay una probabilidad mucho mayor de que haya alguien infectado que si la muestra es de personas heterosexuales.

Esto, en epidemiología, se denomina factor de riesgo, y es la base de esta ciencia, porque rara vez contamos con las causas últimas. Ejemplo tonto: de repente descubrimos que el 50 % de los zurdos mueren antes de los 30 años. Ser zurdo en sí no mata, pero está claro que sería considerado un factor de riesgo de muerte prematura. Ejemplo más tonto todavía: ser mujer es un factor de riesgo para padecer cáncer de mama.

Volviendo al tema que nos ocupa, efectivamente, suena crudo, suena duro, suena estigmatizante. Pero es así. Uno esperaría que, con los años y la educación sexual, esta desproporción en la prevalencia entre MSM y heterosexuales se hubiese mitigado, pero no (ejemplo, ejemplo, ejemplo patrio). En algunos lugares, incluso ha ido a peor, como es el caso de… Francia, efectivamente. Suena duro y se refiere a un colectivo que todavía hoy está muy discriminado, pero hablamos de epidemiología y salud pública: no podemos simplemente ignorar un factor de riesgo que puede afectar a toda la población. Ojo, también hay que añadir, en contraposición a lo que he leído por ahí, que una persona heterosexual que mantiene relaciones de riesgo también se excluye de las donaciones, evidentemente.

Prevalencia VIH

Ahora bien, diréis muchos, ¿acaso no hay controles? ¿Acaso no se analiza cada gota de sangre que se dona? Efectivamente, se hace. Y efectivamente, los tests han mejorado muchísimo desde los años 80. Hoy es mucho más difícil justificar una decisión así porque tenemos muchos más medios y recursos, pero, de nuevo, los números mandan. Por bueno que sea, ningún test es perfecto: siempre hay cierto porcentaje de falsos negativos (el test da negativo, pero la persona está infectada). Y la probabilidad de que se cuele una infección es tanto mayor cuanto mayor sea la prevalencia en la población analizada. Así de puto es el Teorema de Bayes. Por tanto, llegado cierto nivel de prevalencia, puede resultar aconsejable tomar la impopular senda del pragmatismo por el bien común.

Esto por un lado. Con este background, volvemos al tema del día que es la sentencia en sí. Lo primero que hay que tener claro es que el TJUE no juzga el caso concreto del ciudadano francés (eso le corresponderá, en todo caso, a un tribunal francés), sino si la Orden Ministerial francesa entra en conflicto con otras directivas o no, es decir, si prohibe el rechazo de donación de MSM. La sentencia podría resumirse de la siguiente manera:

Yo, TJUE, no puedo prohibirte a ti, país, que apliques restricciones en la donación si hay causas científicas y justificadas detrás, pero puedo meterte un puro así de gordo si no están justificadas y, por tanto, se sospecha que son discriminatorias.

Perdonadme, pero yo no veo la homofobia por ningún lado. No esta vez.

Actualización: Aquí un magnífico artículo de @sophiereloaded que abunda en el caso francés. Complemento perfecto a este artículo que no os podéis perder.

Actualización: Otro magnífico artículo de @hidroboy83 que analiza pormenorizadamente la sentencia del TJUE y sus implicaciones.