La lotería de Navidad, el bosón de Higgs y los neutrinos superlumínicos

 

La ciencia es el arte de lidiar con la incertidumbre; no existe la certeza absoluta, toda verdad científica tiene una probabilidad no nula de ser falsa. Considera la siguiente hipótesis: «existe al menos una persona que ganará el gordo de la lotería de Navidad.» ¿Cómo puedes realizar un experimento para verificar esta hipótesis? Piensa un poco y recuerda que a los ganadores les gusta el anonimato. Imagina un experimento para verificar, el día después del sorteo, que ha habido al menos un afortunado ganador del gordo. Cuando la televisión dice que el número premiado fue vendido en una ciudad, ¿cómo sabes que no te están mintiendo, incluso sin saberlo? Podría ocurrir que ese número nunca hubiera sido impreso; nadie hubiera podido comprarlo, nadie ganaría el premio gordo y nadie lo sabría.

Hay muchos experimentos que se pueden realizar para verificar la hipótesis. Podrías escoger al azar mil personas y comprobar la hipótesis, o diez mil, o un millón. ¿Cuál es la probabilidad de que entre ellos se encuentre un ganador? ¿Con qué certeza puedes verificar la hipótesis? Podrías escoger solo personas que hayan comprado al menos un décimo de lotería. Experimentos que puedes realizar hay muchísimos, pero la cuestión es que todos ellos tienen resquicios por los que se puede escapar la hipótesis. Verificar una hipótesis no es fácil y los matemáticos han desarrollado las técnicas de contraste de hipótesis para lograrlo. Pero nunca se puede estar seguro al 100%, siempre hay un resquicio para la incertidumbre.

El seminario conjunto ATLAS+CMS en el CERN que ha anunciado los últimos resultados sobre el Higgs obtenidos tras el análisis de las colisiones en el LHC durante el año 2011 ha sido la noticia mediática de esta semana. La hipótesis de que existe el bosón de Higgs comparte algo muy importante con la hipótesis de que existe un ganador del gordo de Navidad. Sería muy sorprendente para casi todo el mundo que nadie ganara el gordo y que Loterías y Apuestas del Estado nos engañara a todos. Para casi todo el mundo, pero seguro que hay escépticos, incluso entre los compradores de lotería. Para la mayoría de los físicos de partículas experimentales sería muy sorprendente que no existiera el bosón de Higgs, aunque hay algunos físicos teóricos que así lo creen. Observar algo inesperado requiere pruebas extraordinarias, pero no son necesarias para observar lo que todo el mundo espera observar. Y esto subyace a la manera de presentar nuevos resultados en física de partículas.

Un resultado esperado, que confirme el modelo estándar, requiere pocas pruebas para ser considerado un resultado definitivo; bastará con 5 sigmas de confianza estadística para el descubrmiento del bosón de Higgs. Un resultado inesperado, que confirmase la existencia de leyes físicas más allás del modelo estándar, requiere pruebas extraordinarias, e incluso con ellas muchos dudarán de que se trata de un resultado definitivo; el resultado de OPERA sobre los neutrinos superlumínicos, incluso con 6 sigmas de confianza estadística, sigue siendo un resultado dudoso y difícil de creer. Quizás puedan parecer dos ejemplos extremos, pero me gustaría que quedara claro lo que quiero decir. Tú esperas que haya un ganador de la lotería de Navidad y aceptaras como válidas pruebas poco firmes de que lo ha habido. Lo mismo pasa con la partícula de Higgs y una señal a favor de 3,6 sigmas en ATLAS a muchos nos parece una prueba firme de que el bosón de Higgs será encontrado el año próximo en el LHC del CERN.

Todo esto viene a cuento por un comentario en Twitter de Fernando Blanco (@FBpsy) que decía «Veo que en física también está empezando a calar el enfoque bayesiano frente al frecuentista.» En física de partículas se lleva usando el enfoque bayesiano casi desde siempre. Los experimentos nos dan información a posteriori (ratificar lo ya conocido o nuevos descubrimientos) condicionada a información a priori (lo que predice el modelo estándar). El enfoque bayesiano es imprescindible en física de partículas para poder avanzar. Pero una vez se ha realizado un descubrimiento, el objeto descubierto es estudiado desde un punto de vista frecuentista, tratando de no asumir a priori la información mínima necesaria, lo mínimo que no pueda sesgar sus propiedades. La mecánica cuántica es esquizofrénica y la interpretación estadística de los nuevos resultados también lo es.

Traducción libre y resumen de Amedeo Balbi, «Higgs?,» Keplero, 6 dec. 2011.

La medida de cualquier magnitud física está sujeta a incertidumbre. Si su valor es, pongamos, igual a 1, diferentes medidas pueden dar valores como 1’3, 0’8, 0’7, 1’2, etc. La «desviación estándar» denotada por el símbolo σ es una estadístico que nos permite determinar un intervalo en el que se encuentra el valor «verdadero» de la magnitud con cierta probabilidad. Por ejemplo, si σ = 0’3 se sabe que el valor «verdadero» se encuentra en el intervalo [0’7, 1’3] a 1 sigma, es decir, con una probabilidad del 68%, en el intervalo [0’4, 1’6] a 2 sigma o con una probabilidad del 95’5%, y en el intervalo [0’1, 1’9] a 3 sigma o con una probabilidad del 99’7%. Nunca se está completamente seguro del valor, pero un intervalo pequeño con un número alto de sigmas nos da mucha confianza en el valor medio obtenido.

Supongamos que queremos decidir si cierta hipótesis es verdadera. La hipótesis podría ser, por ejemplo, «existe el bosón de Higgs.» Necesitamos un modelo teórico que prediga qué pasa cuando el bosón de Higgs no existe, es decir, una hipótesis nula; la teoría predice el valor medio y la desviación estándar de las medidas. Ahora bien, el análisis estadístico de los datos experimentales puede que nos de un valor medio diferente a la predicción teórica para la hipótesis nula. Hay dos posibilidades, por un lado, que una fluctuación aleatoria de los datos esté en nuestra contra y, por otro, que estemos ante una señal de la existencia del Higgs. ¿Cómo decidir entre ambas posibilidades? Lo más fácil es acudir al número de desviaciones estándares σ, es decir, a la probabilidad de que hayamos tenido mala suerte y los datos apunten hacia un falso positivo. Si la confianza estadística en la hpótesis nula es de 1 σ, hay un 32% de posibilidades de que nuestro resultado sea debido al azar; una de cada tres repeticiones del experimento nos dará este resultado. Si la confianza en la hipótesis nula es de 3 σ, la probabilidad de un resultado azaroso es solo del 0,3%; en otras palabras, repitiendo el experimento 1000 veces, se llega a ese resultado por azar solo 3 veces (o mejor, repitiendo muchas veces series de 1000 repeticiones del experimento en promedio se observará 3 veces de cada 1000 dicho resultado). Cuanto mayor sea el número de sigma, mayor será la confianza de haber hecho un descubrimiento.

El número de sigmas necesarios para proclamar un descubrimiento depende del campo de conocimiento considerado. En física de partículas, en los 1980 se consideraba que bastaban al menos 3 sigmas, pero tras varias falsas alarmas (como el falso descubrimiento del quark top con 44 GeV anunciado por el CERN en 1984), se decidió en los 1990 que había que considerar al menos 5 sigmas (por eso se clausuró el LEP2 para dar paso al LHC incluso con una evidencia a 3 sigma de un Higgs con una masa de 115 GeV); en la actualidad, las falsas alarmas a más de 3,5 sigma están indicando que 5 sigmas es poco para los resultados de experimentos tan complejos como el LHC. En mi opinión personal es posible que no se conceda un Premio Nobel al descubrimiento del Higgs hasta que haya una evidencia de al menos 7 sigmas (al ritmo actual, si se confirma la existencia del Higgs, el Nobel tendría que caer en 2015 como pronto).

Traducción libre y resumen de G. D’Agostini, «Probably a discovery,» Arxiv, 15 Dec. 2011.

El 4 de abril de 2011 apareció en ArXiv un artículo de la Colaboración CDF, uno de los dos experimentos del Tevatrón en el Fermilab, que mostraba un pico centrado alrededor de 140 GeV que no se podía explicar mediante el modelo estándar. El pico era pequeño, unos 232 eventos entre 120 y 160 GeV de un total de 10777, pero significativo. Aplicando técnicas de contraste de hipótesis se obtienen 3,2 sigmas de confianza estadística para la hipótesis de que este pico no está descrito por el modelo estándar y por tanto apunta a nuevas leyes físicas. En ciencias sociales se considera «verdad» lo que tiene un valor p menor de 0,01 y aunque este resultado de CDF tiene un valor p de 0,00076 los físicos de partículas dudan de él. ¿Cómo es posible? Porque un valor p no es la probabilidad de que la hipótesis nula sea verdadera, no se puede aplicar una interpretación frecuentista a este resultado. La interpretación correcta requiere un enfoque bayesiano. El valor p puede ser muy próximo a cero y la hipótesis nula puede tener un valor muy próximo a la unidad, para ello basta que no haya ninguna hipótesis alternativa que una probabilidad suficientemente grande que explique dicho resultado. D’Agostini se está refiriendo a la paradoja de Jeffreys-Lindley [wikipedia]. El valor p no es la probabilidad de que al replicar el experimento no se obtenga la misma conclusión, ni el valor 1-p es la probabilidad de que sea verdadera la hipótesis contraria. El nivel de significación estadística de un resultado no viene dado por el valor p.

Hay que recordar que la probabilidad de algo no es indicativa del grado de creencia en dicho algo. No tiene ningún sentido afirmar que la «probabilidad de que el bosón de Higgs tenga una masa mayor de 114 GeV y menor de 130 GeV es tal o cual, o incluso que ha crecido desde 1999 hasta 2011.» No se puede hablar de probabilidades, cuando lo que tenemos son grados de certeza. Hay que cuidar mucho las palabras cuando se habla del significado de una expresión como 95% C.L. (un nivel de confianza para una hipótesis del 95%). Uno tiende (y yo, Francis, me incluyo) a realizar una interpretación frecuentista, a tratar de explicar esta expresión en términos de probabilidades. El resultado de LEP2 que excluye al 95% C.L. un Higgs con una masa menor de 114,4 GeV, no implica nada respecto a la probabilidad de que la masa del Higgs sea mayor o menor que 114,4 GeV. Estos límites de confianza son el apoyo a la toma de decisiones racionales sobre los experimentos.

Retomando el caso de la señal del Higgs a 115 GeV que se obtuvo a 2,9 sigma (es decir, a 99,4% C.L. o con un valor p de 0,006) en LEP2 justo antes de su cierre. Interpretar este valor como que hay un 99,4% de probabilidades de que el Higgs tiene una masa de 115 GeV es un gravísimo error y no hubiera justificado de ninguna manera el cierre de LEP2. Pero esta interpretación frecuentista es completamente errónea. Una conversión de estos valores bayesianos a frecuentistas nos indicaría que la probabilidad de que el Higgs tenga una masa de unos 115 GeV es de solo unos pocos tantos por cientos. Con una probabilidad tan baja era una locura continuar con LEP2 en funcionamiento. Los físicos que tomarón la decisión lo hicieron porque tenían que hacerlo (utilizando la interpretación estadística correcta de lo que había descubierto LEP2).

Un lector de este blog se preguntaba por el error estadístico del error estadístico. D’Agostini nos recuerda que un valor como 99,4% C.L. (2,9 sigmas) está sujeto a un error que no es pequeño y que el valor correcto puede ser 99,1%, o 98,5%, o incluso 97%, pero no podemos saberlo con seguridad (el razonamiento bayesiano no nos permite llegar tan lejos). Tener una certeza casi absoluta sobre un valor como 99,4% C.L. es prácticamente imposible.

D’Agostini recomienda seguir una recomendación de Kant sobre estos asuntos e intepretar el grado de creencia en función de apuestas. Tu creencia en algo es proporcional a lo que tú apostarías por ello. Todo valor probabilístico P(E) debe ser entendido como un valor P(E | I), donde I corresponde a la información a priori que se tenga (que puede cambiar con cada persona, que evoluciona con el tiempo, etc.). La interpretación de las probabilidades es subjetiva (lo que no quiere decir que sea arbitraria). Hay que pensar en apuestas y no en ideales vacíos sobre la objetividad del resultado que nos llevan a la metafísica, que no nos permite distinguir entre lo que es real y lo que es pura creencia.

Recuerda, una evidencia a 6 sigma de que los neutrinos muónicos son superlumínicos no ha llevado a todos los físicos a cambiar la relatividad de Einstein; más bien al contrario, la mayoría cree que el resultado de OPERA tiene que ser debido a un error sistemático no considerado. Esta interpretación común a la mayoría de los físicos se basa en la información a priori que se tiene sobre la teoría de la relatividad especial, una de las teorías más y mejor verificadas de toda la historia de la ciencia.

La moraleja para el público en general

La ciencia se basa en un conjunto de creencias y un conjunto de resultados experimentales que apoyan dichas creencias. Los científicos utilizan la estadística y la probabilidad para cuantificar estas creencias y para cuantificar cuando un nuevo resultado experimental requiere cambiar en parte estas creencias. El problema es que sin un conocimiento claro de cuales son estas creencias a priori, la interpretación de estos cuantificadores es vacía y no tiene sentido. Muchos periodistas y muchos divulgadores científicos (como yo mismo) tendemos a interpretar los resultados probabilísticos sobre estas creencias de manera abstracta, sin especificar las creencias que subyacen (tenemos la excusa de que son tantas que es imposible estar repitiéndolas una y otra vez). Pero esta labor es como engañar al público en general, que desconoce en detalle las creencias que apoyan las interpretaciones. El público cree que sabe que un 68% es muy poco, un 95% es mucho más y un 99,9996% es igual a 100%. Pero están equivocados. Depende de las creencias que se asuman en cada caso. En ciertos campos, un 99,9996% es una simple fluctuación estadística, un resultado que no alterará nuestras creencias. 

Los divulgadores científicos transmitimos una falsa impresión sobre la ciencia y deberíamos pensar mejor cómo contamos lo que contamos.