COVID-19 es una enorme crisis aguda de consecuencias impredecibles.
- Muchos científicos han luchado para hacer pronósticos sobre su impacto [1].
- Sin embargo,
a pesar de involucrar a muchos excelentes modeladores, las mejores intenciones y herramientas altamente sofisticadas, los esfuerzos de predicción han fallado en gran medida.
- Los modelistas experimentados se apresuraron a establecer paralelismos entre COVID-19 y la gripe española [2] que causó 50 millones de muertes con una edad promedio de muerte de 28 años.
LA PÉRDIDA DE VIDAS SIEMPRE ES LAMENTABLE, PERO LOS GOBIERNOS CONFIARON EN MODELOS DE EPIDEMIAS ERRÓNEOS Y ALARMISTAS Y TOMARON MEDIDAS DRACONIANAS MUY DAÑINAS
- Todos lamentamos la pérdida actual de vidas. Sin embargo, a partir del 8 de junio, las muertes totales son de 410.000 [528.000, 15 de julio] con una edad promedio de unos 80 años y típicamente con comorbilidades múltiples.
- Las predicciones para los requisitos de camas hospitalarias y de la UCI también fueron completamente erróneas.
- Los líderes públicos confiaron en modelos (a veces incluso cajas negras sin metodología revelada) que anunciaron una capacidad de atención a la salud enormemente abrumada (Tabla 1) [3].
- Sin embargo,
eventualmente muy pocos hospitales sufrieron colapso, y durante un par de semanas.
- La mayoría de los hospitales mantenían salas en gran parte vacías, esperando tsunamis que nunca llegaron.
- La población general fue encerrada y puesta en alerta de terror para evitar que el sistema de salud se derrumbara.
- Trágicamente, muchos sistemas de salud enfrentaron consecuencias adversas importantes, no por sobrecarga de casos de COVID-19, sino por razones muy diferentes.
Los pacientes con ataques cardíacos evitaron visitar hospitales para recibir atención [4], los tratamientos importantes (por ejemplo, para el cáncer) se retrasaron injustificadamente [5], la salud mental sufrió [6].
- Con funciones dañadas,
muchos hospitales comenzaron a perder personal, reduciendo la capacidad para enfrentar crisis futuras (por ejemplo, una segunda ola).
- Con un nuevo desempleo masivo, más personas pueden perder el seguro de salud.
Las perspectivas de inanición y de falta de control para otras enfermedades infecciosas (como la tuberculosis, la malaria y las enfermedades transmisibles infantiles, para las que las medidas COVID-19 obstaculizan la vacunación) son terribles [7,8].
ALGUNAS PREDICCIONES EPIDEMIOLÓGICAS QUE FUERON REFUTADAS POR LA REALIDAD
Tabla 1: Algunas predicciones sobre las necesidades de camas de hospital y su refutación por la realidad: ejemplos de la cobertura de noticias de algunos pronósticos influyentes.
| Estado | Predicción hecha | Que pasó |
|---|---|---|
| Nueva York New York Times, 10 de abril de 2020. Forbes, 26 de mayo de 2020. | “Científicos sofisticados, dijo Cuomo, habían estudiado el brote de coronavirus que se avecinaba y sus proyecciones eran alarmantes. Las infecciones se duplicaban casi cada tres días y el estado pronto requeriría una expansión impensable de su sistema de atención médica. Para evitar una catástrofe, Nueva York podría necesitar hasta 140.000 camas de hospital y hasta 40.000 unidades de cuidados intensivos con ventiladores ”. 10/04/2020 | «Pero la cantidad de camas de cuidados intensivos que se utilizan disminuyó por primera vez en la crisis, a 4.908, según las cifras diarias publicadas el viernes. Y el número total de hospitalizados con el virus, 18.569, fue muy inferior a las expectativas más oscuras». -10/04/2020 “Aquí está mi modelo de proyección. Todos estaban equivocados». Gobernador Andrew Cuomo 25/05/2020. |
| Tennesse Nashville Post, 6 de abril de 2020 Tennessean, 4 de junio de 2020 | «El viernes pasado, el modelo sugirió que Tennessee vería el pico de la pandemia alrededor del 19 de abril y necesitaría un estimado de 15.500 camas para pacientes hospitalizados, 2.500 camas en UCI y casi 2.000 ventiladores para mantener vivos a los pacientes de COVID-19». | “Ahora, está proyectando que el pico llegará cuatro días antes y que el Estado necesitará 1.232 camas de pacientes hospitalizados, 245 camas de UCI y 208 ventiladores. Esos números están muy por debajo de la capacidad actual de atención médica del Estado». «Los hospitales de todo el Estado perderán un ingreso estimado de $ 3.5 mil millones para fines de junio debido a limitaciones en las cirugías y una disminución dramática en los pacientes durante el brote de coronavirus, según nuevas estimaciones de la Asociación de Hospitales de Tennessee». 4/6/2020 |
| California The Sacremento Bee, 31 de marzo de 2020. Medical Express, 14 de abril de 2020 | «Solo en California, se estima que al menos 1,2 millones de personas mayores de 18 años necesitarán hospitalización por la enfermedad, según un análisis publicado el 17 de marzo por el Harvard Global Health Institute y la Harvard TH Chan School of Public Health … California necesita 50.000 camas adicionales de hospital para atender la oleada entrante de pacientes con coronavirus, dijo el gobernador Gavin Newsom la semana pasada «. | “En nuestro estado natal de California, por ejemplo, los pacientes con COVID-19 ocupan menos de dos de cada 10 camas en la UCI, y afortunadamente, el crecimiento en la utilización relacionada con COVID-19 parece estar disminuyendo. La imagen de California es aún más halagüeña cuando se trata de camas de hospital generales. Menos del cinco por ciento están ocupados por pacientes con COVID-19 «. |
El resurgimiento del modelado después de la reapertura también falló.
- Por ejemplo, un modelo del Hospital General de Massachusetts [9] predijo más de 23.000 muertes dentro de un mes desde la reapertura de Georgia. El número real fue de 896.
- La Tabla 2 enumera algunas razones principales que subyacen a estos fallos del pronóstico.
- Como era de esperar, los modelos fallaron cuando usaron más especulaciones y suposiciones teóricas e intentaron predecir resultados a largo plazo, por ejemplo, utilizando modelos SIR tempranos para predecir lo que sucedería en toda la temporada.
- Sin embargo,
incluso los pronósticos basados directamente en datos obtuvieron resultados muy malos.
- Por ejemplo, el IHME no produjo predicciones precisas o estimaciones precisas de incertidumbre [10] (Figura 1).
Incluso para el pronóstico a corto plazo cuando la ola epidémica había disminuido, los modelos presentaron diversas predicciones confusas con una gran incertidumbre (Figura 2).
RAZONES QUE EXPLICAN LOS ERRORES COMETIDOS Y POSIBLES SOLUCIONES PARA EVITAR QUE SE VUELVAN A REPETIR
Tabla 2: Posibles razones para el fracaso del pronóstico COVID-19 junto con ejemplos y alcance de posibles enmiendas.
| Razones | Ejemplos | Cómo solucionarlo: alcance de posibles modificaciones |
|---|---|---|
| Entrada de datos deficiente en las características clave de la pandemia que entran en el pronóstico basado en la teoría (por ejemplo, modelos SIR) | Se inflaron los primeros datos que proporcionaban estimaciones de la tasa de letalidad, tasa de letalidad por infección, número reproductivo básico y otros números clave que son esenciales en el modelado. | Puede ser inevitable al comienzo de la pandemia, cuando hay datos limitados disponibles; debería ser posible corregir cuando se acumule evidencia adicional sobre la verdadera propagación de la infección, la proporción de casos asintomáticos y no detectados, y la estratificación del riesgo. Se debe invertir en la recopilación, limpieza y conservación de datos. |
| Entrada de datos deficiente para pronósticos basados en datos (por ejemplo, series de tiempo) | Falta de consenso sobre cuál es la «verdad fundamental», incluso para datos aparentemente duros como el número diario de muertes. Pueden variar debido a retrasos en los informes, cambios en las definiciones, errores de datos y más razones. Se capacitaron diferentes modelos, en versiones diferentes y posiblemente altamente inconsistentes, de los datos. | Como se indicó anteriormente: se debe invertir en la recopilación, limpieza y conservación de datos. |
| Suposiciones erróneas en el modelado | Muchos modelos suponen homogeneidad, es decir, todas las personas tienen las mismas posibilidades de mezclarse e infectarse entre sí. Esta es una suposición insostenible y, en realidad, la gran heterogeneidad de exposiciones y mezclas probablemente sea la norma. A menos que se reconozca esta heterogeneidad, la proporción estimada de personas eventualmente infectadas antes de alcanzar la inmunidad colectiva se puede inflar notablemente. | Necesidad de construir modelos probabilísticos que permitan suposiciones más realistas; que cuantifiquen la incertidumbre y reajusten continuamente los modelos basados en la evidencia acumulada. |
| Alta sensibilidad de las estimaciones. | Para los modelos que usan variables exponenciadas, pequeños errores pueden resultar en grandes desviaciones de la realidad. | Inherentemente imposible de arreglar. Solo puedo reconocer que la incertidumbre en los cálculos puede ser mucho mayor de lo que parece. |
| Falta de incorporación de características epidemiológicas. | Casi todos los modelos de mortalidad de COVID-19 se centraron en el número de muertes, sin considerar la estructura de edad y las comorbilidades. Esto puede dar inferencias muy engañosas sobre la carga de la enfermedad en términos de años de vida ajustados por calidad, lo que es mucho más importante que el simple conteo de muertes. Por ejemplo, la gripe española mató a jóvenes con una edad promedio de 28 años y su carga en términos de número de años-persona ajustados por calidad fue aproximadamente 1.000 veces mayor que COVID-19 (al menos a partir del 8 de junio de 2020). | Incorporar las mejores estimaciones epidemiológicas sobre la estructura de edad y las comorbilidades en el modelado; centrarse en años de vida ajustados por calidad en lugar de muertes. |
| Pruebas pasadas pobres sobre los efectos de las intervenciones disponibles | La evidencia central para apoyar los esfuerzos de «aplanar la curva» se basó en datos de observación de la pandemia de gripe española de 1918 en 43 citas de Estados Unidos. Estos datos tienen más de 100 años, son de calidad cuestionable, no están ajustados para los factores de confusión, se basan en razonamientos ecológicos y pertenecen a un patógeno completamente diferente (gripe) que tuvo una tasa de mortalidad por infección 100 veces mayor que el SARS-CoV-2. Aun así, el impacto en la reducción de las muertes totales fue de importancia límite y muy pequeño (reducción del riesgo relativo del 10-20%); por el contrario, muchos modelos han asumido una reducción de 25 veces en las muertes (por ejemplo, de 510.000 muertes a 20.000 muertes en el modelo del Imperial College) con las medidas adoptadas. | Si bien es probable que algunas intervenciones en el paquete más amplio de medidas de bloqueo tengan efectos beneficiosos, asumir grandes beneficios es incongruente con la evidencia pasada (débil) y debe evitarse. Se pueden obtener grandes beneficios de medidas precisas y enfocadas (por ejemplo, pruebas intensivas tempranas con rastreo a través del contacto para los casos detectados temprano, a fin de no permitir que la ola epidémica se intensifique [por ejemplo, Taiwán o Singapur]; o medidas de higiene draconianas y pruebas exhaustivas en hogares de ancianos) en lugar del encierro a ciegas de poblaciones enteras. |
| Falta de transparencia | Muchos modelos utilizados por los responsables políticos no fueron revelados en cuanto a sus métodos; la mayoría de los modelos nunca fueron formalmente revisados por pares y la gran mayoría no ha aparecido en la literatura revisada por pares ni siquiera muchos meses después de que configuraron acciones políticas importantes. | Si bien es inevitable que la revisión por pares formal y la publicación lleven más tiempo, la transparencia total sobre los métodos y el intercambio del código y los datos que informan estos modelos es indispensable. Incluso con la revisión por pares, muchos artículos pueden estar muy equivocados, incluso en las mejores revistas. |
| Errores | El código complejo puede ser propenso a errores y los errores pueden ocurrir incluso por modeladores experimentados; el uso de software o idiomas antiguos (por ejemplo, Fortran) puede empeorar las cosas; la falta de código y datos compartidos (o compartirlos tarde) no permite detectar y corregir errores. | Promover el intercambio de datos y códigos; use herramientas y procesos actualizados que minimicen el potencial de error a través de bucles de auditoría en el software y el código. |
| Falta de determinación | Muchos modelos son estocásticos (aleatorios) y necesitan que se ejecute una gran cantidad de iteraciones (repeticiones), tal vez también con los períodos de quemado apropiados; el uso superficial puede conducir a estimaciones diferentes. | Promover el intercambio de datos y códigos para permitir verificar el uso de procesos estocásticos y su estabilidad. |
| Mirando solo una o algunas dimensiones del problema en cuestión | Casi todos los modelos que tuvieron un papel destacado en la toma de decisiones se centraron en los resultados de COVID-19, a menudo en un resultado único o unos pocos resultados (por ejemplo, muertes o necesidades hospitalarias). Los modelos primarios para la toma de decisiones deben tener en cuenta el impacto en múltiples frentes (por ejemplo, otros aspectos de la atención médica, otras enfermedades, dimensiones de la economía, etc.) | La interdisciplinariedad se necesita desesperadamente. Dado que es poco probable que los científicos individuales o incluso los equipos puedan cubrir todo este espacio, es importante que los modeladores de diversas formas de vida se sienten en la misma mesa. Raramente ocurren pandemias importantes y lo que se necesita son modelos que fusionen información de una variedad de fuentes. La información de datos, de expertos en el campo, de pandemias pasadas, debe fusionarse de una manera lógicamente consistente si deseamos obtener predicciones sensatas. |
| Falta de experiencia en disciplinas cruciales. | Las credenciales de los modeladores a veces no se revelan; cuando se han revelado, estos equipos están dirigidos por científicos que pueden tener puntos fuertes en algunos campos cuantitativos, pero estos campos pueden estar alejados de las enfermedades infecciosas y la epidemiología clínica; los modeladores pueden operar en el vacío de la materia. | Asegúrese de que el equipo de modeladores esté diversificado y tenga una sólida base en términos de experiencia en el asunto. |
| Efectos de pensamiento grupal y carro | Los modelos se pueden ajustar para obtener resultados y predicciones deseables, por ejemplo, cambiando la entrada de lo que se consideran valores plausibles para las variables clave. Esto es especialmente cierto para los modelos que dependen de la teoría y la especulación, pero incluso los pronósticos basados en datos pueden hacer lo mismo, dependiendo de cómo se realice el modelado. En presencia de fuertes efectos de pensamiento grupal y carro, los modeladores pueden ajustar conscientemente sus predicciones a lo que es el pensamiento y las expectativas dominantes, o pueden verse obligados a hacerlo. | Mantener un punto de vista de mente abierta; desafortunadamente, los modelos son muy difíciles, si no imposibles, de prerregistrar, por lo que la subjetividad es en gran medida inevitable y debe tenerse en cuenta al decidir la cantidad de predicciones de predicción en las que se puede confiar. |
| Informes selectivos | Los pronósticos son más propensos a ser publicados o difundidos, si son más extremos. | Muy difícil de disminuir, especialmente en entornos cargados; debe tenerse en cuenta al evaluar la credibilidad de los pronósticos extremos. |
EL FRACASO EN EL PRONÓSTICO EPIDÉMICO ES YA UN VIEJO PROBLEMA. LAS PREDICCIONES PUEDEN FUNCIONAR EN COMUNIDADES «IDEALES Y AISLADAS», PERO NO EN EL COMPLEJO MUNDO REAL
De hecho,
es sorprendente que el pronóstico de epidemias haya conservado tanta credibilidad entre los tomadores de decisiones, dado su dudoso historial.
- Los modelos para la gripe porcina predijeron de 3.100 a 65.000 muertes en el Reino Unido [11]. Finalmente, solo se produjeron 457 muertes [12].
- La predicción para la fiebre aftosa esperaba hasta 150.000 muertes en el Reino Unido [13] y llevó a la matanza de millones de animales. Sin embargo, el límite inferior de la predicción fue tan bajo como solo 50 muertes [13], una cifra cercana a las posibles muertes.
Las predicciones pueden funcionar en comunidades «ideales», aisladas, con poblaciones homogéneas, no en el complejo mundo global actual.
Figura 1: Predicciones para camas de UCI realizadas por los modelos IHME el 31 de marzo para tres estados, California, Nueva Jersey y Nueva York. Para Nueva York, el modelo sobreestimó enormemente la necesidad, y luego lo rebajó. Para Nueva Jersey, un estado vecino, el modelo comenzó bien, pero luego pronosticó demasiado a la baja, mientras que para California predijo un pico que nunca se produjo.
- A pesar de estos fallos obvios, el pronóstico de la epidemia continuó prosperando, tal vez porque las predicciones muy erróneas generalmente carecían de consecuencias graves.
- En realidad, las predicciones erróneas pueden haber sido incluso útiles.
- Una predicción errónea del día del juicio final puede incentivar a las personas hacia una mejor higiene personal.
- Los problemas comienzan cuando los líderes públicos toman las predicciones (erróneas) demasiado en serio, considerándolas bolas de cristal sin comprender su incertidumbre y las suposiciones hechas.
- La matanza de millones de animales en 2001 agravó a algunas partes interesadas del negocio de animales, la mayoría de los ciudadanos no se vieron directamente afectados.
- Sin embargo,
con COVID-19, las predicciones erróneas adoptadas pueden devastar a miles de millones de personas en términos de economía, salud y agitación social en general.
Figura 2: Instantánea de https://reichlab.io/covid19-forecast-hub/ (un sitio muy útil que recopila información y predicción de múltiples modelos de pronóstico) a partir de las 11.14 am PT del 3 de junio de 2020. Las predicciones para el número de muertes en EE.UU. durante la semana 27 (solo ~ 3 semanas después), con estos 8 modelos, variaron de 2.419 a 11.190, una diferencia de 4.5 veces; y el espectro de intervalos de confianza del 95% varió de menos de 100 muertes a más de 16.000 muertes, casi 200 veces de diferencia.
SEAMOS CLAROS:
Incluso si millones de muertes no ocurrieron esta temporada, pueden ocurrir en la próxima ola, la próxima temporada o con algún virus nuevo en el futuro.
Un pronóstico del fin del mundo puede ser útil para proteger la civilización, cuando y si golpea la calamidad.
- Sin embargo, incluso en este caso,
tenemos poca evidencia de que las medidas agresivas que se centran solo en unas pocas dimensiones del impacto realmente reduzcan el número de muertos y hagan más bien que mal.
- Necesitamos modelos que incorporen funciones objetivo multicriterio.
Aislar el impacto infeccioso de todos los demás impactos en la salud, la economía y la sociedad es peligrosamente limitado.
- Más importante aún,
con la cada vez mayor facilidad para detectar epidemias, las oportunidades para declarar emergencias mundiales se intensificarán.
Los modelos erróneos pueden convertirse en disruptores poderosos y recurrentes de la vida en este planeta.
La civilización está amenazada por «incidentalomas epidémicos».
- Cirillo y Taleb argumentan cuidadosamente [14] que cuando se trata de riesgos contagiosos, debemos tomar en serio las predicciones del día del juicio final: las epidemias importantes siguen un patrón de cola de grasa y la teoría del valor extremo se vuelve relevante.
- Al examinar 72 epidemias importantes registradas a lo largo de la historia, demuestran un impacto de mortalidad de cola gruesa.
- Sin embargo,
analizan solo los 72 brotes más notados, una muestra con un sesgo de selección sorprendente.
- Los brotes más famosos de la historia humana se seleccionan preferentemente de la cola extrema de la distribución de todos los brotes.
Decenas de millones de brotes con solo un par de muertes deben haber sucedido a lo largo del tiempo. Probablemente cientos de miles podrían haber reclamado docenas de muertes.
- Miles de brotes podrían haber superado algo las 1.000 muertes.
- La mayoría eludió el registro histórico.
- Los cuatro coronavirus de la variedad de jardín pueden estar causando tales brotes cada año [15,16].
- Uno de ellos, OC43 parece haber sido introducido en humanos tan recientemente como 1.890, probablemente causando un «año de gripe grave» con más de un millón de muertes [17].
- Según lo que sabemos ahora, SARS-CoV-2 puede estar más cerca de OC43 que SARS-CoV-1.
- Esto no significa que no sea grave: su introducción humana inicial puede ser muy letal, a menos que protejamos a las personas en riesgo.
Actuar a ciegas basándose solo en la teoría del valor extremo sería sensato si viviéramos en los tiempos de la peste antonina o incluso en 1.890, sin ciencia para identificar el patógeno, dilucidar su verdadera prevalencia, estimar con precisión su letalidad y llevar a cabo una buena epidemiología para Identificar qué personas y entornos están en riesgo.
- Hasta que acumulemos esta información,
las respuestas inmediatas, más seguras que lamentables, son legítimas, confiando en pronósticos extremos como posibles escenarios (no necesariamente probables).
- Sin embargo,
las advertencias de estos pronósticos no deben ignorarse [1,18] y la nueva evidencia sobre el terreno necesita una reevaluación continua.
- Al adquirir evidencia sólida sobre las características epidemiológicas de los nuevos brotes,
se deben abandonar los pronósticos inverosímiles y exagerados [19].
- De lo contrario,
pueden causar más daño que el virus en sí.
Reconocimiento: Los autores agradecen a Vincent Chin por sus útiles discusiones y por proporcionar la Figura 1.
Conflictos de intereses: ninguno.
AUTOR: John PA Ioannidis, Sally Cripps, Martin A. Tanner. Ioannidis: Centro de Investigación de Prevención de Stanford, Departamento de Medicina, y Departamentos de Epidemiología y Salud de la Población, de Ciencias de Datos Biomédicos, y de Estadística, Universidad de Stanford, y Centro de Innovación de Meta-Investigación en Stanford (METRICS), Stanford, California, EE. UU. Cripps: Escuela de Matemáticas y estadísticas, Universidad de Sydney y Data Analytics for Resources and Environments (DARE) Australian Research Council, Sydney, Australia. Tanner: Departamento de Estadística, Northwestern University, Evanston, Illinois, EE. UU. FUENTE Y REFERENCIAS: International Institute of Forecasters. 11 de junio de 2020. CA, 05/07/2020.
