Análisis matemático del “análisis matemático” de un ensayo de vitamina D COVID-19

Lior Pachter
División de Biología e Ingeniería Biológica &
Departamento de Computación y Ciencias Matemáticas Instituto de Tecnología de California

Resumen

A publicado recientemente estudio piloto sobre la eficacia de la 25-hidroxivitamina D3 (calcifediol) para reducir el ingreso en la UCI de pacientes hospitalizados con COVID-19, concluyó que el tratamiento “parece capaz de reducir la gravedad de la enfermedad, pero se requerirán ensayos más grandes con grupos adecuadamente emparejados. una respuesta definitiva”. en un hacer un seguimiento En el artículo, Jungreis y Kellis reexaminan este llamado “estudio de Córdoba” y argumentan que los autores del estudio han subestimado sus resultados. Con base en un nuevo análisis de los datos de una manera que describen como «rigurosa» y utilizando «técnicas estadísticas bien establecidas», instan a la comunidad médica a «considerar evaluar los niveles de vitamina D de todos los pacientes hospitalizados con COVID-19 y tomar medidas correctivas». para aquellos que son deficientes.” Su recomendación se basa en dos afirmaciones: en un examen de la desigualdad en la distribución de una de las comorbilidades entre casos y controles, concluyen que “no hay evidencia de aleatorización incorrecta”, y presentan un “teorema matemático” para hacer la caso que el tamaño del efecto en el estudio de Córdoba es significativo en la medida en que “pueden estar seguros de que si la asignación al grupo de tratamiento no tuviera efecto, no habríamos observado estos resultados simplemente por casualidad”.

Desafortunadamente, el «análisis matemático» de Jungreis y Kellis es profundamente defectuoso y su «teorema» es vacío. Su análisis no puede usarse para concluir que el estudio de Córdoba muestra que el calcifediol reduce significativamente la admisión en la UCI de pacientes hospitalizados con COVID-19. Además, el estudio de Córdoba tiene fallas fundamentales y, por lo tanto, no hay nada que aprender de él.

El estudio cordobés

El estudio de Córdoba, descrito por los autores como piloto, fue aparentemente un ensayo controlado aleatorizado, diseñado para determinar la eficacia de la 25-hidroxivitamina D3 para reducir la admisión en la UCI de pacientes hospitalizados con COVID-19. El estudio consistió en 76 pacientes hospitalizados por síntomas de COVID-19, de los cuales 50 recibieron tratamiento con calcifediol y 26 no recibieron tratamiento. A los pacientes se les administró “atención estándar”, que según los autores consistió en “una combinación de hidroxicloroquina, azitromicina y, para pacientes con neumonía y puntuación NEWS 5, un antibiótico de amplio espectro”. De manera crucial, la admisión a la UCI fue determinada por un «Comité de Selección» compuesto por intensivistas, neumólogos, internistas y miembros de un comité de ética. El Comité de Selección basó las decisiones de ingreso en la UCI en la evaluación de varios criterios, incluida la presencia de comorbilidades y el nivel de dependencia de los pacientes según sus necesidades y criterios clínicos.

El resultado del ensayo de Córdoba fue que solo 1/50 de los pacientes tratados ingresaron en la UCI, mientras que 13/26 de los pacientes no tratados ingresaron (valor p = 7,7 ∗ 10−7 por la prueba exacta de Fisher). Este es un valor p minúsculo pero no tiene sentido. Al no existir constancia de las deliberaciones del Comité de Selección, no es posible saber si el ingreso en UCI de los 13 pacientes no tratados se debió a su comorbilidad hipertensiva previa. Quizás los 11 pacientes tratados con la comorbilidad no ingresaron en la UCI porque eran mayores, y el Comité de Selección consideró que su presión arterial más alta anterior era más «normal» (14/50 pacientes en tratamiento tenían más de 60 años, versus solo 5/26 de los pacientes no tratados).

Figura 1: Tabla 2 de [1] mostrando las comorbilidades de los pacientes. Se reproduce en virtud de [1] siendo publicado en acceso abierto bajo la licencia CC-BY.

El hecho de que el ingreso en la UCI pudiera decidirse en parte por la presencia de comorbilidades, y que existiera un desequilibrio importante en una de las comorbilidades, hace que los resultados del estudio carezcan inmediatamente de sentido. Hay varios otros problemas que potencialmente confunden los resultados: el estudio no examinó los niveles de vitamina D de los pacientes tratados, ni se administró un placebo al grupo no tratado. Lo que es más importante, los números del estudio fueron pequeños, con solo 76 pacientes examinados. Los estudios pequeños son notoriamente problemáticos y se sabe que producen efectos de gran tamaño [9]. Además, el descuido en el estudio no genera confianza en los resultados. Los autores afirman que el “protocolo riguroso” para determinar el ingreso de pacientes a la UCI está disponible como Material Suplementario, pero no hay Material Suplementario distribuido con el artículo. También hay un error tipográfico vergonzoso: la prueba exacta de Fisher se denomina dos veces «prueba de Fischer». Errar una vez al describir esta prueba estadística clásica puede considerarse una desgracia; hacerlo dos veces parece un descuido.

Un ejercicio de estadística sin sentido

El estudio de Córdoba no ha recibido mucha atención, lo que no sorprende si se tiene en cuenta que, según la propia admisión de los autores, se trataba de un piloto que, en el mejor de los casos, solo motiva un ensayo controlado aleatorizado adecuadamente emparejado y potenciado. De hecho, los autores mencionan que se está llevando a cabo un ensayo de este tipo (el ensayo COVIDIOL), con datos recopilados de 15 hospitales en España. Sin embargo, Jungreis y Kellis [3]aparentemente hipnotizado por el 7.7 ∗ 10−7 valor p para la admisión en la UCI después del tratamiento, sintió la necesidad de «rescatar» el estudio con lo que equivale a una seriedad estadística falsa. Abogan por la consideración inmediata de evaluar los niveles de vitamina D de los pacientes hospitalizados, de modo que a los pacientes «deficientes» se les pueda administrar alguna forma de vitamina D «en la medida en que se pueda hacer de manera segura». Su mensaje ha sido notado; solo unos dias despues [3] apareció el tuit de los autores para promocionarlo ha sido retuiteado más de 50 veces [8].

Jungreis y Kellis afirman que el valor de p para el efecto del calcifediol en los pacientes es tan significativo que en sí mismo merece la creencia de que la administración de calcifediol, de hecho, previene la admisión de pacientes en las UCI. Para presentar su caso, Jungreis y Kellis comienzan reconociendo que el desequilibrio entre los grupos tratados y no tratados en la comorbilidad previa de hipertensión arterial puede ser un problema, pero afirman que «no hay evidencia de aleatorización incorrecta». Su argumento es el siguiente: señalan que si bien el valor p para el desequilibrio en la comorbilidad previa de la hipertensión arterial es 0,0023, debe ajustarse por el hecho de que hay 15 comorbilidades distintas, y que solo por casualidad, al calcular muchos valores p, uno podría ser pequeño. Primero, un examen de la Tabla 2 en [1] (Figura 1) muestra que solo se evaluaron 14 comorbilidades, ya que ninguno de los pacientes tenía enfermedad renal crónica previa. Por lo tanto, el número 15 es incorrecto. En segundo lugar, Jungreis y Kellis argumentan que se debe aplicar una corrección de Bonferroni y que esta corrección debe basarse en 30 pruebas (= 15 × 2). La razón del factor de 2 es que afirman que al probar el desequilibrio, uno debe probar el desequilibrio en ambas direcciones. Al aplicar la corrección de Bonferroni a los valores de p, obtienen un valor de p «corregido» para la presión arterial alta anterior que está desequilibrada entre grupos de 0,069. Están equivocados en varios aspectos al derivar este número. Para ilustrar los problemas, trabajamos el cálculo paso a paso:

La pregunta que queremos responder es la siguiente: dado que hay múltiples comorbilidades, ¿hay un desequilibrio importante en al menos una comorbilidad. Hay varias formas de probar esto, siendo la más simple la corrección de Šidák. [10] dada por

q quad = quad 1-(1-m)^n,

dónde metro es el valor p mínimo entre las comorbilidades, y norte es el número de pruebas. enchufando m = 0,0023 (el valor p más pequeño en la Tabla 2 de [1]) y norte = 14 (el número de comorbilidades) se obtiene 0,032 (nótese que la corrección de Bonferroni utilizada por Jungreis y Kellis es la aproximación de Taylor a la corrección de Šidák cuando metro es pequeño). La corrección de Šidák se basa en la suposición de que las pruebas son independientes. Sin embargo, ese ciertamente no es el caso en el estudio de Córdoba. Por ejemplo, tener al menos un factor pronóstico es una de las comorbilidades tabuladas. En otras palabras, el valor de p obtenido es conservativo. El cálculo anterior usa n = 14, pero Jungreis y Kellis razonan que el número de pruebas es 30 = 15 × 2, para tener en cuenta un desequilibrio en la dirección tratada o no tratada. Aquí están asumiendo dos cosas: que las pruebas bilaterales para cada comorbilidad producirán el doble del valor p de una prueba unilateral, y que las pruebas bilaterales son las pruebas «correctas» para realizar. Están equivocados en ambos aspectos. Primero, la prueba exacta de Fisher de dos colas no lo hace, en general, produce un valor p que es el doble de la prueba unilateral. El resultado del estudio es un buen ejemplo: 1/49 pacientes tratados ingresados ​​en la UCI frente a 13/26 pacientes no tratados produce un valor p de 7,7 ∗ 10−7 tanto para las pruebas de 1 cara como para las de 2 caras. Jungreis y Kellis no parecen saber que esto puede suceder, ni entender por qué; hacen todo lo posible para explicar la importancia de realizar una prueba unilateral para el resultado del estudio. En segundo lugar, hay un caso sólido de que una prueba unilateral es la prueba correcta para realizar para las comorbilidades. La preocupación no es si hubo un desequilibrio de algún tipo, sino si el desequilibrio sesgaría los resultados en virtud de que el estudio incluyó a demasiados individuos no tratados con comorbilidades. En cualquier caso, si se le diera a Jungreis y Kellis el beneficio de la duda y se realizara una prueba bilateral, el valor de p corregido para la comorbilidad previa de hipertensión arterial es 0,06 y no 0,069.

Sin embargo, el error más grave que cometen Jungreis y Kellis es afirmar que se puede aceptar la hipótesis nula de una prueba de hipótesis cuando el valor p es mayor que 0,05. El valor p que obtienen es 0,069 que, incluso si se toma al pie de la letra, no es motivo para afirmar, como lo hacen Jungreis y Kellis, que «esto no es una prueba significativa de que la asignación no fue aleatoria» y razón para concluir que no hay “evidencia de aleatorización incorrecta”. Así no es como funcionan los valores de p. Un valor de p inferior a 0,05 permite rechazar la hipótesis nula (suponiendo que 0,05 sea el umbral elegido), pero un valor de p superior al umbral elegido no es motivo para aceptar la hipótesis nula. Además, el valor p corregido es 0,032, lo que sin duda es motivo para rechazar la hipótesis nula de que la aleatorización fue aleatoria.

La corrección de las estadísticas incorrectas de Jungreis y Kellis puede ser un ejercicio productivo en la introducción a la estadística de pregrado para algunos, pero no tiene sentido en la medida en que se evalúa el estudio de Córdoba. Si bien el desequilibrio extremo en la comorbilidad previa de la presión arterial alta es problemático porque los pacientes con la comorbilidad pueden tener más probabilidades de enfermarse y requerir ingreso en la UCI, el estudio fue tan defectuoso que el valor p exacto para el desequilibrio es un punto discutible. Dado que la presencia de comorbilidades, y no solo su efecto sobre los pacientes, fue un factor para determinar qué pacientes ingresaron en la UCI, el desequilibrio extremo en la comorbilidad previa de hipertensión arterial hace que el resultado del estudio carezca de sentido. ex facie.

Una definición no es un teorema no es prueba de eficacia

En un esfuerzo por evitar las críticas de que las comorbilidades de los pacientes no se equilibraron correctamente en el estudio, Jungreis y Kellis van más allá y presentan un «teorema» que, según afirman, muestra que había una posibilidad minúscula de que una distribución desigual de las comorbilidades pudiera hacer que los resultados del estudio insignificante. El «teorema» se establece dos veces en su artículo, y he copiado las declaraciones de ambos teoremas palabra por palabra de su artículo:

Teorema 1 En un estudio aleatorizado, sea p el valor p de los resultados del estudio, y sea q la probabilidad de que la aleatorización asigne pacientes al grupo control de tal manera que los valores de Ppronóstico(Paciente) están distribuidos de manera tan desigual entre los grupos de tratamiento y control que el resultado del estudio ya no sería estadísticamente significativo al nivel del 95 % después de controlar p los factores de riesgo pronósticos. Después q < frac.

Según Jungreis y Kellis, PAGSpronóstico(Paciente) es el siguiente: “Puede haber cualquier número de factores de riesgo pronósticos, pero si supiéramos cuáles son todos ellos, y el tamaño de sus efectos, y las interacciones entre ellos, podríamos combinar sus efectos en un solo número para cada paciente, que es la probabilidad, basada en todos los factores de riesgo conocidos y por descubrir en el momento del ingreso hospitalario, de que el paciente requiera atención en la UCI si no recibe el tratamiento con calcifediol. Llame a esta probabilidad (desconocida) PAGSpronóstico(Paciente).”

El teorema se reafirma en la sección Métodos del artículo de Jungreis y Kellis de la siguiente manera:

Teorema 2 En un estudio controlado aleatorizado, sea p el valor p del resultado del estudio, y sea q la probabilidad de que la aleatorización distribuya todos los factores de riesgo pronóstico combinados de manera suficientemente desigual entre los grupos de tratamiento y control que al controlar estos factores p de riesgo pronóstico el resultado ya no sería estadísticamente significativo al nivel del 95%. Después q < frac.

Si bien es difícil descifrar el idioma en el que está escrito el «teorema», y mucho menos su significado (tenga en cuenta que el Teorema 1 y el Teorema 2 son supuestamente el mismo teorema), pude deducir algo sobre su contenido al leer la «prueba». El contenido matemático de lo que se supone que significa el teorema es la definición de probabilidad condicional, a saber, que si A y B son eventos con P(B) > 0″ class=»latex» />después</p>
<p class=P(A|B) quad := quad frac.

Para ser justos con Jungreis y Kellis, el «teorema» incluye la observación de que

P(A cap B) leq P(A) quad Rightarrow quad P(A|B) leq frac.

Esto no es, por ningún tramo de la imaginación, un «teorema»; es literalmente la definición de probabilidad condicional seguida de una desigualdad elemental. La interpretación más generosa de lo que Jungreis y Kellis estaban tratando de hacer con este «teorema», es que estaban mostrando que el valor p para el estudio es tan pequeño que es pequeño incluso después de multiplicarlo por 20. Hay menos generosas interpretaciones.

¿La ingesta de vitamina D reduce el ingreso en la UCI?

Ha habido mucho interés en la vitamina D y sus efectos en la salud humana durante la última década. [2], y mucha especulación sobre su relevancia para la susceptibilidad al COVID-19 y la gravedad de la enfermedad. Recientemente se publicó un resultado interesante sobre la susceptibilidad a la enfermedad: en un estudio de 489 pacientes, se encontró que el riesgo relativo de dar positivo en la prueba de COVID-19 era 1,77 veces mayor para los pacientes con un estado probable deficiente de vitamina D en comparación con los pacientes con un nivel probable de vitamina D suficiente. estado D [7]. Sin embargo, los resultados definitivos sobre la vitamina D y su relación con la COVID-19 tendrán que esperar a ensayos más amplios. Uno de estos ensayos, un gran ensayo clínico aleatorizado con 2700 personas patrocinado por Brigham and Women’s Hospital, está actualmente en marcha [4]. Si bien este estudio podría arrojar algo de luz sobre la vitamina D y el COVID-19, es prudente tener en cuenta que el resultado no es seguro. Los niveles de vitamina D se confunden con muchos factores socioeconómicos, lo que dificulta la identificación de vínculos causales. Mientras tanto, se ha sugerido que tiene sentido que las personas mantengan la ingesta de nutrientes de referencia de vitamina D [6]. Tal recomendación de salud pública no es controvertida.

En cuanto a la administración de vitamina D a pacientes hospitalizados con COVID-19 reduciendo el ingreso en la UCI, lo mejor que se puede decir sobre el estudio de Córdoba es que no se puede aprender nada de él. Desafortunadamente, el diseño deficiente del estudio, el tamaño pequeño de la muestra, la disponibilidad de solo estadísticas resumidas para las comorbilidades y las comorbilidades desequilibradas entre pacientes tratados y no tratados hacen que los datos sean inútiles. Si bien puede ser cierto que la administración de calcifediol a pacientes hospitalizados reduce el ingreso posterior en la UCI, también puede no serlo. Por lo tanto, el seguimiento de Jungreis y Kellis es, en el mejor de los casos, inútil. En el peor de los casos, es propaganda irresponsable, que aboga por un tratamiento potencialmente peligroso sobre la base de argumentos de mala calidad disfrazados de «técnicas estadísticas rigurosas y bien establecidas». Es sorprendente ver a Jungreis y Kellis argumentar que puede ser poco ético realizar un ensayo controlado aleatorio con placebo, que es una de las herramientas más poderosas en el desarrollo de tratamientos médicos seguros y efectivos. Escriben que «se necesitaría evaluar la ética de administrar un placebo en lugar de un tratamiento a un paciente con deficiencia de vitamina D con esta enfermedad potencialmente mortal». La evidencia de tal política es actualmente inexistente. Por otro lado, existen muchos riesgos conocidos asociados con el exceso de vitamina D [5].

Referencias

  1. Marta Entrenas Castillo, Luis Manuel Entrenas Costa, José Manuel Vaquero Barrios, Juan Francisco Alcalá Díaz, José López Miranda, Roger Bouillon y José Manuel Quesada Gómez. Efecto del tratamiento con calcifediol y la mejor terapia disponible versus la mejor terapia disponible en la admisión a la unidad de cuidados intensivos y la mortalidad entre pacientes hospitalizados por COVID-19: un estudio clínico piloto aleatorizado. El diario de bioquímica de esteroides y biología molecular, 203:105751, 2020.
  2. Michael F. Holick. Deficiencia de vitamina D. Revista de medicina de Nueva Inglaterra357(3):266–281, 2007.
  3. Irwin Jungreis y Manolis Kellis. El análisis matemático del ensayo de calcifediol de Córdoba sugiere un papel importante para La vitamina D en la reducción de las admisiones en la UCI de pacientes hospitalizados con COVID-19. medRxiv2020.
  4. JoAnn E Manson. https://clinicaltrials.gov/ct2/show/nct04536298.
  5. Ewa Marcinowska-Suchowierska, Małgorzata Kupisz-Urbańska, Jacek Łukaszkiewicz, Paweł Płudowski y Glenville Jones. Toxicidad de la vitamina D: una perspectiva clínica. Fronteras en endocrinología9:550, 2018
  6. Adrian R Martineau y Nita G Forouhi. Vitamina D para COVID-19: ¿un caso para responder? The Lancet Diabetes y Endocrinología8(9):735–736, 2020.
  7. David O Meltzer, Thomas J Best, Hui Zhang, Tamara Vokes, Vineet Arora y Julian Solway. Asociación del estado de vitamina D y otras características clínicas con los resultados de la prueba COVID-19. Red JAMA abierta3(9):e2019722–e2019722, 2020.
  8. Vivien Shotwell. https://tweetstamp.org/1327281999137091586.
  9. Robert Slavin y Dewi Smith. La relación entre los tamaños de las muestras y los tamaños del efecto en las revisiones sistemáticas en educación. Evaluación educativa y análisis de políticas31(4):500–506, 2009.
  10. Lynn Yi, Harold Pimentel, Nicolas L. Bray y Lior Pachter. Análisis diferencial a nivel de genes con resolución a nivel de transcripción. biología del genoma19(1):53, 2018.

Fuente del artículo

Deja un comentario