Reflexiones sobre la publicación de un estudio negativo

Aunque se supone que los científicos son observadores desinteresados ​​de los resultados de su trabajo, la realidad es que ninguno de nosotros quiere ver un resultado negativo de nuestra investigación. Este es especialmente el caso en campos como la informática biomédica y de la salud, donde nuestro objetivo es desarrollar herramientas que puedan usarse para ayudar a los pacientes y/o médicos con su salud o para brindar atención. No obstante, es de vital importancia publicar tales resultados, especialmente si la investigación fue metodológicamente sólida. Este es especialmente el caso de las tecnologías actualmente promocionadas, como el aprendizaje automático.

Uno de los desafíos para los estudios negativos es la gran cantidad de posibles razones por las que fallaron, lo que a veces hace que la verdadera razón sea difícil de identificar. ¿Fueron métodos deficientes, datos inadecuados o mala aplicación de la tecnología? ¿O más de uno de esos? Pero especialmente en el caso de estudios que involucran sujetos humanos que pueden estar exponiéndose a riesgos, siempre debemos recordar las palabras del destacado médico científico Iain Chalmers, quien afirmó que no publicar estudios con pacientes es una forma de mala conducta científica.( 1)

Hace un par de años, mi colega Aaron Cohen y yo recibimos algunos fondos de una compañía farmacéutica que había desarrollado un nuevo tratamiento altamente efectivo para una enfermedad rara, la porfiria aguda intermitente (AIP).(2) El nuevo tratamiento, aunque costoso, reduce significativamente las manifestaciones severas ya veces incapacitantes de AIP. Como tal, las herramientas para identificar a los pacientes que podrían tener la enfermedad podrían mejorar significativamente sus vidas. Nuestro enfoque utilizó datos de su historia clínica electrónica (EHR).

Estábamos encantados cuando se descubrió que nuestro modelo de aprendizaje automático identificaba a un grupo de pacientes con la presentación clásica de PAI, pero nunca se había considerado el diagnóstico.(3) Se sabe que la PAI es una de esas enfermedades raras que a menudo no se diagnostica durante mucho tiempo. períodos de tiempo. El diagnóstico de este tipo de enfermedades raras se considera un caso de uso importante para el aprendizaje automático en el cuidado de la salud. A partir de una colección de más de 200 000 registros de pacientes en el almacén de datos de investigación de nuestra institución, revisamos manualmente los 100 mejores pacientes identificados por el modelo. Se determinó que veintidós de estos pacientes tenían las manifestaciones de AIP pero sin aparición de la cadena «porph» en ninguna parte de su registro, es decir, no en pruebas de laboratorio, notas o diagnósticos. Como la prueba para diagnosticar AHP es una prueba de porfobilinógeno en orina relativamente simple y económica, desarrollamos un protocolo clínico para invitar a estos pacientes a hacerse la prueba.

Encontramos una serie de desafíos en el desarrollo e implementación del protocolo clínico. Por ejemplo, ¿cuál es el papel de la atención primaria del paciente u otro proveedor en la decisión de ofrecer pruebas? Nuestra junta de revisión institucional (IRB, por sus siglas en inglés) determinó que el proceso debe ser una decisión del proveedor, quien luego nos permitiría contactar al paciente para ofrecerle la prueba. Una vez que el proveedor dio la aprobación, tuvimos que convencer a los pacientes, muchos de ellos escépticos sobre el sistema de atención médica que durante mucho tiempo no pudieron diagnosticar sus síntomas, para que se hicieran la prueba. Otro desafío en la implementación del protocolo fue que tuvo lugar durante la pandemia de COVID-19, cuando muchas personas querían evitar los entornos de atención médica, aunque cuando estábamos reclutando pacientes, las vacunas contra el COVID-19 habían comenzado a estar disponibles.

Como resultado, solo pudimos convencer a 7 de los 22 pacientes para que se sometieran a la prueba sencilla y gratuita que les estábamos ofreciendo. Y como se señala en el artículo, ninguno de ellos fue positivo.(4) Debido a que estos pacientes se sometieron a un protocolo clínico y porque creemos que cualquier intento de validar clínicamente el aprendizaje automático es importante, decidimos enviar nuestros resultados a una revista. como una Comunicación Breve, es decir, no es el estudio definitivo pero claramente vale la pena informar. El informe ya ha sido publicado.

Claramente, hay muchas razones posibles por las que no logramos diagnosticar ningún caso nuevo de AIP. No menos importante es el hecho de que la AIP es una enfermedad rara, y es posible que se hayan encontrado pocos o ningún caso nuevo. Ciertamente, si tuviéramos más recursos o tiempo, podríamos haber invitado a realizar pruebas a más personas más allá de los primeros 100 casos que evaluamos, a quienes también se les pudo haber encontrado que tenían la presentación clásica pero para quienes nunca se consideró el diagnóstico. También es posible que nuestro modelo de aprendizaje automático haya sido mejor para identificar casos reales de la enfermedad. Es posible que haya factores de confusión en el sentido de que los que realmente acudieron para hacerse la prueba no eran los más propensos a tener el diagnóstico.

¿Podría este estudio haberse beneficiado del genotipado proactivo? Puede haber un papel para la secuenciación de genes en esta situación, pero AIP es una condición de penetrancia incompleta, es decir, solo porque uno tiene el genotipo no significa que desarrollará las manifestaciones de la enfermedad. En otras palabras, el genotipado no sería suficiente.

Mi principal esperanza es que esta contribución muestre que deberíamos realizar tales estudios con el objetivo de aplicar el aprendizaje automático en entornos clínicos del mundo real. Como alguien que ha criticado que el aprendizaje automático no ha sido lo suficientemente «traduccional», espero que haya un papel para estudios más amplios y completos de muchos usos diferentes que han resultado beneficiosos en los estudios de construcción de modelos.

Referencias

1. Chalmers, I., 1990. El subregistro de investigaciones es mala conducta científica. JAMA 263, 1405-1408.

2. Balwani, M., Sardh, E., Ventura, P., Peiró, PA, Rees, DC, Stölzel, U., Bissell, DM, Bonkovsky, HL, Windyga, J., Anderson, KE, Parker, C ., Plata, SM, Quilla, SB, Wang, J.-D., Stein, PE, Harper, P., Vassiliou, D., Wang, B., Phillips, J., Ivanova, A., Langendonk, JG , Kauppinen, R., Minder, E., Horie, Y., Penz, C., Chen, J., Liu, S., Ko, JJ, Sweetser, MT, Garg, P., Vaishnaw, A., Kim , JB, Simon, AR, Gouya, L., investigadores de ENVISION, 2020. Ensayo de fase 3 de givosirán terapéutico con ARNi para la porfiria intermitente aguda. N Inglés J Med 382, 2289–2301.
3. Cohen, AM, Chamberlin, S., Deloughery, T., Nguyen, M., Bedrick, S., Meninger, S., Ko, JJ, Amin, JJ, Wei, AJ, Hersh, W., 2020. Detección de enfermedades raras en registros de salud electrónicos utilizando aprendizaje automático e ingeniería del conocimiento: estudio de caso de porfiria hepática aguda. Más uno 15, e0235574.
4. Hersh, WR, Cohen, AM, Nguyen, MM, Bensching, KL, Deloughery, TG, 2022. Estudio clínico aplicando aprendizaje automático para detectar una enfermedad rara: resultados y lecciones aprendidas. Abierto JAMIA 5, ooac053.

Fuente del artículo

Deja un comentario