ResMiCo: aumento de la calidad de los genomas ensamblados en metagenoma con aprendizaje profundo

Datos simulados

Utilizamos conjuntos de datos sintéticos para el entrenamiento y las pruebas iniciales del modelo. La metodología de simulación de datos, representada en La figura 1 se basa y amplía significativamente nuestro trabajo anterior [18]. Los genomas de bacterias y arqueas de referencia se seleccionaron de la versión 202 de la base de datos de taxonomía del genoma (GTDB) [22]. Los metagenomas se simularon a partir de genomas de referencia disponibles públicamente a través de MGSIM (https://github.com/nick-youngblut/MGSIM). Los parámetros de simulación variaron en todas las combinaciones de i) riqueza de la comunidad, ii) distribución de la abundancia de la comunidad, iii) genomas de referencia seleccionados del grupo total, iv) longitud de lectura, v) distribución del tamaño de inserción (es decir, la distancia entre la lectura directa e inversa). par), vi) perfil de error del secuenciador, vii) profundidad de secuenciación y viii) ensamblador de metagenoma (Tabla 1). La distribución de abundancia de cada comunidad se modeló como una distribución logarítmica normal. Variamos parámetro σ para producir diferentes niveles de uniformidad de abundancias relativas. La riqueza de la comunidad se alteró mediante submuestreos aleatorios del grupo de genomas de referencia disponibles en la división de entrenamiento o prueba. El arte [23] El simulador de lectura se utilizó para generar lecturas de Illumina emparejadas de longitud 100 o 150 utilizando el perfil de error predeterminado “Illumina HiSeq 2500” o el perfil de error “HiSeq2500L150R1/2” utilizado en CAMISIM [24]. Se simularon cuatro distribuciones de tamaño de inserto de lectura de extremo emparejado a través de la configuración de parámetros ART (consulte “Tamaño de inserto” en la Tabla 1). Incluimos múltiples réplicas de simulación, en las que la comunidad y los parámetros de simulación de lectura se mantuvieron constantes, pero cada réplica difería a través de la aleatorización del submuestreo del genoma dentro de cada simulación. Las lecturas de cada comunidad se ensamblaron de forma independiente con metaSPAdes [3] y megahit [4].

Figura 1. La tubería de capacitación y simulación de ResMiCo.

(A) Seleccionar genomas de referencia de la base de datos de taxonomía del genoma (GTDB) en varias abundancias; (B) Simular lecturas para los genomas seleccionados usando ART-Illumina; (C) ensamblar lecturas en contigs utilizando MEGAHIT y metaSPAdes; (D) Alinee las lecturas con los contigs ensamblados usando Bowtie2, luego extraiga características tales como cobertura, número de variantes de un solo nucleótido (SNV), puntaje de alineación medio, etc., para cada contig usando las alineaciones dadas; (E) Calcule las etiquetas para cada contig al alinearlas con los genomas de referencia usando MetaQUAST; (F) Para cada contig, seleccione una sección aleatoria (que contenga un punto de interrupción si el contig está mal ensamblado), rellene hasta la longitud de entrada de la red si es necesario e ingrese los datos en el modelo ResMiCo. Los pasos (D) y (E) son independientes y se pueden paralelizar.

https://doi.org/10.1371/journal.pcbi.1011001.g001

MetaQUAST [15] se utilizó para identificar contigs realmente mal ensamblados en función del mapeo de todos los contigs a los genomas de referencia utilizados para las simulaciones. Las etiquetas de desensamblaje de contig identificadas por MetaQUAST (“desensamblaje extenso”) se usaron como datos básicos. La extensa etiqueta de desensamblaje incluye reubicaciones, inversiones, translocaciones y translocaciones entre especies. También extrajimos posiciones de puntos de ruptura identificadas por MetaQUAST en los contigs desensamblados.

Tabla 1. Valores de parámetros utilizados en la tubería de simulación.

El conjunto de datos de entrenamiento tren n9k se generó usando las 1440 combinaciones de parámetros para la distribución de tamaño de inserción con media = 270 y sd = 50 y media = 190 y sd = 75. Para la distribución de tamaño de inserción “media = 350 y sd = 75”, 3 réplicas para el “HiSeq Se generaron el perfil de error 2500 L150R1/2” y una réplica para el perfil de “error HiSeq 2500” (960 combinaciones de parámetros). Para la distribución de tamaño de inserción “media = 450 y sd = 120”, usamos todas las combinaciones de parámetros, pero solo con el perfil de error “HiSeq 2500 L150R1/2” (720 combinaciones de parámetros). En total, creamos 4560 muestras. La cuadrícula de parámetros no se muestreó de manera uniforme debido a las limitaciones de recursos. El conjunto de datos de prueba n9k-novela contiene una réplica de simulación con el perfil de error “HiSeq 2500” y con un tamaño de inserción (media = 270 y sd = 50), lo que resultó en 240 combinaciones de parámetros.

https://doi.org/10.1371/journal.pcbi.1011001.t001

Para el entrenamiento y las pruebas iniciales del modelo, utilizamos un conjunto de 18 000 genomas de referencia seleccionados de la versión 202 de la base de datos de taxonomía del genoma (GTDB). El grupo se dividió a nivel taxonómico familiar para que todos los genomas en el conjunto de datos de prueba pertenecieran a familias que no estaban presentes en el conjunto de datos de entrenamiento. La división resultante fue pareja, con 9000 genomas utilizados tanto para entrenamiento como para prueba. Para reducir el sesgo hacia especies particulares, se incluyeron como máximo 50 genomas por especie en el grupo de genomas de referencia, con genomas seleccionados al azar. La piscina también se filtró por completitud estimada por CheckM (≥ 90 %) y contaminación (≤ 5 %). Otros criterios de filtrado incluyeron: i) solo calidad MIMAG “alta”, ii) sin ensamblajes de genoma de una sola célula, iii) ≤ 500 contigs, iv) un tamaño de genoma de ≤ 15 mbp, y v) una longitud media de contig de ≥ 10 kbp . Realizamos submuestreos aleatorios de lecturas asignadas a cada contig hasta una cobertura media máxima de contig de 20. En este nivel de cobertura, se pueden producir ensamblajes de calidad razonable, y el submuestreo ayuda a evitar problemas de distribución cuando se aplica ResMiCo a conjuntos de datos con una profundidad de secuenciación sustancialmente mayor. que en nuestro conjunto de datos de entrenamiento.

Para crear funciones para el entrenamiento y las pruebas de modelos, asignamos lecturas a los contigs del metagenoma sintético correspondiente a través de Bowtie2 [25]y los datos de alineación resultantes se usaron para generar características de posición por contig, como se enumeran en la Tabla A en S1 Text.

Nos referimos al conjunto de datos de entrenamiento como tren n9k y al conjunto de datos de prueba, que consiste en genomas novedosos a nivel taxonómico familiar, como n9k-novela. Todas las combinaciones de los parámetros de simulación del metagenoma produjeron un conjunto de datos de entrenamiento de 4560 metagenomas y 80 millones de contigs (Tabla 1). Estábamos limitados a 1,3 T de espacio disponible en nuestro clúster de HPC, por lo que tuvimos que crear subconjuntos al azar tren n9k a 3000 metagenomas, que comprenden 52M contigs (Tabla 2). El conjunto de prueba (n9k-novela) se generó utilizando el subconjunto de parámetros y una réplica de simulación para ahorrar tiempo de cálculo (Tabla 1). También creamos un conjunto de datos de prueba con una mayor diversidad intraespecies (33.3 ± 115) versus n9k-novela (2.4 ± 13.7), que llamamos n2k-novela-intra-especies. Usamos solo 2000 genomas de referencia para incluir suficientes familias con una gran cantidad de diversidad genómica dentro de las especies, pero aún así incluir solo familias novedosas en relación con el conjunto de datos del tren (como con n9k-novela). Los parámetros de simulación para n2k-novela-intra-especies fueron consistentes con tren n9kexcepto i) solo 50 y 1000 genomas para la riqueza, ii) una réplica de simulación, iii) una distribución de tamaño de inserción (media = 270, sd = 50) y iv) profundidades de secuenciación de 2M, 8M y 12M pares de lectura.

Tabla 2. Un resumen de los cinco conjuntos de datos sintéticos utilizados para entrenar y evaluar ResMiCo.

El tren n9k y n9k-novela Los conjuntos de datos se generaron utilizando nuestra canalización, todos los demás conjuntos de datos se crearon a partir de lecturas de CAMI. El tren n9k El conjunto de datos se usó para el entrenamiento y la validación, mientras que todos los demás conjuntos de datos se usaron para las pruebas. Los errores de ensamblaje se informan como un porcentaje del número total de contigs en el conjunto de datos. La longitud de los desensamblajes es la suma de las longitudes de contig desensamblados dividida por el número total de bases.

https://doi.org/10.1371/journal.pcbi.1011001.t002

Metagenomas simulados por CAMI

Para comparar el rendimiento de ResMiCo en un nuevo entorno, descargamos las lecturas emparejadas de los desafíos de la evaluación crítica de la interpretación del metagenoma (CAMI) de piel humana, oral humana, intestino humano, asociado a plantas y ensamblaje marino. [26]. Al igual que con el tren n9k conjunto de datos, ensamblamos las lecturas a través de metaSPAdes y MEGAHIT, e identificamos verdaderos desensamblajes a través de MetaQUAST basado en los genomas de referencia en cada uno de los 5 conjuntos de datos. Como se muestra en la Tabla 2, la cantidad de contigs mal ensamblados en los conjuntos de datos de CAMI es aproximadamente un 50 % menor, mientras que la cobertura es aproximadamente un 50 % mayor en relación con la tren n9k conjunto de datos Las ubicaciones de los puntos de interrupción para contigs mal ensamblados siguen una distribución casi idéntica para todos los conjuntos de datos, con más puntos de interrupción agrupados hacia los extremos (Fig. A en S1 Text).

Metagenomas publicados del mundo real

Evaluamos ResMiCo en 7 conjuntos de datos de metagenomas publicados: UHGG [11], GemelosReino Unido [27], Tripa animal [28], pinnell2019 [29], mantri2021 [30], MarineMetagenomeDB [31]y TerrestrialMetagenomeDB [32] (Tabla S1). El UHGG consistió en metagenomas seleccionados al azar asociados con la colección UHGG MAG. GemelosReino Unido consistía en metagenomas intestinales humanos de adultos en la cohorte TwinsUK [27]mientras que la Tripa animal compuesto por metagenomas intestinales de una amplia diversidad taxonómica de vertebrados [28].pinnell2019 y mantri2021 consistía en metagenomas de la comunidad microbiana bentónica y del suelo, respectivamente. MarineMetagenomeDB y TerrestrialMetagenomeDB consistió en una selección de metagenomas de cada base de datos respectiva. Se aplicaron los siguientes criterios de filtrado antes de la selección del metagenoma: i) ≥ 1e6 y ≤ 80e6 lecturas, ii) longitudes máximas de lectura de ≤ 150 pb y iii) ≥ 10 muestras en el estudio, y para el UHGG: iv) ≥ 10 y ≤ 300 MAG asociados al metagenoma.

También evaluamos ResMiCo en 2 conjuntos de datos comunitarios simulados: BMock12 [33] y MBARC-26 [34]. Submuestreamos cada metagenoma en 2 millones de pares de lectura para evaluar una profundidad de secuenciación a la par con los metagenomas existentes en el mundo real. [35, 36]. Se descargaron genomas representativos de JGI IMG y Genbank para BMock12 y MBARC-26, respectivamente. Estos representantes se usaron junto con MetaQUAST para identificar verdaderos desensamblajes.

El procesamiento de datos de lectura de Metagenome se realizó como se describe en Youngblut y colegas [28]. Brevemente, las lecturas se validaron con fqtools [37]. Los adaptadores fueron recortados con Skewer [38]. El comando “bbduk” de bbtools (https://sourceforge.net/proyectos/bbmap/) se utilizó para recortar y filtrar lecturas en función de las puntuaciones de Phred. El comando “bbmap” de bbtools se usó para filtrar las lecturas asignadas al ensamblaje del genoma humano hg19. Se generaron y visualizaron informes de calidad de lectura para cada paso de la canalización con FastQC y MultiQC, respectivamente (https://www.bioinformatics.babraham.ac.uk/, [39]). Los metagenomas se ensamblaron a través de metaSPAdes con parámetros predeterminados y se eliminaron los contigs <1000 pb. Tampoco ensamblamos los metagenomas con MEGAHIT, dado el gasto computacional adicional y la complejidad de los métodos de evaluar ambos ensambladores para cada conjunto de datos, junto con la precisión mejorada de metaSPAdes versus MEGAHIT. [3]. El mapeo de lectura y la generación de funciones de ResMiCo se realizaron como se hizo para los conjuntos de datos de simulación.

Preprocesamiento de datos

Las funciones de conteo se normalizaron por cobertura (la cantidad de lecturas asignadas a la posición) de modo que estén en el rango de 0 a 1. Para las características numéricas, calculamos previamente la media y las desviaciones estándar usando todos los contigs en el tren n9k dataset y guardó estos valores. Para todos los conjuntos de datos, estandarizamos las características numéricas para establecer la media en cero y la varianza en uno utilizando los valores calculados en el conjunto de entrenamiento. Los valores faltantes fueron reemplazados por cero (la nueva media). Resumimos el preprocesamiento aplicado a cada función en la Tabla A en Texto S1.

Dado que observamos que ResMiCo no generalizó bien para insertar distribuciones de tamaño que se desvían sustancialmente del conjunto de datos de entrenamiento (Tabla E en S1 Text), excluimos los metagenomas para los cuales los cuantiles 0,05 y 0,95 de la distribución del tamaño medio del inserto se encontraban fuera de los cuantiles 0,02 y 0,98 de la distribución del tamaño medio del inserto del tren n9k conjunto de datos, que son iguales a 117 y 493, respectivamente.

modelo y entrenamiento

Arquitectura.

La arquitectura de la red neuronal (NN) de ResMiCo se muestra en Fig. 2. Pertenece a una clase de redes neuronales residuales convolucionales profundas. Las conexiones residuales permiten redes neuronales más profundas (más capas) y un entrenamiento más eficiente en comparación con las NN convolucionales [20]. Los modelos más profundos pueden capturar patrones más complejos distribuidos en entradas más grandes. La unidad de construcción principal, representada en la parte inferior de la figura, es el bloque residual, que consta de dos circunvoluciones normalizadas por lotes. [40] con una activación ReLu. La entrada del bloque residual está conectada con la salida mediante una simple suma de elementos. Dado que las circunvoluciones no se rellenan, los últimos 2*(k − 1) posiciones en la entrada residual, donde k es el tamaño del kernel de convolución, se cortan para que coincidan con el tamaño de salida. Cuando el bloque residual reduce la resolución de los datos (usando una zancada de S = 2 en la primera convolución), la entrada residual se reduce con una k = 1 convolución de un paso idéntico.

Figura 2. Arquitectura ResMiCo.

La entrada se pasa primero a través de múltiples capas convolucionales; luego, el resultado convolucionado se enmascara para eliminar el efecto de relleno y se pasa a través de una capa de agrupación promedio, seguida de dos capas completamente conectadas de tamaños 128 × 50 y 50 × 1. La parte convolucional consta de una convolución simple, seguida de cuatro grupos residuales (RG) con 2, 5, 5 y 2 bloques residuales, respectivamente. La parte inferior de la figura muestra la estructura de un bloque residual con un número determinado de características (F), tamaño de núcleo (K) y zancada (S). La primera convolución en RG2, RG3 y RG4 reduce a la mitad el tamaño de entrada (usando un paso de S = 2) y duplica la cantidad de filtros, gradualmente de 16 a 128. B indica el tamaño del lote y M representa la longitud máxima de contig. El “14” en “BxMx14” representa el número de características seleccionadas en la entrada a la red neuronal. En general, ResMiCo tiene 562 573 parámetros, de los cuales 559 441 se pueden entrenar.

https://doi.org/10.1371/journal.pcbi.1011001.g002

Los bloques residuales con el mismo número de filtros y formas de salida idénticas se agrupan en grupos residuales. ResMiCo tiene 4 grupos residuales, con los grupos centrales compuestos por 5 bloques residuales cada uno, mientras que los grupos exteriores contienen 2 bloques residuales. Cada uno de los últimos tres grupos residuales comienza con una convolución que duplica el número de filtros y reduce a la mitad el tamaño de entrada usando un paso S = 2. Todas las capas usan una activación ReLU, excepto la última capa completamente conectada, que usa una activación sigmoide. La salida de las capas convolucionales se resume a lo largo del eje espacial a través de la agrupación promedio global, lo que da como resultado una forma de salida que depende solo de la cantidad de filtros en la última capa convolucional (128 en nuestro caso) en lugar de la longitud contig, lo que permite ResMiCo para manejar contigs de longitud variable. Los contigs en un lote se rellenan hasta la longitud más larga y los efectos del relleno se neutralizan mediante la creación de una máscara que se alimenta a la capa de agrupación promedio global. Las 128 características resultantes del conjunto promedio global se introducen en las dos capas finales: una capa completamente conectada con 50 neuronas y una capa de salida de una neurona con una función de activación sigmoidea.

Selección de características.

Dado que ResMiCo utiliza una mayor cantidad de funciones que DeepMAsED y metaMIC, es importante comprender la cantidad que cada función, en particular las funciones exclusivas de ResMiCo, contribuye a las predicciones del modelo. Tomados de la teoría de juegos, los valores de Shapley proporcionan una forma basada en principios de explicar las predicciones de los modelos de aprendizaje automático. Aproximamos los valores de Shapley usando el algoritmo Deep Shap (SHAP) [42]una versión refinada de DeepLIFT [43].

Para poder calcular los coeficientes SHAP, tuvimos que hacer algunos ajustes a la arquitectura de ResMiCo: se fijó el tamaño de entrada, el relleno no se enmascaró y la capa de agrupación promedio global se reemplazó por una agrupación local con una ventana que cubría toda la longitud. . SHAP requiere como entrada muestras de antecedentes, así como muestras para las cuales se explicarán las predicciones. Muestreamos aleatoriamente 200 contigs para el fondo y 200 contigs para explicaciones (100 correctamente ensamblados y 100 mal ensamblados) del n9k-novela conjunto de datos En la figura L en Texto S1, mostramos que SHAP llevó a las mismas conclusiones al usar subconjuntos de 200 contigs, lo que sugiere que 200 es suficiente para este análisis.

La figura 3 muestra las características clasificadas por su importancia. A modo de comparación, también marcamos las características presentes en la canalización de ResMiCo que fueron utilizadas por metaMIC y DeepMAsED. Los nombres de las características se explican en la Tabla A en S1 Text. Las 14 características principales se seleccionaron como entrada para el modelo ResMiCo. Incluimos al menos una función de cada tipo: calidad del mapeo, puntaje de alineación, etc. Limitar la cantidad de funciones resultó en una reducción significativa del tiempo de capacitación.

Fig. 3. Característica clasificada por su importancia.

El color más claro marca las características utilizadas por el modelo ResMiCo. Denotamos las funciones utilizadas por DeepMAsED y metaMIC con un contorno de estrella y una estrella rellena, respectivamente. mapq y al_score son la calidad del mapeo y la puntuación de alineación, según lo definido por Bowtie2. num_snp es el número de SNV entre lecturas alineadas en relación con la referencia. num_consulta_[ATGC] es la composición base de las lecturas alineadas en la posición de destino. num_huérfano es el número de lecturas alineadas en las que solo uno de los pares se alinea correctamente. num_proper es el número de pares de lectura que se alinean correctamente, según lo definido por Bowtie2. num_proper_snp está correctamente alineado lee con un SNV en relación con la referencia en la posición de destino. referencia_base es la base de referencia [ATGC] en la posición de destino. Las barras de error corresponden a la desviación estándar calculada en 5 ejecuciones.

https://doi.org/10.1371/journal.pcbi.1011001.g003

Comparación con el estado del arte

Analizamos el rendimiento de nuestro modelo propuesto en relación con los siguientes métodos existentes:

• metaMIC [44]—aplicado con parámetros predeterminados, excepto que la longitud mínima de contig se redujo de 5 kbp a 1 kbp, para probar con los mismos datos que los otros métodos;
• DeepMASED [18]—seguimos el esquema de generación de características y el modelo entrenado proporcionado por los autores;
• CERVEZA INGLESA [45]—agregamos cuatro subpuntajes posicionales que genera ALE (profundidad, lugar, inserción y log-verosimilitud de k-mer) con los mismos umbrales definidos en [18]. La probabilidad de ensamblaje incorrecto de contig se calcula como el número de posiciones con la subpuntuación por debajo del umbral dividido por la longitud de contig;
• Aleatorio: asignamos una probabilidad de desmontaje aleatorio a cada contig. Esto da como resultado una línea horizontal en un gráfico de curva de recuperación de precisión con una precisión igual a la prevalencia de errores de ensamblaje en el conjunto de datos.

Dado que todos los conjuntos de datos sufren un desequilibrio de clase en detrimento de las muestras positivas (contigs mal ensamblados, Tabla 2), seleccionamos el área bajo la curva de recuperación de precisión (AUPRC) como una métrica para medir el rendimiento, en lugar del área bajo la curva del operador del receptor (AUROC) [46]. Sin embargo, AUPRC no es invariable en la prevalencia de muestras positivas, por lo que usamos AUROC para comparar el rendimiento del modelo en conjuntos de datos con diferentes porcentajes de muestras positivas.

Evaluación comparativa de los requisitos de recursos de ResMiCo

Evaluamos a ResMiCo con comparaciones directas entre utilizar una CPU versus una GPU. En el conjunto de datos de CAMI gut, ResMiCo fue > 2 veces más rápido con una GPU que con una CPU (108 ± 0,7 frente a 38,7 ± 10,3 contigs por segundo). Si bien una GPU es sustancialmente más rápida que una CPU, aún se pueden procesar casi 140 000 contigs en 1 hora con una sola CPU. No obstante, observamos que se recomiendan múltiples GPU para entrenar el modelo en grandes conjuntos de datos, dado que el entrenamiento en CPU no sería factible para grandes conjuntos de datos, como en este trabajo.

ResMiCo supera a los modelos existentes y es resistente a la novedad del metagenoma

Primero probamos todos los modelos contra el n9k-novela conjunto de datos, que consistía en genomas taxonómicamente novedosos a nivel familiar en relación con cualquiera en el conjunto de datos de entrenamiento. ResMiCo superó a DeepMAsED, ALE y metaMIC por un amplio margen, con un AUPRC de 0,76 frente a 0,25 de DeepMAsED, el segundo modelo con mejor rendimiento (Figura 4A). Tenga en cuenta que el puntaje AUPRC de DeepMAsED cayó de 0.57 (informado en [18]) a 0,25 debido a una mayor variabilidad dentro de la n9k-novela equipo de prueba. Es importante destacar que el AUPRC de ResMiCo no difirió sustancialmente entre la validación del entrenamiento (0.73) y el n9k-novela conjunto de datos (0,76), lo que demuestra que el modelo es robusto a la novedad taxonómica. La puntuación AUPRC de ResMiCo generalmente varió de 0,6 a 0,8 en las diversas combinaciones de parámetros de simulación (Fig. H en S1 Text). Los escenarios más desafiantes para ResMiCo fueron una comunidad de baja riqueza y una profundidad de secuenciación baja. También encontramos que la distribución de longitud de contig explica gran parte de la variabilidad en el rendimiento del modelo ResMiCo. Para las simulaciones con una mediana de longitud de cóntigo superior a 2000 pb, el AUPRC estuvo entre 0,4 y 0,6 (Fig. E en S1 Text). En cuanto al tipo de montaje incorrecto, el rendimiento de ResMiCo fue el más bajo para las inversiones (Fig. G en el texto S1).

Figura 4. Evaluación del desempeño de ResMiCo.

Curvas de recuperación de precisión y las puntuaciones AUPRC correspondientes para ResMiCo y cuatro métodos de referencia (metaMIC, DeepMAsED, ALE, Random) aplicados en (A) nk9-novela, (B) CAMI gut, (C) CAMI oral y (D) conjuntos de datos de piel CAMI. (E) Curva característica operativa del receptor y las puntuaciones AUROC correspondientes para ResMiCo aplicadas en cinco conjuntos de datos: tren n9k (solo conjunto de validación), nk9-novelay tres conjuntos de datos CAMI.

https://doi.org/10.1371/journal.pcbi.1011001.g004

Simulamos otro conjunto de datos de prueba (n2k-novela-intraespecies) con más genomas por especie (33,3 ± 115) versus n9k-novela (2,4 ± 13,7). Rendimiento de ResMiCo en n2k-novela-intraespecies disminuido en relación con n9k-novela (AUPRC = 0,487, AUROC = 0,955), lo que probablemente se debió a un aumento en las translocaciones entre genomas entre taxones estrechamente relacionados. Aun así, ResMiCo superó con creces al competidor más cercano: metaMIC (AUPRC = 0,080, AUROC = 0,805).

A continuación, evaluamos ResMiCo en los conjuntos de datos del metagenoma intestinal, oral y de la piel de CAMI, que son conjuntos de datos de simulación comúnmente utilizados para la evaluación de herramientas de análisis metagenómico. Los conjuntos de datos de CAMI diferían sustancialmente de tren n9k y n9k-novela con respecto a la cobertura (profundidad de la secuencia) y el desequilibrio de clase (porcentaje de desensamblajes) (Tabla 2). Además, los genomas de referencia utilizados para la tren n9k y n9k-novela los conjuntos de datos se seleccionaron de toda la GTDB, mientras que los conjuntos de datos de CAMI consistieron en genomas de referencia específicos del bioma [24]. Independientemente de estas diferencias, el rendimiento de ResMiCo no se vio afectado en gran medida y el el modelo todavía superó claramente a todos los competidores (Fig. 4B, 4C y 4D). Dado que los 5 conjuntos de datos sintéticos difieren sustancialmente en las tasas positivas verdaderas (Tabla 2), calculamos la puntuación AUROC, que no se ve afectada por tales diferencias. La figura 4E muestra que el AUROC permanece relativamente constante a lo largo del tren n9k validación, n9k-novelay los conjuntos de datos CAMI.

También evaluamos ResMiCo en dos conjuntos de datos CAMI que simulan biomas no humanos: CAMI-marine y Asociado a planta CAMI. El rendimiento de ResMiCo fue comparable a los conjuntos de datos CAMI asociados con humanos (CAMI-marine: AUPRC = 0,831, AUROC = 0,990; Asociado a planta CAMI: AUPRC = 0,611, AUROC = 0,965), lo que sugiere que ResMiCo puede generalizarse a metagenomas de biomas muy variados.

Por último, evaluamos 2 conjuntos de datos comunitarios simulados: BMock12 [33] y MBARC-26 [34]. Si bien las comunidades simuladas existentes tienen una riqueza mucho menor que las comunidades complejas, como el suelo o los microbiomas intestinales de los mamíferos, y por lo general carecen por completo de diversidad genómica dentro de las especies, las comunidades simuladas proporcionan los mejores conjuntos de datos reales del mundo real disponibles. El desempeño de ResMiCo estuvo en línea con nuestras expectativas según nuestras simulaciones de baja riqueza de comunidades (Fig. H e I en el texto S1), con un AUPRC de 0.475 y un AUROC de 0.951 cuando se promediaron entre los 2 conjuntos de datos (Tabla H en el texto S1). Estos hallazgos demuestran que ResMiCo puede generalizar bien los datos metagenómicos del mundo real.

Mejora de la calidad del ensamblaje después de filtrar los errores de ensamblaje identificados por ResMiCo

Una función principal de ResMiCo es identificar contigs mal ensamblados para que puedan eliminarse del ensamblaje. Para ilustrar los efectos de dicho filtrado, descartamos contigs en n9k-novela con una puntuación ResMiCo de >0,8, lo que corresponde a un recuerdo y una precisión de 0,72 y 0,65, respectivamente. Dado que los contigs verdaderamente mal ensamblados son conocidos por la n9k-novela conjunto de datos, pudimos medir la verdadera tasa de error antes y después del filtrado. El filtrado de acuerdo con las puntuaciones de ResMiCo dio como resultado una reducción de la tasa de error real del 4 % al 1 %, al mismo tiempo que mantuvo las métricas de contigüidad prácticamente sin modificar (Tabla 3).

Tabla 3. Filtrado contig de baja calidad.

Estadísticas antes y después de filtrar contigs de baja calidad con el modelo ResMiCo aplicado en el n9k-novela equipo de prueba. El umbral de puntuación de ResMiCo se fijó en >0,8. La longitud de los desensamblajes es la suma de las longitudes de contig desensamblados dividida por el número total de bases.

https://doi.org/10.1371/journal.pcbi.1011001.t003

También evaluamos si la “fracción del genoma” definida por MetaQUAST (el porcentaje de bases alineadas en el genoma de referencia) disminuyó sustancialmente como resultado del filtrado de ensamblajes erróneos identificados por ResMiCo. tanto para el CAMI-gut y CAMI-marine conjuntos de datos, la fracción del genoma no cambió sustancialmente después del filtrado (Wilcox, PAG ≥ 0,66; Figura K en Texto S1).

Optimización del ensamblaje basada en las tasas de error identificadas por ResMiCo

Dado que ResMiCo genera una puntuación para cada contig, podríamos usar la cantidad de contigs con una puntuación por encima de cierto umbral para estimar la tasa de desensamblaje de un conjunto de contig dado (usamos >0.8 en nuestros experimentos). La tasa estimada de errores de ensamblaje podría utilizarse para optimizar los parámetros del ensamblador del metagenoma (p. ej., longitudes de k-mer) para metagenomas reales, que carecen de datos reales. Los hiperparámetros del ensamblador generalmente se optimizan simplemente en función de la contigüidad total (por ejemplo, N50) o posiblemente a través de CheckM después de agrupar contigs en MAG. Sin embargo, tales métodos no evalúan directamente la precisión del ensamblaje de contig. Para poder usar ResMiCo para esta aplicación, el rendimiento del modelo debe ser sólido para la configuración de hiperparámetros del ensamblador fuera de la distribución de entrenamiento.

Probamos el rendimiento de ResMiCo como un oráculo para el rendimiento del ensamblador mediante la simulación de conjuntos de datos de manera similar a n9k-novelapero con 6 configuraciones diferentes de hiperparámetros de longitud k-mer para MEGAHIT y metaSPAdes (ver Métodos). Para cada una de las combinaciones de longitud de 6 k-mer, generamos algo similar a n9k-novela pero utilizó solo 2 ajustes de riqueza comunitaria (50 y 3000) y 2 de profundidad de secuenciación (2M y 8M). El resto de los parámetros de simulación fueron corregidos: distribución de abundancia del genoma con σ = 1, longitudes de lectura de 150 bps, distribución de tamaño de inserción de media = 270 y sd = 50, y el perfil de error “HiSeq 2500 error”. El porcentaje de contigs mal ensamblados reales difería de <1% a 30% según el ensamblador y el conjunto k-mer elegido aplicado en las mismas lecturas del conjunto (Fig. 5). Luego comparamos el porcentaje de contigs mal ensamblados con el porcentaje estimado por ResMiCo para cada una de las cuatro combinaciones de riqueza de comunidad/profundidad de secuenciación (6 conjuntos de k-mer por combinación).

Figura 5. Tasa de errores de ensamblaje (error) producidos por los ensambladores MEGAHIT y metaSPAdes con seis conjuntos k-mer diferentes.

Los nombres de conjuntos de k-mer indican las longitudes de k-mer utilizadas para el ensamblaje. (A) La tasa de error identificada por ResMiCo (eje y) se correlaciona con la tasa de error real. (B) El tamaño N50 y la verdadera tasa de error son medidas ortogonales de la calidad del metagenoma.

https://doi.org/10.1371/journal.pcbi.1011001.g005

ResMiCo pudo clasificar con precisión los ensamblajes según la tasa de errores de ensamblaje para las cuatro combinaciones de parámetros de simulación, logrando una correlación de Pearson de 0,9. (figura 5A). Si bien ResMiCo tiene una tendencia a sobrestimar la tasa de errores de ensamblaje con un umbral de predicción seleccionado, y la relación entre la tasa de errores de ensamblaje predicha y la verdadera depende de la riqueza de la muestra y la profundidad de secuenciación (Fig. J en el texto S1), la clasificación se mantuvo constante en todos los escenarios considerados. Al mismo tiempo, para los metagenomas mejor ensamblados (poca riqueza y alta profundidad de secuenciación), observamos una correlación de 0,9 entre N50 y la tasa de error real (Fig. 5B), lo que sugiere que la alta contigüidad lograda junto con el alto error de ensamblaje tasa. Sin embargo, esta relación no se cumple para las muestras simuladas con otros parámetros, lo que hace posible buscar parámetros del ensamblador que produzcan una buena calidad en términos de contigüidad y tasa de error simultáneamente. En consecuencia, proponemos que ResMiCo se pueda utilizar para clasificar los parámetros del ensamblador para los datos del metagenoma del mundo real e identificar los parámetros que conducen a la tasa más baja de errores de ensamblaje.

Visualización del espacio latente

Para obtener una intuición sobre cómo ResMiCo representa internamente los datos, estudiamos la salida de la capa de agrupación promedio global. En ese punto, los datos de entrada se mapean en un espacio de 128 dimensiones. Utilizamos UMAP [49] con parámetros predeterminados para proyectar las incrustaciones en un espacio bidimensional. Se instaló UMAP en el tren n9k, n9k-novelay CAMI-gut conjuntos de datos Usamos 10,000 contigs muestreados aleatoriamente de cada uno de los tres conjuntos de datos.

La visualización del espacio latente indica que tren n9k tiene más variabilidad (debido al amplio conjunto de parámetros utilizados en las simulaciones) que CAMI-gutque se concentra en un pequeño subespacio, mientras que los contigs mal ensamblados de ambos conjuntos de datos generalmente se agrupan (Fig. 6A y 6B). Tenga en cuenta que dado que ResMiCo tiene dos capas completamente conectadas siguiendo la agrupación promedio global visualizada, no se espera que las dos clases sean completamente separables en esta etapa. Tanto la riqueza de la comunidad como la cobertura promedio de contig dividen fuertemente el espacio latente (Fig. 6C y 6D).

Figura 6. Incorporaciones de Contig aprendidas por ResMiCo, proyectadas usando UMAP.

La primera fila muestra (A) todas las incrustaciones de contig y (B) las incrustaciones de contig mal ensambladas para el tren n9kel n9k-novelay el CAMÍ. intestino conjuntos de datos En la segunda fila, contigs de la tren n9k Los conjuntos de datos están coloreados (C) por la riqueza de la comunidad simulada de la que se originaron y (D) por su cobertura promedio.

https://doi.org/10.1371/journal.pcbi.1011001.g006

ResMiCo detecta una tasa de ensamblaje incorrecto del 3 al 12 % en metagenomas del mundo real

Aplicamos ResMiCo a conjuntos de datos de metagenoma intestinal publicados de múltiples estudios para evaluar la prevalencia de contigs mal ensamblados en datos metagenómicos disponibles públicamente. Utilizamos tres conjuntos de datos de muestras intestinales: UHGG, GemelosReino Unidoy Tripa animal. UHGG consistía en un subconjunto aleatorio de metagenomas intestinales asociados con MAG en la base de datos UHGG, mientras que GemelosReino Unido y Tripa animal consistía en metagenomas intestinales de occidentalizados adultos y una amplia diversidad taxonómica de vertebrados, respectivamente (ver Materiales y métodos). También utilizamos 2 conjuntos de datos del genoma de la carne marina (pinnell2019 y MarineMetagenomeDB) y 2 del suelo (mantri2021 y TerrestrialMetagenomeDB).

ResMiCo detectó un promedio de 3,4 %, 6 % y 8,8 % de contigs mal ensamblados en todos los ensamblajes del metagenoma en los conjuntos de datos asociados con vertebrados: GemelosReino Unido, Tripa animaly UHGG, respectivamente. Los conjuntos de datos marinos y de suelo contenían más desensamblajes (MarineMetagenomeDB: 8,3%, mantri2021: 11,5%, pinnell2019: 8,6%, y TerrestrialMetagenomeDB: 12,5%). En general, evaluamos 8 235 502 contigs, de los cuales el 6 % está mal ensamblado según las predicciones de ResMiCo (≥ 0,8).

Proporcionamos una tasa estimada de errores de ensamblaje para cada metagenoma en Tabla S1). En promedio en todos los metagenomas, la tasa de ensamblaje incorrecto fue del 7% ± 5,7 (sd). La alta variabilidad entre las muestras y los conjuntos de datos sugiere que los factores específicos de la muestra (p. ej., la complejidad taxonómica de la comunidad o la variabilidad entre las preparaciones de la biblioteca NGS) pueden influir sustancialmente en las tasas de errores de ensamblaje. Tenga en cuenta que no aplicamos ResMiCo en la minoría de metagenomas que no cumplieron con nuestros criterios de inclusión (ver Materiales y métodos).