ShrinkCRISPR: un método flexible para el análisis de aptitud diferencial de los datos de pantalla CRISPR-Cas9 | BMC Bioinformática

Configuración de simulación

Realizamos un estudio de simulación para evaluar el rendimiento de ShrinkCRISPR y compararlo con los métodos comúnmente utilizados drugZ [4] y magia [3]. Todos los métodos se compararon en términos de efectos verdaderos detectados, así como de descubrimientos falsos producidos. Simulamos datos para diseños emparejados e independientes. Esto nos permite no solo comparar los tres métodos, sino también estudiar el impacto de la variabilidad de la abundancia inicial de sgRNA en los resultados, lo que juega un papel importante cuando se usa un diseño independiente, pero no cuando se usa un diseño emparejado. Suponemos que el estudio implica dos condiciones ((c = 1, 2)) con R se replica en cada condición, y S sgRNAs estudiados para que (S = sum _ S_g)con (S_g) que representa el número de sgRNA por gen como antes.

Nuestra configuración de simulación involucró los siguientes pasos:

1. 1.

   Simulación del efecto de letalidad media (z^*_) para cada gen gramo en la línea de celdas de control utilizando una distribución gamma de forma y escala fijada en 1:

   $$begin z^*_ sim Gamma (1, 1),quad g=1,dots ,G. end$$

   Como se muestra en la Fig. S1 del Archivo adicional 1, dicha distribución gamma permite que la mayoría de los efectos de letalidad sean cercanos o iguales a 0. Suponiendo que la mayoría de los genes tienen un comportamiento más cercano a un gen no esencial (gen que se sabe que no es afectando la supervivencia celular si se elimina) que de un gen esencial (gen necesario para la supervivencia celular). Los efectos de letalidad generados aleatoriamente se escalan posteriormente entre 0 y 1 dividiéndolos por el efecto de letalidad máxima obtenido. Tenga en cuenta que al volver a escalar los efectos de letalidad, el efecto de letalidad extraído de la distribución gamma se reduce a cero (ya que estamos dividiendo por un valor superior a 1), lo que aumenta posteriormente el número de genes no esenciales en la línea celular de control.

2. 2.

   Cálculo de la media letalidad efecto para cada gen en la condición 2 usando (z^_=z^_+Delta _)dónde (Delta _) representa la diferencia media del efecto de todos los sgRNA s gen de orientación gramo (definido más adelante). Definimos por (S^_g) el conjunto de índices s de genes dirigidos a sgRNAs gramo. En el contexto de este estudio de simulación, todos los conjuntos (S^_g) incluyen 4 índices. Además, representamos por (z_) el efecto de letalidad para sgRNA s en condicion Cque es igual a (z^_) para (sen S^_g). Entonces, (\) es el conjunto ampliado de valores de los efectos de letalidad sobre todos los sgRNA, correspondiente al conjunto original (\) de valores generados para todos los genes.

3. 3.

   Simulación de los cambios de pliegue observados (fc_) para cada sgRNA sreplicar r y condición C utilizando una distribución gaussiana:

   $$begin fc_ sim (z_, sigma ^) quad s=1,dots , S, r=1, puntos ,R, c=1,2, end$$

   dónde (sigma^) representa la variación biológica entre réplicas de la misma condición. Los valores generados (\) por cada réplica r luego se organizan en vectores, que forman las columnas de una matriz L de dimensiones (Sveces (2R)).

4. 4.

   Simulación de la (Sveces (2R)) matriz (C_0) que representan los recuentos iniciales de cada réplica poco después de la transducción. Los conteos para el caso de diseño independiente se simulan para controlar el número inicial promedio de conteos para cada sgRNA de la siguiente manera:

   $$begin c_ = text(f * lambda _) quad s=1,dots ,S, r=1,dots ,R, c=1,2, end$$

   dónde Fes decir, el número de pliegues representa el recuento promedio de células transducidas por cada sgRNA, (lambda _ sim (0,05, 1,95)) representa la eficiencia de transducción, y “trunc” es la función de truncamiento. En el caso de diseño apareado, la ecuación se convierte en:

   $$begin c_ = text(f * lambda _) quad s=1,dots ,S r=1,dots ,R, end$$

5. 5.

   Cálculo de la matriz METRO de recuentos de genes en un momento posterior utilizando la fórmula:

   $$begin M= C_0-C_0times L. end$$

Cada conjunto de datos contiene 2 condiciones con (R=3) replica cada uno y (G=1000) genes Las simulaciones se realizan de forma independiente tanto para diseños emparejados como independientes. Para cada gen, simulamos un número fijo (S_g=4) de diferentes sgRNAs, dando como resultado un total de (S=4000) sgRNA. En cada conjunto de datos, los primeros 100 genes (400 sgRNA) se simulan usando el mismo valor (Delta _) como diferencia media del efecto para sus sgRNA. Entonces, para cada diseño experimental, el valor de (Delta_g) es dado por:

Para cada diseño experimental consideramos 6 escenarios, cada uno correspondiente a un valor diferente de (Delta _g in \). Un valor fijo de (sigma =0.1) y (f=400) se utiliza en todos los escenarios. Se simula y analiza un total de 100 conjuntos de datos para cada escenario. Cuatrocientos sgRNA de control positivo (sgRNA de genes esenciales) y 400 sgRNA de control negativo (sgRNA de genes no esenciales) también se simulan en cada conjunto de datos. El proceso de simulación es el mismo para los sgRNA restantes, con la excepción de que su letalidad media (z_) es fijo y es el mismo para ambas condiciones. La letalidad media para los controles positivos es de 0,8 y para los controles negativos es de 0,1. Un valor fijo de (sigma =0.05) se utiliza para los controles.

Luego se aplica ShrinkCRISPR para cada uno de los 100 conjuntos de datos simulados y genes con lfdr (<0.05) son seleccionados como significativos.

Estas tres herramientas (ShrinkCRISPR, drugZ y MAGeCK) hacen uso de enfoques muy diferentes, probando diferentes hipótesis. Como tal, no es posible comparar estos métodos basándose, por ejemplo, en estimaciones de parámetros. Además, las comparaciones basadas en el error de tipo I no son adecuadas, ya que ShrinkCRISPR es un método bayesiano empírico. Para realizar comparaciones significativas, comparamos estas herramientas utilizando su capacidad para clasificar los genes según tengan efectos de aptitud diferencial o no. Conociendo la verdad en los conjuntos de datos simulados, construimos matrices de confusión y nos enfocamos en la cantidad de verdaderos positivos, verdaderos negativos, falsos positivos y falsos negativos. Luego derivamos diferentes medidas de precisión de predicción, como sensibilidad, especificidad, precisión, recuperación y exactitud. Los resultados de sensibilidad y especificidad se incluyen en la siguiente sección, mientras que los de precisión, recuperación y exactitud se presentan en el Archivo adicional 1 (Tabla S1 y Tabla S2).

Resultados

diseño emparejado

La figura 2 muestra que el rendimiento obtenido por los tres enfoques es bastante diferente en todos los escenarios de simulación. De hecho, drugZ y MAGeCK arrojan demasiados falsos positivos incluso cuando no hay efectos diferenciales, es decir, cuando (Delta_g=0), con una media de 66,9 y 105,2 aciertos falsos respectivamente (panel izquierdo de la Fig. 2). Estos números representan el 6,7 y el 10,5 % de falsos positivos, respectivamente, cuando en realidad se esperaba un 5 %. Si no se simula ningún efecto, el 100 % de los resultados son falsos positivos. Como (Delta_g) aumenta, drugZ produce progresivamente menos falsos positivos, pero ese no es el caso de MAGeCK. Por el contrario, ShrinkCRISPR no produce falsos positivos en todos los escenarios diferentes. Esto sugiere que es conservador, en esta configuración de simulación.

En términos de aciertos verdaderos, drugZ es el enfoque con mejor rendimiento para detectar pequeños efectos de letalidad, con un promedio de 46,8 y 81,2 aciertos positivos verdaderos cuando (Delta_g=0.1) o 0,2, respectivamente. Sin embargo, drugZ no es capaz de detectar todos los resultados positivos verdaderos cuando (Delta _g ge 0.3), con un máximo en torno a 90,2. ShrinkCRISPR muestra baja potencia para (Delta _g le 0.2)potencia similar a la de drugZ cuando (Delta_g=0.3) y supera a todos los métodos cuando (Delta _g ge 0.4). MAGeCK muestra en todos los escenarios una baja capacidad para detectar verdaderos aciertos, con menos del 40 % de genes con efecto detectado en todos los efectos considerados. Todos los resultados están disponibles en la Tabla S1.

La Figura 3 presenta las curvas ROC obtenidas promediando las curvas ROC en los 100 conjuntos de datos simulados. En general, ShrinkCRISPR funciona al menos tan bien como drugZ en términos de sensibilidad y especificidad. En particular, a medida que aumenta el número de verdaderos positivos, el número correspondiente de falsos positivos aumenta más rápido con drugZ que con ShrinkCRISPR; esto es claramente visible a partir de los resultados obtenidos con (Delta_g=0.1). Por lo tanto, aunque ShrinkCRISPR es más conservador, produce una mayor proporción de resultados positivos verdaderos en comparación con los falsos positivos, para valores bajos. (Delta_g) valores. Finalmente, MAGeCK muestra un peor rendimiento que drugZ y ShrinkCRISPR en todos los escenarios, en términos de sensibilidad, especificidad y nivel de control de errores. Esto puede explicarse por el hecho de que se trata de dos pruebas unilaterales, lo que infla la tasa de falsos positivos.

Podemos concluir que drugZ tiene más poder para detectar verdaderos hits relacionados con pequeños efectos ((Delta_g=0.2)), mientras que también arroja más falsos positivos, en comparación con ShrinkCRISPR en nuestro estudio de simulación con un diseño pareado. Para efectos más grandes, ShrinkCRISPR funciona mejor, ya que detecta tantos aciertos verdaderos como drugZ, mientras que prácticamente no produce falsos positivos. MAGeCk muestra menos potencia y produce una mayor tasa de falsos positivos que los otros dos métodos en las situaciones consideradas.

Diseño independiente

Cuando se usa un diseño independiente, la abundancia inicial de sgRNA puede variar entre réplicas. Dado que tanto MAGeCK como drugZ no tienen en cuenta la abundancia inicial de sgRNA, es de esperar que funcionen peor para los datos producidos con este diseño. De hecho, tanto MAGeCK como drugZ producen muchos ((>50) en promedio, donde se esperaban 50) falsos positivos en conjuntos de datos simulados (panel izquierdo de la Fig. 4). Esto es comprensible ya que ambos métodos se desarrollaron para el diseño experimental apareado. Por el contrario, ShrinkCRISPR no produce falsos positivos en todos los diferentes escenarios de simulación.

En términos de verdaderos positivos, ShrinkCRISPR es conservador para efectos pequeños, detectando como máximo 5 aciertos verdaderos en promedio para (Delta _g le 0.2). Para (Delta _g ge 0.3) y superior, identifica entre el 80 y el 100% de todos los aciertos. MAGeCK y drugZ detectan entre el 10 y el 20 % de los aciertos para (Delta _gle 0.2)pero encuentran solo el 33,1 % y el 55,1 % de todos los verdaderos positivos respectivamente para (Delta_g=0.5) (Fig. 4, panel derecho).

Como era de esperar, para este diseño, ShrinkCRISPR produce curvas ROC considerablemente mejores en comparación con drugZ y MAGeCK (Fig. 5). De hecho, ShrinkCRISPR muestra una sensibilidad y especificidad similares para el diseño independiente que para el diseño emparejado. Por el contrario, tanto drugZ como MAGeCK arrojan más falsos positivos y menos poder para el diseño independiente.

En general, tanto MAGeCK como drugZ muestran un peor rendimiento con el diseño independiente, en comparación con el diseño emparejado. En términos de falsos positivos, drugZ produce en promedio un 10 % de falsos positivos para (Delta_g=0)frente al 6,7% en el diseño pareado, y el 1% para (Delta_g=0.5), en comparación con el 0% en el diseño pareado. Además, la potencia máxima que alcanzó en las simulaciones estuvo por debajo del 60%. MAGeCK produce más falsos positivos usando el diseño independiente, en comparación con el diseño emparejado. Tenga en cuenta que el rendimiento de drugZ para un diseño independiente depende de la cantidad de variación en la línea de base. Para ilustrar esto, también simulamos pantallas independientes con una variación en la línea base de aproximadamente la mitad de la variación en los resultados anteriores. Esto condujo a una mejora de los rendimientos de drugZ (ver Archivo adicional 1: Tabla S3).

El rendimiento tanto de drugZ como de MAGeCK es peor con el diseño independiente porque ambos métodos no tienen en cuenta la variación inicial de la abundancia de sgRNA. En este caso, es imprescindible incluir la pantalla inicial (en (T=0)) en el análisis.

La ausencia de falsos positivos en todos los escenarios de simulación destaca el conservadurismo y la posible falta de poder de ShrinkCRISPR con una pequeña cantidad de muestras, para tamaños de efecto pequeños. Esto se confirma con los resultados obtenidos usando valores de letalidad menos extremos para los controles positivos y negativos (ver Archivo adicional 1: Tabla S2). Al aumentar la varianza del efecto de letalidad (sigma^), el número de falsos positivos aumenta pero sigue siendo pequeño. También es importante tener en cuenta que todos los sgRNA se simulan sin aumento de conteo entre T = 0 y el punto de tiempo posterior T, lo que limita aún más la capacidad de detectar aciertos para ShrinkCRISPR ya que no se simula el crecimiento de las diferentes poblaciones de células transducidas con sgRNA.

Tiempo de cómputo

En cuanto al tiempo de cálculo de los tres métodos, ShrinkCRISPR es significativamente más lento que drugZ y MAGeCK. Esto es consecuencia de la necesidad de ajustar un modelo empírico-Bayes de efectos mixtos. Estudiamos el impacto del número de réplicas y el número de sgRNA por gen en el tiempo de cálculo de ShrinkCRISPR. El número de réplicas varió entre 2 y 4 réplicas por condición y se asumió que el número de sgRNA por gen era 4, 6 u 8. Para cada combinación de réplicas y número de sgRNA por gen, simulamos 10 conjuntos de datos que contenían 1000 genes y buscamos en el tiempo de cálculo promedio (en todos los conjuntos de datos) que necesita ShrinkCRISPR. Tenga en cuenta que ShrinkCRISPR está diseñado para usar computación paralela, y para este experimento se usaron 4 núcleos en paralelo.

Como se puede ver en la Fig. 6, el número de sgRNA tiene un efecto mayor en el tiempo de cálculo que el número de repeticiones. De hecho, se necesitan en promedio 386 s (aproximadamente 6,4 min) para ejecutar el análisis de 1000 genes con 2 repeticiones y 4 sgRNA por gen, lo que corresponde después de corregir la computación paralela a 1,5 s por gen, mientras que 462 s (aproximadamente 7,7 min) en Se necesita una media para el análisis de 1000 genes, 1,85 s por gen, con 8 sgRNA por gen y el mismo número de repeticiones. Este es un aumento del 25% en el tiempo de cálculo, lo que se explica por el mayor número de parámetros a estimar en la matriz de varianza-covarianza no estructurada de (_g), (_). Por el contrario, aumentar el número de réplicas de 2 a 4 solo condujo a un aumento del 2 % y el 5 % para 4 y 8 sgRNA por gen, respectivamente. Teniendo en cuenta la cantidad de 20 000 genes en el genoma humano y un promedio de 1,6 segundos de computación por gen, ShrinkCRISPR requiere un poco menos de 9 horas para ajustar el modelo de efectos mixtos a los datos de una pantalla CRISPR de genoma completo sin computación paralela.