Aprender a predecir ubicaciones futuras con secuencias theta generadas internamente

Mapeo elástico del espacio por secuencias generadas internamente

El principio que subyace al modelo propuesto se esboza en Figura 2C. La actividad que se propaga a un ritmo fijo en un espacio neuronal 1D se usa para mapear posiciones a lo largo de una pista lineal. Si el animal normalmente corre a diferentes velocidades a través de diferentes partes de la pista, el mapeo entre el espacio neuronal y el físico será desigual. En particular, si la actividad se propaga inicialmente a un ritmo de tu₀ neuronas por segundo, y el animal corre en promedio a cm por segundo a través de alguna parte del medio ambiente, entonces las neuronas por cm se asociarán con esa porción. En otras palabras, las neuronas vecinas se asociarán con posiciones más separadas cuanto más rápido el animal recorra esas posiciones en promedio. Si la red genera adicionalmente secuencias theta que tienen una longitud fija en el espacio neuronal, estas secuencias aparecerán más largas en el espacio físico donde el animal corrió más rápido en promedio. Como resultado, los campos de lugar serán más amplios y la precesión de fase theta será menos profunda en esas áreas, de acuerdo con nuestros resultados experimentales anteriores. [15].

Nuestro modelo de red contiene una capa de entrada de celdas que están débilmente ajustadas espacialmente y una capa de celdas de lugar (Figura 3A). La actividad de las células de entrada se modela como ruido congelado de diferentes frecuencias espaciales, lo que podría verse como correspondiente a una mezcla de entradas de la corteza entorrinal, por ejemplo, de las células fronterizas. [62]celdas de cuadrícula de diferentes escalas espaciales [63] o celdas de objeto [64]. La capa de celdas de lugar está adaptada de un modelo de CA3 desarrollado por Romani y colegas. [36, 65]. Es una red recurrente con facilitación y depresión sináptica a corto plazo que está preconfigurada para generar actividad secuencial que avanza tanto dentro como a través de los ciclos theta (Fig. 3D, abajo a la izquierda). Dentro de los ciclos theta, se forma un aumento de actividad y se propaga hacia adelante en la red debido a conexiones recurrentes ligeramente asimétricas (Fig. 3B) y depresión sináptica a corto plazo. Entre los ciclos theta, la actividad en la red se interrumpe por episodios de inhibición (Fig. 3C, curva gris). Estos podrían corresponder a disminuciones en la entrada de las células GABAérgicas del tabique medial que se dirigen a las interneuronas del hipocampo. [66]. Cuando la inhibición retrocede, la interacción entre una facilitación sináptica a corto plazo más lenta y una depresión sináptica a corto plazo más rápida asegura que se forme una nueva actividad ligeramente antes de donde se formó la última. Esto ocurre porque las conexiones recurrentes entre esas unidades son las más efectivas, ya que han acumulado facilitación a lo largo de varios ciclos theta anteriores y se han recuperado en gran medida de la depresión que acumularon en el ciclo theta anterior (Fig. 3E).

Fig. 3. Mapeo elástico del espacio por secuencias generadas internamente.

R: Arquitectura modelo. Una red recurrente preconfigurada de celdas de lugar (discos de colores y flechas negras) recibe entradas de celdas débilmente sintonizadas espacialmente a través de pesos de plástico W_s (discos y flechas verdes), así como excitación e inhibición rítmica i_θ. Las celdas débilmente sintonizadas espacialmente y las celdas de lugar toman valores de activación continuos en los rangos [-1, 1] y [0, 1], respectivamente. B: Matriz de pesos recurrentes. La línea discontinua representa la identidad. C: Evolución temporal de i_θla excitación e inhibición rítmica de todas las células de la red, y β_θ, que define la ventana en la que las celdas reciben entradas espaciales. D: Las activaciones de la red cuando la rata simulada corre varias vueltas en una nueva pista lineal. La actividad en la red se inicializa en las celdas de primer lugar al comienzo de cada vuelta. En las primeras vueltas, la actividad se propaga más en la red en vueltas lentas que tardan más en completarse. Sin embargo, en ejecuciones posteriores, las entradas espaciales (verde) que llegan al comienzo de cada ciclo theta anclan la actividad de la red en el espacio. E: Las regiones de alta activación (> 0,5) en la red están contorneadas en negro y se superponen a la depresión sináptica a corto plazo, Dy facilitación, F, de las sinapsis recurrentes salientes de las células de lugar. Al salir de la inhibición rítmica, se forma un golpe de actividad en las células cuyas conexiones recurrentes están más facilitadas y menos deprimidas, (1 − D)F (panel inferior). Esto asegura que cada secuencia theta comience ligeramente por delante de donde comenzó la última. Tenga en cuenta que, debido al umbral utilizado para trazar el contorno negro, la protuberancia de actividad en realidad se forma un poco antes, dentro de la banda amarilla.

https://doi.org/10.1371/journal.pcbi.1011101.g003

Simulamos una rata corriendo varias vueltas en una pista lineal de 2 m de largo. Cada posición a lo largo de la pista tiene una velocidad de carrera media objetivo que sigue un perfil triangular, siendo 15 cm/s en ambos extremos y 80 cm/s en el medio. La velocidad instantánea de la rata se determinó en cada paso de tiempo multiplicando la velocidad media objetivo en la posición actual con un término de ruido que evoluciona suavemente con el tiempo, generando así una variabilidad de velocidad vuelta a vuelta (Figura 3D, centro).

Al comienzo de cada vuelta, la actividad se inicializaba en las primeras neuronas de la red y se dejaba evolucionar. Las primeras vueltas, la actividad se propagó a un ritmo fijo en el espacio neuronal, totalmente impulsada por la dinámica interna de la red. Por lo tanto, la actividad se propagaba más en la red cuanto más tiempo tardaba la rata simulada en completar una vuelta (Fig. 3D, arriba a la izquierda, 0–45 s). En esta etapa, las celdas de la red se comportaron como celdas de tiempo con campos de tiempo anclados al comienzo de la vuelta; sus campos de lugar cambiaron de un lado a otro dependiendo de la velocidad de carrera. La actividad de las células luego se ancló en el espacio aprendiendo las conexiones entre las entradas débilmente sintonizadas espacialmente y las células de lugar activo a través de una regla de aprendizaje hebbiana modificada. El aprendizaje fue relativamente lento para poder promediar las variaciones en la velocidad de carrera de la rata en cada posición. Las entradas espaciales llegaron solo dentro de una pequeña ventana temporal al comienzo de cada ciclo theta (Fig. 3C, curva verde), y esta es también la ventana en la que las sinapsis eran plásticas, consistentes con diferentes fases de codificación y recuperación. [67, 68]. Después de que tuvo lugar el aprendizaje, las entradas espaciales que llegan al comienzo de cada ciclo theta (Fig. 3D, abajo a la derecha, verde) extrajeron el aumento de actividad de la posición en la red en la que se habría formado basándose únicamente en la dinámica interna de la red, hacia la posición que se ha asociado con la ubicación actual del animal, anclando así la actividad de cada unidad en el espacio. En particular, si el animal corriera más rápido que el promedio, las unidades en la red asociadas con la ubicación actual del animal estarían más adelante que aquellas que se habrían vuelto activas basándose solo en la dinámica interna de la red, y por lo tanto las entradas espaciales atraerían la actividad avanza. Por el contrario, si el animal corriera más lento que el promedio, las entradas espaciales harían retroceder la actividad. Esto significa que el salto en la ubicación inicial del aumento de actividad de un ciclo theta al siguiente dejó de ser constante (Fig. 3D, arriba a la derecha, observe cómo cambia la pendiente de la relación entre el número de celda de lugar y el tiempo para rápido y lento). vueltas). Más precisamente, la velocidad a la que la actividad se propagó a través de los ciclos theta en el espacio neuronal, tuse moduló por la relación entre la velocidad de carrera instantánea, vy la velocidad de carrera promedio en cada posición, es decir, . Para el resto de los análisis, nos enfocamos en estos períodos donde el mapeo aprendido entre el espacio físico y el neural se había estabilizado.

Efecto de la velocidad en las propiedades del campo de lugar

Primero analizamos las propiedades de los campos de lugar producidos por la red. Para obtener un análogo de los mapas de tasa de disparo, discretizamos la pista lineal y calculamos la activación promedio de cada neurona en cada contenedor espacial (Figura 4A). Usando estos mapas de activación, calculamos los tamaños de los campos de lugar y observamos que aumentaban linealmente con la velocidad media de carrera a través de los campos (Fig. 4B) de acuerdo con los barridos dependientes del comportamiento observados experimentalmente [15].

Figura 4. El modelo desarrolla campos de lugar más grandes con una precesión de fase más superficial en áreas de mayor velocidad de carrera.

A: Activación media de cada unidad en cada posición a lo largo de la pista para una ejecución de la simulación. B: Los tamaños de los campos de lugar aumentan en función de la velocidad media de carrera a través del campo de lugar. Cada punto corresponde a un campo de lugar, agrupado en 10 ejecuciones de simulación diferentes. El color del punto representa la posición del pico del campo de lugar. La línea de color muestra el tamaño de campo de lugar promedio en cada contenedor espacial a lo largo de la pista con al menos 8 muestras. C: Ejemplos de precesión de fase theta de la misma ejecución de simulación que en A. D: La precesión de fase theta se vuelve menos profunda donde el animal corre más rápido. E, F: Los tamaños de campo de lugares individuales y las pendientes de precesión de fase inversa son en gran medida invariantes de las velocidades de funcionamiento instantáneas. Se muestra un histograma de proporciones de estas medidas calculadas usando el 20% superior e inferior de las velocidades de funcionamiento instantáneas en cada ubicación. Hay una tendencia a una disminución modesta como la media de la distribución (puntos línea) está por debajo de una relación de 1. G: La densidad de campos de lugar calculada en ventanas deslizantes de 10 cm disminuye en función de la velocidad media en la ventana.

https://doi.org/10.1371/journal.pcbi.1011101.g004

Luego examinamos la precesión de fase discretizando también la fase theta y calculando la actividad promedio de cada neurona en cada intervalo de espacio × fase (Figura 4C). La precesión de fase fue más pronunciada en la primera parte del campo de lugar, como se observó experimentalmente [69]. Esto refleja el hecho de que la primera parte del campo de lugar es enteramente el resultado de secuencias theta, mientras que la última parte está mayormente determinada por entradas espaciales que llegan a las primeras fases de la oscilación theta. Nuevamente de acuerdo con las observaciones experimentales, la precesión de fase fue menos profunda en el medio de la pista, donde la velocidad de carrera es mayor. [15]. Dado que es la extensión espacial de las nubes de precesión de fase la que cambia linealmente con la velocidad media de carrera, trazar la inversa de la pendiente de precesión de fase (cm por grado) también cambia linealmente con la velocidad media (Fig. 4D). Tenga en cuenta, sin embargo, que para la misma velocidad media, los tamaños de campo de lugar son un poco más grandes y la precesión de fase un poco más superficial en la primera mitad de la trayectoria lineal, donde el animal está acelerando. Comentamos este efecto en la discusión.

El modelo de barrido dependiente del comportamiento indica que los tamaños de campo de lugar y las pendientes de precesión de fase no dependen de la velocidad de carrera instantánea del animal en una vuelta determinada. [15, 70–72]. Por lo tanto, calculamos los tamaños de campo de lugar y las pendientes de precesión de fase por separado para el 20% superior e inferior de las velocidades en cada contenedor espacial, y trazamos sus proporciones (Fig. 4E y 4F). Aunque la media de las proporciones estaba ligeramente por debajo de 1, lo que significa que los campos de lugar eran más pequeños y la precesión de fase más pronunciada cuando los animales corrían más rápido, las desviaciones eran pequeñas. Por lo tanto, concluimos que las propiedades del campo de lugar son en gran medida invariantes de la velocidad de carrera instantánea, lo que sugiere que el modelo actual proporciona una buena aproximación a los datos experimentales.

Finalmente, examinamos el efecto de la velocidad media de carrera sobre la densidad del campo de lugar contando el número de picos de campo de lugar en una ventana deslizante de 10 cm. De acuerdo con nuestras expectativas (Fig. 2C), la densidad de los campos de lugar disminuyó con la velocidad media siguiendo una curva hiperbólica (Fig. 4G).

Efecto de la velocidad en los barridos theta

A continuación, decodificamos la posición representada por la población de las celdas de lugar en nuestro modelo en cada momento. Para hacer esto, correlacionamos el vector de población que contiene la activación de cada unidad en el paso de tiempo a decodificar con los vectores de población que contienen los valores medios de activación de las unidades en cada contenedor espacial a lo largo de la pista. [7] (Figura 5A). Como se observa comúnmente, los barridos decodificados comenzaron detrás de la posición actual del animal y se adelantaron. Luego procedimos a cuantificar estas distancias de mirada hacia atrás y hacia adelante, así como la extensión total del barrido. Para evitar artefactos introducidos por el principio y el final de la pista, solo consideramos los barridos que no llegaban a ninguno de ellos. De acuerdo con los barridos dependientes del comportamiento, las tres medidas aumentaron con la velocidad media de carrera en los lugares en los que ocurrieron (Fig. 5B-5D). También hubo un efecto de aceleración que discutimos a continuación.

Figura 5. Análisis de decodificación.

R: Descodificación de posiciones representadas de una red bien entrenada durante una vuelta. B: La distancia de mirada hacia atrás (a qué distancia de la posición real del animal comienza el barrido decodificado) aumenta con la velocidad media en la posición real correspondiente (codificado por colores). Cada punto corresponde a un barrido theta, agrupado en vueltas y en 10 ejecuciones de simulación diferentes. La línea de color muestra la distancia promedio de mirada hacia atrás en cada contenedor espacial a lo largo de la pista. C: Lo mismo para la distancia de anticipación (a qué distancia de la posición real del animal termina el barrido decodificado), y D: para la longitud total del barrido. E: Un ejemplo de un campo de lugar medido que se calculó a partir de la activación de una celda y de un campo de lugar verdadero que se calculó en función de las entradas espaciales que impulsan la celda. Las líneas discontinuas marcan las posiciones de sus picos, y la diferencia entre ellos es lo que llamamos cambio de campo de lugar. F: cambia entre cada campo de lugar y su campo de entrada espacial. Las mismas convenciones que en la figura 4B. G: La distancia retrospectiva de los barridos theta en una ubicación dada corresponde aproximadamente al cambio de campo de lugar en esa ubicación. La línea negra discontinua representa la identidad.

https://doi.org/10.1371/journal.pcbi.1011101.g005

Las posiciones decodificadas se desplazan hacia atrás

Que los barridos theta decodificados comenzaran detrás de la posición actual del animal es de hecho sorprendente considerando cómo se configuró el modelo: las entradas espaciales que llegan al comienzo de cada ciclo theta atraen la actividad en la red hacia las unidades asociadas con la posición actual, y la actividad luego se propaga hacia adelante (Fig. 3C y 3D). Por lo tanto, la red solo puede representar posiciones actuales y futuras, pero no posiciones en el pasado.

El cambio hacia atrás en las posiciones decodificadas fue el resultado de la decodificación utilizando campos de lugar medidos que se desplazan hacia atrás con respecto a los campos de lugar verdaderos, que definimos como las posiciones en las que están fuertemente impulsados ​​por entradas espaciales. [35] (Figura 5E). De hecho, al igual que la mirada hacia atrás, el cambio hacia atrás entre los campos de lugar medido y real aumenta con la velocidad de carrera media (Fig. 5F), y ambas medidas coinciden aproximadamente (Fig. 5G). Podríamos revelar este cambio en nuestro modelo porque se conocen tanto los campos de lugar medidos como los reales. Presumimos que este cambio también ocurre en los datos experimentales y discutimos las posibles implicaciones a continuación.

Pista lineal y movimiento simulado

Simulamos una rata corriendo 30 vueltas en una nueva pista lineal de 200 cm de largo usando pasos de tiempo de 1 ms. Cuando la rata llega al final de la pista, es teletransportada al principio. La velocidad de carrera media objetivo de la rata en cada posición a lo largo de la pista tiene un perfil triangular, siendo 15 cm/s en ambos extremos y 80 cm/s en el medio de la pista. Para generar variabilidad en la velocidad de carrera, cada paso de tiempo multiplicamos la velocidad media objetivo en la posición actual de la rata con un factor de ruido que evoluciona lentamente. Este factor de ruido se obtiene convolucionando muestras independientes de ruido gaussiano (media = 0, std = 1) en cada paso de tiempo con un kernel gaussiano (media = 0 s, std = 2 s), y escalando y desplazando el resultado para que oscila entre 0,5 y 1,5 y está centrado en 1.

Luego creamos 128 características débilmente sintonizadas espacialmente, s, definida sobre la extensión de la pista, discretizada en bins de 1 cm. Estas características se producen mediante el filtrado de muestras independientes de ruido gaussiano (media = 0, estándar = 1) en cada contenedor espacial con núcleos gaussianos (media = 0, estándar seleccionado aleatoriamente entre 2 y 20 cm). Luego, cada una de las señales se escala y se desplaza para que oscile entre -1 y 1 y se centre en 0.

Red

Simulamos una red compuesta por 250 unidades, cuyo nivel de activación, rsigue la ecuación diferencial:
(1)

dónde τ_r = 5 ms. i_θ proporciona excitación e inhibición rítmica a todas las unidades de la red en función de la fase θ de la oscilación theta de 8 Hz. Picos de excitación alrededor θ = π, proporcionando una ventana temporal donde pueden formarse y propagarse aumentos de actividad; la inhibición es máxima alrededor θ = 0, cerrando toda actividad en la red. i_θ se ilustra en Fig. 3C, y dada por la siguiente ecuación:
(2)

dónde k_θ = 12, y . El tercer término del lado derecho de Eq 1 define las interacciones recurrentes entre unidades en la red. Estos son el resultado de multiplicar la matriz de ponderaciones recurrentes, W_reccon la actividad de las unidades tras aplicar una función de activación logística, σ_r(r), y multiplicando elemento-sabio por la facilitación presináptica a corto plazo de cada unidad, Fy el complemento de la depresión, 1 − d. Los pesos recurrentes de la unidad j a la unidad i están dadas por:
(3)

dónde d = 0,6 controla la dirección y la velocidad de propagación de los picos de actividad en la red, σ_rec = 5, y . La función de activación logística viene dada por:
(4)

dónde α_r = 6, y X_r = 0,5. La facilitación presináptica y la depresión a corto plazo son las siguientes:
(5) (6)

dónde τ_F = 0,32 s, τ_d = 0,06 s, y F₀ = 0,14.

Al comienzo de cada vuelta simulada, r y d se establecen en 0, y F se establece en F₀. i_{en eso} luego se usa para inicializar la actividad en la red. i_{en eso} = β_θ para las primeras cinco unidades en la red por la duración de un ciclo theta, y de lo contrario igual a 0. β_θ se ilustra en Fig. 3C y descrito por la siguiente ecuación. Toma valores entre 0 y 1 a lo largo del ciclo theta, alcanzando un máximo en θ = π/2:
(7)

dónde k_s = 2

El último término en ecuación 1, i_extensióncorresponde a la entrada espacial resultante de la multiplicación matricial de los pesos plásticos, W_sy las características débilmente sintonizadas espacialmente descritas en la sección anterior, sdespués de aplicar una no linealidad ‘dendrítica’, σ_s:
(8)

dónde β_máximo = 0,4. La no linealidad dendrítica viene dada por la función logística Eq 4 con parámetros α_s = 12 y X_s = 0,7.

Los pesos, W_sse inicializan en 0 y se actualizan en función de una regla de plasticidad hebbiana modificada:
(9)

dónde τ_w = 20 s. El cambio de peso está controlado por β_θy depende del producto exterior de las entradas sintonizadas espacialmente y las activaciones de las unidades menos i_extensión. la resta de i_extensión actúa como un factor de normalización que limita el crecimiento de los pesos al valor requerido para igualar la actividad limitada de las unidades.

Análisis de propiedades de campo de lugar

Para los siguientes análisis, descartamos los primeros 80 s de la simulación, donde los campos de lugar son inestables. Para calcular los campos de lugar medidos de las unidades, discretizamos la pista en contenedores de 2 cm y calculamos la activación media σ_r(r) de cada unidad en cada contenedor. Luego, las activaciones medias se suavizan ligeramente convolucionándolas con un kernel gaussiano (std = 3 cm). Descartamos las unidades con un pico de activación por debajo de 0,2 y las unidades con campos de lugar sustancialmente cortados por el principio o el final de la pista, es decir, campos de lugar para los cuales el valor de activación no fue inferior al 50% del valor máximo en ambos lados.

Calculamos los tamaños de campo de lugar como la extensión del campo de lugar por encima del 10 % del valor máximo. Para los campos de lugar donde este umbral solo se alcanzó en un lado del pico, calculamos el tamaño del campo de lugar como el doble de la distancia desde el pico hasta ese punto. [15]. Para el resto de los análisis, solo incluimos campos de lugar que estaban por debajo del umbral del 10 % en ambos lados del pico.

Calculamos campos de lugar verdaderos de la misma manera, pero usando la modulación de las entradas a las celdas de lugar, i_extensiónen lugar de su salida σ_r(r). Luego calculamos el cambio de campo de lugar como la diferencia entre los picos de los campos medidos y verdaderos.

Para analizar la precesión de fase, discretizamos la pista con pasos de 2 cm y la fase theta con pasos de 20°, y calculamos la activación media de cada unidad en cada intervalo de posición × fase. Calculamos la pendiente de la precesión de fase ajustando líneas a las nubes de precesión de fase utilizando la regresión de distancia ortogonal tal como se implementa en la biblioteca SciPy [110]. Este algoritmo minimiza la distancia ortogonal de los puntos a la línea de mejor ajuste. Debido a esto, puede describir con precisión nubes de precesión de fase muy pronunciadas que darían como resultado ajustes aproximadamente horizontales cuando se utilizan otros métodos de regresión lineal que solo minimizan las desviaciones entre los puntos y el mejor ajuste. línea a lo largo de la y eje [15].

Calculamos el cambio en los tamaños de campo de lugar individuales y las pendientes de precesión de fase con velocidad instantánea mediante el cálculo independiente de estos valores utilizando solo pasos de tiempo con velocidades instantáneas en el 20% superior o inferior de las velocidades en cada contenedor espacial. Para este análisis, aumentamos el número de vueltas a 45.

Para calcular la densidad de los campos de lugar, contamos el número de picos de campo de lugar en ventanas superpuestas de 10 cm con un paso de 2 cm.

Descodificación

Descodificamos las posiciones de la actividad de la red en cada paso de tiempo calculando, para cada contenedor espacial, la coincidencia entre la activación instantánea de la población y la activación media de las unidades en ese contenedor espacial, según lo evaluado a través del coeficiente de correlación de Pearson. [7]. El contenedor espacial con el valor de correlación más alto se seleccionó como la posición decodificada en ese paso de tiempo. Solo decodificamos la posición en pasos de tiempo donde al menos una unidad tenía un valor de activación superior a 0,1. Esto excluyó períodos entre ciclos theta cuando las unidades en la red estaban fuertemente inhibidas.

Análisis de barridos theta

Para evitar artefactos introducidos por los límites del entorno, excluimos los ciclos theta en los que el primer o el último contenedor espacial alcanzó el valor de correlación más alto. Para cada ciclo theta, identificamos los pasos de tiempo correspondientes al primer y último contenedor de 36° con valores de decodificación válidos, es decir, el comienzo y el final del barrido theta. A continuación, se definió la distancia retrospectiva como la diferencia entre la posición real media y la posición decodificada media dentro de la primera ventana temporal. De manera similar, la distancia de anticipación se definió como la diferencia entre la posición media decodificada y la posición real dentro de la segunda ventana temporal [8]. La longitud de barrido theta total se definió como la diferencia entre las posiciones medias decodificadas en la segunda y la primera ventana temporal.