En trabajos anteriores, documentamos meticulosamente la distribución de pesos sinápticos y la ganancia (o función de activación) en muchas áreas cerebrales diferentes. Encontramos una notable consistencia de distribuciones de cola pesada, específicamente lognormales, para tasas de activación, pesos sinápticos y ganancias (Scheler2017).
¿Por qué las redes neuronales biológicas son de cola pesada (lognormales)?
Ensambles de celdas: Las redes lognormales admiten modelos de un jerárquicamente ensamblaje de células organizadas (conjuntos). Las neuronas individuales pueden activar o suprimir un conjunto celular completo si son la neurona más fuerte o se conectan directamente a las neuronas más fuertes (TeramaeJetal2012).
Almacenamiento: Las sinapsis escasas y fuertes almacenan información estable y proporcionan una columna vertebral de procesamiento de la información. Las sinapsis débiles más frecuentes son más flexibles y agregan detalles cambiantes a la columna vertebral. Las distribuciones de cola pesada permiten una jerarquía de estabilidad e importancia.
Tiempo de retardo de activación se reduce porque las sinapsis fuertes activan rápidamente un conjunto completo (IyerRetal2013). Esto reduce la tiempo de respuesta inicialqueich depende de la sináptico e intrínseco distribución. Las distribuciones de cola pesada se activan más rápido.
Respuesta al ruido: Bajo entrada adicional, ruido o patrón, el patrón estabilidad del conjunto existente es mayor (IyerRetal2013ver también KirstCetal2016). Este es un efecto secundario de la integración de todos los cálculos dentro de un ensamblaje de celda.
¿Por qué cálculos jerárquicos en una red neuronal?
Cálculos que dependen de interacciones entre muchos puntos discretos (problemas de N-cuerpos, Barnes y cabaña 1986), como los métodos partícula-partícula, donde cada punto depende de todos los demás, conducen a un cálculo O(N^2). Si suplantamos esto por métodos jerárquicos y combinamos información de múltiples puntos, podemos reducir la complejidad computacional a O(N log N) u O(N).
Dado que las redes neuronales biológicas no son feedforward sino que se conectan tanto hacia adelante como hacia atrás, tienen una estructura diferente de las ANN (redes neuronales artificiales): consisten en conjuntos organizados jerárquicamente con pocas neuronas ‘hub’ de excitabilidad de amplio rango y muchas ‘hoja’. neuronas con baja conectividad y excitabilidad de pequeño alcance. Los patrones se almacenan en estos conjuntos y se accede a ellos mediante un ajuste a un patrón entrante que podría expresarse mediante información mutua baja como una medida de similitud. Los patrones son modificados por patrones de acceso similares, pero normalmente solo en sus conexiones débiles (de lo contrario, el patrón de acceso no encajaría).
