EVITANDO EL PRECIPIO. Evitación de carreras en el desarrollo de… | por el Instituto de hoja de ruta de IA | Blog del instituto de hoja de ruta de IA

Evitación de carreras en el desarrollo de la inteligencia general artificial

Olga Afanasjeva, Jan Feyereisl, Marek Havrda, Martin Holec, Seán Ó hÉigeartaigh, Martin Poliak

RESUMEN

… Se están logrando avances prometedores en la investigación de sistemas de inteligencia general artificial. Este progreso podría conducir a una aparente carrera en la que el ganador se lo lleva todo para AGI.

… Se han planteado preocupaciones de que tal carrera podría crear incentivos para escatimar en seguridad y desafiar los acuerdos establecidos entre los jugadores clave.

… El AI Roadmap Institute realizó un taller para comenzar una discusión interdisciplinaria sobre cómo evitar escenarios en los que podría ocurrir una carrera tan peligrosa.

… La atención se centró en determinar el alcance del problema, definir los actores relevantes y visualizar posibles escenarios de la carrera de la IA a través de hojas de ruta de ejemplo.

… El taller fue el primer paso en la preparación para la ronda de evitación de carreras de IA del Desafío general de IA que tiene como objetivo abordar este difícil problema a través de la ciencia ciudadana y promover la investigación de seguridad de IA más allá de los límites de la pequeña comunidad de seguridad de IA.

Con el advenimiento de la inteligencia artificial (IA) en la mayoría de las áreas de nuestras vidas, lo que está en juego es cada vez más alto en todos los niveles. Las inversiones en empresas que desarrollan aplicaciones de inteligencia artificial están alcanzando cantidades astronómicas. A pesar del enfoque bastante estrecho de la mayoría de las tecnologías de IA existentes, la competencia extrema es real y afecta directamente la distribución de investigadores entre instituciones de investigación y empresas privadas.

Con el objetivo de la inteligencia artificial general (AGI) a la vista, la competencia en muchos frentes se agudizará con consecuencias potencialmente graves con respecto a la seguridad de AGI.

El primer sistema general de IA será disruptivo y transformador. La ventaja de ser el primero en moverse será decisiva para determinar el ganador de la carrera debido al crecimiento exponencial esperado en las capacidades del sistema y la subsiguiente dificultad de otras partes para ponerse al día. Existe la posibilidad de que el largo y tedioso trabajo de seguridad de la IA deje de ser una prioridad cuando comience la carrera. El riesgo de desastres relacionados con la IA aumenta cuando los desarrolladores no dedican la atención y los recursos a la seguridad de un sistema tan poderoso. [1].

Una vez que se abra esta caja de Pandora, será difícil cerrarla. Tenemos que actuar antes de que esto suceda y, por lo tanto, la pregunta que nos gustaría abordar es:

¿Cómo podemos evitar que la investigación general de IA se convierta en una carrera entre investigadores, desarrolladores y empresas, donde la seguridad de la IA se descuide en favor de un despliegue más rápido de una IA general poderosa pero insegura?

Como comunidad de desarrolladores de IA, debemos esforzarnos por evitar la carrera de la IA. Se han realizado algunos trabajos sobre este tema en el pasado. [1,2,3,4,5], pero el problema está en gran parte sin resolver. Necesitamos concentrar los esfuerzos de la comunidad para abordar este problema y evitar un escenario potencialmente catastrófico en el que los desarrolladores corran hacia el primer sistema general de IA mientras sacrifican la seguridad de la humanidad y la suya propia.

Esta publicación marca el «paso 0» que hemos dado para abordar el problema. Resume los resultados de un taller realizado por el Instituto de hoja de ruta de IA el 29 de mayo de 2017, en la sede de GoodAI en Praga, con la participación de Seán Ó hÉigeartaigh (CSER), Marek Havrda, Olga Afanasjeva, Martin Poliak (buena IA), Martín Holec (KISK MUNI) y Jan Feyereisl (buena IA & Instituto de hoja de ruta de IA). Nos enfocamos en definir el alcance del problema, definir actores relevantes y visualizar posibles escenarios de la carrera de la IA.

Este taller es el primero de una serie organizada por el AI Roadmap Institute en preparación para la ronda de evasión de carreras de IA del Desafío general de IA (descrito al final de esta página y planeado para lanzar a finales de 2017). Plantear el problema de evitar carreras de IA como un desafío mundial es una forma de alentar a la comunidad a enfocarse en resolver este problema, explorar este problema más a fondo y despertar el interés en la investigación de seguridad de IA.

Al publicar los resultados de este y los futuros talleres, y lanzar el desafío centrado en evitar carreras de IA, nos gustaría promover la investigación sobre la seguridad de la IA más allá de los límites de la pequeña comunidad de seguridad de la IA.

El tema debe estar sujeto a un discurso público más amplio y debe beneficiarse del trabajo interdisciplinario de economistas conductuales, psicólogos, sociólogos, formuladores de políticas, teóricos de juegos, expertos en seguridad y muchos más. Creemos que la transparencia es una parte esencial para resolver muchos de los problemas más graves del mundo y la carrera de la IA no es una excepción. Esto, a su vez, puede reducir el exceso de regulación y el control político irrazonable que podría obstaculizar la investigación de IA.

Un enfoque para comenzar a abordar el problema de la evasión de carreras de la IA y sentar las bases para una discusión exhaustiva es la creación de hojas de ruta concretas que describan los posibles escenarios del futuro. Luego se pueden comparar escenarios y se pueden sugerir estrategias de mitigación para futuros negativos..

Usamos dos metodologías simples para crear ejemplos de hojas de ruta:

Metodología 1: un desarrollo lineal simple de los asuntos está representado por varias formas y colores que representan las siguientes nociones: estado de cosas, actor clave, acción, factor de riesgo. Las nociones se agrupan en torno a cada estado de cosas para ilustrar los principales actores, acciones y factores de riesgo relevantes.

Figura 1: Este ejemplo de hoja de ruta describe el problema de seguridad antes de que se desarrolle un AGI. Está destinado a leerse de arriba hacia abajo: la flecha que conecta el «estado de cosas» representa el tiempo. Las entidades que representan actores, acciones y factores se colocan alrededor de la flecha del tiempo, lo más cerca posible de los estados de cosas en los que más influyen. [full-size].

Metodología 2: cada nodo en una hoja de ruta representa un estado, y cada enlace o transición representa una acción impulsada por una decisión por parte de uno de los actores principales (como una empresa/desarrollador de IA, gobierno, actor deshonesto, etc.)

Figura 2: El ejemplo de hoja de ruta anterior visualiza varios escenarios desde el momento en que la primera empresa hipotética (C1) desarrolla un sistema AGI. La hoja de ruta se centra principalmente en los dilemas de C1. Además, la hoja de ruta visualiza posibles decisiones tomadas por actores clave identificados en varios estados de cosas, a fin de representar caminos potenciales hacia varios resultados. El código de colores del semáforo se utiliza para visualizar los posibles resultados. Nuestro objetivo no era presentar todos los escenarios posibles, sino algunos ejemplos vívidos del amplio espectro de futuros probables. [full-size].

Durante el taller, se plantearon una serie de cuestiones importantes. Por ejemplo, la necesidad de distinguir diferentes escalas de tiempo para las que se pueden crear hojas de ruta y diferentes puntos de vista (escenario bueno/malo, puntos de vista de diferentes actores, etc.)

Problema de escala de tiempo

La elaboración de hojas de ruta suele ser un esfuerzo subjetivo y, por lo tanto, existen múltiples enfoques para crear hojas de ruta. Uno de los primeros problemas que se encontraron durante el taller fue con respecto a la variación de tiempo. Una hoja de ruta creada con hitos a corto plazo en mente será significativamente diferente de las hojas de ruta a largo plazo, sin embargo, ambas líneas de tiempo son interdependientes. En lugar de tener una visión explícita de las hojas de ruta a corto/largo plazo, podría ser beneficioso considerarlas de manera probabilística. Por ejemplo, ¿qué hoja de ruta se puede construir si hubiera un 25 % de posibilidades de que se desarrolle una IA general en los próximos 15 años y un 75 % de posibilidades de lograr este objetivo en 15 a 400 años?

Es probable que considerar la carrera de la IA en diferentes escalas temporales genere diferentes aspectos en los que se debe centrar la atención. Por ejemplo, cada actor podría anticipar una velocidad diferente para llegar al primer sistema general de IA. Esto puede tener un impacto significativo en la creación de una hoja de ruta y debe incorporarse de manera significativa y sólida. por ejemplo, el Chico que llora como lobo La situación puede disminuir la confianza establecida entre los actores y debilitar los lazos entre desarrolladores, investigadores de seguridad e inversores. Esto, a su vez, podría resultar en la disminución de la creencia en desarrollar el primer sistema general de IA en el momento apropiado. Por ejemplo, una creencia baja de una llegada rápida de AGI podría resultar en un cálculo erróneo de los riesgos de una implementación insegura de AGI por parte de un actor deshonesto.

Además, se han identificado dos «fragmentos» de tiempo aparente que también dan como resultado problemas significativamente diferentes que deben resolverse. Era previa y posterior a AGI, es decir, antes de que se desarrolle la primera IA general, en comparación con el escenario después de que alguien esté en posesión de dicha tecnología.

En el taller, la discusión se centró principalmente en la era anterior a AGI, ya que la evasión de carreras de la IA debería ser preventiva, en lugar de curativa. esfuerzo. La primera hoja de ruta de ejemplo (figura 1) que se presenta aquí cubre la era anterior a AGI, mientras que la segunda hoja de ruta (figura 2), creada por GoodAI antes del taller, se enfoca en el tiempo alrededor de la creación de AGI.

Problema de punto de vista

Hemos identificado una lista extensa (pero no exhaustiva) de actores que podrían participar en la carrera de la IA, las acciones tomadas por ellos y por otros, así como el entorno en el que se lleva a cabo la carrera y los estados entre los cuales transita todo el proceso. . La Tabla 1 describe los constituyentes identificados. Hacer un mapa de ruta del mismo problema desde varios puntos de vista puede ayudar a revelar nuevos escenarios y riesgos.

documento original

Modelar e investigar los dilemas de decisión de varios actores condujo con frecuencia al hecho de que la cooperación podría proliferar las aplicaciones de las medidas de seguridad de la IA y disminuir la gravedad de la dinámica de la carrera.

Cuestión de cooperación

Es probable que la cooperación entre los muchos actores y el espíritu de confianza y cooperación en general disminuya la dinámica de carrera en el sistema general. Comenzar con una cooperación de bajo riesgo entre diferentes actores, como el desarrollo conjunto de talentos o la colaboración entre los investigadores de seguridad y la industria, debería permitir una mayor confianza y una mejor comprensión de los problemas enfrentados.

Es probable que la cooperación activa entre expertos en seguridad y líderes de la industria de IA, incluida la cooperación entre diferentes empresas de desarrollo de IA sobre cuestiones de seguridad de IA, por ejemplo, resulte en vínculos más estrechos y en una propagación de información positiva en la cadena, que conduzca hasta la regulación. niveles Es probable que el enfoque práctico de la investigación de seguridad con prototipos de trabajo arroje mejores resultados que la argumentación solo teórica.

Un área que necesita más investigación a este respecto son las formas de cooperación que pueden parecer intuitivas, pero que podrían reducir la seguridad del desarrollo de la IA. [1].

Es natural que cualquier desarrollador sensato quiera evitar que su sistema de IA cause daño a su creador y a la humanidad, ya sea una IA limitada o un sistema de IA general. En el caso de un actor maligno, presumiblemente existe una motivación al menos para no hacerse daño.

Al considerar varios incentivos para el desarrollo centrado en la seguridad, necesitamos encontrar un incentivo sólido (o una combinación de estos) que empujaría incluso a los actores desconocidos hacia un A(G)I beneficioso, o al menos un A(G)I que pueda ser revisado [6].

Vincular los problemas de escala de tiempo y cooperación juntos

Para evitar que suceda un escenario negativo, debería ser beneficioso unir los diferentes horizontes temporales (velocidad prevista de llegada de AGI) y la cooperación. Problemas concretos en la seguridad de la IA (interpretabilidad, prevención de sesgos, etc.) [7] son ejemplos de cuestiones relevantes en la práctica que deben abordarse de manera inmediata y colectiva. Al mismo tiempo, los mismos problemas están relacionados con el horizonte presumiblemente más largo del desarrollo de AGI. Señalar tales preocupaciones puede promover la cooperación en seguridad de IA entre varios desarrolladores, independientemente de su horizonte previsto de creación de AGI.

Formas de cooperación que maximizan la práctica de seguridad de la IA

Alentar a la comunidad de IA a discutir e intentar resolver problemas como la carrera de IA es necesario, sin embargo, podría no ser suficiente. Necesitamos encontrar incentivos mejores y más fuertes para involucrar a actores de un espectro más amplio que vaya más allá de los actores tradicionalmente asociados con el desarrollo de sistemas de IA. La cooperación se puede fomentar a través de muchos escenarios, tales como:

  • La investigación de seguridad de la IA se realiza de manera abierta y transparente,
  • El acceso a la investigación de seguridad es gratuito y anónimo: cualquier persona puede recibir asistencia y puede aprovechar la base de conocimientos sin necesidad de revelar su identidad o en qué está trabajando, y sin temor a perder una ventaja competitiva (una especie de «línea de ayuda de seguridad de IA» € ),
  • Las alianzas son inclusivas hacia los nuevos miembros,
  • Se permite y se alienta a los nuevos miembros a ingresar gradualmente en programas y alianzas de cooperación global, lo que debería fomentar una sólida construcción de confianza y minimizar la carga para todas las partes involucradas. Un ejemplo de inclusión gradual en una alianza o un programa de cooperación es comenzar a cooperar en temas de bajo riesgo desde el punto de vista de la competencia económica, como se señaló anteriormente.

En esta publicación, hemos esbozado nuestros primeros pasos para abordar la carrera de la IA. Lo invitamos a unirse a la discusión y ayudarnos a encontrar gradualmente formas de minimizar el peligro de converger a un estado en el que esto podría ser un problema.

El AI Roadmap Institute continuará trabajando en el mapeo de carreras de IA, identificando más actores, reconociendo perspectivas, escalas de tiempo y horizontes aún no vistos, y buscando escenarios de mitigación de riesgos. Continuaremos organizando talleres para discutir estas ideas y publicar las hojas de ruta que creamos. Eventualmente ayudaremos a construir y lanzar el Evitación de carreras con IA ronda del Desafío General de IA. Nuestro objetivo es involucrar a la comunidad investigadora en general y proporcionarle una base sólida para maximizar la posibilidad de resolver este difícil problema.

Estén atentos, o mejor aún, únanse ahora.

Sobre el Desafío General de IA y sus Evitación de carreras con IA redondo

los Desafío general de IA (Challenge para abreviar) es un proyecto de ciencia ciudadana organizado por la empresa de I+D de inteligencia artificial general GoodAI. GoodAI proporcionó un fondo de $ 5 millones que se entregará en premios a lo largo de varias rondas del Desafío de varios años. El objetivo del Desafío es incentivar el talento para abordar problemas de investigación cruciales en el desarrollo de IA a nivel humano y acelerar la búsqueda de inteligencia artificial general segura y beneficiosa.

El AI Roadmap Institute independiente, fundado por GoodAI, colabora con otras organizaciones e investigadores en varios temas relacionados con A(G)I, incluida la seguridad de la IA. La misión del Instituto es acelerar la búsqueda de inteligencia artificial segura a nivel humano fomentando, estudiando, mapeando y comparando hojas de ruta hacia este objetivo. El AI Roadmap Institute actualmente está ayudando a definir el segunda ronda del Desafío, Evitación de carreras de IAque se ocupa de la cuestión de la evasión de carreras de la IA (que se lanzará a finales de 2017).

Los participantes de la segunda ronda del Desafío entregarán análisis y/o soluciones al problema de la evasión de carreras de la IA. Sus presentaciones serán evaluadas en un proceso de evaluación de dos fases: a través de a) aceptación de expertos y b) aceptación comercial. Las presentaciones ganadoras recibirán premios monetarios, proporcionados por GoodAI.

Aceptación de expertos

El premio del jurado experto se otorgará a una idea, concepto, estudio de viabilidad o, preferiblemente, una estrategia viable que muestre la mayor promesa para garantizar un desarrollo seguro y evitar el despliegue apresurado de A(G)I potencialmente inseguro como resultado de la presión del mercado y la competencia. .

Aceptación comercial

Se invitará a los líderes de la industria a evaluar las 10 presentaciones principales del premio del jurado experto y posiblemente algunas presentaciones más de su elección (estas pueden incluir propuestas que podrían tener un potencial para un avance significativo aunque carezcan de criterios de viabilidad)

El premio de aceptación empresarial es una forma de contribuir a establecer un equilibrio entre la investigación y las comunidades empresariales.

Las propuestas serán tratadas bajo una licencia abierta y se harán públicas junto con los nombres de sus autores. Incluso en ausencia de una solución «perfecta», el objetivo de esta ronda del Desafío general de IA debe cumplirse avanzando en el trabajo sobre este tema y promoviendo el interés en la seguridad de la IA en todas las disciplinas.

Referencias

[1] Armstrong, S., Bostrom, N. y Shulman, C. (2016). Carrera al precipicio: un modelo de desarrollo de inteligencia artificial. AI & SOCIETY, 31(2), 201–206.

[2] Baum, SD (2016). Sobre la promoción de una inteligencia artificial segura y socialmente beneficiosa. IA y Sociedad(2011), 1–9.

[3] Bostrom, N. (2017). Implicaciones estratégicas de la apertura en el desarrollo de IA. Política global, 8(2), 135–148.

[4] Geist, EM (2016). Ya es demasiado tarde para detener la carrera armamentista de la IA: debemos gestionarla.. Boletín de los científicos atómicos, 72(5), 318-321.

[5] Conn, A. (2017). ¿Puede la IA permanecer segura mientras las empresas compiten para desarrollarla?

[6] Orseau, L. y Armstrong, S. (2016). Agentes interrumpibles de forma segura.

[7] Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J. y Mané, D. (2016). Problemas concretos en la seguridad de la IA.

Fuente del artículo

Deja un comentario