Informe del taller de evasión de carreras de IA | por GoodAI | Blog del instituto de hoja de ruta de IA

GoodAI y el Instituto de hoja de ruta de IA
Tokio, sede de ARAYA, 13 de octubre de 2017

Autores: Marek Rosa, Olga Afanasjeva, Will Millership (GoodAI)

Participantes del taller: Olga Afanasjeva (GoodAI), Shahar Avin (CSER), Vlado Bužek (Academia Eslovaca de Ciencias), Stephen Cave (CFI), Arisa Ema (Universidad de Tokio), Ayako Fukui (Araya), Danit Gal (Universidad de Pekín), Nicholas Guttenberg (Araya), Ryota Kanai (Araya), George Musser (Scientific American), Seán Ó hÉigeartaigh (CSER), Marek Rosa (GoodAI), Jaan Tallinn (CSER, FLI), Hiroshi Yamakawa (Dwango AI Laboratory)

Es importante abordar los peligros potenciales de una carrera por la IA transformadora, donde:

  • Las partes interesadas clave, incluidos los desarrolladores, pueden ignorar o subestimar los procedimientos o acuerdos de seguridad a favor de una utilización más rápida.
  • Los frutos de la tecnología no serán compartidos por la mayoría de las personas en beneficio de la humanidad, sino solo por unos pocos seleccionados.

La dinámica de carrera puede desarrollarse independientemente de las motivaciones de los actores. Por ejemplo, los actores pueden tener como objetivo desarrollar una IA transformadora lo más rápido posible para ayudar a la humanidad, lograr el dominio económico o incluso reducir los costos de desarrollo.

Ya existe un interés en mitigar los riesgos potenciales. Estamos tratando de involucrar a más partes interesadas y fomentar la discusión global interdisciplinaria.

Realizamos un taller en Tokio donde discutimos muchas preguntas y planteamos otras nuevas que ayudarán a facilitar el trabajo futuro.

La ronda 2 del Desafío general de IA: evitación de carreras se lanzará el 18 de enero de 2018 para generar estrategias de mitigación de riesgos asociados con la carrera de IA.

Lo que podemos hacer hoy:

  • Estudia y comprende mejor la dinámica de la carrera de la IA
  • Averiguar cómo incentivar a los actores para que cooperen
  • Generar una mayor confianza en la comunidad global fomentando discusiones entre diversas partes interesadas (incluidos individuos, grupos, actores del sector público y privado) y siendo lo más transparente posible en nuestras propias hojas de ruta y motivaciones.
  • Evite el alarmismo en torno a la IA y la AGI, lo que podría conducir a una sobrerregulación
  • Discutir la estructura de gobierno óptima para el desarrollo de IA, incluidas las ventajas y limitaciones de varios mecanismos, como la regulación, la autorregulación y los incentivos estructurados.
  • Llamado a la acción: participe en el desarrollo de la próxima ronda del Desafío general de IA

La investigación y el desarrollo en inteligencia artificial fundamental y aplicada están logrando avances alentadores. Dentro de la comunidad de investigación, existe un esfuerzo creciente por avanzar hacia la inteligencia artificial general (AGI). La IA está siendo reconocida como una prioridad estratégica por una variedad de actores, incluidos representantes de varias empresas, grupos de investigación privados, empresas y gobiernos. Este progreso puede conducir a una aparente Carrera de IA, donde las partes interesadas compiten para ser los primeros en desarrollar e implementar una IA lo suficientemente transformadora [1,2,3,4,5]. Tal sistema podría ser AGI, capaz de realizar un amplio conjunto de tareas intelectuales mientras se mejora continuamente, o IA especializadas suficientemente poderosas.

Es poco probable que el progreso de «negocios como de costumbre» en la IA limitada confiera ventajas transformadoras. Esto significa que, aunque es probable que veamos un aumento en las presiones competitivas, lo que puede tener un impacto negativo en la cooperación para guiar los impactos de la IA, es poco probable que dicho progreso continuo desencadene una carrera en la que el ganador se lo lleva todo. No está claro si el AGI se logrará en las próximas décadas o si las IA especializadas otorgarían suficientes ventajas transformadoras para precipitar una carrera de esta naturaleza. Parece haber menos potencial de una carrera entre los actores públicos que intentan abordar los desafíos sociales actuales. Sin embargo, incluso en este ámbito existe un fuerte interés empresarial que, a su vez, puede dar lugar a una dinámica de carrera. Por tanto, en estos momentos es prudente no descartar ninguna de estas posibilidades futuras.

Se ha planteado la cuestión de que tal carrera podría crear incentivos para descuidar los procedimientos de seguridad o los acuerdos establecidos entre los actores clave en aras de obtener la ventaja de ser los primeros y controlar la tecnología. [1]. A menos que encontremos fuertes incentivos para que varias partes cooperen, al menos hasta cierto punto, también existe el riesgo de que los frutos de la IA transformadora no sean compartidos por la mayoría de las personas en beneficio de la humanidad, sino solo por unos pocos seleccionados.

Creemos que en estos momentos las personas presentan un riesgo mayor que la propia IAy que el alarmismo asociado a los riesgos de la IA en los medios solo puede dañar el diálogo constructivo.

Taller y Desafío General de IA

buena IA y el Instituto de hoja de ruta de IA organizó un taller en el Araya oficina en Tokio, el 13 de octubre de 2017, para fomentar el debate interdisciplinario sobre cómo evitar las trampas de una carrera de IA de este tipo.

Talleres como este también se están utilizando para ayudar a preparar la ronda de evasión de carreras de IA del Desafío general de IA que se lanzará el 18 de enero de 2018.

El General AI Challenge mundial, fundado por GoodAI, tiene como objetivo abordar este difícil problema a través de la ciencia ciudadana, promover la investigación de seguridad de IA más allá de los límites de la comunidad de seguridad de IA relativamente pequeña y fomentar un enfoque interdisciplinario.

¿Por qué estamos haciendo este taller y desafío?

Con la dinámica de la carrera emergente, creemos que todavía estamos en un momento en el que las partes interesadas clave pueden abordar de manera efectiva los posibles escollos.

  • Objetivo primario: encontrar una solución a los problemas asociados con la carrera de IA
  • Objetivo secundario: desarrollar una mejor comprensión de la dinámica de las carreras, incluidos los problemas de cooperación y competencia, la propagación del valor, la alineación del valor y la incentivación. Este conocimiento se puede utilizar para dar forma al futuro de las personas, nuestro equipo (o cualquier equipo) y nuestros socios. También podemos aprender a alinear mejor los sistemas de valores de los miembros de nuestros equipos y alianzas.

Es posible que a través de este proceso no encontremos una solución óptima, sino un conjunto de propuestas que podrían acercarnos unos pasos a nuestro objetivo.

Esta publicación es la continuación de una publicación de blog y un taller anteriores Evitar el precipicio: evitación de carreras en el desarrollo de la inteligencia artificial general [6].

Pregunta general: ¿Cómo podemos evitar que la investigación en IA se convierta en una carrera entre investigadores, desarrolladores, empresas, gobiernos y otras partes interesadas, donde:

  • Se descuida la seguridad o se desafían los acuerdos establecidos
  • Los frutos de la tecnología no son compartidos por la mayoría de las personas en beneficio de la humanidad, sino solo por unos pocos seleccionados

En el taller nos enfocamos en:

  • Comprender y mapear mejor la carrera de la IA: responder preguntas (ver a continuación) e identificar otras preguntas relevantes
  • Diseñar la ronda de evasión de carreras de IA del Desafío general de IA (crear una línea de tiempo, discutir posibles tareas y criterios de éxito, e identificar posibles áreas de fricción)

Estamos actualizando continuamente la lista de preguntas relacionadas con la carrera de IA (consulte el apéndice), que se abordarán más adelante en el Desafío general de IA, futuros talleres e investigaciones.

A continuación se presentan algunos de los principales temas discutidos en el taller.

1) ¿Cómo podemos entender mejor la carrera?

  • Crear y comprender marcos para discutir y formalizar preguntas sobre carreras de IA
  • Identificar los principios generales detrás de la carrera. Estudie metapatrones de otras razas en la historia para ayudar a identificar áreas que deberán abordarse
  • Utilice el pensamiento de primer principio para dividir el problema en partes y estimular soluciones creativas.
  • Defina cronogramas claros para la discusión y aclare la motivación de los actores
  • La propagación del valor es clave. Quien quiera avanzar, necesita desarrollar estrategias robustas de propagación de valor
  • La asignación de recursos también es clave para maximizar la probabilidad de propagar los valores propios.
  • Hojas de ruta detalladas con objetivos claros y hojas de ruta abiertas (donde el progreso no se mide por lo cerca que está el estado del objetivo) son herramientas valiosas para comprender la carrera e intentar resolver problemas
  • ¿Se pueden desarrollar juegos de simulación para comprender mejor el problema de la carrera? Shahar Avin está en el proceso de desarrollar un «mod de superinteligencia» para el videojuego Civilization 5, y Frank Lantz del NYU Game Center ideó un juego simple en el que el usuario es un IA desarrollando clips

2) ¿La carrera de IA es realmente algo negativo?

  • La competencia es natural y la encontramos en casi todos los ámbitos de la vida. Puede animar a los actores a concentrarse y destaca las mejores soluciones.
  • La carrera de IA en sí podría verse como un estímulo útil.
  • Quizás no sea deseable “evitar” la carrera de la IA sino gestionarla o guiarla
  • Es compromiso y consenso bueno? Si los actores se comprometen demasiado, el resultado final podría estar demasiado diluido para tener un impacto, y no exactamente lo que todos querían.
  • Una escalada negativa injustificada en los medios de comunicación en torno a la carrera podría conducir a regulaciones innecesariamente estrictas.
  • A medida que vemos surgir dinámicas raciales, la pregunta clave es si el futuro estará alineado con la mayoría de los valores de la humanidad. Debemos reconocer que definir los valores humanos universales es un desafío, considerando que existen múltiples puntos de vista incluso sobre valores fundamentales como los derechos humanos y la privacidad. Esta es una pregunta que debe abordarse antes de intentar alinear la IA con un conjunto de valores.

3) ¿Quiénes son los actores y cuáles son sus roles?

  • ¿Quién no es parte de la discusión todavía? ¿Quién debería ser?
  • Las personas que implementarán políticas y pautas de mitigación de carreras de IA serán las personas que trabajen en ellas en este momento.
  • Participarán militares y grandes empresas. No porque necesariamente queramos que den forma al futuro, sino porque son partes interesadas clave
  • ¿Qué centros de investigación y desarrollo existentes, gobiernos, estados, organizaciones intergubernamentales, empresas e incluso actores desconocidos serán los más importantes?
  • ¿Cuál es el papel de los medios en la carrera de la IA, cómo pueden ayudar y cómo pueden dañar el progreso?
  • Las generaciones futuras también deben ser reconocidas como partes interesadas que se verán afectadas por las decisiones que se tomen hoy.
  • La regulación puede verse como un intento de limitar el futuro de actores más inteligentes o más poderosos. Por lo tanto, para evitar conflictos, es importante asegurarse de que las regulaciones necesarias estén bien pensadas y sean beneficiosas para todos los actores.

4) ¿Cuáles son los incentivos para cooperar en IA?

Uno de los ejercicios del taller fue analizar:

  • ¿Cuáles son las motivaciones de las partes interesadas clave?
  • ¿Cuáles son las palancas que tienen para promover sus objetivos?
  • ¿Cuáles podrían ser sus incentivos para cooperar con otros actores?

Uno de los requisitos previos para una cooperación eficaz es un nivel suficiente de confianza:

  • ¿Cómo definimos y medimos la confianza?
  • ¿Cómo podemos desarrollar la confianza entre todas las partes interesadas, dentro y fuera de la comunidad de IA?

La previsibilidad es un factor importante. Los actores que son abiertos sobre su sistema de valores, transparentes en sus objetivos y formas de lograrlos, y que son consistentes en sus acciones, tienen mejores posibilidades de crear alianzas funcionales y duraderas.

5) ¿Cómo podría desarrollarse la carrera?

Los participantes del taller presentaron múltiples puntos de vista sobre la naturaleza de la carrera de la IA y una variedad de escenarios de cómo podría desarrollarse.

A modo de ejemplo, a continuación se muestran dos posibles trayectorias de la carrera hacia la IA general:

  • El ganador se lleva todo: un actor dominante tiene el monopolio de AGI y está años por delante de todos. Es probable que esto siga un camino de AGI transformador (vea el diagrama a continuación).

Ejemplo: ventajas tecnológicas similares han jugado un papel importante en la geopolítica en el pasado. Por ejemplo, para 1900 Gran Bretaña, con solo 40 millones de habitantes, logró capitalizar la ventaja de la innovación tecnológica creando un imperio de aproximadamente una cuarta parte de la tierra y la población de la Tierra. [7].

  • Desarrollo coevolutivo: muchos actores con un nivel similar de I+D compiten progresivamente hacia AGI.

Ejemplo: Esta dirección sería similar a la primera etapa de la exploración espacial cuando dos actores (la Unión Soviética y los Estados Unidos) estaban desarrollando y poniendo en uso con éxito una tecnología competidora.

Otras Consideraciones:

  • Podríamos entrar en una carrera hacia una IA estrecha cada vez más capaz (no un escenario de «el ganador se lo lleva todo»: agarrar el talento de la IA)
  • Estamos en múltiples carreras para tener un liderazgo incremental en diferentes tipos de IA estrecha. Por lo tanto, debemos ser conscientes de los diferentes riesgos que acompañan a las diferentes razas.
  • La dinámica cambiará a medida que evolucionen las diferentes razas.

El siguiente diagrama explora algunas de las posibles vías desde la perspectiva de cómo podría verse la propia IA. Representa creencias sobre tres posibles direcciones en las que puede progresar el desarrollo de la IA. Las hojas de ruta de los supuestos del desarrollo de la IA, como esta, se pueden usar para pensar qué pasos podemos tomar hoy para lograr un futuro beneficioso incluso en condiciones adversas y diferentes creencias.

Haga clic aquí para ver la imagen a tamaño completo

Leyenda:

  • Ruta AGI transformadora: cualquier AGI que conduzca a cambios dramáticos y rápidos de paradigma en la sociedad. Es probable que este sea un escenario de “el ganador se lo lleva todo”.
  • Ruta AGI de la navaja suiza: un sistema poderoso (también puede ser descentralizado) compuesto por componentes expertos individuales, una colección de IA estrechas. Tal escenario AGI podría significar más equilibrio de poder en la práctica (cada parte interesada controlará su dominio de experiencia o componentes del «cuchillo»). Es probable que este sea un camino coevolutivo.
  • Ruta estrecha de IA: en este camino, el progreso no indica proximidad a AGI y es probable que las empresas compitan para crear las IA estrechas más potentes posibles para diversas tareas.

Supuesto de carrera actual en 2017

Suposición: Estamos en una carrera hacia una IA estrecha cada vez más capaz (no un escenario de «el ganador se lo lleva todo»: agarrar el talento de la IA)

  • Contrasuposición: Estamos en una carrera hacia el AGI «incremental» (no un escenario de «el ganador se lo lleva todo»)
  • Contrasuposición: Estamos en una carrera hacia el AGI recursivo (el ganador se lo lleva todo)
  • Contrasuposición: Estamos en múltiples carreras para tener un liderazgo incremental en diferentes tipos de IA «estrecha»

Supuesto futuro previsible

Suposición: En algún momento (posiblemente 15 años) entraremos en una carrera ampliamente reconocida hacia un escenario de AGI recursivo en el que «el ganador se lo lleva todo».

  • Contrasuposición: En 15 años, continuaremos la carrera incremental (no un escenario de «el ganador se lo lleva todo») en IA estrecha o AGI no recursivo
  • Contrasuposición: En 15 años, entraremos en una carrera limitada de “el ganador se lleva todo” hacia ciertas capacidades limitadas de IA o AGI no recursivas
  • Contrasuposición: El abrumador «el ganador se lo lleva todo» se evita mediante el límite superior total de los recursos disponibles que respaldan la inteligencia

Otros supuestos y contra-supuestos de raza a AGI

Suposición: El desarrollo de AGI requerirá un proyecto grande, bien financiado y de gran infraestructura

  • Contrasuposición: Algunas ideas clave serán críticas y podrían provenir de grupos pequeños. Por ejemplo, la Búsqueda de Google, que no se inventó dentro de una empresa bien conocida, sino que comenzó desde cero y revolucionó el panorama.
  • Contrasuposición: Los grupos pequeños también pueden superponer información clave sobre el trabajo existente de grupos más grandes.

Suposición: AI/AGI requerirá grandes conjuntos de datos y otros factores limitantes

  • Contrasuposición: AGI podrá aprender de entornos reales y virtuales y de una pequeña cantidad de ejemplos de la misma manera que los humanos pueden

Suposición: AGI y sus creadores serán fácilmente controlados por limitaciones de dinero, influencia política y otros factores.

  • Contrasuposición: AGI se puede utilizar para generar dinero en el mercado de valores

Suposición: La mejora recursiva procederá linealmente/rendimientos decrecientes (por ejemplo, aprender a aprender por descenso de gradiente por descenso de gradiente)

  • Contrasuposición: En cierto punto de la generalidad y la capacidad cognitiva, la superación personal recursiva puede comenzar a mejorar más rápidamente que de forma lineal, precipitando una «explosión de inteligencia»

Suposición: El talento de los investigadores será un factor limitante clave en el desarrollo de AGI

  • Contrasuposición: La participación del gobierno, la financiación, la infraestructura, los recursos computacionales y el apalancamiento también son factores limitantes potenciales.

Suposición: AGI será un agente singular de inteligencia amplia

  • Contrasuposición: AGI será un conjunto de componentes modulares (cada uno limitado/estrecho) pero capaz de generalidad en combinación
  • Contrasuposición: AGI será un conjunto aún más amplio de capacidades tecnológicas que el anterior

6) ¿Por qué buscar una solución de carreras de IA públicamente?

  • La transparencia permite que todos se enteren del tema, nada se oculta. Esto conduce a una mayor confianza
  • Inclusión: se alienta a todas las personas de diferentes disciplinas a participar porque es relevante para todas las personas vivas.
  • Si la carrera se está disputando, no conseguiremos nada con no discutirla, sobre todo si el objetivo es asegurar un futuro beneficioso para todos.

El miedo a una amenaza inmediata es un gran motivador para que la gente actúe. Sin embargo, la psicología del comportamiento nos dice que, a largo plazo, un enfoque más positivo puede funcionar mejor para motivar a las partes interesadas. La discusión pública positiva también puede ayudar a evitar el alarmismo en los medios.

7) ¿Qué futuro queremos?

  • El consenso puede ser difícil de encontrar y también puede no ser práctico o deseable
  • La mitigación de carreras de IA es básicamente un seguro. Una forma de evitar futuros infelices (esto puede ser más fácil que maximizar todos los futuros felices)
  • Incluso aquellos que piensan que serán ganadores pueden terminar en segundo lugar y, por lo tanto, es beneficioso para ellos considerar la dinámica de la carrera.
  • En el futuro, es deseable evitar el escenario de “el ganador se lo lleva todo” y hacer posible que más de un actor sobreviva y utilice la IA (o, en otras palabras, debe estar bien quedar segundo en la carrera o no ganar). en absoluto)
  • Una forma de describir un futuro deseado es donde la felicidad de cada próxima generación es mayor que la felicidad de una generación anterior.

Nuestro objetivo es crear un futuro mejor y asegurarnos de que la IA se utilice para mejorar la vida de tantas personas como sea posible. [8]. Sin embargo, es difícil imaginar exactamente cómo será este futuro.

Una forma de visualizar esto podría ser usar un «velo de ignorancia» experimento mental. Si todas las partes interesadas involucradas en el desarrollo de la IA transformadora asumen que no serán los primeros en crearla, o que no participarán en absoluto, es probable que creen reglas y regulaciones que sean beneficiosas para la humanidad en su conjunto, en lugar de serlo. cegados por su propio interés.

En el taller discutimos los próximos pasos para la Ronda 2 del Desafío General de IA.

Acerca de la ronda de evasión de carreras de IA

  • Aunque esta publicación ha usado el título AI Race Avoidance, es probable que cambie. Como se discutió anteriormente, no estamos proponiendo evitar la carrera sino guiar, manejar o mitigar las trampas. Trabajaremos en un título mejor con nuestros socios antes del lanzamiento.
  • La ronda se pospuso hasta el 18 de enero de 2018. El tiempo extra permite que más socios y el público se involucren en el diseño de la ronda para que sea lo más completa posible.
  • El objetivo de la ronda es crear conciencia, discutir el tema, obtener un grupo de ideas lo más diverso posible y, con suerte, encontrar una solución o un conjunto de soluciones.

Presentaciones

  • Se espera que la ronda dure varios meses y se puede repetir
  • Resultado deseado: próximos pasos o ensayos, soluciones propuestas o marcos para analizar preguntas sobre carreras de IA
  • Las presentaciones pueden ser muy abiertas.
  • Las presentaciones pueden incluir meta-soluciones, ideas para rondas futuras, marcos, hojas de ruta convergentes o abiertas con varios niveles de detalle.
  • Las presentaciones deben tener un resumen de dos páginas y, si es necesario, una presentación más larga/ilimitada
  • Sin límite en el número de envíos por participante

Jueces y evaluación

  • Estamos tratando activamente de garantizar la diversidad en nuestro panel de jueces. Creemos que es importante contar con personas de diferentes culturas, orígenes, géneros e industrias que representen una amplia gama de ideas y valores.
  • El panel juzgará las presentaciones sobre cómo están maximizando las posibilidades de un futuro positivo para la humanidad.
  • Las especificaciones de esta ronda están en proceso
  • Prepárese para el lanzamiento de la ronda de evitación de carreras de IA del Desafío general de IA en cooperación con nuestros socios el 18 de enero de 2018
  • Continuar organizando talleres sobre temas de carreras de IA con la participación de varias partes interesadas internacionales
  • Promover la cooperación: centrarse en establecer y fortalecer la confianza entre las partes interesadas de todo el mundo. La transparencia en las metas facilita la confianza. Al igual que confiaríamos en un sistema de IA si su toma de decisiones es transparente y predecible, lo mismo se aplica a los humanos.

En GoodAI estamos abiertos a nuevas ideas sobre cómo debería verse la ronda de evasión de carreras de IA del Desafío general de IA. Nos encantaría saber de usted si tiene alguna sugerencia sobre cómo debe estructurarse la ronda, o si cree que nos hemos perdido alguna pregunta importante en nuestra lista a continuación.

Mientras tanto, le agradeceríamos que compartiera las noticias sobre esta próxima ronda del Desafío general de IA con cualquier persona que crea que pueda estar interesada.

Más preguntas sobre la carrera de IA

A continuación se muestra una lista de algunas de las preguntas clave que esperamos ver abordadas en la Ronda 2: Evitación de la carrera de IA del Desafío general de IA. Los hemos dividido en tres categorías: Incentivo para cooperar, Qué hacer hoy y Seguridad y protección.

Incentivo a cooperar:

  • ¿Cómo incentivar al ganador de la carrera de IA para que obedezca cualquier acuerdo anterior relacionado y/o comparta los beneficios de la IA transformadora con otros?
  • ¿Cuál es el incentivo para entrar y permanecer en una alianza?
  • Entendemos que la cooperación es importante para avanzar con seguridad. Sin embargo, ¿qué pasa si otros actores no entienden su importancia o se niegan a cooperar? ¿Cómo podemos garantizar un futuro seguro si hay no cooperadores desconocidos?
  • Al observar los problemas en diferentes escalas, los puntos débiles son similares incluso al nivel de la dinámica interna del equipo. Necesitamos inventar mecanismos robustos para la cooperación entre: miembros individuales del equipo, equipos, empresas, corporaciones y gobiernos. Cómo hacemos esto?
  • Al considerar varios incentivos para el desarrollo centrado en la seguridad, necesitamos encontrar un incentivo sólido (o una combinación de estos) que empuje incluso a los actores desconocidos hacia un AGI beneficioso, o al menos un AGI que pueda controlarse. ¿Cómo?

Que hacer hoy:

  • ¿Cómo reducir el peligro de exceso de regulación y control político irrazonable?
  • ¿Qué papel podrían tener los estados en la economía futura y qué estrategias están asumiendo/pueden asumir hoy, en términos de su participación en el desarrollo de IA o AGI?
  • Con respecto a la carrera armamentística de la IA, ¿es una buena idea prohibir las armas autónomas? ¿Qué pasa si otros partidos no siguen la prohibición?
  • Si la regulación se excede al crear condiciones inaceptables para los actores regulados, los actores pueden decidir ignorar la regulación y asumir el riesgo de posibles sanciones. Por ejemplo, la prohibición total del alcohol o los juegos de azar puede conducir al desplazamiento de las actividades a áreas ilegales, mientras que una regulación bien diseñada puede ayudar a reducir los impactos más negativos, como el desarrollo de adicciones.
  • La investigación sobre la seguridad de la IA debe promoverse más allá de los límites de la pequeña comunidad de seguridad de la IA y abordarse de manera interdisciplinaria. Debe haber una cooperación activa entre los expertos en seguridad, los líderes de la industria y los estados para evitar escenarios negativos. ¿Cómo?

Seguridad y proteccion:

  • ¿Qué nivel de transparencia es óptimo y cómo demostramos transparencia?
  • Impacto de la apertura: ¿qué tan abiertos debemos ser en la publicación de «soluciones» a la carrera de la IA?
  • ¿Cómo evitamos que los primeros desarrolladores de AGI se conviertan en un objetivo?
  • ¿Cómo podemos protegernos contra el uso maligno de AI o AGI?

Preguntas relacionadas

  • ¿Cuál es el perfil de un desarrollador que puede resolver la IA en general?
  • ¿Quién es un peligro mayor: las personas o la IA?
  • ¿Cómo usaría el ganador de la carrera de la IA el poder recién adquirido para dominar las estructuras existentes? ¿Tendrán alguna razón para interactuar con ellos?
  • ¿Renta básica universal?
  • ¿Hay algo más allá de la inteligencia? Inteligencia 2.0
  • Final del juego: ¿convergencia o final abierto?
  • ¿Qué desearía un creador de AGI, dada la posibilidad de construir un AGI dentro de un mes/año?
  • ¿Hay bienes o servicios que un creador de AGI necesitaría inmediatamente después de construir un sistema AGI?
  • ¿Cuáles podrían ser los objetivos de los creadores de AGI?
  • ¿Cuáles son las posibilidades de aquellos que desarrollan AGI primero sin que el mundo lo sepa?
  • ¿Cuáles son las posibilidades de aquellos que desarrollan AGI primero mientras comparten sus investigaciones/resultados?
  • ¿Qué haría que un creador de AGI compartiera sus resultados, a pesar de tener la capacidad de destrucción masiva (por ejemplo, parálisis de Internet) (las intenciones del desarrollador pueden no ser malas, pero su defensa de la «nacionalización» podría ser lógicamente una demostración de fuerza)
  • ¿Somos capaces de crear un modelo de cooperación en el que el creador de un AGI obtenga la mayor cantidad de beneficios y, al mismo tiempo, esté protegido de los demás? ¿Existe un escenario en el que un desarrollador de software se beneficie monetariamente de la distribución gratuita de su software?
  • ¿Cómo evitar la usurpación de AGI por parte de gobiernos y ejércitos? (es decir, un intento de propiedad exclusiva)

[1] Armstrong, S., Bostrom, N. y Shulman, C. (2016). Carrera al precipicio: un modelo de desarrollo de inteligencia artificial. IA Y SOCIEDAD, 31(2), 201–206.

[2] Baum, SD (2016). Sobre la promoción de una inteligencia artificial segura y socialmente beneficiosa. AI y Sociedad (2011), 1–9.

[3] Bostrom, N. (2017). Implicaciones estratégicas de la apertura en el desarrollo de IA. Política global, 8(2), 135–148.

[4] Geist, EM (2016). Ya es demasiado tarde para detener la carrera armamentista de la IA — Debemos manejarlo en su lugar. Boletín de los Científicos Atómicos, 72(5), 318–321.

[5] Conn, A. (2017). ¿Puede la IA permanecer segura mientras las empresas compiten para desarrollarla?

[6] Instituto de hoja de ruta de IA (2017). EVITAR EL PRECIPIO: evitación de carreras en el desarrollo de la inteligencia artificial general.

[7] Allen, Greg y Taniel Chan. Inteligencia Artificial y Seguridad Nacional. Reporte. Escuela Kennedy de Harvard, Universidad de Harvard. Boston, MA, 2017.

[8] Instituto Futuro de la Vida. (2017). PRINCIPIOS DE ASILOMAR AI desarrollado en conjunto con la conferencia Asilomar 2017.

Otros enlaces:

Fuente del artículo

Deja un comentario