Comparación de hoja de ruta en GoodAI. Mensaje invitado de Martin Stránský, Investigación… | por el Instituto de hoja de ruta de IA | Blog del instituto de hoja de ruta de IA

Mensaje invitado por Martin Stránskýcientífico investigador @GoodAI

Figura 1. Comparación de hoja de ruta de desarrollo de arquitectura GoodAI ()

REl progreso reciente en inteligencia artificial, especialmente en el área del aprendizaje profundo, ha sido impresionante. Esto es muy alentador para cualquier persona interesada en el campo, pero el verdadero progreso hacia la inteligencia artificial a nivel humano es mucho más difícil de evaluar.

La evaluación de la inteligencia artificial es un problema muy difícil por varias razones. Por ejemplo, la falta de consenso sobre los requisitos básicos necesarios para las máquinas inteligentes es una de las principales barreras para el desarrollo de enfoques unificados para comparar diferentes agentes. A pesar de que varios investigadores se centran específicamente en este tema (p. o por nombrar algunos), el área se beneficiaría de una mayor atención por parte de la comunidad de IA.

Los métodos para evaluar la IA son herramientas importantes que ayudan a evaluar el progreso de los agentes ya creados. Sin embargo, la comparación y evaluación de hojas de ruta y enfoques para construir tales agentes se explora menos. Tal comparación es potencialmente aún más difícil, debido a la vaguedad y las definiciones formales limitadas dentro de tales planes prospectivos.

Sin embargo, creemos que para dirigirnos hacia áreas de investigación prometedoras e identificar posibles callejones sin salida, debemos poder comparar de manera significativa las hojas de ruta existentes. Dicha comparación requiere la creación de un marco que defina procesos sobre cómo adquirir información importante y comparable de los documentos existentes que describen sus respectivas hojas de ruta. Sin un marco unificado de este tipo, cada hoja de ruta podría diferir no solo en su objetivo (por ejemplo, IA general, IA a nivel humano, IA conversacional, etc.), sino también en sus enfoques para lograr ese objetivo que podría ser imposible de comparar y contrastar.

Esta publicación ofrece una idea de cómo nosotros, en GoodAI, estamos comenzando a analizar este problema internamente (comparando el progreso de nuestros tres equipos de arquitectura) y cómo esto podría escalar a las comparaciones en toda la comunidad. Esto todavía es un trabajo en progreso, pero creemos que podría ser beneficioso compartir estos pensamientos iniciales con la comunidad, para comenzar la discusión sobre lo que creemos que es un tema importante.

En la primera parte de este artículo, se presenta una comparación de tres hojas de ruta de desarrollo de arquitectura GoodAI y se analiza una técnica para compararlas. El objetivo principal es estimar el potencial y la exhaustividad de los planes de cada arquitectura para poder dirigir nuestro esfuerzo a la más prometedora.

Para administrar la adición de hojas de ruta de otros equipos, hemos desarrollado un plan general de desarrollo de IA a nivel humano llamado meta-hoja de ruta. Esta meta-hoja de ruta consta de 10 pasos que se deben pasar para alcanzar un objetivo ‘último’. Esperamos que la mayoría de los planes potencialmente dispares resuelvan uno o más problemas identificados en la meta-hoja de ruta.

A continuación, tratamos de comparar nuestros enfoques con los de asignando los documentos actuales y las tareas abiertas a los problemas en la meta-hoja de ruta. Lo encontramos útil, ya que nos mostró qué es comparable y que se necesitan diferentes técnicas de comparación para cada problema.

Tres equipos de GoodAI han estado trabajando en sus arquitecturas durante algunos meses. Ahora necesitamos un método para medir el potencial de las arquitecturas para poder, por ejemplo, dirigir nuestro esfuerzo de manera más eficiente asignando más recursos al equipo con mayor potencial. Sabemos que aún no es posible determinar qué camino es el más prometedor en función del estado actual, por lo que les pedimos a los equipos que trabajan en arquitecturas inacabadas que creen planes para el desarrollo futuro, es decir, que creen sus hojas de ruta.

Según las respuestas proporcionadas, tenemos requisitos unificados iterativamente para esos planes. Después de numerosas discusiones, se nos ocurrió la siguiente estructura:

  • Una unidad de un plan se llama hito y describe algún trabajo en una parte de la arquitectura (por ejemplo, un nuevo módulo, una estructura diferente, una mejora de un módulo agregando funcionalidad, ajustando parámetros, etc.)
  • Cada hito contiene: Tiempo estimadoes decir, el tiempo esperado dedicado al hito asumiendo el tamaño actual del equipo, Característica de trabajo o nuevas características y Prueba de nuevas características.
  • Un plan puede ser interrumpido por puntos de control que sirven como pruebas comunes para dos o más arquitecturas.

Ahora tenemos un conjunto de herramientas básicas para monitorear el progreso:

  • Veremos si un equipo en particular logrará sus pruebas diseñadas por él mismo y, por lo tanto, podrá cumplir sus expectativas originales a tiempo.
  • Debido a los puntos de control es posible comparar arquitecturas en pleno desarrollo.
  • Podemos ver hasta dónde ve un equipo. Idealmente, después de terminar el último hito, la arquitectura debe ser preparado para pasar a través de un plan de estudios (que se desarrollará mientras tanto) y una prueba final después.
  • Total estimaciones de tiempo. Podemos compararlos también.
  • Todavía estamos trabajando en un conjunto unificado (entre las arquitecturas GoodAI) de características que necesitaremos de una arquitectura (deseos de una arquitectura).

Los planes particulares se colocaron uno al lado del otro (ver Figura 1) y se definieron algunos puntos de control (actualmente vagamente). Como podemos ver, los equipos tienen planes aproximados de su trabajo para más de un año por delante, pero los planes no están completos en el sentido de que las arquitecturas no estarán listas para ningún plan de estudios. Dos arquitecturas utilizan un enfoque conectivista y son fáciles de comparar. La tercera, OMANN, manipula símbolos, por lo que desde un principio puede realizar tareas que son difíciles para las otras dos arquitecturas y viceversa. Esto significa que aún no se han definido puntos de control para OMANN. Vemos la falta de pruebas comunes como un problema grave con el plan y estamos buscando cambios para hacer que la arquitectura sea más comparable con las demás, aunque puede causar algunos retrasos en el desarrollo.

Hubo un esfuerzo por incluir otra arquitectura en la comparación, pero no hemos podido encontrar un documento que describa el trabajo futuro con tanto detalle, con la excepción de papel. Después de un análisis más detallado, determinamos que el documento se centraba en un problema ligeramente diferente al desarrollo de una arquitectura. Abordaremos esto más adelante en la publicación.

Nos gustaría echar un vistazo al problema desde la perspectiva de los pasos inevitables necesarios para desarrollar un agente inteligente. Primero debemos hacer algunas suposiciones sobre todo el proceso. Nos damos cuenta de que estos son algo vagos: queremos que sean aceptables para otros investigadores de IA.

  1. Un objetivo es producir un software (referido como un arquitectura), que puede ser parte de algún agente en algún mundo.
  2. En el mundo habrá tareas que el agente deberá resolver, o una recompensa basada en estados del mundo que el agente deberá buscar.
  3. Un agente inteligente puede adaptarse a un entorno desconocido/cambiante y resolver tareas nunca antes vistas.
  4. Para verificar si se alcanzó el objetivo final (sin importar cómo se haya definido), cada enfoque necesita algunos objetivos bien definidos. examen finalque muestra cuán inteligente es el agente (preferiblemente en comparación con los humanos).

Antes de que el agente pueda pasar su prueba final, debe haber una fase de aprendizaje para enseñarle al agente todas las habilidades o destrezas necesarias. Si existe la posibilidad de que el agente pueda pasar la prueba final sin aprender nada, la prueba final es insuficiente con respecto al punto 3. La descripción de la fase de aprendizaje (que puede incluir también una descripción del mundo) se llama currículum.

Usando las suposiciones anteriores (y algunas más obvias que no enumeraremos aquí) derivamos la Figura 2 que describe la lista de pasos necesarios y su orden. A este diagrama lo llamamos meta-hoja de ruta.

Figura 2. Descripción general de una meta-hoja de ruta ()

Las tareas más importantes e inminentes en el diagrama son

  • La definición de un objetivo final,
  • A examen final especificación,
  • la propuesta diseño de un currículoy
  • A mapa vial para el desarrollo de una arquitectura.

Creemos que la mayoría de los enfoques actuales resolver uno o más de estos problemas abiertos; desde diferentes puntos de vista según un objetivo final y las creencias de los autores. Para que el esfuerzo sea más claro, dividiremos los enfoques descritos en los artículos publicados en grupos según el problema que resuelven y los compararemos dentro de esos grupos. Por supuesto, los enfoques son difíciles de comparar entre grupos (aunque no es imposible, por ejemplo, la prueba final puede ser comparable a un plan de estudios en circunstancias específicas). Incluso dentro de un grupo puede ser muy difícil en algunas situaciones, donde los requisitos (que son lo primero que debe definirse de acuerdo con nuestro diagrama) difieren significativamente.

También se puede hacer un análisis de la complejidad y la integridad de un enfoque dentro de este marco. Por ejemplo, si un equipo omite uno o más de los problemas abiertos, indica que es posible que el equipo no haya considerado ese problema en particular y esté procediendo sin una noción completa del “panorama general”.

Nos gustaría mostrar un intento de asignar enfoques a los problemas y compararlos. Primero, hemos analizado GoodAI y / enfoque ya que este último está bien descrito. Puede ver el resultado en la Figura 3 a continuación.

Figura 3. Meta-hoja de ruta con desiderata incorporado para diferentes hojas de ruta ()

Como sugiere el diagrama, trabajamos en algunos problemas comunes. No proporcionaremos el análisis completo aquí, pero haremos varias observaciones para demostrar el significado de la meta-hoja de ruta. In desiderata, según Ҡ, un objetivo es un agente que puede entender el lenguaje humano. En contraste con el enfoque GoodAI, otras modalidades además del texto no se consideran importantes. En el plan de estudios, GoodAI quiere enseñar a un agente de una manera más antropocéntrica (primero la entrada visual, luego el lenguaje), mientras que la totalidad de El plan de estudios se compone de tareas orientadas al lenguaje.

no proporcionan un plan de desarrollo para su arquitectura, por lo que podemos comparar su plan de estudios con el nuestro, pero no es posible incluir sus deseos en el diagrama de la Figura 1.

Hemos presentado nuestra meta-hoja de ruta y una comparación de tres hojas de ruta de desarrollo de GoodAI. Esperamos que esta publicación ofrezca una idea de cómo comenzamos este proceso en GoodAI y anime un debate sobre cómo se podría mejorar y escalar más allá de las comparaciones internas. Estaremos encantados de recibir cualquier comentario: la generalidad de nuestra meta-hoja de ruta debe discutirse más a fondo, así como nuestros métodos para estimar la integridad de la hoja de ruta y su potencial para lograr una IA a nivel humano.

Fuente del artículo

Deja un comentario