¿Cuánto dura la "memoria" de la inteligencia artificial?
La capa inferior de la tecnología de inteligencia artificial existente es la tecnología de aprendizaje automático, que utiliza redes neuronales multicapa para realizar análisis cuantitativos de problemas. Finalmente, se obtiene una red neuronal relativamente confiable. Sabe cómo descomponer el problema es lo más razonable, pero no conoce el significado lógico de los valores de los parámetros de la red y el resultado final, excepto la tasa de precisión.
Entonces asumimos que hay dos cosas nuevas que aprender, A y B. Usamos un conjunto de redes neuronales para aprender una tras otra, y surgirá una situación muy embarazosa:
Deje que la inteligencia artificial aprenda A y luego aprenda B, la red neuronal previamente establecida para completar la tarea A se vuelve inútil y debe acumularse desde 0 nuevamente. Cuando la red neuronal aprende cómo resolver el problema B, la solución del problema A ya está cubierta, lo que equivale a "olvidar".
Tienes que saber lo frustrante que es querer decir algo y de repente olvidarlo porque te interrumpen.
En general, aunque esta red neuronal puede aprender A y B al mismo tiempo, no es una red neuronal por naturaleza porque no puede hacer dos cosas al mismo tiempo.
Esta característica es como un "muro alto" que impide que la inteligencia artificial avance en la dirección de la generalización. Precisamente porque no se puede generalizar, la inteligencia artificial que vemos actualmente se ha mantenido durante mucho tiempo en la etapa de "inteligencia artificial débil (sólo puede completar uno o un tipo de problema práctico)".
Para resolver este problema, DeepMind ha lanzado un nuevo sistema de algoritmo EWC (Elastic Weight Consolidation), cuyo principio no es complicado.
Dos tareas, A y B, y dos redes neuronales correspondientes.
Aún quedan dos cosas por aprender, A y B, pero después de aprender A, hay un paso adicional en el algoritmo EWC: según la relación entre cada neurona de la red neuronal y el resultado, agregar respectivamente. Al volver a aprender algo B completamente nuevo, se conservará la estructura de red neuronal más crítica de A. Incluso si cubre una pequeña parte, se puede obtener rápidamente mediante el reaprendizaje.
Yuan Xingyuan señaló específicamente: "La clave para el desarrollo de DeepMind esta vez es que 19 juegos usan la misma red neuronal". A juzgar solo por este resultado, el experimento de DeepMind fue exitoso.
Tengo que decir que así es como funciona el cerebro humano. Debido a que el cerebro humano también divide el trabajo de izquierda a derecha, diferentes partes de la corteza cerebral son responsables de diferentes tareas. Cuando se trata de problemas específicos, las áreas correspondientes del cerebro funcionan de forma natural. El CEE surgió como una medida de cómo estas redes neuronales que no pueden funcionar al mismo tiempo deben mantenerse separadas.
De hecho, el objeto de referencia del algoritmo de DeepMind es el cerebro humano y el de los mamíferos, porque ambos tienen la capacidad de consolidar habilidades y recuerdos previamente adquiridos. Según los resultados de las investigaciones actuales en neurociencia, existen dos formas principales de consolidar el conocimiento en el cerebro: la consolidación del sistema y la consolidación sináptica.
Durante la consolidación del sistema, el cerebro humano transfiere recuerdos adquiridos de la parte de aprendizaje rápido a la parte de aprendizaje lento. Este proceso de transferencia involucra memoria consciente y memoria inconsciente, y los humanos pueden completar este proceso de transferencia mientras sueñan. En la consolidación sináptica, si una habilidad era importante en el aprendizaje previo, las conexiones entre neuronas no se sobrescriben.
El algoritmo EWC publicado por DeepMind en realidad simula la consolidación sináptica. Pero no hay duda de que incluso con el algoritmo EWC, la complejidad de la memoria actual de la inteligencia artificial es mucho menor que la de los humanos.
¿Debería salir a jugar una mula o un caballo?
Ahora que el algoritmo está disponible, es natural probarlo. DeepMind eligió un proyecto familiar: el 19 ATARI 2600 (una consola de juegos clásica de píxeles lanzada en 1977 con varios juegos clásicos).
Ya en 2015, DeepMind logró puntuaciones mejores que las humanas en estos juegos a través de su red neuronal de desarrollo propio Deep Q.
Todavía es un proyecto familiar, pero esta vez DeepMind ha agregado el algoritmo EWC a Deep Q.
Al mismo tiempo, para verificar la efectividad del algoritmo EWC, agregaron una condición de evaluación: cada juego solo se puede aprender 20 millones de veces antes de pasar al siguiente. Después de aprender los 19 juegos, comience a aprender nuevamente desde el primer juego.
Finalmente, obtuvieron los siguientes resultados:
Nota: SGD (azul) es el resultado del aprendizaje sin agregar EWC, y el rojo es el resultado del aprendizaje continuo en un solo juego después de agregar Algoritmo del CEE.
Cabe señalar que la abscisa en estos gráficos es el número de tiempos de aprendizaje, y el CEE no es el resultado de un aprendizaje continuo. De hecho, EWC aprendió 18 juegos más entre cada dos picos y valles.
Una simple estadística de los resultados: entre los 19 partidos, 11 puntuaciones del EWC alcanzaron o se acercaron (calculadas en un 80%) a las puntuaciones de un solo partido.
Por otro lado, al comparar las puntuaciones de EWC y SGD también se puede ver una tendencia interesante: en la mayoría de los juegos, ambos tendrán una disminución significativa después del "reaprendizaje", pero la puntuación de EWC suele ser más alta que la de SGD. , el rango de fluctuación general será cada vez más pequeño. Esto demuestra que EWC realmente recuerda cómo jugar este juego.
Pero al mismo tiempo, también podemos encontrar otros resultados interesantes:
1. En juegos como Breakout, Star Gunner y Asterix, la acumulación de datos es muy importante. , sólo cuando la cantidad de aprendizaje se acumula hasta cierto punto se pueden descubrir las reglas de un solo juego. Sin embargo, el límite de sólo 2.000 tiempos de aprendizaje por ronda impide que el CEE y el SGD avancen (incluso si el número de rondas sigue aumentando, las esperanzas son escasas).
2. En los canguros, diferentes intentos de aprendizaje parecieron mejorar las puntuaciones. Después de muchos giros y vueltas, EWC ha logrado muchos logros que van más allá de los juegos para un solo jugador (similar a cómo los humanos necesitan estado e inspiración para jugar).
3. En "Demon Attack", "Defender" y "Space Invaders", el rendimiento de EWC disminuyó después de algunas rondas. Incluso después de varias rondas de investigación, no hubo ninguna mejora. Esto puede deberse a tiempos de aprendizaje insuficientes o puede ser el resultado de que la red EWC no seleccionó correctamente los componentes de la red neuronal guardados.
Este experimento demuestra que el CEE realmente puede funcionar. Pero el rendimiento en diferentes juegos es muy diferente. ¿Cómo elegir la red neuronal que necesita "memoria" y cómo determinar el número de veces de cada aprendizaje? Estas duras condiciones también deben equilibrarse mediante algoritmos. Incluso podemos decir que el algoritmo actual del CEE está incompleto.
Yuan Xingyuan también expresó su opinión sobre esta parte del experimento:
1. Hay razones por las que DeepMind eligió el juego ATARI 2600 como muestra de prueba. Aunque los tipos de juego, la jugabilidad y las puntuaciones son diferentes, las entradas son consistentes, lo que garantiza la universalidad de la red neuronal hasta cierto punto.
2. La construcción de este tipo de sistema de memoria no abrirá directamente el camino hacia una inteligencia artificial fuerte. Aún queda un largo camino por recorrer.
3. La acumulación actual de neurociencia básicamente ha sido "vaciada" por la inteligencia artificial. El próximo progreso de la inteligencia artificial aún debe promoverse continuamente mediante prueba y error.
La memoria allana el camino para la poderosa inteligencia artificial del futuro.
Como se mencionó anteriormente, la introducción de la "memoria" es, en última instancia, el objetivo final de la inteligencia artificial: una inteligencia artificial fuerte, que también es uno de los caminos más ideales.
Yuan Xingyuan compartió su comprensión actual de los dos caminos hacia una inteligencia artificial fuerte: el lenguaje y la memoria: "Al igual que AlphaGo, es realmente poderoso ahora y definitivamente superará a los humanos en el futuro. Pero en la actualidad lo es No puede hacer lo que más espero y escribir sobre su experiencia jugando al ajedrez. De esta manera, aunque puede pasar a los humanos, los humanos no pueden entender su pensamiento y no tiene sentido para los humanos".
Entonces. ¿Cómo puede AlphaGo aprender a escribir libros? El primero es poder registrar la experiencia de juego de ajedrez de AlphaGo, es decir, la memoria; el segundo, necesitamos convertir estos recuerdos en códigos y lenguajes que los humanos puedan entender;
Por supuesto, el algoritmo que DeepMind probó esta vez todavía es muy limitado y no puede considerarse como un sistema de memoria completo. ¿Qué tipo de memoria necesita más la inteligencia artificial? Yuan Xingyuan dijo: "Es necesario recordar cosas. La clave es poder convertirse en un libro nuevo, es decir, poder generar un resultado que sea aceptable para el mundo exterior. De esta manera, diferentes inteligencias artificiales pueden intercambian conocimientos y los humanos pueden aprender."
Desde el tiempo Desde una perspectiva a largo plazo, estos libros pueden definirse como recuerdos a largo plazo, idealmente conservados y actualizados permanentemente.
En cuanto al idioma, el último producto de Cai Yun Artificial Intelligence, “Cai Yun Little Translation”, es un producto de traducción impulsado por inteligencia artificial. En una entrevista anterior con Xtecher, también enfatizó: "Lo que estamos haciendo ahora es la traducción de idiomas entre personas, lo que en realidad puede servir como un puente entre las máquinas y las personas en el futuro".