¿Qué es el aprendizaje profundo?
Si alguien está calificado para hablar sobre la actual “revolución de la inteligencia artificial”, ese es Terry Seinofsky.
Cuando la traducción inteligente, la conducción sin conductor, AlphaGo y Microsoft Xiao Bing todavía se consideraban visiones lejanas, Shenovsky ya estaba sentando las bases para el campo del aprendizaje profundo.
Profesor Terry Sejnowski.
Imagen: Instituto Salk
Senovsky fue uno de los pocos investigadores que desafiaron el enfoque dominante para construir inteligencia artificial en la década de 1980. Creen que los métodos de implementación de IA llamados "redes neuronales", "conexionismo" y "procesamiento distribuido paralelo" inspirados en la biología del cerebro eventualmente resolverán los problemas que plagan la investigación de IA basada en la lógica y, por lo tanto, proponen un modelo matemático que puede aprender habilidades de datos. Fue este pequeño grupo de investigadores quien demostró que eran posibles nuevos métodos basados en la computación cerebral, sentando así las bases para el desarrollo del "aprendizaje profundo".
Con motivo de la publicación del libro "Deep Learning: The Core Driving Force of the Intelligent Era", el medio tecnológico estadounidense The Verge entrevistó a Terrence Senovsky y discutió con él La diferencia entre inteligencia artificial, neuronal redes, aprendizaje profundo y aprendizaje automático. ¿Por qué el “aprendizaje profundo” se está volviendo repentinamente omnipresente y qué puede hacer? ¿Qué no puedes hacer? El siguiente es el texto completo de la entrevista:
Aprendizaje profundo: la fuerza impulsora central de la era inteligente
CITIC Publishing Group 2019.2
P: Primero de En fin, me gustaría preguntar sobre la definición. La gente utiliza los términos "inteligencia artificial", "redes neuronales", "aprendizaje profundo" y "aprendizaje automático" casi indistintamente. Pero estas son dos cosas diferentes. ¿Puedes explicarlo?
La inteligencia artificial se remonta a 1956 en Estados Unidos, cuando unos ingenieros decidieron escribir un programa informático que intentaba imitar la inteligencia.
En la inteligencia artificial ha surgido un nuevo campo llamado aprendizaje automático. En lugar de escribir un programa paso a paso para hacer algo (que es el enfoque tradicional en inteligencia artificial), se recopilan grandes cantidades de datos sobre lo que se intenta comprender. Por ejemplo, digamos que está intentando reconocer objetos, por lo que recopila una gran cantidad de imágenes de objetos. Luego, a través del aprendizaje automático, un proceso automatizado que puede analizar varias características, puede determinar que un objeto es un automóvil y otro es una grapadora.
El aprendizaje automático es un campo muy amplio y su historia se remonta aún más atrás. Al principio, la gente lo llamó "reconocimiento de patrones". Posteriormente, los algoritmos se generalizaron y se volvieron más complejos en matemáticas.
En el aprendizaje automático, existen redes neuronales inspiradas en el cerebro y luego está el aprendizaje profundo. Los algoritmos de aprendizaje profundo tienen una arquitectura específica con muchas capas de redes a través de las cuales fluyen los datos.
Básicamente, el aprendizaje profundo es parte del aprendizaje automático, que a su vez forma parte de la inteligencia artificial.
P: ¿Qué hace el "aprendizaje profundo" que otros programas no pueden hacer?
Los programas de escritura requieren mucha mano de obra. En el pasado, las computadoras eran lentas y la memoria costosa, por lo que la gente usaba la lógica (cómo funcionan las computadoras) para escribir programas. Manipulan información a través de lenguaje de máquina básico. Las computadoras son demasiado lentas y los cálculos demasiado caros.
Pero ahora, la potencia informática es cada vez más barata y la mano de obra es cada vez más cara. La potencia informática se ha vuelto tan barata que, con el tiempo, será más eficiente para las computadoras aprender que para los humanos escribir programas. En ese momento, el aprendizaje profundo comenzará a resolver problemas para los que nadie ha escrito un programa antes, como la visión por computadora y la traducción.
El aprendizaje automático es computacionalmente intensivo, pero solo necesitas escribir un programa y puedes resolver diferentes problemas dándole diferentes conjuntos de datos. No es necesario ser un experto en dominios.
Entonces, para cualquier cosa con una gran cantidad de datos, existen muchas aplicaciones correspondientes.
P: El “aprendizaje profundo” parece estar en todas partes estos días. ¿Cómo te volviste tan dominante?
Puedo señalar este momento específico de la historia: diciembre de 2012 en la conferencia NIPS (la conferencia de IA más grande). Allí, el informático Geoff Hinton y dos de sus estudiantes de posgrado demostraron que se podía utilizar un conjunto de datos muy grande llamado ImageNet, que contenía 65.438.000.000 categorías y 65.438.000 millones de imágenes, y utilizar el aprendizaje profundo para reducir los errores de clasificación en 20.
Generalmente, en este conjunto de datos, el error se reduce en menos de 1 en un año. En un año, se completaron los resultados de 20 años de investigación.
Esto realmente abrió las compuertas.
P: El aprendizaje profundo está inspirado en el cerebro. Entonces, ¿cómo trabajan juntas la informática y la neurociencia?
El aprendizaje profundo está inspirado en la neurociencia. La red de aprendizaje profundo más exitosa es la red neuronal convolucional (CNN) desarrollada por Yann LeCun.
Si nos fijamos en la arquitectura de una CNN, no se trata solo de un montón de unidades conectadas de una manera que básicamente refleja el cerebro. La mejor parte del cerebro es el sistema visual. Los trabajos de investigación básica en la corteza visual han demostrado que allí hay células tanto simples como complejas. Si observa la arquitectura de CNN, encontrará que las células simples y las complejas son equivalentes, lo que proviene directamente de nuestra comprensión del sistema visual.
Yann no está intentando replicar ciegamente la corteza cerebral. Probó muchas variaciones diferentes, pero finalmente se decidió por la convergencia natural. Ésta es una observación importante. La convergencia de la naturaleza y la inteligencia artificial tiene mucho que enseñarnos y hay mucho más que explorar.
P: ¿En qué medida nuestra comprensión de la informática depende de nuestra comprensión del cerebro?
Gran parte de nuestra IA actual se basa en nuestra comprensión del cerebro en la década de 1960. Ahora sabemos que cada vez se integra más conocimiento en la arquitectura.
AlphaGo, el programa que derrotó al campeón de Go, incluye un modelo no sólo de la corteza sino también de una parte del cerebro llamada "ganglios basales", que es importante para tomar una serie de decisiones para lograr una meta. Existe un algoritmo llamado diferencia horaria, que fue inventado por Richard Sutton en la década de 1980. Cuando se combina con el aprendizaje profundo, puede desarrollar un juego muy complejo que los humanos nunca antes habían visto.
A medida que comprendamos la estructura del cerebro y comencemos a comprender cómo integrarlos en sistemas artificiales, este proporcionará cada vez más capacidades más allá de las que tenemos ahora.
P: ¿La inteligencia artificial también impactará en la neurociencia?
Trabajan en paralelo. Las neurotecnologías innovadoras han logrado enormes avances, desde registrar una neurona a la vez hasta registrar miles de neuronas simultáneamente, involucrando muchas partes del cerebro, lo que ha abierto un mundo completamente nuevo.
Yo digo que la inteligencia artificial y la inteligencia humana son convergentes. A medida que aprendamos más sobre cómo funciona el cerebro, estos conocimientos se reflejarán en la inteligencia artificial. Pero al mismo tiempo, crearon toda una teoría del aprendizaje que puede usarse para comprender el cerebro, permitiéndonos analizar miles de neuronas y cómo se genera su actividad. Entonces existe este circuito de retroalimentación entre la neurociencia y la inteligencia artificial, que creo que es aún más emocionante e importante.
P: Su libro analiza muchas aplicaciones diferentes de aprendizaje profundo, desde vehículos autónomos hasta operaciones financieras. ¿Qué área específica te parece más interesante?
Una aplicación que me dejó totalmente alucinado fue Generación de redes adversarias, o GANS. Con una red neuronal tradicional, das una entrada y obtienes una salida. Gan puede realizar actividades sin insumos, produciendo resultados.
Sí, escuché esto en el contexto de estas historias en línea sobre cómo hacer videos falsos. De hecho, hacen cosas nuevas que parecen auténticas, ¿verdad?
En cierto sentido, generan actividad interna. Resulta que así es como funciona el cerebro.
Puedes mirar hacia algún lugar y ver algo, y luego puedes cerrar los ojos y empezar a imaginar algo que no está ahí. Tienes imaginación visual y, cuando está en silencio, suena la alarma y te vienen ideas a la mente. Esto se debe a que su cerebro está programado para reproducirse. Ahora, esta nueva red puede generar nuevos patrones que nunca antes se habían visto. Entonces puedes darle, por ejemplo, cientos de imágenes de autos y creará una estructura interna donde puede generar nuevas imágenes de autos que nunca han existido y se ven exactamente como los autos.
P: Por otro lado, ¿qué ideas crees que pueden estar sobrevaloradas?
Nadie puede predecir o imaginar qué impacto tendrá la introducción de esta nueva tecnología en la forma en que se organizan las cosas en el futuro. Y, por supuesto, está el revuelo. Aún no hemos resuelto los problemas realmente difíciles. Antes de que tengamos inteligencia universal, algunos dicen que los robots pronto nos reemplazarán. De hecho, los robots van muy por detrás de la inteligencia artificial, ya que se ha descubierto que replicar un cuerpo es más complejo que replicar un cerebro.
Echemos un vistazo a este avance tecnológico: los láseres. Fue inventado hace unos 50 años cuando ocupaba una habitación entera. Desde ocupar una sala entera hasta el puntero láser que ahora uso para los discursos, se necesitaron 50 años para que la tecnología se comercializara. Hay que reducirlo a un tamaño lo suficientemente pequeño como para poder comprarlo por cinco dólares. Lo mismo sucederá con una tecnología tan publicitada como la de los coches autónomos. No se espera que se vuelva omnipresente el próximo año o dentro de los próximos 10 años. Este proceso puede tardar 50 años, pero la atención se centrará en implementarlo gradualmente a lo largo del camino para hacerlo más flexible, más seguro y más compatible con la forma en que organizamos nuestras redes de transporte. El error del hype es que la gente establece la escala de tiempo equivocada. Esperan que sucedan demasiadas cosas en muy poco tiempo, cuando en realidad las cosas sólo suceden en el momento adecuado.
En cuanto al tema del aprendizaje profundo, puedes explicarlo en el vídeo de esta página: AI Deep Learning - Curso abierto de la Academia China de Ciencias.