¿Qué es el aprendizaje profundo?

Con la aparición de AlphaGo, los drones y los traductores inteligentes, el término "inteligencia artificial", que existe desde hace más de 60 años, ha vuelto a estar de moda de la noche a la mañana. Al mismo tiempo, también se le llama ampliamente "aprendizaje automático", "aprendizaje profundo" y "red neuronal" en los círculos tecnológicos y empresariales... Pero, de hecho, bajo estas palabras candentes, la mayoría de la gente todavía no sabe nada sobre esto. campo.Muy poco.

Si alguien está capacitado para hablar de la "revolución de la inteligencia artificial" actualmente en marcha, Terry Sejnovsky es uno de ellos.

Cuando los traductores inteligentes, los drones, AlphaGo y Microsoft XiaoIce todavía se consideraban ideas descabelladas, Sejnowski ya había sentado las bases para el aprendizaje profundo.

Profesor Terry Sejnowski

Imagen: Sack Institute

Sejnowski era uno de un pequeño grupo de personas en la década de 1980 desafiadas a construir inteligencia artificial Uno de los métodos convencionales investigadores. Creen que los métodos de implementación de IA inspirados en la biología del cerebro, conocidos como "redes neuronales", "conectivismo" y "procesamiento distribuido paralelo", resolverán en última instancia los problemas que plagan la investigación de IA basada en la lógica. Fue este pequeño grupo de investigadores quien demostró que eran posibles nuevos métodos de computación basada en el cerebro, sentando las bases para el desarrollo del "aprendizaje profundo".

Con motivo de la publicación de "Deep Learning", The Verge entrevistó a Terrence Chernovsky sobre "inteligencia artificial", "red neuronal", "aprendizaje profundo", "red neuronal" y "Aprendizaje profundo" y se discutieron otros temas: La publicación del libro "The Core Driving Force of the Intelligent Era", discutiendo "Inteligencia Artificial", "Redes Neuronales", "Aprendizaje Profundo" y "Redes Neuronales". ¿Cuáles son las diferencias entre "inteligencia artificial", "redes neuronales", "aprendizaje profundo" y "aprendizaje automático"? ¿Por qué el "aprendizaje profundo" de repente se ha vuelto omnipresente? ¿Qué puede y qué no puede hacer? :

Aprendizaje profundo: la fuerza impulsora central de la era inteligente

CITIC Publishing Group 2019.2

P: Primero, me gustaría preguntar sobre la definición. La gente usa "inteligencia artificial" casi indistintamente. Términos como "inteligencia", "red neuronal", "aprendizaje profundo" y "aprendizaje automático", etc. Pero estas son cosas diferentes. ¿Puedes explicarlo?

La inteligencia artificial se remonta a 1956 en los Estados Unidos, cuando unos ingenieros decidieron escribir un programa informático en un intento de simular la inteligencia.

En el campo de la inteligencia artificial ha surgido un nuevo campo llamado aprendizaje automático. El enfoque tradicional de la inteligencia artificial es escribir un programa paso a paso para hacer algo, en lugar de recopilar grandes cantidades de datos sobre lo que se intenta comprender. Por ejemplo, supongamos que desea reconocer objetos, entonces necesita recopilar una gran cantidad de imágenes de objetos. Luego, mediante el aprendizaje automático, un proceso automatizado que puede analizar diversas características, se puede determinar que un objeto es un automóvil y otro es una grapadora.

El aprendizaje automático es un campo muy amplio y su historia se remonta aún más atrás. Al principio se llamó "reconocimiento de patrones". Posteriormente, los algoritmos se volvieron matemáticamente más extensos y complejos.

En el aprendizaje automático existen redes neuronales inspiradas en el cerebro y el aprendizaje profundo. Los algoritmos de aprendizaje profundo tienen una arquitectura específica con muchas capas de redes a través de las cuales fluyen los datos.

Básicamente, el aprendizaje profundo es parte del aprendizaje automático, que a su vez forma parte de la inteligencia artificial.

P: ¿Hay algo que el aprendizaje profundo pueda hacer que otros programas no puedan hacer?

Los programas de escritura requieren mucha mano de obra. En el pasado, las computadoras eran muy lentas y la memoria muy cara, por lo que la gente escribía programas usando la lógica y así funcionaban las computadoras. Procesan información a través de lenguaje de máquina básico. Las computadoras son demasiado lentas y costosas desde el punto de vista computacional.

Pero ahora, mientras la potencia informática se está volviendo más barata, la mano de obra se está volviendo más cara. La potencia informática es cada vez más barata, lo que poco a poco permite que las computadoras aprendan de manera más eficiente de lo que los humanos pueden programarlas. Para entonces, el aprendizaje profundo comenzará a resolver problemas que nadie podría haber programado antes, en áreas como la visión por computadora y la traducción.

El aprendizaje automático requiere un uso computacional intensivo, pero se pueden resolver diferentes problemas simplemente escribiendo un programa y alimentándolo con diferentes conjuntos de datos. Y no es necesario ser un experto en dominios.

Por lo tanto, mientras haya una gran cantidad de datos, habrá una gran cantidad de aplicaciones correspondientes.

P: El aprendizaje profundo parece estar en todas partes ahora. ¿Cómo llegó a ser dominante?

Puedo señalar este momento particular de la historia: diciembre de 2012, en NIPS, la mayor conferencia sobre inteligencia artificial. En la reunión, el informático Geoff Hinton y dos de sus estudiantes de posgrado mostraron cómo utilizar un conjunto de datos muy grande llamado ImageNet (que contiene 10.000 categorías y 10 millones de imágenes) y utilizar el aprendizaje profundo para reducir las tasas de error de clasificación en un 20%.

Normalmente, en este conjunto de datos, la tasa de error disminuye menos del 1% durante un año. En un año se completaron 20 años de investigación.

Esto realmente abrió las compuertas.

P: El aprendizaje profundo está inspirado en el cerebro. Entonces, ¿cómo se unen los dos campos de la informática y la neurociencia?

El aprendizaje profundo está inspirado en la neurociencia. La red de aprendizaje profundo más exitosa es la red neuronal convolucional (CNN) desarrollada por Yann LeCun.

Si nos fijamos en la arquitectura de una CNN, no es sólo una conexión de muchas unidades, sino que básicamente está conectada de la misma manera que un cerebro. La parte del cerebro mejor estudiada es el sistema visual, y la investigación básica sobre la corteza visual muestra que allí existen células tanto simples como complejas. Si observa la estructura de una CNN, verá que las células simples y las complejas son equivalentes, y esto proviene directamente de nuestra comprensión del sistema visual.

Young no copió ciegamente la corteza cerebral. Probó muchas variaciones diferentes, pero finalmente se decidió por aquellas que convergían naturalmente. Ésta es una observación importante. La convergencia de la naturaleza y la inteligencia artificial tiene mucho que enseñarnos y hay mucho más por descubrir.

P: ¿En qué medida nuestra comprensión de la informática depende de nuestra comprensión del cerebro?

Gran parte de la inteligencia artificial que tenemos ahora se basa en lo que sabíamos sobre el cerebro en la década de 1960. Ahora sabemos más y se está incorporando más a la arquitectura.

AlphaGo, el programa que derrotó al campeón de Go, incluye no sólo un modelo de la corteza cerebral sino también un modelo del cerebro llamado "ganglios basales", que es importante para tomar una serie de decisiones para lograr una meta. Uno de estos algoritmos, llamado jet-lag, fue desarrollado por Richard Sutton en la década de 1980 y, cuando se combina con el aprendizaje profundo, fue capaz de jugar juegos muy complejos nunca antes vistos por los humanos.

A medida que aprendamos más sobre la estructura del cerebro y comencemos a comprender cómo integrarlos en sistemas artificiales, este proporcionará más y más capacidades más allá de las que tenemos ahora.

P: ¿La inteligencia artificial también impactará en la neurociencia?

Trabajan en paralelo. Las neurotecnologías innovadoras han logrado enormes avances, desde registrar una neurona a la vez hasta registrar miles de neuronas simultáneamente e involucrar muchas partes del cerebro, lo que ha abierto un mundo completamente nuevo.

Lo que quiero decir es que existe una convergencia entre la inteligencia artificial y la inteligencia humana. A medida que aprendamos más sobre cómo funciona el cerebro, estos conocimientos también se reflejarán en la inteligencia artificial. Pero al mismo tiempo, han creado toda una teoría del aprendizaje que puede usarse para comprender el cerebro, permitiéndonos analizar miles de neuronas y cómo surge su actividad. Entonces existe este circuito de retroalimentación entre la neurociencia y la inteligencia artificial, que creo que es más interesante y más importante.

P: En su libro, analiza muchas aplicaciones diferentes de aprendizaje profundo, desde vehículos autónomos hasta operaciones financieras. ¿Qué zona te parece más interesante?

Una aplicación que realmente me abrió los ojos fue Generative Adversarial Networks, o GANS. Las GAN pueden realizar actividades sin insumos, produciendo un resultado.

Sí, he oído historias sobre estas redes que crean vídeos falsos. Realmente crean cosas nuevas que parecen reales, ¿no?

En cierto sentido, generan actividad interna. Resulta que así es como funciona el cerebro. Puedes mirar hacia algún lugar y ver algo, y luego puedes cerrar los ojos y empezar a imaginar cosas que no existen.

Tienes imaginación visual, y cuando el entorno está tranquilo, el sonido del despertador hará volar tu imaginación. Esto se debe a que tu cerebro es creativo. Ahora, este nuevo tipo de red puede generar nuevos patrones nunca antes vistos. Por ejemplo, puedes darle cientos de imágenes de autos y creará una estructura interna que genera nuevas imágenes de autos que nunca antes se han visto y que se ven exactamente como esos autos.

P: Por otro lado, ¿qué ideas crees que podrían estar sobrevaloradas?

Nadie puede predecir o imaginar qué impacto tendrá la introducción de esta nueva tecnología en la forma en que se organizan las cosas en el futuro. Por supuesto, también hay un elemento de exageración involucrado. Aún no hemos resuelto el verdadero problema. Ni siquiera tenemos todavía inteligencia general, y algunos dicen que los robots nos reemplazarán pronto, cuando en realidad los robots van muy por detrás de la inteligencia artificial porque se ha descubierto que replicar un cuerpo es más complicado que replicar un cerebro.

Veamos un avance tecnológico: los láseres. Cuando se inventó el láser hace unos 50 años, ocupaba una habitación entera. Se han necesitado 50 años para comercializar la tecnología, desde ocupar salas enteras hasta los punteros láser que uso en las presentaciones. Tiene que estar lo suficientemente avanzado como para poder comprarlo por $5. Lo mismo ocurre con tecnologías sobrevaloradas, como los coches autónomos. No se espera que se generalice el próximo año ni en los próximos 10 años. Este proceso podría tardar hasta 50 años, pero la cuestión es que habrá mejoras incrementales a lo largo del camino, haciéndolo cada vez más flexible, seguro y más compatible con la forma en que organizamos nuestras redes de transporte. Donde la exageración sale mal es cuando la gente establece mal su escala de tiempo. Esperan que sucedan demasiadas cosas y demasiado rápido, cuando en realidad las cosas sólo suceden en el momento adecuado.

Sobre el aprendizaje profundo, puedes ver el vídeo explicativo en esta página: Aprendizaje profundo de Inteligencia Artificial - Curso Abierto de CAS.