Una investigación de la Universidad de Cambridge descubrió que, en teoría, no existen redes neuronales profundas estables y precisas.

En la actualidad, las redes neuronales profundas se utilizan cada vez más en aplicaciones, lo que ayuda a diseñar microchips, predecir el plegamiento de proteínas y superar a los humanos en juegos complejos, con un rendimiento cada vez más potente. Pero también hay mucha evidencia de que a menudo son inestables. Una manifestación muy obvia es que pequeños cambios en los datos recibidos por la red neuronal profunda pueden provocar grandes cambios en los resultados.

Por ejemplo, como se revela en un estudio sobre ataques de un píxel que contaminan redes neuronales profundas, la IA reconoce que un caballo es una rana cambiando un solo píxel en una imagen. Samuel Finlayson, científico informático e informático biomédico de la Facultad de Medicina de Harvard, también ha descubierto que las imágenes médicas pueden modificarse de maneras que son indetectables para el ojo humano, y la IA puede entonces diagnosticar erróneamente el cáncer 100 .

En investigaciones anteriores, existe evidencia matemática de que existen redes neuronales estables y precisas para resolver diversos problemas. Sin embargo, recientemente investigadores de la Universidad de Cambridge y la Universidad de Oslo descubrieron que estos sistemas de inteligencia artificial sólo pueden ser estables y precisos en circunstancias limitadas. Es posible que las redes neuronales que son teóricamente estables y precisas no describan con precisión lo que puede suceder en la realidad.

"En teoría, existen muy pocas restricciones sobre las redes neuronales", afirmó Matthew Colebrook, matemático de la Universidad de Cambridge en el Reino Unido. Sin embargo, surgen problemas al intentar calcular estas redes neuronales.

“Las computadoras digitales sólo pueden calcular ciertas redes neuronales”, dice Vegard Antun, matemático de la Universidad de Oslo en Noruega. "A veces es imposible calcular una red neuronal ideal".

Esta afirmación puede parecer confusa. Cuando se trata de esta investigación, IEEE Spectrum se lleva la palma. "Parece haber alguna sugerencia de que puede haber un pastel, pero no existe una receta secreta para hacerlo."

"Diríamos que el problema no es la receta. Más bien, el problema es la herramientas necesarias para hacer el pastel". Matemáticas, Universidad de Cambridge Inicio Anders Hansen dice: "Dijimos que podría haber recetas de pasteles, pero no importa qué batidora tengas, no necesariamente podrás hacer el pastel que deseas. Además, cuando intentas hacer un pastel en la cocina con una batidora”

Continuando con la analogía, “no puedes saber si el pastel es incorrecto hasta que lo pruebas, y entonces es demasiado tarde. ”, dijo Colebrook. "Sin embargo, en algunos casos, su batidora es suficiente para hacer el pastel que desea, o al menos algo muy similar".

Estos nuevos hallazgos sobre las limitaciones de las redes neuronales son relevante para la biblioteca de matemáticos Walt G? Dell y el científico informático Alan Turing se hicieron eco de investigaciones anteriores sobre las limitaciones de la informática. En términos generales, revelaron que "algunas afirmaciones matemáticas nunca pueden ser probadas o refutadas, y hay problemas computacionales fundamentales que las computadoras no pueden resolver", dijo Anton.

Esta investigación se basa en "Dificultades en la computación de redes neuronales pequeñas y precisas: barreras para el aprendizaje profundo y las redes neuronales artificiales". La pregunta 18 de D Smale) se publicó en las Actas de la Academia Nacional de Ciencias el 16 de marzo.

En una red neuronal artificial, los componentes llamados "neuronas" reciben datos y trabajan juntos para resolver un problema, como reconocer una imagen. Las redes neuronales ajustan repetidamente las relaciones entre las neuronas para ver si los patrones de comportamiento resultantes conducen a mejores soluciones. Con el tiempo, la red encontrará el patrón que mejor se ajuste a los resultados calculados. Luego los utiliza como valores predeterminados para imitar el proceso de aprendizaje en el cerebro humano. Si una red neuronal tiene varias neuronas, se llama "profunda".

En investigaciones anteriores, existe evidencia matemática de que existen redes neuronales estables y precisas para resolver diversos problemas. Sin embargo, en este nuevo estudio, los investigadores han descubierto que, si bien es teóricamente posible tener redes neuronales estables y precisas que puedan resolver muchos problemas, paradójicamente, puede que no exista ningún algoritmo que pueda calcularlos con éxito.

La nueva investigación encuentra que no importa a cuántos datos tenga acceso un algoritmo, o cuán precisos sean los datos, es posible que el algoritmo no pueda calcular una red neuronal estable y precisa para un problema determinado.

Hansen dijo que esto es similar al argumento de Turing de que las computadoras no necesariamente pueden resolver algunos problemas independientemente de la potencia informática y el tiempo de ejecución.

“Existen límites inherentes a lo que las computadoras pueden hacer, y esos límites también aparecerán en la IA”, dijo Colebrook. "Esto significa que las redes neuronales con buenas propiedades en teoría pueden no describir con precisión lo que puede suceder en la realidad".

Estos nuevos hallazgos no sugieren que todas las redes neuronales sean completamente defectuosas, pero es posible que sólo sean estables y precisas. bajo circunstancias limitadas. "Bajo determinadas circunstancias, es posible calcular redes neuronales estables y precisas", afirmó Antong. "La cuestión clave es la parte 'bajo algunas circunstancias', y el gran problema es encontrar esos casos. Actualmente, se sabe poco sobre cómo hacerlo".

Los investigadores descubrieron que la red neuronal existe. a menudo hay un equilibrio entre estabilidad y precisión. "El problema es que queremos estabilidad y precisión al mismo tiempo", afirmó Hansen. "En la práctica, es posible que haya que sacrificar cierta precisión en aplicaciones críticas relacionadas con la seguridad para garantizar la estabilidad".

Como parte del nuevo estudio, los investigadores desarrollaron su "Rapid Iterative Restart Network" (FIRENET). Se espera que se implemente cuando se trata de tareas como el análisis de imágenes médicas. Las redes neuronales pueden proporcionar resultados estables y precisos.

Los investigadores creen que estos nuevos hallazgos sobre las limitaciones de las redes neuronales no pretenden inhibir la investigación en inteligencia artificial. "A largo plazo, es saludable para la investigación de la IA descubrir qué se puede y qué no se puede hacer. Tenga en cuenta que los resultados negativos de Turing y Gödel provocaron enormes cambios en los fundamentos de las matemáticas y la informática, lo que llevó a Colebrook dijo "Específicamente, en este estudio, los investigadores creen que estos nuevos hallazgos significan que existe una teoría de clasificación. Se puede describir qué redes neuronales estables de una precisión determinada se pueden calcular algorítmicamente. Para usar la analogía del pastel mencionada anteriormente, "sería una teoría de clasificación que describe qué pasteles se pueden hornear con una batidora que se puede diseñar físicamente. Si no podemos hornear un pastel, también queremos saber cómo se relaciona". el tipo de tarta que queremos que tan cerca. "Dijo Antong.

Revisor: Zhang