Red neuronal artificial, ¿qué significa red neuronal artificial?
La red neuronal artificial (RNA) es un modelo matemático basado en los principios básicos de las redes neuronales en biología. Se basa en el conocimiento de la topología de la red después de comprender y abstraer la estructura del cerebro humano y el mecanismo de respuesta a estímulos externos, y simular el complejo mecanismo de procesamiento de información del sistema nervioso del cerebro humano. Este modelo tiene las características de capacidades de procesamiento distribuido paralelo, alta tolerancia a fallas, inteligencia y capacidades de autoaprendizaje. Integra procesamiento y almacenamiento de información. Ha atraído la atención de varias disciplinas con su representación de conocimiento única y capacidades de aprendizaje adaptativo inteligente. En realidad, es una red compleja compuesta por una gran cantidad de componentes simples interconectados. Es altamente no lineal y puede realizar operaciones lógicas complejas y relaciones no lineales.
La red neuronal es un modelo informático formado por una gran cantidad de nodos (o neuronas) interconectados. Cada nodo representa una función de salida específica, llamada función de activación. La conexión entre cada dos nodos representa un valor ponderado de la señal que pasa a través de la conexión, lo que se denomina peso. De esta forma, las redes neuronales simulan la memoria humana. La salida de la red depende de la estructura de la red, los métodos de conexión de la red, los pesos y las funciones de activación. La red en sí suele ser una aproximación de algún algoritmo o función, o puede ser una expresión de una estrategia lógica. La idea de construir redes neuronales está inspirada en el funcionamiento de las redes neuronales biológicas. Las redes neuronales artificiales combinan la comprensión de las redes neuronales biológicas con modelos estadísticos matemáticos y se implementan con la ayuda de herramientas estadísticas matemáticas. Por otro lado, en el campo de la percepción artificial de la inteligencia artificial, utilizamos métodos de estadística matemática para hacer que las redes neuronales tengan capacidades de toma de decisiones y capacidades de juicio simple similares a las de los humanos. Este método es una extensión adicional del cálculo lógico tradicional.
En las redes neuronales artificiales, las unidades de procesamiento de neuronas pueden representar diferentes objetos, como características, letras, conceptos o algunos patrones abstractos significativos. Hay tres tipos de unidades de procesamiento en la red: unidades de entrada, unidades de salida y unidades ocultas. La unidad de entrada recibe señales y datos del mundo exterior; la unidad de salida realiza la salida de los resultados del procesamiento del sistema; la unidad oculta es una unidad ubicada entre las unidades de entrada y salida y no se puede observar fuera del sistema. El peso de la conexión entre neuronas refleja la fuerza de la conexión entre las células, y la representación y el procesamiento de la información se reflejan en la relación de conexión de las unidades de procesamiento de la red. La red neuronal artificial es un procesamiento de información no programado, adaptativo y basado en el cerebro. Su esencia es obtener una función de procesamiento de información paralela y distribuida a través de la transformación de la red y el comportamiento dinámico, que puede imitar la función de procesamiento de información del sistema nervioso del cerebro humano en diversos grados y en diferentes niveles.
La red neuronal es un modelo matemático de procesamiento de información, similar a la estructura de conexión sináptica del cerebro. Se simula basándose en la comprensión humana de la combinación del tejido cerebral y el mecanismo de pensamiento. Es tecnología arraigada en la neurociencia, las matemáticas, la ciencia de la mente, la inteligencia artificial, la estadística, la física, la informática y la ingeniería.
2. Desarrollo de Redes Neuronales Artificiales
El desarrollo de las redes neuronales tiene una larga historia. Su proceso de desarrollo se puede resumir a grandes rasgos en las siguientes cuatro etapas.
1. La primera etapa: el período de la Ilustración
(1), modelo de red neuronal M-P: en la década de 1940, la gente comenzó a estudiar las redes neuronales. En 1943, el psicólogo estadounidense McCulloch y el matemático Pitts propusieron el modelo M-P, simple y significativo. En este modelo, las neuronas se consideran dispositivos lógicos funcionales que implementan algoritmos, y también ha comenzado la investigación teórica sobre modelos de redes neuronales.
(2) Ley de Hebb: En 1949, el psicólogo Hebb publicó "La organización del comportamiento", en el que propuso la hipótesis de que la fuerza de las conexiones sinápticas es variable. Esta hipótesis sostiene que el proceso de aprendizaje ocurre en última instancia en las sinapsis entre neuronas y que la fuerza de las conexiones sinápticas cambia con la actividad de las neuronas pre y postsinápticas. Esta suposición se convirtió en la muy famosa regla de Hebb en redes neuronales posteriores. Esta ley le dice a la gente que la fuerza de las conexiones sinápticas entre las neuronas es variable, y esta variabilidad es la base del aprendizaje y la memoria. Las reglas de Hebb sientan las bases para la construcción de modelos de redes neuronales con funciones de aprendizaje.
(3) Modelo de perceptrón: En 1957, Rosenblatt propuso un modelo de perceptrón basado en el modelo M-P. El modelo de perceptrón tiene los principios básicos de las redes neuronales modernas y su estructura es muy consistente con la neurofisiología. Este es un modelo de red neuronal MP con vectores de peso continuamente ajustables. Después del entrenamiento, se puede lograr el propósito de clasificar e identificar ciertos patrones de vectores de entrada. Aunque relativamente simple, es la primera red neuronal verdadera. Rosenblatt demostró que un perceptrón de dos capas puede clasificar entradas y también propuso una importante dirección de investigación para perceptrones de tres capas con elementos de procesamiento de capas ocultas. El modelo de red neuronal de Rosenblatt contiene algunos principios básicos de las computadoras neuronales modernas, lo que representa un gran avance en los métodos y la tecnología de redes neuronales.
(4) Modelo de red ADALINE: en 1959, los famosos ingenieros estadounidenses B. Widrow, M. Hoff y otros propusieron elementos lineales adaptativos y reglas de aprendizaje de Widrow-Hoff (también llamado algoritmo de error cuadrático medio mínimo o regla delta). ) método de entrenamiento de redes neuronales y aplicarlo a la ingeniería real. El modelo de red ADALINE es un modelo de red neuronal lineal adaptativo con valores continuos que se puede utilizar en sistemas adaptativos.
2. La segunda etapa: el período de marea baja
Minsky y Papert, uno de los fundadores de la inteligencia artificial, realizaron una investigación sobre las funciones y limitaciones de los sistemas de red representados por perceptrones en Matemáticas Realizó una investigación en profundidad y publicó el sensacional libro "Perceptron" en 1969, señalando que la función del perceptrón lineal simple es limitada y no puede resolver el problema de clasificación de dos tipos de muestras que son linealmente inseparables. Por ejemplo, el perceptrón lineal simple no puede realizar la relación lógica de XOR. Esta conclusión supuso un duro golpe para la investigación sobre redes neuronales artificiales de la época. Ha comenzado el período más bajo de 10 años en la historia del desarrollo de redes neuronales.
(1), modelo SOM de red neuronal autoorganizada: en 1972, el profesor KohonenT de Finlandia propuso SOM (mapa de características autoorganizadas). Posteriormente, las redes neuronales se implementaron principalmente basándose en el trabajo de KohonenT. La red SOM es una red de aprendizaje no supervisada que se utiliza principalmente para el reconocimiento de patrones, el reconocimiento de voz y la clasificación. Utiliza un algoritmo de aprendizaje competitivo en el que "el ganador se lo lleva todo", que es muy diferente de los perceptrones propuestos anteriormente. Al mismo tiempo, su modo de aprendizaje y formación es una formación no supervisada y es una red autoorganizada. Este método de aprendizaje y capacitación se utiliza a menudo como método de capacitación para extraer información de clasificación cuando no sabemos qué tipos de clasificación existen.
(2) Teoría de la Resonancia Adaptativa ART: En 1976, el profesor estadounidense Grossberg propuso la famosa Teoría de la Resonancia Adaptativa ART (Adaptive Resonance Theory), cuyo proceso de aprendizaje tiene las características de autoorganización y autoestabilidad.
3. La tercera etapa: el período del renacimiento
(1), modelo de Hopfield: en 1982, el físico estadounidense Hopfield propuso una red neuronal discreta, es decir, una red de Hopfield discreta. , que efectivamente promovió la investigación sobre redes neuronales. En la red, introdujo por primera vez la función de Lyapunov, y más tarde los investigadores también llamaron a la función de Lyapunov función de energía. Demostró la estabilidad de la red. En 1984, Hopfield propuso una red neuronal continua, cambiando la función de activación de las neuronas en la red de discreta a continua. En 1985, Hopfield y Tank utilizaron las redes neuronales de Hopfield para resolver el famoso problema del viajante. La red neuronal de Hopfield es un conjunto de ecuaciones diferenciales no lineales. El modelo de Hopfield no solo resume las funciones de almacenamiento y extracción de información de las redes neuronales artificiales en matemáticas no lineales, propone ecuaciones dinámicas y ecuaciones de aprendizaje, sino que también proporciona fórmulas y parámetros importantes para los algoritmos de red y proporciona una base para la construcción y el aprendizaje de redes neuronales artificiales. Se proporciona orientación teórica. Bajo la influencia del modelo de Hopfield, un gran número de académicos despertaron su entusiasmo por el estudio de las redes neuronales y se dedicaron activamente a este campo académico.
Debido a que las redes neuronales de Hopfield tienen un gran potencial en muchos aspectos, la gente concede gran importancia a la investigación de las redes neuronales y cada vez más personas comienzan a estudiar las redes neuronales, lo que promueve en gran medida el desarrollo de las redes neuronales.
(2) Modelo de máquina de Boltzmann: en 1983, Kirkpatrick et al. se dieron cuenta de que el algoritmo de recocido simulado se puede utilizar para resolver problemas de optimización combinatoria completa de NP. Este método de simular el proceso de recocido de objetos de alta temperatura para encontrar la solución óptima global fue propuesto por primera vez por Metropli et al. En 1984, Hinton colaboró con el joven académico Sejnowski para proponer una máquina de aprendizaje en red paralela a gran escala y propuso claramente el concepto de unidades ocultas, que más tarde se denominó máquina de Boltzmann.
Utilizando conceptos y métodos de la física estadística, Hinton y Sejnowsky propusieron por primera vez un algoritmo de aprendizaje en red multicapa, llamado modelo de máquina de Boltzmann.
(3) Modelo de red neuronal BP: en 1986, D.E. Ru Melhart y otros propusieron un algoritmo de aprendizaje de retropropagación para la corrección del peso de la red neuronal multicapa: el algoritmo BP, que resolvió el problema de la retroalimentación multicapa. El problema de aprendizaje de la red neuronal demuestra que la red neuronal multicapa tiene una gran capacidad de aprendizaje.
(4) Teoría del procesamiento distribuido paralelo: 1986 "Parallel Distributed Processing: Explorations in Cognitive Microstructure" editado por Rumelhardt y McKend, en el que establecieron la teoría del procesamiento distribuido paralelo. Dedicado principalmente a la investigación microscópica sobre cognición, también analizó en detalle el algoritmo de retropropagación de errores (BP) de redes feedforward multicapa con funciones de transferencia continua no lineal, resolviendo el problema de larga data de la falta de un algoritmo efectivo para el ajuste de peso. Puede resolver problemas que los perceptrones no pueden resolver, responder preguntas sobre las limitaciones de las redes neuronales en los perceptrones y demostrar que las redes neuronales artificiales tienen un gran poder de computación en la práctica.
(5) Modelo de red neuronal celular: en 1988, Chua y Yang propusieron el modelo de red neuronal celular (CNN), que es un sistema de simulación por computadora no lineal a gran escala con características de autómata celular. Kosko estableció un modelo de memoria asociativa bidireccional (BAM) con capacidades de aprendizaje no supervisado.
(6) Modelo darwinista: El modelo darwinista propuesto por Edelman fue muy influyente a principios de la década de 1990. Estableció la teoría del sistema de redes neuronales.
(7) En 1988, Linsker propuso una nueva teoría de autoorganización de redes de perceptrones y formó la teoría de la información mutua máxima basada en la teoría de la información de Shanon, encendiendo así las aplicaciones de información basadas en NN La luz de la teoría.
(8), 1988, Broomhead y Lowe propusieron un método de diseño para redes jerárquicas (RBF) con funciones de base radial, vinculando así el diseño de NN con el análisis numérico y el filtrado adaptativo lineal.
(9) En 1991, Haken introdujo la colaboración en las redes neuronales. En su marco teórico, consideró que los procesos cognitivos eran automáticos y afirmó que los procesos de reconocimiento de patrones son procesos de formación de patrones.
(10) y 1994, Liao propuso la teoría matemática y los fundamentos de las redes neuronales celulares, aportando nuevos avances en el campo. Al ampliar la función de activación de las redes neuronales, se proporcionan modelos más generales de red neuronal celular retardada (DCNN), red neuronal de Hopfield (HNN) y red de memoria asociativa bidireccional (BAM).
(11) A principios de la década de 1990, Vapnik y otros propusieron los conceptos de máquinas de vectores de soporte (SVM) y dimensiones VC (Vapnik-Chervonenkis).
Tras años de desarrollo, se han propuesto cientos de modelos de redes neuronales.