Análisis de principios de redes convolucionales (GCN)
Clasificación semisupervisada de enlaces en papel basada en redes voluntarias gráficas
1. Lapra La matriz laplaciana y sus variantes
Dado un gráfico simple con nodos es la matriz de grados y la matriz de adyacencia, la matriz laplaciana se puede expresar como . Los elementos del gráfico son los siguientes:
1. Transformada de Fourier tradicional
Cuando el objeto de transformación es una variable discreta, la integral es equivalente al producto interno, es decir,
La siguiente es la función característica del legendario operador de Laplace (el operador de Laplace es un operador diferencial de segundo orden en el espacio europeo, cómo se ve después de quitarle el maquillaje).
¿Por qué dices eso? Porque según la definición amplia de ecuación característica, es una transformación, un vector propio o función propia y un valor propio. Tomamos la segunda derivada de la función base, que puede considerarse como la función característica de la transformación.
En la figura, la matriz laplaciana se puede descomponer espectralmente (descomposición propia), y la matriz compuesta por sus vectores propios se puede obtener según la definición de la ecuación característica. En comparación, se puede encontrar que es equivalente a. Por lo tanto, la transformada de Fourier en el gráfico se puede escribir como.
Desde la idea básica de la transformada de Fourier, la esencia de la transformada de Fourier es convertirla en un conjunto de representaciones de coordenadas de forma ortogonal para la transformación lineal. La siguiente imagen muestra el tamaño del componente proyectado en primera base.
Extendemos la transformada de Fourier en el gráfico a la forma matricial mediante la multiplicación de matrices:
Es el vector propio del nodo en el gráfico, y podemos obtener la forma de la transformada de Fourier en el gráfico:
p>
.
Aquí está la transpuesta de la matriz propia que consta de los vectores propios de la matriz laplaciana del gráfico. Entre las excelentes propiedades de la matriz laplaciana, sabemos que la matriz compuesta por los vectores propios de la matriz laplaciana es ortogonal, es decir, satisface, por lo que la transformada de Fourier inversa de la gráfica queda como sigue:
Hasta ahora, generalizamos la transformada de Fourier tradicional a la transformada de Fourier en el gráfico mediante analogía. A continuación, usaremos el segmento de transformada de Fourier para dejar que la convolución y los gráficos tomen un buen trago.
En el prefacio conocemos el famoso teorema de convolución: la transformada de Fourier de una función convolución es el producto de su transformada de Fourier, es decir, la convolución de las dos es el producto de su transformada de Fourier inversa:
Sustituimos la fórmula de la transformada de Fourier en la gráfica obtenida en el apartado anterior y obtenemos:
Es el producto de Hamada, que significa multiplicación punto por punto.
Generalmente, consideramos las características de los nodos del gráfico de entrada como un núcleo de convolución entrenable con parámetros para extraer las características espaciales del gráfico topológico. Para comprender mejor el núcleo de convolución, reescribimos la fórmula anterior como:
Algunas personas pueden tener preguntas sobre la transformación de la fórmula anterior, pero la prueba es en realidad muy simple. Si está interesado, puede consultar la respuesta y la prueba de igualdad de GCN: Zhihu.
Hasta ahora, hemos creado el prototipo de GCN.
1. El GCN de primera generación
El núcleo de la operación de convolución es un núcleo de convolución. Este núcleo de convolución se puede entrenar y compartir mediante parámetros * * *, por lo que el GCN de primera generación. Reemplace directamente los elementos diagonales en la fórmula anterior con parámetros. Las asignaciones se inicializan primero y luego los parámetros se ajustan mediante errores de retropropagación.
Entonces el GCN de primera generación se convirtió en una salsa:
Es el vector de representación de las características de cada nodo en el gráfico y es la salida de cada nodo después de la convolución de GCN. Cada nodo en el gráfico se convoluciona con un núcleo de convolución, se extrae su espacio topológico correspondiente y luego se propaga a la siguiente capa a través de la función de activación.
Las deficiencias del GCN de primera generación también son obvias, e incluyen principalmente los siguientes puntos.
2. GCN de segunda generación
Ante las deficiencias de demasiados parámetros en el GCN de primera generación, se ha mejorado el GCN de segunda generación. Debido a que la transformada de Fourier en el gráfico es una función de los valores propios, también se puede escribir como, el núcleo de convolución se mejora con un polinomio de orden k:
Sustituyendo en:
Entonces el GCN de segunda generación es así:
Se puede ver que el resultado final simplificado del GCN de segunda generación no requiere descomposición matricial y transforma directamente la matriz laplaciana. El parámetro k es generalmente mucho menor que el número de nodos en el gráfico, por lo que en comparación con el GCN de primera generación, el número de parámetros del GCN de segunda generación es significativamente menor que el del GCN de primera generación, lo que reduce el complejidad del modelo. Para los parámetros, primero se inicializan y luego se actualizan según la propagación hacia atrás del error. Pero todavía hay que calcularlo, y la complejidad del tiempo sí lo es.
Además, sabemos que para la K-ésima potencia de una matriz, podemos obtener los nodos conectados al nodo central K saltos, es decir, si el elemento en el gráfico es 0 indica si un nodo en el gráfico puede llegar a otro nodo, donde K en realidad representa el tamaño del campo receptivo del núcleo de convolución, la representación de características del nodo central se actualiza agregando los nodos vecinos en K saltos de cada nodo central, y el parámetro es el peso de los vecinos de K hop.
Continuará.
1. En la convolución del gráfico espectral, descomponemos la matriz laplaciana del gráfico. La descomposición propia del espacio de Fourier nos ayuda a comprender la estructura del subgrafo subyacente. ChebyNet es una arquitectura típica de aprendizaje profundo que utiliza convolución de dominio espectral.
2. La convolución espacial actúa sobre la vecindad del nodo. Obtenemos la representación de características del nodo a través de los vecinos k-hop del nodo. La convolución espacial es más simple y eficiente que la convolución espectral. GraphSAGE y GAT son representantes típicos de la convolución espacial.
Referencia
1./
3./yyl 424525/article/details/100058264