Entrenamiento de confrontación virtual
Introducción a la función: el entrenamiento de confrontación virtual es un método de regularización, y la regularización es un método para evitar el sobreajuste en el aprendizaje profundo.
No entraré en detalles sobre la regularización. Puede entenderse como una mejora de la capacidad de generalización.
La regularización más común es limitar directamente el tamaño de los parámetros del modelo.
Entrenamiento adversario
El entrenamiento adversario se puede utilizar como método de regularización para mejorar el rendimiento de la generalización y evitar el sobreajuste de los modelos de aprendizaje profundo.
Los métodos de aprendizaje automático (incluido el aprendizaje profundo) son muy sensibles a los ejemplos contradictorios, que son muy similares a los ejemplos no contradictorios, pero los modelos (entrenados con ejemplos no contradictorios) clasificarán erróneamente estas muestras. Para clasificar mejor dichas muestras, se propuso el concepto de entrenamiento adversario.
Resumir el entrenamiento del modelo para que el modelo entrenado pueda clasificar mejor las muestras adversas.
No me centraré aquí para obtener más detalles:
Contraataque y muestras de contraataque en redes neuronales
Dado que este artículo trata sobre la mejora de gráficos. del entrenamiento adversario: regularización dinámica (GAT) basada en la estructura del gráfico, que no se deducirá en detalle aquí.
Para obtener más información sobre GAT, consulte: Entrenamiento de confrontación gráfica: regularización dinámica basada en la estructura gráfica (GAT).
Este artículo es una discusión basada en el artículo anterior. Este artículo seguirá el significado simbólico del artículo anterior y no dará más detalles. Si es necesario, búsquelo en las notas de deducción escritas a mano anteriores.
Mejoras:
1. Suavidad local
Cambios: la distribución de etiquetas reales en la función de pérdida se reemplaza por la distribución de etiquetas predichas en la iteración actual. . Con una distribución real, los parámetros específicos se pueden iterar dinámicamente varias veces. Con múltiples iteraciones, la cantidad de parámetros puede aumentar dramáticamente y la suavidad es mejor.
2. Calcule rápidamente la dirección de confrontación
Utilice el método de iteración de potencia para calcular el vector propio correspondiente al valor propio máximo de la matriz.
3.Se agregaron términos de regularización adicionales.
Agregue entropía condicional como término de regularización adicional para hacer que la distribución de probabilidad de salida sea más concentrada y segura. lograr mejores resultados de predicción.
Derivación matemática;