¿Cómo evitar el sobreajuste con el ajuste fino del modelo grande LLM?

Como experto en entrenamiento de modelos grandes, Blue Ocean Brain cree que para ajustar los modelos grandes de LLM, los métodos para evitar el sobreajuste incluyen principalmente mejora de datos, regularización, método de parada temprana, abandono y cuasinormalización. etc. método. Al perturbar, rotar, recortar y otras operaciones aleatorias en los datos de entrenamiento, se generan datos más diversos para aumentar la capacidad de generalización del modelo. Durante el proceso de entrenamiento, la salida de algunas neuronas se establece aleatoriamente en 0 con una cierta probabilidad para reducir la complejidad de la red neuronal y evitar un ajuste excesivo.