La diferencia entre boosting y bootstrap

Bootstrap y boosting son varios métodos de remuestreo comúnmente utilizados en el aprendizaje automático. Entre ellos, el método de remuestreo de arranque se utiliza principalmente para la estimación de estadísticas y el método de impulso se utiliza principalmente para la combinación de múltiples subclasificadores. bootstrap: método de remuestreo para estimar estadísticas (aprendizaje recomendado: video tutorial de Python)

El método bootstrap selecciona aleatoriamente n puntos de muestra del conjunto de datos de entrenamiento original DD de tamaño n para formar un nuevo conjunto de entrenamiento, esta selección. El proceso se repite B veces de forma independiente y luego estos B conjuntos de datos se utilizan para estimar las estadísticas del modelo (como la media, la varianza, etc.). Dado que el tamaño del conjunto de datos original es n, inevitablemente habrá muestras duplicadas en estos B nuevos conjuntos de entrenamiento.

El valor estimado de la estadística se define como el promedio de los valores estimados θbθb en los conjuntos de entrenamiento B independientes:

impulso:

trenes de impulso k subclasificaciones en secuencia El resultado final de la clasificación se determina mediante la votación de estos subclasificadores.

Primero, seleccione aleatoriamente n1n1 muestras del conjunto de datos de entrenamiento original de tamaño n para entrenar el primer clasificador, denominado C1C1, y luego construya el conjunto de entrenamiento D2D2 del segundo clasificador C2C2 Requisitos: D2D2 La mitad de. las muestras se pueden clasificar correctamente mediante C1C1, mientras que la otra mitad de las muestras se clasifican erróneamente mediante C1C1.

Luego continúe construyendo el conjunto de entrenamiento D3D3 del tercer clasificador C3C3, lo que requiere: C1C1 y C2C2 tengan diferentes resultados de clasificación para las muestras en D3D3. Los subclasificadores restantes se entrenan siguiendo líneas similares.

El principio fundamental del impulso para construir un nuevo conjunto de entrenamiento es utilizar las muestras más informativas.

Para obtener más artículos técnicos relacionados con Python, visite la columna de tutoriales de Python para obtener más información. Lo anterior es el contenido detallado compartido por el editor sobre la diferencia entre boosting y bootstrap. Espero que sea útil para todos. Para obtener más tutoriales de Python, preste atención a otros artículos relacionados de Global Ivy.