La descripción correcta de hadoop mapreduce es
La descripción correcta de Hadoop MapReduce es que Hadoop Map Reduce es un modelo informático distribuido. La idea principal es dividir y conquistar y es adecuado para tareas de procesamiento por lotes.
1. Definición de Map Reduce
Map Reduce es un marco de programación para programas informáticos distribuidos y es el marco central para que los usuarios desarrollen "aplicaciones de análisis de datos basadas en Hadoop". La función principal de Map Reduce es integrar código de lógica empresarial escrito por el usuario y componentes predeterminados integrados en un programa informático distribuido completo que se ejecuta simultáneamente en un clúster de Hadoop.
En pocas palabras, MapReduce es un marco, un marco informático distribuido. Siempre que el usuario coloque la lógica empresarial en el marco, formará un programa informático distribuido con el marco para implementar la informática distribuida en Hadoop. grupo. .
La idea central de MapReduce es descomponer las tareas de big data en múltiples tareas de datos pequeños, entregárselas a Map para su procesamiento distribuido y, finalmente, usar Reduce para fusionar los resultados.
2. Proceso de Map Reduce
1. MRApp Master: Responsable de la programación del proceso de todo el programa MR y la interacción con el Administrador de recursos. Solo está habilitado un MapReduce.
2. MapTask: Responsable de la programación del proceso y la implementación específica de la fase Mapa, generalmente de 1 a múltiples, y el número a abrir se determina según el número de sectores.
3. Tarea de reducción: responsable del procesamiento de combinación de datos en la etapa de reducción, generalmente de 0 a más. Cuando los datos se pueden combinar en la etapa de mapa, no es necesario activar Reducir.
El Administrador de Recursos es el administrador de Yarn y el administrador del administrador de recursos, denominado RM.
Proceso de procesamiento de código MapReduce:
1. Etapa Mapper
La etapa Map divide las tareas de procesamiento grandes en tareas pequeñas y luego las asigna a cada nodo para su ejecución. de forma independiente, no interfieren entre sí.
2. Fase de reducción
La fase de reducción resume los resultados de ejecución de la fase de mapa.
3. Etapa del controlador
El controlador es equivalente al cliente del clúster Yarn. Se utiliza para enviar todo el programa MapReduce al clúster Yarn para su ejecución. parámetros operativos relevantes del programa Map Reduce. Porque, en última instancia, todo Map Reduce se ejecuta mediante nodos, y Yarn asignará recursos a qué nodo está asignado.