Bibliografía detallada de la tecnología de desarrollo de aplicaciones HadoopIntroducción Capítulo 1 Descripción general de Hadoop 1.1 Hadoop Origin 1.1 Google y Hadoop Módulo 1.1.2 ¿Por qué introducir Hadoop 1.1.3 en la versión Hadoop? 1.2 Ecosistema Hadoop 1.3 Introducción a proyectos comunes de Hadoop 1.4 Aplicación de Hadoop en China 1.5 Resumen de este capítulo Capítulo 2 Instalación de Hadoop 2.1 Configuración de instalación del entorno Hadoop 2.1.1 Instalar VMware. 2.1.2 Instalar Ubuntu 2.1.3 Instalar VMwareTools 2.1.4 Instalar JDK 2.2 Modo de instalación de Hadoop 2.2.1 Instalación independiente 2.2.2 Instalación pseudodistribuida 2.2.3 Instalación distribuida 2.3 Cómo utilizar Hadoop 2.3. 2.3.2 Archivo de configuración de Hadoop 2.4 Resumen de este capítulo Capítulo 3 Inicio rápido con MapReduce 3.1 Instancia de WordCount Preparación del entorno de desarrollo 3.1.1 Creación de un proyecto Java con Eclipse 3.1.2 Importación. Archivo JAR de Hadoop 3.2 Implementación del código MapReduce 3.2.1 Escritura de la clase WordMapper 3.2.2 Escritura de la clase WordReducer 3.2.3 Escritura de la clase del controlador WordMain 3.3 Empaquetado, implementación y ejecución 3.3.2 Implementación y ejecución 3.3.3 Resultados de las pruebas 3.4 Resumen de este capítulo Capítulo 4 Capítulo Explicación detallada del sistema de archivos distribuido Hadoop 4.1 Comprensión de las características de HDFS 4.1 Interfaz unificada 4.1.3 Servicio web HDFS 4.2 Arquitectura HDFS 4.2.1 Bastidor 4.2.2 Bloque 4.2.3 Nodo de metadatos 4.2.4 Nodo de datos 4.2.5 Metadatos auxiliares nodo 4.2.6 Espacio de nombres 4.2.7 Replicación de datos 4.2.8 Principio de copia de seguridad en bloque 4 Conciencia del rack 4.3 Mecanismo RPC de Hadoop 4.3.1 Proceso de implementación de RPC 4.3.2 Modelo de entidad RPC 4.3.3 Lectura de archivos 44.3 ¿Por qué existe el mecanismo HA? 4.5 Mecanismo de federación de HDFS 4.5.1 Limitaciones de la arquitectura HDFS de un único NameNode 4.5.2 Por qué existe un mecanismo de federación 4.5.3 Arquitectura de federación 4.5.4 Gestión de múltiples espacios de nombres 4.6 Acceso al sistema de archivos Hadoop 4.6.1 Modo de seguridad 4.6 2 Acceso Shell a HDFS 4.6. 3 Archivos de procesamiento de comandos HDFS 4.7 Interfaz JavaAPI 4.7.1 Datos de lectura de HadoopURL 44.8.4 Agregar nodos 4.8.5 Eliminar nodos 4.9 Gestión de permisos HDFS 4.9.1 Identidad del usuario 4.9.2 Principios de gestión de permisos 4.9. .4 Superusuario 4.9.5 Parámetros de configuración de permisos HDFS 4.10 Descripción general de este capítulo 5 Archivos Hadoop. I/O explica la estructura de datos de los archivos Hadoop 5.1.1 Almacenamiento SequenceFile 5.1.2 Almacenamiento MapFile 5.1.3 Convertir SequenceFile a MapFile 5.2 Integridad de datos HDFS 5.2.1 Corrección. Verificación 5.2.2 Programa de detección de bloques 5.3 Serialización de archivos 5.3.1 Requisitos de serialización para la comunicación entre procesos 5. 3 2 Serialización de archivos Hadoop 5.3.3 Interfaz grabable 5.3.4 Interfaz comparable grabable 5.3.5 Interfaz de escritura personalizable 5.3.6 secuencia .

Framework 5.3.7 Sistema de serialización de datos Avro 5.4 Tipos de escritura de Hadoop 5.4.1 Jerarquía de clases de escritura 5.4.2 Tipos de texto 5.4.3 Tipos de escritura nulos 5.4.4 Tipos de escritura de objetos 5.4.5 Tipos de tablas GenericWri 5.5 Compresión de archivos 5.5.1 Formatos de compresión admitidos por Hadoop 5. 5. 2 Codificadores y decodificadores en Hadoop 5.5.3 Bibliotecas nativas 5.5.4 Compresión separable LZO 5.5.5 Comparación de rendimiento de archivos comprimidos Comparación de LZO y Snappy 5.6 Resumen de este capítulo Capítulo Capítulo 6 Principio de funcionamiento de MapReduce 6.1 Programación funcional Concepto de MapReduce 6.1 Procesamiento de listas 6.1.2 Tabla de datos de mapeo 6.1.3 Restauración de la tabla de datos 6.65 438+0.4 Trabajo de mapeador y reductor 6.1.5 Ejemplo de aplicación: Estadísticas de frecuencia de palabras 6.2 Estructura del marco de MapReduce 6. 2. 655 MapReduce 6.3.7 Finalización de tareas 6.3.6 Tolerancia a fallas de MapReduce 6.4.1 Falla de tarea 6.4.2 Falla de TaskTracker 6.4.3 Falla del rastreador de trabajos 6.4.4 Falla de subtarea 6.4.5 Cómo manejar el número de repeticiones de fallas de tareas 6.5 Fase de mezcla y fase de clasificación 6.5.1 Mezcla 6.5 .2 Mezcla 6.5.3 Optimización de parámetros del proceso de mezcla 6.6 Línea de ejecución de tareas 6.6.1 Ejecución supuesta 6 Programador 6.8.66 0 Marco del programador Hadoop 6.8.2 Escritura del programa Hadoop 6.9 Introducción a YARN 6.9.1 Modelo de programación asincrónica 6.9.2 Marco informático compatible por YARN 6.9.3 Arquitectura YARN 6.9.4 Flujo de trabajo YARN 6.10 Resumen de este capítulo Capítulo 7 Aplicación del complemento Eclipse 7.1 Compilar el código fuente de Hadoop 7.1 Descargar el código fuente de Hadoop 7.2 Crear una nueva ubicación de Hadoop 7.2.3 Operación del complemento Hadoop HDFS 7.2 .4 Ejecutar la clase de controlador MapReduce 7.3 Depuración de MapReduce 7.3.1 Ingresar al modo de ejecución de depuración 7.3.2 Depurar operaciones específicas 7.4 Marco de pruebas unitarias MRUnit 7.4.1 Comprender el marco MRUnit 7.4.2 Preparar casos de prueba 7.4.3 Prueba unitaria del mapeador 7.4.4 Unidad reductora prueba 7.4.5 Prueba unitaria de MapReduce 7.5 Descripción general de este capítulo Capítulo 8 8.1.1 Flujo de trabajo de MapReduce 8.1.2 Recuento de palabras del proceso Map 8.1.3 Reducir el recuento de palabras del proceso 8.1.4 Resultados producidos por cada proceso 8.1.5 Clase abstracta del asignador 8.1. 6 Clase abstracta reductora 8.1.7 Controlador MapReduce 8.1.8 Controlador mínimo MapReduce 8.2 Formato de entrada 8.2.1 Interfaz InputFormat 8.2.2 Clase InputSplit 8.2. 3 Aplicación RecordReader clase 8.2.4. Ejemplo: Generar aleatoriamente 100 decimales y encontrar el valor máximo 8.3 Formato de salida 8.3.1 Interfaz OutputFormat 8.3.2 Clase RecordWriter 8.3.3 Ejemplo de aplicación: Poner palabras con la misma primera letra en un archivo 8.4 Formato de compresión 8.4.1 Cómo hacerlo en uso MapReduce? Compresión 8.4.2 Comprimir los resultados de salida de los trabajos de mapas 8.5 Optimización de MapReduce 8.5.1 Clase combinadora 8.5.2 Clase divisora ​​8.5.3 Caché distribuida 8.6 Clase auxiliar 8.6.1 Leer el archivo de configuración de Hadoop 8.6.2 Establecer el archivo de configuración de Hadoop.