Hadoop se originó esencialmente a partir del sistema de clúster de ()

Hadoop se originó a partir del proyecto Apache Nutch iniciado en 2002. ¿Es apache? Uno de los subproyectos de Lucene. En 2004, Google publicó un artículo llamado MapReduce: procesamiento de datos simplificado en grandes clústeres en la conferencia "Diseño e implementación de sistemas operativos".

El ilustrado Doug Cutting y otros comenzaron a intentar implementar el marco informático MapReduce y combinarlo con NDFS (Nutch Distributed File System) para admitir el algoritmo principal del motor Nutch. Porque NDFS y MapReduce tienen buenas aplicaciones en el motor Nutch.

Se separaron en febrero de 2006 y se convirtieron en un software completamente independiente llamado Hadoop. A principios de 2008, hadoop se había convertido en el proyecto de nivel superior de Apache, incluidos muchos subproyectos, y se utilizaba en muchas empresas de Internet, incluido Yahoo.

El estado de desarrollo de Hadoop

Al comienzo del diseño, los objetivos eran alta confiabilidad, alta escalabilidad, alta tolerancia a fallas y alta eficiencia. Son estas ventajas inherentes al diseño las que han hecho que Hadoop sea el favorito de muchas grandes empresas tan pronto como apareció, y también ha atraído una amplia atención en el campo de la investigación.

La tecnología Hadoop ha sido ampliamente utilizada en el campo de Internet. Baidu utiliza Hadoop para procesar 200 TB de datos cada semana para análisis de registros de búsqueda y extracción de datos web. Las universidades nacionales y los institutos de investigación científica realizan investigaciones sobre almacenamiento de datos, gestión de recursos, programación de trabajos, optimización del rendimiento, alta disponibilidad del sistema y seguridad basadas en Hadoop. La mayoría de los resultados de investigación relevantes se aportan a la comunidad Hadoop en forma de código abierto.