La historia del nacimiento de Hadoop
Al principio, Hadoop era sólo parte de Nutch, un subproyecto de Apache Lucene.
Lucene es el primer conjunto de herramientas de motor de búsqueda de texto completo de código abierto del mundo. Los estudiantes que han realizado la función de búsqueda web de Java deben haber estado expuestos a él.
Cuenta con un completo motor de consultas y algunos motores de análisis de texto.
Nutch se basa en Lucene, tiene funciones de análisis y rastreo de páginas web y puede realizar el desarrollo de un motor de búsqueda. Sin embargo, si se pone en uso, debe responder en muy poco tiempo y se pueden analizar y procesar cientos de millones de páginas web en poco tiempo. Esto requiere considerar cuestiones como el procesamiento de tareas distribuidas, la recuperación de fallas y. equilibrio de carga.
Más tarde, Doug Cutting se basó en dos artículos de Google: Google File System y MapReduce: Simplificación del procesamiento de datos en grandes clústeres, trasplantó la tecnología y la llamó Hadoop.