¿Qué hace hadoop?

Proporcionar almacenamiento y cálculo de datos masivos requiere una base de lenguaje Java.

Hadoop implementa el Sistema de Archivos Distribuido (HDFS). Es altamente tolerante a fallas y está diseñado para implementarse en hardware de bajo costo. Además, proporciona acceso de alto rendimiento a los datos de la aplicación, adecuado para aquellas aplicaciones con grandes conjuntos de datos.

Características

1. Snapshot admite el almacenamiento de una copia de datos en un momento específico. Las instantáneas pueden revertir un clúster fallido a un momento anterior. HDFS ya admite instantáneas de metadatos.

2.HDFS está diseñado para admitir archivos de gran tamaño. Los programas que se ejecutan en HDFS también se utilizan para procesar grandes conjuntos de datos. Estos programas solo escriben datos una vez y leen datos una o más veces, y estas operaciones de lectura deben cumplir con la velocidad de transmisión.

HDFS admite escritura una vez y lectura muchas veces. En HDFS, el tamaño de bloque típico es 64 MB. Un archivo HDFS se puede dividir en varios bloques de 64 MB y cada bloque se puede distribuir en diferentes nodos de datos si es necesario.

3. Estado de la etapa: la solicitud del cliente para crear un archivo no se reenvía inmediatamente al nodo de nombre. De hecho, inicialmente, los clientes HDFS almacenan en caché los datos de los archivos en archivos temporales locales.