La Red de Conocimientos Pedagógicos - Currículum vitae - La diferencia entre gluster y hadoop

La diferencia entre gluster y hadoop

Lustre:

Modelo de almacenamiento basado en objetos

Soporta interoperabilidad entre diferentes versiones.

Los usuarios pueden operar en diferentes partes del mismo archivo simultáneamente

Hadoop:

Acceso a datos en streaming

Admite archivos grandes y decenas de conjunto de datos de millones.

Un modelo de acceso a archivos tipo "escribir una vez, leer muchas"

Modo de seguridad

Copia de canalización

Navegador e interfaz JAVA

Los archivos eliminados antes de un período de tiempo específico se pueden recuperar.

Groost:

Extensión de línea

Reemplaza MDS con un algoritmo dinámico que se ejecuta en cada nodo.

Admite múltiples protocolos de archivos y almacenamiento

Basado en fusibles

Comparación de niveles entre Hadoop y Lustre

Hadoop se divide en cuatro niveles: entrada del asignador, salida del asignador, entrada del reductor, salida del reductor.

1. Entrada de mapeo: lectura/escritura

(1) La información de ubicación del bloque de archivos está disponible.

Hadoop: ejecuta cada tarea de lectura y escritura como una secuencia, casi sin E/S de red remota.

Lustre: ejecuta cada tarea de lectura y escritura en paralelo a través de cada cliente.

(2) No hay información de ubicación del bloque de archivos.

Hadoop: cada tarea de lectura y escritura se ejecuta como una secuencia, casi sin E/S de red remota.

Lustre: cada tarea de lectura y escritura se ejecuta en paralelo por cada cliente, que es menor que la E/S de red remota de Hadoop

Agregar información de ubicación del bloque de archivos puede hacer que las operaciones de lectura y escritura sean lo más locales posible, minimizando así el tráfico de la red y mejorando las velocidades de lectura y escritura.

2. Salida de mapeo: lectura/escritura

HDFS: escrito en el sistema de archivos local de Linux, no en HDFS.

Luster: Escrito en Lustre.

3.Recude la lectura y escritura en la fase de finalización de entrada (fase aleatoria).

HDFS: obtiene resultados de mapas desde nodos de mapas remotos mediante HTTP.

Lustre: Restaurará la conexión dura con la salida del mapa.

4. Reducir la salida: escribir

HDFS: la tarea de reducción escribirá los resultados en HDFS y cada Reductor tiene un número de serie.

Lustre: la tarea de reducción escribirá los resultados en Lustre, y cada Reductor es paralelo.