La diferencia entre gluster y hadoop
Modelo de almacenamiento basado en objetos
Soporta interoperabilidad entre diferentes versiones.
Los usuarios pueden operar en diferentes partes del mismo archivo simultáneamente
Hadoop:
Acceso a datos en streaming
Admite archivos grandes y decenas de conjunto de datos de millones.
Un modelo de acceso a archivos tipo "escribir una vez, leer muchas"
Modo de seguridad
Copia de canalización
Navegador e interfaz JAVA
Los archivos eliminados antes de un período de tiempo específico se pueden recuperar.
Groost:
Extensión de línea
Reemplaza MDS con un algoritmo dinámico que se ejecuta en cada nodo.
Admite múltiples protocolos de archivos y almacenamiento
Basado en fusibles
Comparación de niveles entre Hadoop y Lustre
Hadoop se divide en cuatro niveles: entrada del asignador, salida del asignador, entrada del reductor, salida del reductor.
1. Entrada de mapeo: lectura/escritura
(1) La información de ubicación del bloque de archivos está disponible.
Hadoop: ejecuta cada tarea de lectura y escritura como una secuencia, casi sin E/S de red remota.
Lustre: ejecuta cada tarea de lectura y escritura en paralelo a través de cada cliente.
(2) No hay información de ubicación del bloque de archivos.
Hadoop: cada tarea de lectura y escritura se ejecuta como una secuencia, casi sin E/S de red remota.
Lustre: cada tarea de lectura y escritura se ejecuta en paralelo por cada cliente, que es menor que la E/S de red remota de Hadoop
Agregar información de ubicación del bloque de archivos puede hacer que las operaciones de lectura y escritura sean lo más locales posible, minimizando así el tráfico de la red y mejorando las velocidades de lectura y escritura.
2. Salida de mapeo: lectura/escritura
HDFS: escrito en el sistema de archivos local de Linux, no en HDFS.
Luster: Escrito en Lustre.
3.Recude la lectura y escritura en la fase de finalización de entrada (fase aleatoria).
HDFS: obtiene resultados de mapas desde nodos de mapas remotos mediante HTTP.
Lustre: Restaurará la conexión dura con la salida del mapa.
4. Reducir la salida: escribir
HDFS: la tarea de reducción escribirá los resultados en HDFS y cada Reductor tiene un número de serie.
Lustre: la tarea de reducción escribirá los resultados en Lustre, y cada Reductor es paralelo.