La Red de Conocimientos Pedagógicos - Currículum vitae - Copia de seguridad y recuperación de datos de Hive

Copia de seguridad y recuperación de datos de Hive

Este artículo describe cómo hacer una copia de seguridad de los datos de Hive en el disco y restaurarlos desde el disco a Hive.

1. Haga una copia de seguridad de los datos de la tabla en Hive en el disco. ?

Ejemplo de copia de seguridad:

La declaración anterior muestra que los datos en la tabla src_companyinfo están separados por "|" y se respaldan en el directorio "/root/GRC_bigdata/backup/src_companyinfo". ?

La estructura del directorio después de la copia de seguridad es la siguiente:

La estructura del directorio de src_xtbillmx2013_st explorado en Hue es la siguiente:?

Como se puede ver en los resultados anteriores, la cantidad de archivos de datos de salida no es necesariamente consistente con la cantidad de archivos almacenados en Hive.

2. Restaurar archivos en el disco en Hive. ?

Primero, ejecute el script de creación de tablas en Hive:

Luego ejecute el siguiente comando de importación en Hive:

3. una copia de seguridad de ***552 GB de datos en un sistema de archivos Linux tarda 55386 segundos, lo que equivale aproximadamente a 15,4 horas. ?

Recuperar los datos anteriores del sistema de archivos de Linux tarda 41217 segundos, lo que equivale aproximadamente a 11,4 horas.

Texto original