¿Dónde almacena Hive archivos en HDFS?

Es posible que las tablas de Hive no se almacenen necesariamente en un almacén (ya que puede crear tablas ubicadas en cualquier lugar de los HDFS).

Debe usar el comando DESCRIBE FORMATTED <table_name>.

hive -S -e "describe formatted <table_name> ;" | grep 'Location' | awk '{ print $NF }'

Tenga en cuenta que las particiones pueden almacenarse en diferentes lugares y para obtener la ubicación de la partición alpha=foo/beta=bar tendría que agregar partition(alpha='foo',beta='bar') después de <table_name>.

En el tipo de terminal de Colmena:

hive> set hive.metastore.warehouse.dir;

(imprimirá la ruta)

También es muy posible que escribir show create table <table_name> en la cli de la colmena le dé la ubicación exacta de su tabla de la colmena.

describe formatted <table_name>; dentro de la cáscara de la colmena.

Observe el valor "Ubicación" que muestra la ubicación de la tabla.

Resumir algunos puntos publicados anteriormente, en la colmena.xml, colmena de propiedades.metastore.Warehouse.dir especifica dónde se encuentran los archivos en hadoop HDFS

<property>
   <name>hive.metastore.warehouse.dir</name>
   <value>/user/hive/warehouse</value>
</property>

Para ver archivos, use este comando:

hadoop fs -ls /user/hive/warehouse

O

http://localhost:50070
Utilities > Browse the file system
or
http://localhost:50070/explorer.html#/

Probado bajo hadoop-2.7.3, hive-2.1.1

Si nos fijamos en el sitio de la colmena.archivo xml verá algo como esto

<property>
   <name>hive.metastore.warehouse.dir</name>
   <value>/usr/hive/warehouse </value>
   <description>location of the warehouse directory</description>
 </property>

/usr/hive/warehouse es la ubicación predeterminada para todas las tablas administradas. Las tablas externas pueden almacenarse en una ubicación diferente.

describe formatted <table_name> es el comando hive shell que se puede usar más generalmente para encontrar la ubicación de los datos pertenecientes a una tabla hive.

En Hive, las tablas se almacenan en algunos lugares. Específicamente, si usa particiones (que debería, si sus tablas son muy grandes o están creciendo), entonces cada partición puede tener su propio almacenamiento.

Para mostrar la ubicación predeterminada donde se crearán los datos de la tabla o las particiones si los crea a través de los comandos de COLMENA predeterminados: (insert overwrite ... partition ... y tales):

describe formatted dbname.tablename

Para mostrar la ubicación real de una partición en particular dentro de una tabla de COLMENA, haga lo siguiente:

describe formatted dbname.tablename partition (name=value)

Si miras en su sistema de archivos donde una tabla "debería" vivir, y no encuentra archivos allí, es muy probable que la tabla se cree (generalmente de forma incremental) creando una nueva partición y apuntando esa partición a alguna otra ubicación. Esta es una excelente manera de construir tablas a partir de cosas como importaciones diarias de terceros y demás, lo que evita tener que copiar los archivos o almacenarlos más de una vez en diferentes lugares.

Otra forma de comprobar dónde se almacena una tabla específica sería ejecutar esta consulta en la interfaz interactiva de la colmena :

show create table table_name;

Donde table_name es el nombre de la tabla de asunto.

Un ejemplo para la consulta anterior en la tabla 'clientes' sería algo como esto:

CREATE TABLE `customers`(
  `id` string, 
  `name` string)
COMMENT 'Imported by sqoop on 2016/03/01 13:01:49'
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY ',' 
  LINES TERMINATED BY '\n' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  'hdfs://quickstart.cloudera:8020/user/hive/warehouse/
   sqoop_workspace.db/customers'
TBLPROPERTIES (
  'COLUMN_STATS_ACCURATE'='true', 
  'numFiles'='4', 
  'totalSize'='77', 
  'transient_lastDdlTime'='1456866115')

UBICACIÓN en el ejemplo anterior es donde usted debe centrarse en. Esa es su ubicación hdfs para hive warehouse.

No te olvides de gustar si te gusta esto solución. ¡Salud!