¿Cómo envío los resultados de una consulta HiveQL a CSV?

Si desea un archivo CSV, puede modificar las soluciones de Lukas de la siguiente manera (suponiendo que esté en una caja de Linux):

hive -e 'select books from table' | sed 's/[[:space:]]\+/,/g' > /home/lvermeer/temp.csv

Debe usar la instrucción CREATE TABLE AS SELECT (CTAS) para crear un directorio en HDFS con los archivos que contienen los resultados de la consulta. Después de eso, tendrá que exportar esos archivos desde HDFS a su disco normal y fusionarlos en un solo archivo.

También es posible que tenga que hacer algún truco para convertir los archivos de '\001' - delimitado a CSV. Puede utilizar un SerDe CSV personalizado o postprocesar el archivo extraído.

Si está utilizando HUE, esto también es bastante simple. Simplemente vaya al editor de la colmena en HUE, ejecute su consulta de la colmena, luego guarde el archivo de resultado localmente como XLS o CSV, o puede guardar el archivo de resultado en HDFS.

Estaba buscando una solución similar, pero las mencionadas aquí no funcionarían. Mis datos tenían todas las variaciones de espacios en blanco (espacio, nueva línea, tabulación) caracteres y comas.

Para hacer que los datos de columna tsv sean seguros, reemplacé todos los caracteres \t en los datos de columna con un espacio, y ejecuté código python en la línea de comandos para generar un archivo csv, como se muestra a continuación:

hive -e 'tab_replaced_hql_query' |  python -c 'exec("import sys;import csv;reader = csv.reader(sys.stdin, dialect=csv.excel_tab);writer = csv.writer(sys.stdout, dialect=csv.excel)\nfor row in reader: writer.writerow(row)")'

Esto creó un csv perfectamente válido. Espero que esto ayude a aquellos que vienen en busca de esta solución.

Puede usar la función cadena de colmena CONCAT_WS( string delimiter, string str1, string str2...strn )

Para ex:

hive -e 'select CONCAT_WS(',',cola,colb,colc...,coln) from Mytable' > /home/user/Mycsv.csv

Puede utilizar INSERT ... DIRECTORY ..., como en este ejemplo:

INSERT OVERWRITE LOCAL DIRECTORY '/tmp/ca_employees'
SELECT name, salary, address
FROM employees
WHERE se.state = 'CA';

OVERWRITE y LOCAL tienen las mismas interpretaciones que antes y los caminos se interpretan siguiendo las reglas habituales. Se escribirán uno o más archivos en /tmp/ca_employees, dependiendo del número de reductores invocados.

Tuve un problema similar y así es como pude abordarlo.

Paso 1 - Cargó los datos de la tabla de la colmena en otra tabla de la siguiente manera

DROP TABLE IF EXISTS TestHiveTableCSV;
CREATE TABLE TestHiveTableCSV 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n' AS
SELECT Column List FROM TestHiveTable;

Paso 2 - Copiado el blob desde Hive warehouse a la nueva ubicación con la extensión apropiada

Start-AzureStorageBlobCopy
-DestContext $destContext 
-SrcContainer "Source Container"
-SrcBlob "hive/warehouse/TestHiveTableCSV/000000_0"
-DestContainer "Destination Container"
-DestBlob "CSV/TestHiveTable.csv"

El separador predeterminado es "^A". En el lenguaje python, es " \x01".

Cuando quiero cambiar el delimitador, uso SQL como:

SELECT col1, delimiter, col2, delimiter, col3, ..., FROM table

Entonces, considere delimiter+"^A" como un nuevo delimitador.

Similar a la respuesta de Ray anterior, Hive View 2.0 en Hortonworks Data Platform también le permite ejecutar una consulta de Hive y luego guardar la salida como csv.