Cómo comprobar la versión Spark [cerrado]

Quiero comprobar la versión de spark en cdh 5.7.0. He buscado en Internet pero no puedo entender. Por favor, ayuda.

Gracias

Author: Community, 2016-07-26
Source

3 answers

Además de @ Binary Nerd

Si está usando Spark, use lo siguiente para obtener la versión de Spark: 

spark-submit --version

O

Inicie sesión en la página de hosts de Cloudera Manager y goto y luego ejecute inspect hosts in cluster

 53
Author: BruceWayne,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/ajaxhispano.com/template/agent.layouts/content.php on line 61
2018-09-07 18:27:03

Puede obtener la versión de spark usando el siguiente comando: 

spark-submit --version

spark-shell --version

spark-sql --version

Puede visitar el siguiente sitio para conocer la versión spark utilizada en CDH 5.7.0

Http://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_rn_new_in_cdh_57.html#concept_m3k_rxh_1v

 18
Author: Kiran Krishna Innamuri,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/ajaxhispano.com/template/agent.layouts/content.php on line 61
2016-07-26 11:05:54

De acuerdo con la documentación de Cloudera - Qué hay de nuevo en CDH 5.7.0 incluye Spark 1.6.0.

 2
Author: Binary Nerd,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/ajaxhispano.com/template/agent.layouts/content.php on line 61
2016-07-26 10:16:28