yarn
¿Cómo desactivar el registro de INFORMACIÓN en Spark?
Instalé Spark usando la guía AWS EC2 y puedo iniciar el programa bien usando el script bin/pyspark para llegar al prompt de s ... x=y")
# - SPARK_PUBLIC_DNS, to set the public dns name of the master or workers
export SPARK_SUBMIT_CLASSPATH="$FWDIR/conf"
El contenedor se está ejecutando más allá de los límites de memoria
En Hadoop v1, he asignado cada ranura de mapeador y reductor de 7 con un tamaño de 1 GB, mis mapeadores y reductores funciona ... o. El problema es cómo puedo asegurarme de que a cada contenedor no se le asignen más divisiones de las que pueda manejar.
¿Cómo evitar que los ejecutores de Spark se pierdan al usar el modo cliente de YARN?
Hola tengo un trabajo de Spark que se ejecuta bien localmente con menos datos, pero cuando lo programo en YARN para ejecutar ... ecutors 12 /home/myuser/myspark-1.0.jar
No sé cuál es el problema por favor guía. Soy nuevo en Spark. Gracias de antemano.
¿Dónde están los registros en Spark on YARN?
Soy nuevo en spark. Ahora puedo ejecutar spark 0.9.1 en yarn (2.0.0-cdh4.2.1). Pero no hay registro después de la ejecución.
... 2 > / stderr
En esta línea, observe 1> $LOG_DIR/stdout 2> $LOG_DIR/stderr
¿Dónde se puede establecer LOG_DIR?
¿Cómo puedo acceder a S3 / S3n desde una instalación local de Hadoop 2.6?
Estoy intentando reproducir un clúster de Amazon EMR en mi máquina local. Para ello, he instalado la última versión estable d ... ios para poder leer S3, pero no tengo idea de dónde conseguirlos. Cualquier indicación en esta dirección sería muy apreciada.
Chispa en la comprensión del concepto de hilo
Estoy tratando de entender cómo se ejecuta spark en el cluster/cliente de YARN. Tengo la siguiente pregunta en mi mente.
¿E ... iguración para el clúster de Hadoop". ¿Por qué el nodo cliente tiene que instalar Hadoop cuando envía el trabajo al clúster?