¿Cómo desactivar el registro de INFORMACIÓN en Spark?

Inspirado por el pyspark/tests.py Lo hice

def quiet_logs( sc ):
  logger = sc._jvm.org.apache.log4j
  logger.LogManager.getLogger("org"). setLevel( logger.Level.ERROR )
  logger.LogManager.getLogger("akka").setLevel( logger.Level.ERROR )

Llamar a esto justo después de crear SparkContext redujo las líneas stderr registradas para mi prueba del 2647 al 163. Sin embargo, al crear el propio SparkContext se registra 163, hasta

15/08/25 10:14:16 INFO SparkDeploySchedulerBackend: SchedulerBackend is ready for scheduling beginning after reached minRegisteredResourcesRatio: 0.0

Y no me queda claro cómo ajustarlos programáticamente.

Edite su archivo conf / log4j. properties y Cambie la siguiente línea:

   log4j.rootCategory=INFO, console

A

    log4j.rootCategory=ERROR, console

Otro enfoque sería :

Fireup spark-shell y escriba lo siguiente:

import org.apache.log4j.Logger
import org.apache.log4j.Level

Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)

No verá ningún registro después de eso.

>>> log4j = sc._jvm.org.apache.log4j
>>> log4j.LogManager.getRootLogger().setLevel(log4j.Level.ERROR)

También puede establecer el nivel de registro en sus scripts con sc.setLogLevel("FATAL"). De los documentos :

Controla nuestro LogLevel. Esto anula cualquier configuración de registro definida por el usuario. Los niveles de registro válidos incluyen: ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE, WARN

En Spark 2.0 también puede configurarlo dinámicamente para su aplicación usando setLogLevel :

    from pyspark.sql import SparkSession
    spark = SparkSession.builder.\
        master('local').\
        appName('foo').\
        getOrCreate()
    spark.sparkContext.setLogLevel('WARN')

En la consola pyspark, una sesión predeterminada spark ya estará disponible.

Esto puede deberse a cómo Spark calcula su classpath. Mi corazonada es que el archivo log4j.properties de Hadoop aparece antes que el de Spark en la ruta de clases, evitando que tus cambios surtan efecto.

Si ejecuta

SPARK_PRINT_LAUNCH_COMMAND=1 bin/spark-shell

Entonces Spark imprimirá el classpath completo utilizado para lanzar el shell; en mi caso, veo

Spark Command: /usr/lib/jvm/java/bin/java -cp :::/root/ephemeral-hdfs/conf:/root/spark/conf:/root/spark/lib/spark-assembly-1.0.0-hadoop1.0.4.jar:/root/spark/lib/datanucleus-api-jdo-3.2.1.jar:/root/spark/lib/datanucleus-core-3.2.2.jar:/root/spark/lib/datanucleus-rdbms-3.2.1.jar -XX:MaxPermSize=128m -Djava.library.path=:/root/ephemeral-hdfs/lib/native/ -Xms512m -Xmx512m org.apache.spark.deploy.SparkSubmit spark-shell --class org.apache.spark.repl.Main

Donde /root/ephemeral-hdfs/conf está a la cabeza del classpath.

He abierto un problema [SPARK-2913] para solucionar esto en la próxima versión (debería tener un parche fuera pronto).

Mientras tanto, aquí hay un par de soluciones:

• Añadir export SPARK_SUBMIT_CLASSPATH="$FWDIR/conf" a spark-env.sh.
• Delete (or rename) /root/ephemeral-hdfs/conf/log4j.properties.

Usé esto con Amazon EC2 con 1 maestro y 2 esclavos y Spark 1.2.1.

# Step 1. Change config file on the master node
nano /root/ephemeral-hdfs/conf/log4j.properties

# Before
hadoop.root.logger=INFO,console
# After
hadoop.root.logger=WARN,console

# Step 2. Replicate this change to slaves
~/spark-ec2/copy-dir /root/ephemeral-hdfs/conf/

Spark 1.6.2:

log4j = sc._jvm.org.apache.log4j
log4j.LogManager.getRootLogger().setLevel(log4j.Level.ERROR)

Chispa 2.x:

spark.sparkContext.setLogLevel('WARN')

(spark siendo la SparkSession)

Alternativamente los métodos antiguos,

Cambie el nombre de conf/log4j.properties.template a conf/log4j.properties en el directorio de Spark.

En el log4j.properties, cambie log4j.rootCategory=INFO, console a log4j.rootCategory=WARN, console

Diferentes niveles de registro disponibles:

• APAGADO (más específico, sin registro)
• FATAL (más específico, pocos datos)
• ERROR-Registro solo en caso de errores
• WARN-Log solo en caso de Advertencias o Errores
• INFO (Por defecto)
• Pasos de detalles de registro de depuración (y todos los registros indicados anteriormente)
• TRACE (menos específico, muchos datos)
• TODOS (menos específicos, todos los datos)

La forma en que lo hago es:

En la ubicación corro el script spark-submit do

$ cp /etc/spark/conf/log4j.properties .
$ nano log4j.properties

Cambie INFO al nivel de registro que desee y luego ejecute su spark-submit

Si quieres seguir usando el logging (Logging facility para Python) puedes intentar dividir configuraciones para tu aplicación y para Spark:

LoggerManager()
logger = logging.getLogger(__name__)
loggerSpark = logging.getLogger('py4j')
loggerSpark.setLevel('WARNING')

Simplemente agregue debajo de param a su comando spark-submit

--conf "spark.driver.extraJavaOptions=-Dlog4jspark.root.logger=WARN,console"

Esto anula temporalmente el valor del sistema solo para ese trabajo. Compruebe el nombre exacto de la propiedad (log4jspark.arraigar.logger aquí) del archivo log4j. properties.

Espero que esto ayude, ¡salud!