apache-spark-1.4
cómo cambiar una columna Dataframe de tipo String a tipo Double en pyspark
Tengo un dataframe con columna como cadena.
Quería cambiar el tipo de columna a Double type en pyspark.
Seguir es el camino, ... a
a través de la Regresión logística, estoy recibiendo algún error, así que me pregunto ,
esta es la razón del problema.
Cómo optimizar shuffle spill en la aplicación Apache Spark
Estoy ejecutando una aplicación de transmisión de Spark con 2 trabajadores.
La solicitud tiene una afiliación y un sindicato ... este derrame tanto de memoria como de disco?
¿Hay propiedades de chispa que puedan reducir/ controlar este enorme derrame?