amazon-emr

ERROR de spark extraño en AWS EMR

Tengo un script PySpark realmente simple que crea un dataframe a partir de algunos datos de parquet en S3 y luego llama al mé ... Me devolvieron el conteo con éxito. Solo me pregunto si alguien sabe por qué sucede esto y cómo deshacerse de él. Gracias

Cómo configurar BLAS / LAPACK de alto rendimiento para Breeze en Amazon EMR, EC2

Estoy tratando de configurar un entorno que admita el análisis de datos exploratorios en un clúster. Basado en una encuesta ... favor proporcione orientación sobre lo que necesito hacer para el Atlas libs para ser recogido por netlib-java. Gracias tim