importar pyspark en python shell

Aquí hay un método simple (Si no te preocupas por cómo funciona!!!)

Use findspark

1. Vaya a su shell de python

   pip install findspark import findspark findspark.init()

2. Importa los módulos necesarios

   from pyspark import SparkContext from pyspark import SparkConf

3. Hecho!!!

Si imprime tal error:

ImportError: No module named py4j.java_gateway

Por favor agregue SPARK SPARK_HOME / python / build a PYTHONPATH:

export SPARK_HOME=/Users/pzhang/apps/spark-1.1.0-bin-hadoop2.4
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH

Al exportar la ruta de SPARK y la ruta Py4j, comenzó a funcionar:

export SPARK_HOME=/usr/local/Cellar/apache-spark/1.5.1
export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH
PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH 
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH

Por lo tanto, si no desea escribir estos cada vez que desea encender la shell de Python, es posible que desee agregarlo a su archivo .bashrc

No ejecute su archivo py como: python filename.py en su lugar use: spark-submit filename.py

En Mac, uso Homebrew para instalar Spark (fórmula "apache-spark"). Luego, establecí el PYTHONPATH de esta manera para que la importación de Python funcione:

export SPARK_HOME=/usr/local/Cellar/apache-spark/1.2.0
export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH

Reemplace la "1.2.0" con la versión real de apache-spark en su mac.

Para una ejecución de Spark en pyspark se requieren dos componentes para trabajar juntos:

• pyspark paquete python
• Instancia de Spark en una JVM

Al iniciar cosas con spark-submit o pyspark, estos scripts se encargarán de ambos, es decir, configurarán tu PYTHONPATH, PATH, etc., para que tu script pueda encontrar pyspark, y también iniciarán la instancia de spark, configurando de acuerdo con tus parámetros, por ejemplo --master X

Alternativamente, es posible omitir estos scripts y ejecutar su aplicación spark directamente en el intérprete de python como python myscript.py. Esto es especialmente interesante cuando los scripts de spark comienzan a ser más complejos y eventualmente reciben sus propios args.

1. Asegúrese de que el paquete pyspark pueda ser encontrado por el intérprete Python. Como ya se ha comentado, agregue el directorio spark/python a PYTHONPATH o instale pyspark directamente usando pip install.
2. Establezca los parámetros de la instancia de spark desde su script (los que solían ser pasado a pyspark).
   • Para las configuraciones de spark como normalmente se establecería con --conf, se definen con un objeto config (o string configs) en SparkSession.constructor.config
   • Para las opciones principales (como --master, o driver driver-mem) por el momento puede configurarlas escribiendo en la variable de entorno PYSPARK_SUBMIT_ARGS. Para hacer las cosas más limpias y seguras, puedes configurarlo desde dentro de Python, y spark lo leerá al iniciar.
3. Iniciar la instancia, que solo requiere que llame a getOrCreate() desde el objeto builder.

Por lo tanto, su script puede tener algo como esto:

from pyspark.sql import SparkSession

if __name__ == "__main__":
    if spark_main_opts:
        # Set main options, e.g. "--master local[4]"
        os.environ['PYSPARK_SUBMIT_ARGS'] = spark_main_opts + " pyspark-shell"

    # Set spark config
    spark = (SparkSession.builder
             .config("spark.checkpoint.compress", True)
             .config("spark.jars.packages", "graphframes:graphframes:0.5.0-spark2.1-s_2.11")
             .getOrCreate())

Para deshacerse de ImportError: No module named py4j.java_gateway, debe agregar las siguientes líneas:

import os
import sys


os.environ['SPARK_HOME'] = "D:\python\spark-1.4.1-bin-hadoop2.4"


sys.path.append("D:\python\spark-1.4.1-bin-hadoop2.4\python")
sys.path.append("D:\python\spark-1.4.1-bin-hadoop2.4\python\lib\py4j-0.8.2.1-src.zip")

try:
    from pyspark import SparkContext
    from pyspark import SparkConf

    print ("success")

except ImportError as e:
    print ("error importing spark modules", e)
    sys.exit(1)

En Windows 10 lo siguiente funcionó para mí. Agregué las siguientes variables de entorno usando Settings > Editar variables de entorno para su cuenta :

SPARK_HOME=C:\Programming\spark-2.0.1-bin-hadoop2.7
PYTHONPATH=%SPARK_HOME%\python;%PYTHONPATH%

(cambiar "C:\Programming\..."a la carpeta en la que ha instalado spark)

Para los usuarios de Linux, la siguiente es la forma correcta (y no codificada) de incluir el pyspark libaray en PYTHONPATH. Ambas partes del CAMINO son necesarias:

1. La ruta al módulo pyspark Python en sí, y
2. La ruta a la biblioteca comprimida en la que se basa el módulo pyspark cuando se importa

Observe a continuación que la versión de la biblioteca comprimida se determina dinámicamente, por lo que no la codificamos.

export PYTHONPATH=${SPARK_HOME}/python/:$(echo ${SPARK_HOME}/python/lib/py4j-*-src.zip):${PYTHONPATH}

Estoy ejecutando un clúster de spark, en CentOS VM, que se instala desde paquetes de cloudera yum.

Tuvo que establecer las siguientes variables para ejecutar pyspark.

export SPARK_HOME=/usr/lib/spark;
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH

export PYSPARK_PYTHON=/home/user/anaconda3/bin/python
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

Esto es lo que hice para usar mi distribución Anaconda con Spark. Esta es la versión independiente de Spark. Puede cambiar la primera línea a la papelera de python de sus usuarios. Además, a partir de Spark 2.2.0 PySpark está disponible como un paquete independiente en PyPI pero todavía tengo que probarlo.

Yo tenía el mismo problema.

También asegúrese de que está utilizando la versión correcta de python y que la está instalando con la versión correcta de pip. en mi caso: tenía python 2.7 y 3.x. He instalado pyspark con

Pip2. 7 instalar pyspark

Y funcionó.

Obtuve este error porque el script python que estaba tratando de enviar fue llamado pyspark.py (facepalm ). La solución fue establecer mi PYTHONPATH como se recomienda anteriormente, luego cambiar el nombre del script a pyspark_test.py y limpiar el pyspark.pyc que se creó en base al nombre original de mis scripts y que aclaró este error.

Yo tenía este mismo problema y añadiría una cosa a las soluciones propuestas anteriormente. Al usar Homebrew en Mac OS X para instalar Spark, necesitará corregir la dirección de la ruta py4j para incluir libexec en la ruta (recordando cambiar la versión de py4j a la que tiene);

PYTHONPATH=$SPARK_HOME/libexec/python/lib/py4j-0.9-src.zip:$PYTHONPATH

En el caso de DSE (DataStax Cassandra & Spark) La siguiente ubicación debe agregarse a PYTHONPATH

export PYTHONPATH=/usr/share/dse/resources/spark/python:$PYTHONPATH

Luego use el dse pyspark para obtener los módulos en path.

dse pyspark