Con Spark 2.x y Scala 2.11

Pensaría en 3 formas posibles de convertir valores de una columna específica a la Lista

Fragmentos de código comunes para todos los enfoques

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder.getOrCreate    
import spark.implicits._ // for .toDf() method

val df = Seq(
    ("first", 2.0),
    ("test", 1.5),
    ("choose", 8.0)
  ).toDF("id", "val")

Enfoque 1

df.select("id").collect().map(_(0)).toList
// res9: List[Any] = List(one, two, three)

¿Qué pasa ahora? Estamos recopilando datos para el Controlador con collect() y recogiendo el elemento cero de cada registro.

Esto no podría ser una excelente manera de hacerlo, Vamos a mejorarlo con el siguiente enfoque.

Enfoque 2

df.select("id").rdd.map(r => r(0)).collect.toList 
//res10: List[Any] = List(one, two, three)

¿Cómo es mejor? Hemos distribuido la carga de transformación de mapas entre los trabajadores en lugar de un solo controlador.

Sé rdd.map(r => r(0)) no te parece elegante. Por lo tanto, vamos a abordar en el siguiente enfoque.

Enfoque 3

df.select("id").map(r => r.getString(0)).collect.toList 
//res11: List[String] = List(one, two, three)

Aquí no estamos convirtiendo DataFrame a RDD. Mira map no aceptará r => r(0) (o _(0)) como el enfoque anterior debido a problemas de codificador en DataFrame. Así que termina usando r => r.getString(0) y se abordaría en el siguiente versiones de Spark.

Conclusión

Todas las opciones dan la misma salida, pero 2 y 3 son eficaces, finalmente 3rd uno es eficaz y elegante(yo creo).

Enlace de cuaderno de Databricks que estará disponible hasta 6 meses a partir del 20/05/2017

Sé que la respuesta dada y solicitada se asume para Scala, por lo que solo estoy proporcionando un pequeño fragmento de código Python en caso de que un usuario de PySpark tenga curiosidad. La sintaxis es similar a la respuesta dada, pero para sacar correctamente la lista, en realidad tengo que hacer referencia al nombre de la columna una segunda vez en la función de asignación y no necesito la instrucción select.

Es decir, un DataFrame, que contiene una columna llamada " Raw "

Para obtener cada valor de fila en " Raw " combinado como una lista donde cada entrada es un valor de fila de " Raw " simplemente uso:

MyDataFrame.rdd.map(lambda x: x.Raw).collect()

En Scala y Spark 2+, prueba esto (asumiendo que el nombre de tu columna es " s"): df.select('s).as[String].collect

     sqlContext.sql(" select filename from tempTable").rdd.map(r => r(0)).collect.toList.foreach(out_streamfn.println) //remove brackets

Funciona perfectamente