hortonworks-data-platform
Spark lee el archivo desde S3 usando sc.textFile ("s3n://…)
Tratando de leer un archivo ubicado en S3 usando spark-shell:
scala> val myRdd = sc.textFile("s3n://myBucket/myFile1.log ... para Hadoop 2.60, como parece sugerir este post . Voy a probar Spark para Hadoop 2.40 para ver si esto resuelve el problema.