Cómo asignar números contiguos únicos a elementos en un RDD de Spark

Para un caso de uso de ejemplo similar, acabo de hash los valores de cadena. Véase http://blog.cloudera.com/blog/2014/03/why-apache-spark-is-a-crossover-hit-for-data-scientists/

def nnHash(tag: String) = tag.hashCode & 0x7FFFFF
var tagHashes = postIDTags.map(_._2).distinct.map(tag =>(nnHash(tag),tag))

Parece que ya estás haciendo algo como esto, aunque el hash puede ser más fácil de manejar.

Matei sugirió aquí un enfoque para emular zipWithIndex en un RDD, lo que equivale a asignar ID dentro de cada partición que van a ser globalmente únicos: https://groups.google.com/forum/#! topic / spark-users / WxXvcn2gl1E

Otra opción fácil, si se usan DataFrames y solo se preocupa por la unicidad es usar function MonotonicallyIncreasingID

import org.apache.spark.sql.functions.monotonicallyIncreasingId 
val newDf = df.withColumn("uniqueIdColumn", monotonicallyIncreasingId)

Editar: MonotonicallyIncreasingIDfue obsoleto y eliminado desde Spark 2.0; ahora se conoce como monotonically_increasing_id.

Monótonamente_increasing_id() parece ser la respuesta, pero desafortunadamente no funcionará para ALS ya que produce números de 64 bits y ALS espera números de 32 bits (ver mi comentario debajo de la respuesta de radek1st para deets).

La solución que encontré es usar zipWithIndex(), como se menciona en la respuesta de Darabos. He aquí cómo implementarlo:

Si ya tiene un DataFrame de una sola columna con sus distintos usuarios llamados userids, puede crear una tabla de búsqueda (LUT) como sigue:

# PySpark code
user_als_id_LUT = sqlContext.createDataFrame(userids.rdd.map(lambda x: x[0]).zipWithIndex(), StructType([StructField("userid", StringType(), True),StructField("user_als_id", IntegerType(), True)]))

Ahora puedes:

• Use esta LUT para obtener ID de enteros compatibles con ALS para proporcionar a ALS
• Use esta LUT para hacer una búsqueda inversa cuando necesite volver de ALS ID al ID original

Haga lo mismo para los elementos, obviamente.

La gente ya ha recomendado monotonically_increasing_id(), y mencionó el problema de que crea Longs, no Ints.

Sin embargo, en mi experiencia (caveat - Spark 1.6) - si lo utiliza en un solo ejecutor (repartición a 1 antes), no hay prefijo ejecutor utilizado, y el número puede ser lanzado con seguridad a Int. Obviamente, usted necesita tener menos que Entero.MAX_VALUE filas.