partitioning

He empezado a usar Spark SQL y DataFrames en Spark 1.4.0. Quiero definir un particionador personalizado en DataFrames, en Sc ... lguna manera de hacer que Spark particione este DataFrame para que todos los datos de una Cuenta estén en la misma partición?

Esta pregunta ya tiene una respuesta aquí: ¿Cómo dividir los datos en 3 conjuntos (tren, validación y pr ... st be either a slice, an integer, Ellipsis, or newaxis Creo que lo estoy haciendo mal. ¿Hay una mejor manera de hacer esto?

He leído la documentación (http://dev.mysql.com/doc/refman/5.1/en/partitioning.html), pero me gustaría, en sus propias palabr ... de MYSQL se centra en el particionamiento dentro del mismo servidor...si el propósito es propagarlo a través de servidores?

He leído sobre la documentación de HashPartitioner. Desafortunadamente, no se explicó mucho, excepto por las llamadas a la AP ... new HashPartitoner(1) new HashPartitoner(2) new HashPartitoner(10) Entonces, ¿cómo funciona HashPartitioner en realidad?

Tenemos una base de datos InnoDB que es de aproximadamente 70 GB y esperamos que crezca a varios cientos de GB en los próximo ... are: HP ProLiant DL 580 4 x CPU Intel(R) Xeon(R) E7 - 4830 256 GB RAM El rendimiento está bien con esta configuración.

Tengo una matriz, que quiero dividir en matrices más pequeñas de tamaño n, y realizar una operación en cada una. Mi método ac ... listas considerablemente grandes (de hasta 1 millón de tamaño), así que estoy tratando de averiguar qué sería más eficiente.

Estoy luchando para entender la solución de programación dinámica para el problema de partición lineal. Estoy leyendo el Manu ... simplemente el total de los valores de los elementos dentro de una partición? ¿O hay algún significado adicional más sutil?

Después de leer los consejos de este gran Nettuts + artículo Se me ocurrió un esquema de tabla que separaría los datos alta ... ne perfecto sentido usar el motor de almacenamiento ARCHIVE aquí, la única cosa es que no admite FKs (ni UPDATEs ni DELETEs).