Apache Spark vs Akka

Spark es para el procesamiento de datos lo que Akka es para administrar el flujo de datos e instrucciones en una aplicación.

TL; DR

Spark y Akka son dos frameworks diferentes con diferentes usos y casos de uso.

Al compilar aplicaciones, distribuidas o no, uno puede necesitar programar y administrar tareas a través de un enfoque paralelo, como por ejemplo mediante el uso de subprocesos. Imagina una gran aplicación con muchos hilos. ¿Qué tan complicado sería eso?

Kit de herramientas Akka de TypeSafe le permite utilizar sistemas de actores (originalmente derivados de Erlang) que le da una capa de abstracción sobre hilos. Estos actores son capaces de comunicarse entre sí pasando cualquier cosa y todo como mensajes, y hacer las cosas en paralelo y sin bloquear otro código.

Akka le da una cereza en la parte superior al proporcionarle formas de ejecutar a los Actores en un entorno distribuido.

Apache Spark, por otro lado, es un marco de procesamiento de datos para conjuntos de datos masivos que no pueden ser manejado manualmente. Spark hace uso de lo que llamamos un RDD (o Conjuntos de datos Distribuidos Resilientes) que es una lista distribuida como una capa de abstracción sobre sus estructuras de datos tradicionales para que las operaciones se puedan realizar en diferentes nodos paralelos entre sí.

Spark hace uso del kit de herramientas Akka para programar trabajos entre diferentes nodos.

Apache Spark:

Apache Spark™ es un motor rápido y general para el procesamiento de datos a gran escala.

Spark ejecuta programas hasta 100 veces más rápido que Hadoop MapReduce en memoria o 10 veces más rápido en disco.

Spark nos brinda un marco integral y unificado para administrar los requisitos de procesamiento de big data con una variedad de conjuntos de datos que son de naturaleza diversa (datos de texto, datos de gráficos, etc.), así como la fuente de los datos (lote v. datos de transmisión en tiempo real).

1. Se integra bien con el ecosistema Hadoop y las fuentes de datos (HDFS, Amazon S3, Hive, HBase, Cassandra, etc.)

2. Puede ejecutarse en clústeres administrados por Hadoop YARN o Apache Mesos , y también puede ejecutarse en modo Independiente

3. Proporciona APIs en Scala, Java y Python , con soporte para otros lenguajes (como R) en el camino

4. En además de Mapear y Reducir operaciones, admite consultas SQL , transmisión de datos, aprendizaje automático y procesamiento de datos de gráficos.

Deberíamos mirar a Spark como una alternativa a Hadoop MapReduce en lugar de un reemplazo de Hadoop.

Echa un vistazo a InfoQy toptal artículos para una mejor comprensión.

Casos de uso principales para Spark:

1. Algoritmos de aprendizaje automático
2. Interactivo análisis
3. Transmisión de datos

Akka: de Letitcrash

Akka es un framework middleware basado en eventos, para crear aplicaciones distribuidas confiables y de alto rendimiento en Java y Scala. Akka desacopla la lógica de negocio de mecanismos de bajo nivel como hilos, bloqueos y E / S sin bloqueo. Con Akka, puede configurar fácilmente cómo se crearán, destruirán, programarán y reiniciarán los actores en caso de fallo.

Echa un vistazo a este artículo typesafe para una mejor comprensión de Actor framework.

Akka proporciona tolerancia a fallos basada en jerarquías de supervisores. Cada Actor puede crear otros Actores, que luego supervisará, tomando decisiones si deben reanudarse, reiniciarse, retirarse o si el problema debe intensificarse.

Echa un vistazo a Akka artículo & SO questions

Casos de uso principales:

1. Procesamiento de transacciones
2. Concurrencia/paralelismo
3. Simulación
4. Procesamiento por lotes
5. Juegos y apuestas
6. Procesamiento de Flujo de Eventos Complejos