Apache Kafka vs Apache Storm

Kafka y Storm tienen un propósito ligeramente diferente:

Kafka es un agente de mensajes distribuido que puede manejar una gran cantidad de mensajes por segundo. Utiliza el paradigma publish-subscribe y se basa en temas y particiones. Kafka utiliza Zookeeper para compartir y guardar el estado entre los corredores. Así que Kafka es básicamente responsable de transferir mensajes de una máquina a otra.

Storm es un sistema analítico escalable, tolerante a fallos y en tiempo real (piense como Hadoop en en tiempo real). Consume datos de fuentes (Spouts) y los pasa a canalizaciones (Bolts). Puede combinarlos en la topología. Así que Storm es básicamente una unidad de computación (agregación, aprendizaje automático).

Pero puede usarlos juntos: por ejemplo, su aplicación usa kafka para enviar datos a otros servidores que usan storm para hacer algunos cálculos en él.

Sé que este es un hilo más antiguo y las comparaciones de Apache Kafka y Storm eran válidas y correctas cuando se escribieron, pero vale la pena señalar que Apache Kafka ha evolucionado mucho a lo largo de los años y desde la versión 0.10 (abril de 2016) Kafka ha incluido una API de Kafka Streams que proporciona capacidades de procesamiento de flujos sin la necesidad de ningún software adicional como Storm. Kafka también incluye la API Connect para conectarse a varias fuentes y sumideros (destinos) de datos.

Anuncio blog - https://www.confluent.io/blog/introducing-kafka-streams-stream-processing-made-simple /

Documentación actual de Apache - https://kafka.apache.org/documentation/streams /

En 0.11 Kafka la funcionalidad de procesamiento de flujos se amplió aún más para proporcionar Semántica y Transacciones Exactamente Una vez.

Https://www.confluent.io/blog/exactly-once-semantics-are-possible-heres-how-apache-kafka-does-it/

Así es como funciona

Kafka - Para proporcionar una transmisión en tiempo real

Storm - Para realizar algunas operaciones en esa corriente

Puedes echar un vistazo al proyecto GitHub https://github.com/abhishekgoel137/kafka-nodejs-d3js .

(D3js es una biblioteca de representación gráfica)

Caso ideal:

Realtime application -> Kafka -> Storm -> NoSQL -> d3js

Este repositorio se basa en:

Realtime application -> Kafka -> <plain Node.js> -> NoSQL -> d3js

Como cada uno le explica que Apache Kafka: es una cola de mensajería continua

Apache Storm: es una herramienta de procesamiento continuo

Aquí en este aspecto Kafka obtendrá los datos de cualquier sitio web como FB,Twitter mediante el uso de API y que los datos se procesan mediante el uso de Apache Storm y puede almacenar los datos procesados en cualquiera de las bases de datos que desee.

Https://github.com/miguno/kafka-storm-starter

Solo síguelo tendrás alguna idea

Cuando tengo un caso de uso que me requiere visualizar o alertar sobre patrones (piense en tendencias de Twitter), mientras continúo procesando los eventos, tengo varios patrones.
NiFi me permitiría procesar un evento y actualizar un almacén de datos persistente con baja agregación por lotes(er) con muy, muy poca codificación personalizada.
Storm (mucha codificación personalizada) me permite acceder casi en tiempo real a los eventos de tendencias.
Si puedo esperar muchos segundos, entonces puedo hacer un lote de kafka, en hdfs (Parquet) y proceso.
Si necesito saberlo en segundos, necesito NiFi, y probablemente incluso Storm. (Piense en monitorear miles de estaciones terrestres, donde necesito ver las condiciones climáticas de la pequeña región para las advertencias de tornados).