apache-kafka

Usando Kafka como un (CQRS) Eventstore. Buena idea?

Aunque me he encontrado con Kafka antes, recientemente me di cuenta de que Kafka quizás se puede usar como (la base de) un C ... nstancia se suman al estado final) Esto permite todo tipo de cosas interesantes, pero solo lea en los enlaces proporcionados.

Tema de la Purga de Kafka

Empujé un mensaje que era demasiado grande en un tema de mensaje kafka en mi máquina local, ahora estoy recibiendo un error: ... no es ideal aquí, porque en realidad no quiero aceptar mensajes tan grandes. ¿Hay alguna manera de purgar el tema en kafka?

¿Qué determina Kafka consumer offset?

Soy relativamente nuevo en Kafka. He hecho un poco de experimento con él, pero algunas cosas no están claras para mí con resp ... de escenario siempre determinista ? Por favor, no dude en comentar si algo en mi pregunta no está claro. Gracias de antemano.

Modelado de datos con Kafka? Temas y Particiones

Una de las primeras cosas en las que pienso cuando uso un nuevo servicio (como un almacén de datos que no sea RDBMS o una col ... inst "2013-04-12T23:20:55.50Z"} ¿Debería el tema basarse en user-id? viewed? at? ¿Qué hay de la partición? ¿Cómo Decido?

Apache Kafka vs Apache Storm

Apache Kafka: Sistema de mensajería distribuida Apache Storm: Procesamiento de Mensajes en Tiempo Real ¿Cómo podemos usar ... n tiempo real, ambos me parecen hacer el trabajo idéntico. ¿Cómo podemos usar ambas tecnologías en una canalización de datos?

¿Cómo puedo enviar mensajes grandes con Kafka (más de 15 MB)?

Envío String-messages a Kafka V. 0.8 con la API de Java Producer. Si el tamaño del mensaje es de aproximadamente 15 MB obteng ... ndle(Unknown Source) at kafka.producer.Producer.send(Unknown Source) at kafka.javaapi.producer.Producer.send(Unknown Source)

ActiveMQ vs Apollo vs Kafka

No tengo ninguna experiencia previa con *MQs y estoy buscando construir conocimiento sobre JMS y colas de mensajes en general ... uedó atascado con 1.1)? ¿Me voy a perder algo realmente importante? Además, ¿cómo se compara Kafka con estas dos soluciones?

Java, Cómo obtener el número de mensajes en un tema en apache kafka

Estoy usando apache kafka para mensajería. He implementado el productor y el consumidor en Java. ¿Cómo podemos obtener el número de mensajes en un tema?

Cómo eliminar un tema en apache kafka [duplicar]

Esta pregunta ya tiene una respuesta aquí: Eliminar tema en Kafka 0.8.1.1 ... scala:54) at kafka.admin.TopicCommand.main(TopicCommand.scala) Por Favor, hágamelo saber cómo puedo eliminar este tema.

Falló la obtención de metadatos por parte del consumidor de Kafka para los temas

Estoy intentando escribir un cliente Java para los servidores Kafka y ZooKeeper de un tercero. Soy capaz de enumerar y descri ... uetes son destrozados por Haproxy y enviados a través de una VPN. ¿Qué es exactamente lo que está en funcionamiento aquí?

¿Cómo comprobar si ZooKeeper se está ejecutando o en marcha desde el símbolo del sistema?

Estoy explorando algunas opciones para configurar kafka y sabía que el Cuidador del Zoológico tiene que estar en marcha para ... encontrar nada. Puede ser que esté usando una llave equivocada palabra a buscar?? Cualquier ayuda sería realmente apreciada?

cambiar el período de retención de kafka durante el tiempo de ejecución

Con Kafka 0.8.1.1, ¿cómo cambio el tiempo de retención del registro mientras se está ejecutando? La documentación dice que ... la:93) at kafka.admin.TopicCommand$.main(TopicCommand.scala:52) at kafka.admin.TopicCommand.main(TopicCommand.scala)

Por qué kafka producer toma un punto final de corredor cuando se inicializa en lugar del zk

Si tengo varios corredores, ¿qué corredor debe usar mi productor? ¿Necesito cambiar manualmente el broker para equilibrar la ... ist localhost:9092 --topic test > bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

Cómo obtener datos del antiguo punto de desplazamiento en Kafka?

Estoy usando zookeeper para obtener datos de kafka. Y aquí siempre obtengo datos del último punto de desplazamiento. ¿Hay alg ... ar.el restablecimiento ayuda a obtener datos del punto de desplazamiento antiguo en lugar del último punto de desplazamiento?

Cómo crear un tema en Kafka a través de Java

Quiero crear un tema en Kafka (kafka_2.8.0-0.8.1.1) a través de Java. Está funcionando bien si creo un tema en el símbolo del ... e creó, pero no puedo enviar un mensaje en el tema. ¿Hay algo malo en mi código? ¿O alguna otra forma de lograr lo anterior?

¿Cuándo el cliente Apache Kafka lanza una excepción "Batch Expired"?

Usando el cliente Java Apache Kafka (0.9), estoy tratando de enviar una larga serie de registros al broker usando la clase K ... cepciones ( TimeoutException), con el mensaje "Batch expired". ¿Qué circunstancias hacen que esta excepción sea ¿arrojado?

Cómo exponer un servicio sin cabeza para un conjunto de estados externamente en Kubernetes

Usando kubernetes-kafka como punto de partida con minikube. Utiliza un StatefulSet y un servicio sin cabeza para la detec ... rrecta (o una posible) de hacer esto? Es posible exponer un servicio externo por kafka-x.broker.kafka.svc.cluster.local:9092?

Kafka o SNS o algo más?

Lo siento si es una pregunta para novatos. Pero estoy tratando de entender qué debo usar. Por lo que entiendo Kafka es : ... nsamiento fue usar SNS y SQS. Pero entonces vi a mucha gente usando Kafka en AWS. ¿Cuáles son las ventajas de uno sobre otro?

¿Es posible agregar particiones a un tema existente en Kafka 0.8.2

Tengo un cluster Kafka corriendo con 2 particiones. Estaba buscando una manera de aumentar el número de particiones a 3. Sin ... particiones según el cambio en el archivo server.properties. Sin embargo, para los temas existentes, no parece importarle.

Cómo cambiar las réplicas de tema kafka?

Después de un tema de Kafka creado por el productor o el administrador, ¿cómo cambiar el número de réplicas de este tema?(aumentar o disminuir las réplicas del número.)