Uso del mundo real de Zookeeper [cerrado]

HBase usa Zookeeper para coordinar las actividades de su "nodo principal" antes de la versión actual. El paso a usar Zookeeper significa que el control central ya no es un único punto de falla.

Zookeeper es muy versátil; aquí hay un ejemplo de usarlo para construir una cola concurrente distribuida:

Http://blog.cloudera.com/blog/2009/05/building-a-distributed-concurrent-queue-with-apache-zookeeper/

Por supuesto, también puede usarlo para crear bloqueos de recursos, etc, en un sistema distribuido.

Vieja pregunta, pero ya que esta página aparece primero en una búsqueda de Google para casos de uso de zookeeper, pensé que sería mejor dar un listado actualizado

1. wikipedia
2. zookeeper wiki
3. usuarios reales

Proyectos de Software Libre Impulsados por ZooKeeper:

• AdroitLogic UltraESB
• Akka
• Marco de Comunicación Eclipse
• Eclipse Gyrex
• GoldenOrb
• Juju
• Katta
• KeptCollections
• Mesos
• Neo4j
• Norbert
• Talend ESB
• redis_failover

Proyectos Apache Impulsados por ZooKeeper:

• Apache Accumulo
• Apache BookKeeper
• Apache CXF DOSGi
• Apache Flume
• Apache Hadoop MapReduce
• Apache HBase
• Apache Hedwig
• Apache Kafka
• Apache S4
• Apache Solr

Fuente: https://cwiki.apache.org/confluence/display/ZOOKEEPER/PoweredBy

Norbert es un buen ejemplo de un sistema de producción escalable. I general, integra Netty, Protocolo Buffers y Zookeeper en un marco ligero para ejecutar servicios en clúster. Los búferes de protocolo se utilizan para especificar su API de servicio, Netty implementa abstracciones de capa de transporte y Zookeeper es esencialmente un servicio de detección tolerante a errores.

Cada vez que se inicia una instancia de servicio, Norbert la registra como instancia disponible de un tipo de servicio en particular. De perspectiva de implementación, crea dos árboles Zookeeper:

• "/ ServiceName / members " que enumera todas las instancias conocidas del servicio
• "/ ServiceName / available " que enumera las instancias actualmente disponibles del servicio

La propiedad más importante para cada nodo es la url que se utilizará para conectarse a la instancia de servicio correspondiente. Habilita el equilibrio de carga del lado del cliente: un cliente Norbert encuentra la lista de URL para un nombre de servicio dado e intenta conectarse a uno de ellos es algún orden (por ejemplo, round-robin o aleatorio).

Solr también está trabajando para integrar ZooKeeper. Aquí puede ver que están usando para configuración dinámica, fragmentación, eliminación de SPOF (elección maestro / esclavo), reequilibrio, etc.

Hay un buen artículo ZooKeeper - El Rey de la Coordinación sobre ZooKeeper en Found.

• Storm es utilizado por un número de empresas (Twitter y Groupon son dos de las más conocidas) y se basa en Zookeeper.
• Kafka es utilizado por Linkedin y se basa en Zookeeper.

Storm usa Zookeeper para almacenar todo el estado para que pueda recuperarse de una interrupción en cualquiera de sus servicios de componentes (distribuidos).

Esto permite que los servicios de componentes sean apátridas y simplemente se descarguen o sincronicen con los servidores de Zookeeper cuando se necesitan datos de configuración. Si alguna vez ha tenido que recuperar un servidor de producción, sabrá lo que puede ser un dolor de cabeza.

Kafka los consumidores de cola pueden usar Zookeeper para almacenar información (marca de agua alta) sobre lo que se ha consumido de la cola.

Zookeeper se utilizó para muchas otras cosas además de la configuración. Aquí está una lista oficial de implementar primitivas distribuidas usando zookeeper.

Http://zookeeper.apache.org/doc/trunk/recipes.html

En mi caso, estamos almacenando archivos de configuración en zookeeper ensemble para el uso del clúster . Estamos usando el esquema leader -> follower . Así que cuando un zookeeper abajo se cambia por otro (modo replicado)

Neo4j utiliza Zookeeper su servidor enterprise de alta disponibilidad! http://docs.neo4j.org/chunked/milestone/ha.html

Datomic utiliza apache zookeeper para administrar el almacenamiento de datos basado en riak.

Debido a que Riak solo soporta consistencia eventual en este momento, un sistema Datomic que se ejecuta en Riak también utiliza Apache ZooKeeper, un servicio de coordinación altamente disponible. Datomic utiliza ZooKeeper para la coordinación de conmutación por error de transactores y para el puñado de claves por base de datos que deben actualizarse con CA. fuente: http://blog.datomic.com/2012/11/riak-and-couchbase-support.html

Aquí hay algunos detalles sobre cómo HBase usa ZooKeeper, incluida información sobre cómo piensan usarlo en el futuro. Generalmente lo usan para eliminar SPOF en los servidores de la región a través de la elección de líderes implementada usando ZooKeeper.