Consejos sobre Python / Django y colas de mensajes

En su caso específico, donde es solo una cola de correo electrónico, tomaré la salida fácil y usaré django-mailer. Como un buen lado bonues hay otros proyectos conectables que son lo suficientemente inteligentes como para tomar ventaja de django-mailer cuando lo ven en la pila.

En cuanto a soluciones de cola más generales, todavía no he podido probar ninguna de estas, pero aquí hay una lista de las que me parecen más interesantes:

1. pybeanstalk / beanstalkd
2. python interfaz para gearman (que es probablemente mucho más interesante ahora con el lanzamiento de la versión C de gearman)
3. memcacheQ
4. stomp
5. Apio

Stompserver es una buena opción. Es ligero, fácil de instalar y fácil de usar desde Django/python.

Tenemos un sistema que utiliza stompserver en producción para enviar correos electrónicos y procesar otros trabajos de forma asíncrona.

Django guarda los correos electrónicos en la base de datos, un modelo.post_save handler en Django envía un evento a stompserver y stompserver pasa el evento a un proceso consumidor que hace la tarea asíncrona (envía el correo electrónico).

Se escala bastante bien debido a que puede agregar procesos de consumo en tiempo de ejecución, dos consumidores pueden enviar el doble de correos electrónicos y los consumidores pueden estar en máquinas separadas. Una pequeña complicación es que cada consumidor necesita su propia cola con nombre, por lo que Django necesita saber cuántos consumidores están disponibles y enviar eventos a cada cola de una manera round-robin. (Dos consumidores que escuchan en la misma cola obtendrán cada mensaje = duplicación). Si solo quieres un proceso de consumo, entonces esto no es un problema.

Nosotros anteriormente había procesos que sondeaban la base de datos continuamente para trabajos, pero encontraron que estaba agregando mucha carga al sistema, incluso cuando no era necesario procesar nada.

Simplemente agregue los correos electrónicos a una base de datos, y luego escriba otro script ejecutado por alguna utilidad de programador de tareas (cron viene a la mente) para enviar los correos electrónicos.

Es posible que desee echar un vistazo a pymq. Está escrito en python, habla HTTP con sus clientes y permite una gran cantidad de opciones de monitoreo y administración para las colas.

¿Hay algo malo en resolver esto usando la infraestructura de correo? Como, cada servidor de aplicaciones que ejecuta sus propios demonios de correo que pondrán en cola cualquier correo enviado localmente, que reenvían a un servidor de correo centralizado que puede hacer el trabajo pesado del correo?

Http://www.snakemq.net / podría funcionar también

Si ya tiene instalado MySQL, puede crear una tabla para usarla como una especie de "lista de tareas".

Los subprocesos agregan trabajos de forma sincrónica a la tabla, y una tarea por lotes elimina los trabajos a medida que se completan.

De esa manera, no hay necesidad de instalar y aprender más software, y debería funcionar bien como una tienda de trabajo persistente, siempre y cuando no esté enviando lotes de correo electrónico (como >10/seg).

Aquí hay una solución perezosa pero correcta y adecuada. Utilice la siguiente tabla de base de datos como cola.

drop table if exists mailqueue;
create table mailqueue (
    id bigint primary key,
    subject text not null,
    body mediumtext not null,
    from varchar(255) not null,
    to varchar(255) not null
);

Los remitentes deben insertar nuevas filas al final de esta tabla.

Configurar hilos de trabajo para pop correos uno a la vez desde el otro extremo (id más bajo) y tratar de enviarlos.

También puedes usar Twisted para esto. Pero no jugará con django en todos los casos, es muy dependiente de los escenarios de implementación. Lo más importante es que cada solicitud tiene que ser servida por un proceso python, por lo que necesita Apache compilado en modo threaded.