La mejor manera de agregar varios archivos de registro desde varios servidores [cerrado]

Probablemente la solución más liviana para ver registros en tiempo real es usar Dancer's shell en modo concurrente con tail-f:

dsh -Mac -- tail -f /var/log/apache/*.log

• La-a es para todos los nombres de máquinas que haya definido en ~/.dsh/máquinas.list
• La-c es para el funcionamiento concurrente de tail
• El-M antepone el nombre del host a cada línea de salida.

Usamos un script de shell simple como el de abajo. Usted, obviamente, tiene que ajustar un poco para decirle acerca de los diferentes nombres de archivo y decidir qué caja para buscar en cuál, pero se obtiene la idea básica. En nuestro caso estamos siguiendo un archivo en la misma ubicación en varias cajas. Esto requiere autenticación ssh a través de claves almacenadas en lugar de escribir contraseñas.

#!/bin/bash
FILE=$1
for box in box1.foo.com box2.foo.com box3.foo.com box4.foo.com; do
     ssh $box tail -f $FILE &
done

Con respecto al comentario de Mike Funk sobre no poder mata la cola con ^C, guardo lo anterior en un archivo llama multitails.sh y añadir lo siguiente al final de la misma. Esto crea un kill_multitails.sh archivo que corres cuando termines de seguir, y luego se borra solo.

# create a bash script to kill off 
# all the tails when you're done
# run kill_multitails.sh when you're finished

echo '#!/bin/sh' > kill_multitails.sh
chmod 755 kill_multitails.sh
echo "$(ps -awx | grep $FILE)" > kill_multitails_ids
perl -pi -e 's/^(\d+).*/kill -9 $1/g' kill_multitails_ids
cat kill_multitails_ids >> kill_multitails.sh
echo "echo 'running ps for it'" >> kill_multitails.sh
echo "ps -awx | grep $FILE" >> kill_multitails.sh
echo "rm kill_multitails.sh" >> kill_multitails.sh
rm kill_multitails_ids


wait

Logscape - como splunk sin la etiqueta de precio

Multitail o

"chip es una herramienta de análisis y monitoreo de registros local y remoto para administradores y desarrolladores del sistema.
Envuelve las características de swatch, tee, tail, grep, ccze y mail en una, con algunos extras"

Eg.

Chip-f-m0='RUN' -s0='red' -m1='.* '- s1 user1@remote_ip1: '/ var/log / log1 / var / log / log2 / var / log / log3 user2@remote_ip2:'/var/log/log1 /var/log/log2 /var/log/log3" | egrep "RUN | = = > /"

Esto resaltará en rojo el ocurrencias del patrón-m0, pre-filtrado del patrón 'RUN | = = > /' de todos los archivos de registro.

Escribí vsConsole exactamente para este propósito - fácil acceso a los archivos de registro - y luego agregué monitoreo de aplicaciones y seguimiento de versiones. Me gustaría saber lo que piensas de ello. http://vs-console.appspot.com /

Awstats proporciona un script perl que puede combinar varios archivos de registro de apache. Este script escala bien ya que la huella de memoria es muy baja, los archivos de registro nunca se cargan en la memoria. Sé que si no es exactamente lo que necesita, pero tal vez usted puede comenzar a partir de este guion y adaptarlo a sus necesidades.

Puede utilizar los diversos receptores disponibles con Chainsaw (VFSLogFilePatternReceiver para archivos de cola sobre ssh, SocketReceiver, UDPReceiver, CustomSQLDBReceiver, etc.) y luego agregar los registros en una sola pestaña cambiando el identificador de pestaña predeterminado o creando un 'logpanel de expresión personalizada' proporcionando una expresión que coincida con los eventos en las varias pestañas de origen.

Gltail-visualización en tiempo real del tráfico del servidor, eventos y estadísticas con Ruby, SSH y OpenGL desde múltiples servidores

XpoLog para Java