logstash

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision		 Révision précédente
logstash [2014/04/03 11:53] – [Architecture avec broker] madkologstash [2014/04/18 11:57] (Version actuelle) – [Configuration] madko
Ligne 91: Ligne 91:
       # Si on ne veut pas garder le message non traité       # Si on ne veut pas garder le message non traité
       overwrite => "message"       overwrite => "message"
-      match => { 
         # rsyslong envoi des messages de type : <Numero>Ligne Syslog avec le message         # rsyslong envoi des messages de type : <Numero>Ligne Syslog avec le message
-        "message" => "^(?:<%{POSINT:syslog_pri}>)?%{SYSLOGBASE2} %{GREEDYDATA:message}" +      match => { 
 +        "message" => [ "^(?:<%{NONNEGINT:syslog_pri}>)?%{SYSLOGBASE2} %{GREEDYDATA:message}", "^(?:<%{NONNEGINT:syslog_pri}>)(?:%{SYSLOGTIMESTAMP:timestamp}|%{TIMESTAMP_ISO8601:timestamp8601}) %{SYSLOGHOST:logsource} %{DATA:program}:%{GREEDYDATA:message}" ]
       }       }
       # on ajoute des tags perso, pratique pour filtrer dans l'interface kibana       # on ajoute des tags perso, pratique pour filtrer dans l'interface kibana
Ligne 150: Ligne 150:
  
 Par défaut redis n'écoute que sur 127.0.0.1. Son fichier de configuration est /etc/redis.conf. Il faut changer la ligne bind 127.0.0.1. Par défaut redis n'écoute que sur 127.0.0.1. Son fichier de configuration est /etc/redis.conf. Il faut changer la ligne bind 127.0.0.1.
 +
 +
 +==== Configuration du logstash agent ====
 +
 +
 +Logstash sur un noeud à monitorer est dit agent. En entrée il surveille des fichiers de logs (souvent non gérés par syslog), et en sortie envoi le résultat sur le logstash (ou broken) sur le collecteur.
 +
 +
 +Exemple de configuration pour parser un fichier de log puppet:
 +
 +
 +<file>
 +input {
 +  file {
 +    path => "/var/log/puppet/puppet.log"
 +    type => "puppet"
 +  }
 +
 +filter {
 +  if [type] == "puppet" {
 +    # Ex: Tue Mar 25 18:07:07 +0100 2014 Puppet (notice): Finished catalog run in 51.85 seconds
 +    mutate { replace => { "type" => "puppet" } }
 +    grok {
 +      overwrite => "message"
 +      match => {
 +        "message" => "%{DAY} %{MONTH} %{MONTHDAY} %{TIME} %{ISO8601_TIMEZONE} %{YEAR} %{DATA:puppet_module} \(%{DATA:puppet_loglevel}): %{GREEDYDATA:message}"
 +      }
 +      add_tag => [ "puppet", "grokked" ]
 +    }
 +  }
 +
 +output {
 +
 +}
 +</file>
 +
 +==== Configuration du logstash collecteur ====
 +
 +
 +Le serveur logstash centralisant les logs a juste besoin d'une nouvelle entrée lui indiquant qu'il doit passer par un broker de type redis, en lui précisant son adresse:
 +
 +
 +CONF ICI
  
  • logstash.1396526001.txt.gz
  • Dernière modification : 2014/04/03 11:53
  • de madko