Anforderungen für Logging-Systeme

Entweder aus Compliance-Gründen, aus Sicherheitsgründen oder für die Beherschbarkeit der eigenen Landschaft: Logs zentral einzusammel und auszuwerten ist eine wichtige IT-Hausaufgabe.

Bei der Frage nach dem richtigen Logging-System die eigene IT-Infrastruktur kann man dabei schon mal in ein Rabbit Hole fallen. Darum geben wir hier mal unsere Hauptfragen nach Anforderungen wider:

Log-Quellen

Welche Logquellen werden in der IT-Landschaft identifiziert? Windows-Server, Endgeräte, Netzwerkgeräte, Anwendungen, Logs der Betriebssysteme, Authentifizierungsdienste, on premise oder cloud-Systeme?

Werden die Logs geholt oder werden sie gesendet? Sollen die Logdaten bei der Übertragung verschlüsselt werden (z.B. über das Internet)? Müssen die Logdaten signiert werden?

Müssen die Daten über TCP oder UDP übertragen werden?

Welche Protokolle oder Logarten sollen möglich sein?

• Syslog
• SNMP
• API-Abruf
• Windows-System-Logs
• etc. pp.

Datensemantik

Sollen die Logdaten einfach nur gesammelt und per Volltext durchsucht werden oder sollen die Nachrichten in Key-Value-Paare zerlegt werden? Sollen die Values auch in unterschiedliche Datentypen umgewandelt werden, z.B. in integer für Größenvergleiche oder IP-Adresse für CIDR-Operationen?

Müssen reguläre Ausdrücke, Aggregationen oder Zeitreihenanalysen möglich sein?

Datenanreicherung

Müssen die Daten um weitere Informationen angereichert werden, bspw. um Geo-IP-Informationen, Kundendaten, etc.?

Alarmierung und Reporting

Soll das Logging-System regelmäßig die eigenen Logs durchsuchen und bei einer Häufung von Meldungen oder bei bestimmten Signalwörtern eine Benachrichtigung auslösen? Auf welchen Wegen soll die Benachrichtung erfolgen, im Webinterface, per E-Mail, per Teams, etc.? Oder soll automatisch ein Ticket in einem Ticketsystem erzeugt werden?

Sollen wiederkehrend zeitbasierte Zusammenstellungen von Ergebnissen (Wochenbericht, Monatsbericht, etc.) möglich sein?

Systemarchitektur

Muss das Loggingsystem redundant auf mehrere Systeme verteilt werden oder reicht eine Single Node Installation? Müssen die Logempfänger auch redundant aufgebaut sein? Soll die verteilte Struktur auch ein verteiltes Suchen ermöglichen?

Performance

Wie schnell sollen Daten, die von einem Quellsystem geschickt werden in der Darstellung des Logging-Systems sichtbar sein? Wie lange soll die Suchabfrage über die Logs der letzten 30 Tage maximal dauern? Darf die Auswertung 3 Stunden dauern oder müssen die Antworten in 20 Minuten da sein?

Log-Menge und Datenaufbewahrung

Welche Datenmenge pro Sekunde (gleichzeitig), bzw. pro Stunde (gemittelter längerfristiger Wert) muss das Logging-System verarbeiten können? Wie lange sollen die Daten aufbewahrt werden? Wie weit zurück sollen Suchen reichen dürfen?

Müssen die gespeicherten Daten in verschiedene Orte replizierbar sein (Replikas an mehreren Standorten)?

Benutzerverwaltung, Rechteverwaltung und Authorisierung

Sollen sich die Benutzer lokal am Logging-System anmelden? Ist die Einbeziehung eines Verzeichnisdienst gewünscht? Soll jeder Benutzer alles können oder wie umfangreich werden die Berechtigungen? Sollen die Berechtigungen aus dem Verzeichnisdienst bezogen werden?

Ist die Umsetzung eines Rechte- und Rollenkonzepts gefordert?

Müssen mögliche Dashboards und die Suchabfragen allgemein durch eine Authentifizierung und Autorisierung geschützt werden?

Datenschutz

Wird das Logging-System personenbezogene Daten empfangen? Sind die Daten bereits anonymisiert oder pseudonymisiert?

Usability

Wie niederschwellig sollen Suchabfragen möglich sein? Mit welchen Geräten oder Programmen sollen die Logs abrufbar sein?

Muss das Loggingsystem grafische Darstellungen und Dashboards ermöglichen? Sollen vordefinierbare Dashboards und Abfragen mit anderen Nutzern teilbar sein?