Beobachtbarkeit

Wie Beobachtbarkeit funktioniert

Ein technisches System besitzt viele interne Zustände, die von außen nicht unmittelbar sichtbar sind.
Eine Anwendung kann beispielsweise weiterhin erreichbar sein, während einzelne interne Prozesse bereits fehlschlagen. Ein Dienst kann korrekte Antworten liefern, obwohl seine Antwortzeiten langsam ansteigen. Zwei Komponenten können unterschiedliche Vorstellungen über denselben Zustand besitzen.
Beobachtbarkeit bedeutet, genügend geeignete Informationen bereitzustellen, um solche Vorgänge untersuchen zu können.

Typische Informationsquellen sind:

• Metriken
• Logs
• Traces
• Ereignisse
• Zustandsinformationen
• Zeitinformationen
• Informationen über beteiligte Komponenten und Abhängigkeiten

Welche davon notwendig sind, hängt vom jeweiligen System ab.
Entscheidend ist nicht die Art oder Menge der Daten allein, sondern welche Aussagen sich daraus über das tatsächliche Systemverhalten ableiten lassen.

Vom sichtbaren Verhalten zum internen Zustand

Bei einem komplexen System lässt sich sein interner Zustand häufig nicht direkt beobachten.
Stattdessen werden äußere Signale ausgewertet.
Wenn beispielsweise eine Anfrage ungewöhnlich lange benötigt, kann zunächst nur diese erhöhte Antwortzeit sichtbar sein.
Weitere Informationen können zeigen, welche Komponenten an der Anfrage beteiligt waren, wie lange einzelne Verarbeitungsschritte dauerten und an welcher Stelle eine Verzögerung entstand.
Aus mehreren beobachtbaren Informationen entsteht damit ein Modell dessen, was innerhalb des Systems wahrscheinlich geschehen ist.
Dieses Modell kann unvollständig sein.
Beobachtbarkeit beseitigt deshalb nicht automatisch Unsicherheit. Sie verbessert die Informationsgrundlage, auf der ein Zustand untersucht und bewertet werden kann.

Monitoring und Beobachtbarkeit

Monitoring und Beobachtbarkeit überschneiden sich, beschreiben aber nicht genau dasselbe.
Monitoring arbeitet häufig mit Fragen, die bereits bekannt sind.

Beispiele sind:

• Ist der Dienst erreichbar?
• Wie hoch ist die CPU-Auslastung?
• Wie viel Speicher ist verfügbar?
• Überschreitet die Antwortzeit einen Grenzwert?
• Ist ein bestimmter Prozess aktiv?

Dafür können konkrete Messwerte und Alarmbedingungen festgelegt werden.
Beobachtbarkeit wird besonders wichtig, wenn die Frage noch nicht vollständig bekannt ist.

Ein Alarm kann beispielsweise melden:

„Die Antwortzeiten sind zu hoch.“

Die anschließende Frage lautet jedoch:

„Warum?“

Um diese Frage beantworten zu können, müssen genügend Informationen über das System vorhanden und miteinander in Beziehung setzbar sein.
Monitoring kann damit einen bekannten unerwünschten Zustand erkennen. Beobachtbarkeit unterstützt die Untersuchung dessen, was tatsächlich im System geschieht.

Mehr Daten bedeuten nicht automatisch mehr Wissen

Ein System kann Millionen von Logzeilen erzeugen und trotzdem schlecht beobachtbar sein.
Wenn relevante Ereignisse nicht eindeutig einer Anfrage oder einem Vorgang zugeordnet werden können, bleiben Zusammenhänge verborgen.
Dasselbe gilt für Metriken.
Tausende Messwerte helfen wenig, wenn die für eine konkrete Untersuchung notwendige Information nicht vorhanden ist oder ihre Bedeutung unbekannt bleibt.
Beobachtbarkeit erfordert deshalb Auswahl und Struktur.

Hilfreich können beispielsweise sein:

• eindeutige Vorgangskennungen
• konsistente Zeitangaben
• nachvollziehbare Zustandsübergänge
• strukturierte Ereignisse
• Informationen über Fehlerursachen
• Beziehungen zwischen beteiligten Komponenten
• ausreichend Kontext zur Interpretation eines Ereignisses

Ziel ist nicht maximale Datensammlung.
Ziel ist eine ausreichende Informationsbasis für relevante Untersuchungen.

Beobachtung verändert ein System

Beobachtbarkeit ist nicht kostenlos.
Das Erzeugen, Übertragen, Speichern und Auswerten zusätzlicher Informationen benötigt Ressourcen.

Sehr umfangreiche Protokollierung kann beispielsweise:

• Speicherplatz verbrauchen
• Netzwerkverkehr erzeugen
• Anwendungen verlangsamen
• sensible Informationen offenlegen
• zusätzliche Systeme und Abhängigkeiten erfordern

Deshalb sollte Beobachtbarkeit bereits beim Entwurf eines Systems berücksichtigt werden.

Die Frage lautet nicht:

„Wie können wir alles aufzeichnen?“

Sondern:

„Welche Informationen benötigen wir, um relevante Zustände und Vorgänge ausreichend untersuchen zu können?“

Beobachtbarkeit und Abweichungen

Um einen tatsächlichen Zustand mit einem erwarteten Zustand vergleichen zu können, muss der tatsächliche Zustand ausreichend sichtbar sein.
Eine beobachtete Abweichung vom erwarteten Zustand liefert zunächst eine Information über das System.
Eine Antwortzeit ist höher als gestern.
Ein Datenwert unterscheidet sich von einem Referenzwert.
Eine Komponente verwendet einen anderen Pfad als erwartet.
Ein KI-System erzeugt bei vergleichbaren Eingaben unterschiedliche Ergebnisse.
Erst anschließend wird bewertet, welche Bedeutung diese Abweichung besitzt.

Sie kann:

• normal sein
• tolerierbar sein
• weitere Beobachtung benötigen
• auf einen Fehler hinweisen
• eine Änderung der Umgebung anzeigen
• eine menschliche Untersuchung erfordern

Beobachtbarkeit liefert damit Informationen für Entscheidungen. Sie trifft die Entscheidung nicht automatisch selbst.

Warum Beobachtbarkeit praktische Auswirkungen hat

• Fehler können untersucht werden: Nicht nur der Ausfall, sondern auch mögliche Ursachen werden sichtbar.
• Unbekannte Probleme werden untersuchbar: Es müssen nicht sämtliche Fragen bereits beim Systementwurf bekannt sein.
• Abhängigkeiten werden sichtbar: Verhalten kann über mehrere Komponenten hinweg verfolgt werden.
• Änderungen können beobachtet werden: Auswirkungen technischer Veränderungen lassen sich im tatsächlichen Betrieb untersuchen.
• Resilienz wird unterstützt: Störungen und Wiederherstellungen können erkannt und bewertet werden.
• Verifikation wird unterstützt: Tatsächliches Verhalten kann mit erwarteten Eigenschaften verglichen werden.
• Menschen erhalten Entscheidungsgrundlagen: Beobachtete Abweichungen können bewertet werden, statt automatisch als Fehler behandelt zu werden.

Typisches Beispiel

Eine Anwendung verarbeitet eine Bestellung über mehrere Dienste.
Das Monitoring meldet, dass einzelne Bestellungen deutlich länger als üblich benötigen.
Die Anwendung selbst zeigt keine Fehler.
Anhand einer gemeinsamen Vorgangskennung lässt sich die Bestellung jedoch über mehrere beteiligte Komponenten verfolgen.
Dabei wird sichtbar, dass ein externer Dienst zwar weiterhin erfolgreich antwortet, aber für bestimmte Anfragen wesentlich länger benötigt.
Zusätzliche Zustandsinformationen zeigen, dass dadurch interne Warteschlangen wachsen und nachfolgende Vorgänge verzögert werden.
Der ursprüngliche Alarm beantwortete nur die Frage, dass etwas ungewöhnlich ist.
Die Beobachtbarkeit des Gesamtsystems ermöglicht die Untersuchung, was tatsächlich geschieht und welche Komponenten daran beteiligt sind.

Abgrenzung

• Beobachtbarkeit ist nicht dasselbe wie Monitoring. Monitoring konzentriert sich häufig auf bekannte Messgrößen, Zustände und Grenzwerte. Beobachtbarkeit beschreibt umfassender die Fähigkeit, aus verfügbaren Informationen Rückschlüsse auf interne Zustände und Verhalten eines Systems zu ziehen.
• Auch Logging ist nur ein möglicher Bestandteil von Beobachtbarkeit. Logs allein machen ein System nicht automatisch beobachtbar.
• Systemanalyse kann beobachtbare Informationen verwenden, um ein System zu untersuchen. Beobachtbarkeit selbst beschreibt dagegen eine Eigenschaft des Systems und seiner Informationsbereitstellung.
• Für Resilienz ist Beobachtbarkeit eine wichtige Grundlage: Auf Störungen oder Veränderungen kann nur gezielt reagiert werden, wenn relevante Zustände und Abweichungen ausreichend erkennbar sind.

Weiterführend

Verwandte Begriffe

→ Systemanalyse
→ Systemarchitektur
→ Systemintegration
→ Verifikation und Validierung
→ Fehlertoleranz
→ Resilienz