Verifikation und Validierung

Wie Verifikation und Validierung funktionieren

Verifikation und Validierung stellen unterschiedliche Fragen an ein System.
Bei der Verifikation wird ein Ergebnis mit festgelegten Vorgaben verglichen.

Das können beispielsweise sein:

• funktionale Anforderungen
• technische Spezifikationen
• Schnittstellenbeschreibungen
• Datenformate
• Sicherheitsanforderungen
• Leistungswerte
• Regeln und Konventionen
• erwartete Zustände oder Ergebnisse

Dafür muss zunächst festgelegt sein, was überprüft werden soll und anhand welcher Kriterien entschieden werden kann, ob die Vorgabe erfüllt wurde.
Die Validierung betrachtet dagegen den vorgesehenen Einsatz.
Sie fragt, ob das System unter den relevanten Bedingungen tatsächlich geeignet ist, den beabsichtigten Zweck und die Bedürfnisse der Beteiligten zu erfüllen.
Ein System kann deshalb erfolgreich verifiziert und trotzdem nicht erfolgreich validiert sein.

Richtig gebaut oder das Richtige gebaut?

Eine häufig verwendete vereinfachte Unterscheidung lautet:

Verifikation: Haben wir das System richtig gebaut?

Validierung: Haben wir das richtige System gebaut?

Die Formulierung ist hilfreich, solange sie nicht als vollständige Definition verstanden wird.
Bei der Verifikation geht es darum, objektive Nachweise dafür zu gewinnen, dass festgelegte Anforderungen oder Vorgaben erfüllt wurden.
Bei der Validierung geht es darum, objektive Nachweise dafür zu gewinnen, dass das System im vorgesehenen Einsatz seinen Zweck erfüllt.
Damit betrachtet Validierung nicht nur die technische Umsetzung, sondern auch den Zusammenhang, in dem das System eingesetzt werden soll.

Prüfung ist mehr als Testen

Tests sind ein wichtiges Werkzeug für Verifikation und Validierung, aber nicht das einzige.

Je nach System und Fragestellung können Nachweise beispielsweise durch

• Tests
• Messungen
• Analysen
• Inspektionen
• Reviews
• Simulationen
• Demonstrationen
• praktische Erprobung

gewonnen werden.
Welche Methode geeignet ist, hängt davon ab, welche Aussage überprüft werden soll.
Eine Codekonvention lässt sich möglicherweise automatisiert prüfen. Das Verhalten einer Maschine unter realen Einsatzbedingungen kann dagegen eine praktische Erprobung erfordern.

Anforderungen können ebenfalls falsch sein

Eine erfolgreiche Verifikation sagt zunächst nur, dass gegen die festgelegten Vorgaben geprüft wurde.
Sie beweist nicht automatisch, dass diese Vorgaben vollständig oder für den vorgesehenen Zweck geeignet waren.
Deshalb können auch Anforderungen selbst validiert werden. Dabei wird untersucht, ob sie die Bedürfnisse der Beteiligten und den vorgesehenen Einsatz angemessen beschreiben.
Ein System kann exakt das tun, was spezifiziert wurde, und trotzdem das eigentliche Problem nicht lösen.
Bei der Validierung des Systems wird deshalb betrachtet, ob das realisierte System unter den relevanten Einsatzbedingungen tatsächlich seinen beabsichtigten Zweck erfüllt.
Verifikation, Validierung von Anforderungen und Validierung des realisierten Systems beantworten damit unterschiedliche Fragen:

„Entspricht das Ergebnis den festgelegten Vorgaben?“
„Beschreiben die Anforderungen das, was tatsächlich benötigt wird?“
„Erfüllt das realisierte System im vorgesehenen Einsatz seinen Zweck?“

Verifikation und Validierung bei veränderlichen Systemen

Nicht jedes System verhält sich unter denselben Eingaben immer exakt gleich.
Das gilt beispielsweise für Systeme mit probabilistischen Komponenten wie Sprachmodellen.
Bei solchen Systemen kann eine Prüfung nicht immer darin bestehen, einen einzelnen exakt erwarteten Ausgabewert zu vergleichen.

Stattdessen können andere überprüfbare Kriterien notwendig sein, beispielsweise:

• zulässige und unzulässige Eigenschaften eines Ergebnisses
• statistische Auswertungen über mehrere Durchläufe
• Referenzfälle und Vergleichsdaten
• Regeln, die unabhängig vom Modell geprüft werden
• Grenzen für akzeptable Abweichungen
• menschliche Bewertung bestimmter Ergebnisse

Die grundlegende Trennung bleibt jedoch bestehen:

Es muss unterschieden werden zwischen der Frage, ob definierte Kriterien eingehalten werden, und der Frage, ob das Gesamtsystem für seinen vorgesehenen Zweck geeignet ist.

Warum Verifikation und Validierung praktische Auswirkungen haben

• Anforderungen werden überprüfbar: Aussagen darüber, was ein System leisten soll, können mit Nachweisen verbunden werden.
• Fehler werden früher sichtbar: Prüfungen müssen nicht erst am Ende einer Entwicklung stattfinden.
• Umsetzung und Zweck werden getrennt betrachtet: Eine korrekte Implementierung ist nicht automatisch eine geeignete Lösung.
• Unterschiedliche Prüfverfahren können kombiniert werden: Tests, Analysen, Messungen und praktische Erprobungen liefern unterschiedliche Arten von Nachweisen.
• Änderungen können erneut geprüft werden: Verifikation und Validierung können während des gesamten Lebenszyklus eines Systems wiederholt werden.
• Unsicherheit kann berücksichtigt werden: Auch Systeme ohne vollständig deterministisches Verhalten können anhand geeigneter Kriterien untersucht werden.

Typisches Beispiel

Ein Unternehmen entwickelt ein System, das eingehende Bestellungen automatisch an eine Warenwirtschaft überträgt.

Eine Anforderung lautet:

Eine erfolgreich angenommene Bestellung muss innerhalb von fünf Sekunden an das Warenwirtschaftssystem übertragen werden.

Durch Tests kann verifiziert werden, ob diese Anforderung erfüllt wird.
Im realen Betrieb zeigt sich jedoch, dass bei einer unterbrochenen Verbindung einzelne Bestellungen nicht automatisch erneut übertragen werden. Mitarbeiter bemerken diese Fälle teilweise erst Stunden später.
Das System kann damit die geprüfte Einzelanforderung erfüllen und trotzdem für den vorgesehenen Geschäftsprozess ungeeignet sein.
Die Validierung betrachtet deshalb den vollständigen Einsatzzweck und nicht nur die Erfüllung einzelner technischer Vorgaben.

Abgrenzung

• Verifikation und Validierung sind nicht dasselbe wie Qualitätssicherung. Qualitätssicherung umfasst einen größeren Bereich von Verfahren und Prozessen, mit denen die Qualität von Produkten und Arbeitsabläufen geplant, unterstützt und überprüft wird. Verifikation und Validierung können Bestandteile davon sein.
• Auch Systemanalyse hat eine andere Aufgabe. Sie untersucht Eigenschaften, Zusammenhänge und mögliche Alternativen eines Systems. Ihre Ergebnisse können Anforderungen und Kriterien liefern, die später verifiziert oder validiert werden.
• Bei KI-Evaluation werden Verfahren eingesetzt, um Eigenschaften und Verhalten von KI-Systemen systematisch zu bewerten. Dabei können Methoden der Verifikation und Validierung eine Rolle spielen, die Besonderheiten probabilistischer Systeme erfordern jedoch zusätzliche Bewertungsverfahren.

Weiterführend

Verwandte Begriffe

→ Systemanalyse
→ Systemarchitektur
→ Lösungsarchitektur
→ Systemintegration
→ Fehlertoleranz
→ Resilienz
→ KI-Evaluation
→ AI Assurance