Was heute wirklich funktioniert

Drei KI-Anwendungen liefern gerade echten Mehrwert:

  • Testgenerierung: Aus Anforderungen, User Stories oder einer URL einen ersten Entwurf strukturierter Testfälle zu erzeugen spart Stunden Arbeit vor dem leeren Blatt, mit einem Menschen, der die Absicht prüft.
  • Self-Healing-Automatisierung: Ändert sich ein Locator, kann KI das Skript anpassen statt den Lauf abbrechen zu lassen. Das senkt die Wartung, die die meisten Automatisierungsvorhaben leise zerstört.
  • Assistierte Analyse: Fehler einordnen, instabile Tests erkennen und Ergebnisse zusammenfassen: So bleibt Engineers mehr Zeit für Urteilsvermögen statt Routinearbeit.

Wo der Hype die Realität überholt

'Vollautonomes Testen' und 'keine Tester mehr' machen gute Schlagzeilen und schlechte Pläne. Agenten können ausführen und sich anpassen, aber sie verstehen Ihr Geschäftsrisiko, Ihre Compliance-Pflichten oder das, was für Ihre Kunden 'korrekt' ist, nicht. Unbeaufsichtigt erzeugen sie plausible Tests, die selbstbewusst das Falsche prüfen. Die Teams, die mit KI gewinnen, behandeln sie als schnellen, unermüdlichen Assistenten, nicht als Ersatz, der für nichts geradesteht.

Das Muster ist nicht neu, Generierung macht es nur schneller. Ein typisches Beispiel aus unseren Testfall-Reviews: Ein Test namens 'Zahlung buchen' öffnet das Kundenkonto, gibt einen Betrag ein, klickt auf Absenden und prüft, ob der Seitentitel 'Zahlung' lautet. Er ist grün, und die Buchung selbst wurde nie geprüft. Generierte Tests wiederholen genau das, solange niemand das erwartete fachliche Ergebnis festlegt. Diese Entscheidung (das Testorakel) bleibt bei Menschen, die das Geschäft kennen.

Eine neue Disziplin: KI-Systeme testen

Die andere Hälfte der Geschichte ist das Testen von Software, die selbst KI nutzt. Das bricht eine Grundannahme des klassischen Testens: den Determinismus. Dieselbe Eingabe kann verschiedene Ausgaben liefern, das 'erwartete Ergebnis' wird also ein Bereich, kein einzelner Wert. Testen heisst hier Evaluations-Sets und Scoring statt einzelner Assertions, Prüfung auf Halluzination, Bias und Prompt-Injection sowie Leitplanken dafür, was das Modell überhaupt tun darf. Der ISTQB-Lehrplan zum Testen KI-basierter Systeme nennt die Techniken dafür: Akzeptanzbereiche statt eines einzelnen erwarteten Ergebnisses (das Testorakel-Problem), metamorphes Testen, das prüft, ob verwandte Eingaben konsistent verwandte Ausgaben liefern, und adversariales Testen, um herauszufinden, wo ein Modell bricht. Das ist ein wirklich neues Fachgebiet, das die meisten Teams gerade erst aufbauen.

Wie man es pragmatisch einführt

  • Dort starten, wo die Wartung wehtut. Self-Healing und KI-gestützte Triage zahlen sich am schnellsten aus, weil sie Ihren grössten versteckten Kostenblock angehen.
  • Die Strategie bleibt bei Menschen. KI entwerfen und anpassen lassen; Menschen bei Risiko, Abdeckungsentscheidungen und explorativem Testen behalten.
  • Messen, nicht glauben. Fehler, die erst in Produktion auffallen, Wartungsaufwand und Abdeckung vorher und nachher vergleichen; einführen, was die Zahlen bewegt.

Unsere Einschätzung

KI ist der grösste Umbruch im Testen seit einem Jahrzehnt, und sie zahlt sich für Teams aus, die genau wissen, wo sie hilft. Wir setzen sie ein, wo sie sich lohnt (Generierung, Self-Healing, Analyse), auch mit Agent-Frameworks, die aus den Testfällen im Testmanagement automatisierte Tests für das bestehende Framework (zum Beispiel Selenium oder Playwright) erzeugen, eingebunden in die CI/CD; mehr dazu auf der Seite zur Testautomatisierung. Und wir helfen Teams, ihre eigenen KI-Funktionen mit der Sorgfalt zu testen, die diese jetzt verlangen: siehe KI-Systeme testen. Das Ziel sind nicht weniger Tester, sondern Tester, die ihre Zeit für die Arbeit einsetzen, die nur Menschen leisten können.