Einsatz von KI-Agenten zur Beschleunigung der Software-Qualitätssicherung

Ein praxisorientierter Ausblick aus der Erfahrung mit realen Projekten

Da sich die Lieferzyklen beschleunigen, wächst der Druck auf die Qualitätssicherung, Schritt zu halten, ohne dabei selbst zum Engpass, Kostentreiber oder Governance-Risiko zu werden. Von den Teams wird erwartet, dass sie Software schneller veröffentlichen, in zunehmend verteilten Systemlandschaften arbeiten und das Vertrauen in deren Qualität aufrechterhalten, obwohl sich Anforderungen, Schnittstellen und Dokumentation ständig ändern.

Die meisten Unternehmen setzen bereits auf etablierte Tools wie Jira, Azure DevOps, TestRail, Xray und Zephyr sowie auf Automatisierungs-Frameworks wie Selenium, Playwright, Cypress und RestAssured. Doch trotz dieser ausgereiften Tool-Landschaft basieren viele QA-Prozesse nach wie vor auf Betriebsmodellen, die für stabilere Umgebungen konzipiert wurden. Traditionelle Testautomatisierung ist effektiv, wenn sich Systeme vorhersehbar ändern. Sie ist jedoch schwieriger zu skalieren, wenn Spezifikationen verstreut sind, Anforderungen sich mitten im Sprint ändern und APIs weiterentwickelt sowie Akzeptanzkriterien aktualisiert werden. Das führt zu einer ständigen manuellen Überarbeitung der Testressourcen.

Genau hier können KI-Agenten den entscheidenden Unterschied ausmachen. Sie automatisieren nicht nur einzelne QA-Aufgaben. Sie transformieren das Quality Engineering von der manuellen Koordination hin zu einem anpassungsfähigeren, vernetzten und evidenzbasierten Modell.

In diesem Artikel zeigen wir, wie unser Team einen Agenten-Workflow entwickelt und KI-Agenten in einem laufenden Kundenprojekt eingesetzt hat, um den manuellen Aufwand zu minimieren, die Konsistenz der Testabdeckung zu verbessern und verantwortungsbewusstes KI-Testen zu fördern. Wichtig ist, dass es sich hierbei nicht um einen Proof of Concept handelt. Dieser Ansatz wurde im Rahmen eines umfangreichen Migrationsprogramms für die Treueplattform einer großen Fluggesellschaft in einer Live-Produktionsumgebung entwickelt, getestet und verfeinert.

Von der traditionellen Testautomatisierung zum KI-Agenten-gestützten Quality Engineering

Die traditionelle Testautomatisierung ist nach wie vor wertvoll, stößt in schnelllebigen Bereitstellungsumgebungen jedoch an ihre Grenzen. Je häufiger sich die Anforderungen ändern, desto mehr manueller Aufwand ist erforderlich, um die automatisierten Testressourcen mit dem aktuellen Systemzustand in Einklang zu halten.

Dies führt zu einem strukturellen Problem. Die Qualität hängt davon ab, dass in jedem Schritt Menschen zur Verfügung stehen: zum Lesen von Spezifikationen, zum Schreiben von Tests, zum Aktualisieren von Skripten, zum Verknüpfen von Informationen über verschiedene Tools hinweg, zum Interpretieren von Ergebnissen und zum Erstellen von Berichten. Jede dieser Aktivitäten verursacht Koordinationsaufwand, führt zu Verzögerungen und erhöht das Risiko von Inkonsistenzen.

Im Laufe der Zeit stoßen Teams auf ein bekanntes Muster: Die Testabdeckung hinkt den Änderungen hinterher. Testsuiten lassen sich immer schwerer warten. Schließlich verbringen Software Test Engineers mehr Zeit mit der Wartung der Automatisierung als damit, sie zur Fehlererkennung einzusetzen. Das Problem ist nicht nur, dass die Testautomatisierung zu langsam ist. Vielmehr lässt sich das zugrunde liegende Betriebsmodell nicht mehr effizient skalieren.

KI-Agenten-gestütztes Quality Engineering verändert dieses Modell. KI-Agenten können einen Großteil der sich wiederholenden und vorbereitenden Arbeiten übernehmen. Dazu gehören beispielsweise das Lesen von Spezifikationen, das Generieren von Testfällen, das Identifizieren von Duplikaten, das Abgleichen mit Akzeptanzkriterien und das Präsentieren von Ergebnissen. Menschliches Fachwissen bleibt zwar unverzichtbar, seine Rolle verändert sich jedoch. Die Überprüfung wird zu einem gezielten Qualitätskontrollpunkt statt zu einem manuellen Engpass.

Der Wandel betrifft nicht nur die Effizienz von Testprozessen. Er verändert auch das zugrunde liegende Betriebsmodell – von der Erstellung und Pflege von Tests bis hin zu ihrer Einbindung in durchgängige Quality-Engineering-Abläufe. Der folgende Vergleich verdeutlicht die Unterschiede zwischen traditioneller Testautomatisierung und KI-agentengestütztem Quality Engineering.

Herausforderungen, die wir in einem Live-Projekt gelöst haben

Viele der Herausforderungen waren nicht theoretischer Natur. Sie traten im Rahmen eines laufenden Kundenprojekts des Plattformmigrationsprogramms einer großen Fluggesellschaft auf.

Eines der Hauptprobleme war die Fragmentierung der Informationen, die sich auf verschiedene Tools verteilten. Die Spezifikationen waren auf Jira-Tickets, Confluence-Seiten, Screenshots und anderen Artefakten verteilt. Gleichzeitig wurde es aufgrund des Ausmaßes der Änderungen zunehmend schwieriger, die manuelle Erstellung von Testfällen aufrechtzuerhalten. KI-Agenten halfen dabei, diese Lücke zu schließen: Sie werteten Ticketbeschreibungen aus, generierten automatisch BDD-Szenarien und verknüpften Informationen aus verschiedenen Dokumentationsquellen in einer einzigen, koordinierten Pipeline.

Eine zweite Herausforderung bestand darin, eine konsistente Testabdeckung zu erreichen. Je nach verfügbarer Kapazität variierten Testtiefe und -vollständigkeit unter dem Druck der Sprints häufig. Durch die direkte Generierung von Testfällen aus der umfassenderen Spezifikationsbasis sorgten die Agenten für ein konsistenteres Abdeckungsniveau über den gesamten Lieferzyklus hinweg.

Die dritte Herausforderung betraf doppelte und redundante Testressourcen. In dynamischen Entwicklungsumgebungen können sich ähnliche oder sich überschneidende Testfälle leicht über verschiedene Tickets und Teams hinweg ansammeln. Die Agenten-Pipeline identifizierte und kennzeichnete Duplikate, bevor diese die nachgelagerten Testmanagementprozesse erreichten.

Ein weiterer Engpass stellte die Erweiterung der Szenarioentwürfe dar. Dies war zuvor eine manuelle und zeitaufwändige Aufgabe, durch die oft nur eine begrenzte Anzahl von Varianten und Randfällen abgedeckt werden konnte. Durch die Automatisierung dieses Schritts konnten die Agenten die Szenariotiefe jedoch erhöhen und gleichzeitig den manuellen Aufwand reduzieren.

Die fünfte große Herausforderung war die Erstellung von Testfällen in großem Maßstab. Die große Anzahl an Jira-Tickets bedeutete, dass kaum Zeit blieb, Testfälle manuell zu verfassen. Durch die direkte Generierung von BDD-Szenarien aus den Ticketinhalten konnten die Agenten den erforderlichen Aufwand reduzieren und gleichzeitig den Durchsatz verbessern.

Zudem waren die Tools oft nicht miteinander vernetzt. Jira, Confluence und Zephyr Scale arbeiteten häufig isoliert voneinander, was vermeidbare Übergaben zwischen Systemen und Teams zur Folge hatte. Die Mitarbeiter trugen dazu bei, diese Lücken zu schließen und einen stärker integrierten Test-Workflow zu etablieren.

Wie wir KI-Agenten in der Praxis eingesetzt haben

In der traditionellen Qualitätssicherung (QA) wird Dokumentation in der Regel als etwas betrachtet, das Menschen lesen und anschließend in Maßnahmen umsetzen. KI-Agenten ändern dieses Modell. Spezifikationen, User Stories und Akzeptanzkriterien werden zu einer lebendigen Wissensbasis, aus der die Agenten Informationen abrufen, Schlussfolgerungen ziehen und direkt darauf reagieren können. In unserer Implementierung bildeten fünf Funktionen den operativen Kern.

1. KI-basierte Testgenerierung
   KI-Agenten lesen Spezifikationen und erstellen automatisch strukturierte, Jira-kompatible Testfälle, einschließlich Schrittdefinitionen, die in CI/CD-Ausführungsabläufen verwendet werden können.

2. RAG für Projektdokumentation
   Confluence-Seiten, Jira-Tickets und zugehörige Artefakte werden in Abschnitte unterteilt, eingebettet und abgerufen, sodass die Agenten mit den aktuellsten verfügbaren Quellen arbeiten und nicht mit statischen Momentaufnahmen. Dies ist in Produktionsumgebungen von entscheidender Bedeutung, in denen sich die Dokumentation häufig ändert und veraltete Kontextinformationen zu schlechten Testentscheidungen führen können.

3. Dialogbasierter Zugriff auf Testergebnisse
   Anstatt manuell in Tabellenkalkulationen zu suchen oder auf konsolidierte Berichte zu warten, können Tester Fragen zu den Ergebnissen in einfacher Sprache stellen. Dies beschleunigt die Interpretation der Ergebnisse und macht sie für alle Beteiligten leichter zugänglich.

4. Koordination mehrerer Tools
   Die Agentenarchitektur verbindet Jira, Confluence, Zephyr Scale und Tools zur Sicherheitsbewertung in einem koordinierten Arbeitsablauf. Dies reduziert manuelle Übergaben und trägt dazu bei, fragmentierte QA-Aktivitäten in ein stärker integriertes Betriebsmodell umzuwandeln.

5. Geplante, ereignisgesteuerte und bedarfsorientierte Ausführung
   Je nach Anwendungsfall können benutzerdefinierte Agenten auf definierten Systemen auf Abruf, nach Zeitplan oder durch CI/CD-ausgelöste Ereignisse ausgeführt werden. Dies gibt Teams mehr Flexibilität bei der Umsetzung automatisierter Tests.

Jeder Agent erfüllte eine klar definierte Rolle, und die Ergebnisse waren so konzipiert, dass sie direkt in die nachfolgenden Schritte der Pipeline einflossen.

Die vierschichtige Architektur

Um dieses Betriebsmodell skalierbar zu gestalten, haben wir die Lösung in vier miteinander verbundene Schichten gegliedert. Gemeinsam führen diese Schichten ein Projekt mit minimalem manuellem Aufwand von der Rohdokumentation bis hin zu verifizierten Testergebnissen.

1. Wissensschicht: Dokumentation und Ticketinhalte bilden den Kontext für die Schlussfolgerungen der Agenten.

2. Generierungsschicht: Agenten erstellen strukturierte Testfälle, Szenarien und ausführungsbereite Ergebnisse.

3. Ausführungsschicht: Die generierten Ergebnisse fließen in die Testausführungs- und -auswertungsabläufe ein.

4. Berichts- und Governance-Ebene: Ergebnisse, Nachweise und Kontrollen bleiben sichtbar, überprüfbar und nachvollziehbar.

Diese Schichtenstruktur stellt sicher, dass Dokumentation, Testgenerierung, Ausführung und Berichterstellung keine isolierten Aktivitäten sind, sondern als Teil eines vernetzten Quality-Engineering-Modells funktionieren.

So funktionierte die Pipeline

Der Arbeitsablauf folgte fünf strukturierten Schritten und wurde als Pipeline auf der Infrastruktur des Kunden umgesetzt.

1. Schritt 01: Erfassung
   In die RAG-Ebene (Retrieval-Augmented Generation) wurden die Chatbot-Spezifikationen, die formalen Akzeptanzkriterien, die Architekturdokumentation sowie die Artefakte aus früheren Forschungsarbeiten integriert. Dadurch wurde sichergestellt, dass alle KI-Agenten auf der Grundlage der aktuellsten, genehmigten Dokumentation arbeiteten. Zudem blieb die Rückverfolgbarkeit zu den Anforderungen gewahrt und das Risiko, dass Ergebnisse auf der Grundlage veralteter oder unvollständiger Informationen generiert wurden, wurde verringert.

2. Schritt 02: Generierung
   Der Testgenerierungsagent analysierte die Chatbot-Spezifikationsdokumente und erstellte auf Basis der Anforderungen automatisch strukturierte Testfälle. Diese wurden anschließend direkt in Jira übertragen. Dadurch wurde der Aufwand für die manuelle Testerstellung erheblich reduziert und gleichzeitig die Konsistenz, Abdeckung und Rückverfolgbarkeit zwischen Anforderungen und Tests verbessert.

3. Schritt 03: Bewertung
   Der Sicherheitsbewertungs-Agent bewertete die Widerstandsfähigkeit des Chatbots durch die Ausführung von 124 Varianten von Prompt-Injection-Angriffen, die sieben verschiedene Angriffsvektoren abdeckten. Diese systematische Bewertung identifizierte Sicherheitsschwächen und maß die Widerstandsfähigkeit des Chatbots gegenüber böswilligen Eingaben. Zudem lieferte sie Belege für die Robustheit des Chatbots gegenüber Prompt-Injection-Angriffen.

4. Schritt 04: Überprüfung
   Jeder KI-generierte Testfall wurde von einem eigens dafür zuständigen Überprüfungsagenten unabhängig validiert, der ihn anhand der formalen Akzeptanzkriterien gegenprüfte. Dieser Verifizierungsschritt stellte sicher, dass die generierten Tests das beabsichtigte Systemverhalten genau widerspiegelten, identifizierte fehlende oder fehlerhafte Testszenarien und verbesserte die Gesamtqualität und Zuverlässigkeit der Testsuite.

5. Schritt 05: Berichterstellung
   Testergebnisse, Ausführungszusammenfassungen und identifizierte Fehler wurden über einen dialogorientierten Berichtsagenten zugänglich gemacht. Tester können nun Ergebnisse mithilfe natürlicher Sprache abfragen, anstatt Berichte manuell durchsuchen zu müssen, was den Aufwand für die Berichterstellung reduziert und den Zugriff auf Erkenntnisse beschleunigt. Dadurch lassen sich Testergebnisse leichter interpretieren und mit den Beteiligten teilen.

Datensicherheit, Datenschutz und verantwortungsbewusstes Testen von KI

Für Unternehmen, insbesondere in regulierten Branchen wie der Luftfahrt, dem Bank- und Versicherungswesen sowie dem öffentlichen Sektor, sind Datensicherheit, Datenschutz und verantwortungsvolle KI-Praktiken unerlässlich. Sie stellen zentrale Anforderungen an jedes skalierbare Testmodell dar.

Dies spiegelte sich von Anfang an in der Gestaltung der Pipeline wider. Die Lösung lief auf der Infrastruktur des Kunden. Weder Testdaten noch Eingabeaufforderungen noch Ergebnisse verließen die Kundenumgebung. Zudem wurden alle Testdaten vor dem Eintritt in die Pipeline anonymisiert oder synthetisch generiert, sei es für die Testgenerierung, Abrufaufgaben oder Abfrageschnittstellen. In der Testumgebung wurden keine echten Benutzerdaten verwendet.

Die Eingabe von Prompts wurde als primäres Risiko und nicht als nebensächlicher Aspekt behandelt. Die Tests wurden systematisch über definierte Angriffsvektoren hinweg mit klaren Zielen und nachvollziehbaren Ergebnissen durchgeführt. Dies ist wichtig, da es bei der Qualität von KI in Unternehmen nicht nur um die funktionale Leistung geht. Es bedarf auch einer Absicherung hinsichtlich Ausfallsicherheit, Missbrauchsszenarien und Governance-Anforderungen.

Ergebnis und geschäftlicher Nutzen

Der Nutzen, den die Pipeline liefert, lässt sich anhand von drei Dimensionen betrachten: Qualität, Geschwindigkeit und betriebliche Auswirkungen.

Qualität

Die Testfälle wurden direkt aus den Spezifikationen generiert und vor der Ausführung anhand formaler Akzeptanzkriterien validiert. Dadurch wurde eine konsistentere Verbindung zwischen Anforderungen und Testergebnissen hergestellt. Darüber hinaus konnte die Leistung der Prompt-Injektion anhand eines definierten Zielschwellenwerts gemessen werden. Dadurch wurden die Sicherheitstests für KI strukturierter und besser überprüfbar.

Geschwindigkeit

Aktivitäten, die zuvor Tage in Anspruch genommen hätten, wie beispielsweise die dokumentationsbasierte Erstellung und Überprüfung von Testfällen, wurden innerhalb weniger Stunden abgeschlossen. Da die Agenten mit aktuellen Quellen arbeiteten, waren keine manuellen Aktualisierungszyklen mehr erforderlich, um sich auf die neueste Dokumentation abzustimmen. Durch die Integration mit Jira entfiel zudem eine kritische Übergabe zwischen der Testerstellung und dem nachgelagerten Testmanagement.

Operative und geschäftliche Auswirkungen

Die weiterreichenden Auswirkungen gingen über Effizienzgewinne hinaus. Die frühzeitige Identifizierung von Fehlern reduzierte den Aufwand für nachgelagerte Korrekturen. Die Berichterstattung wurde evidenzbasierter und für die Beteiligten leichter nutzbar. QA-Spezialisten konnten mehr Zeit für explorative und analytische Arbeit aufwenden, anstatt sich mit sich wiederholenden Vorbereitungsaufgaben zu beschäftigen. Darüber hinaus erhielten die Governance-Verantwortlichen klarere und nachvollziehbarere Indikatoren für die Diskussion über KI-bezogene Qualität und Risiken.

Was als Nächstes kommt

Die nächste Entwicklungsphase hat bereits begonnen. Geplant sind automatisierte Regressionstests, die durch Jira-Ticket-Aktualisierungen ausgelöst werden, eine umfassendere Sicherheitsbewertung, die über die Eingabe von Prompts hinausgeht, sowie stärker formalisierte Artefakte der Daten-Governance, die die Bereiche Klassifizierung, Aufbewahrung und Nachvollziehbarkeit abdecken. Darüber hinaus wird eine tiefere CI/CD-Integration erwartet, die sich von der Pipeline-Übergabe bis hin zur vollständigen Auslösung von Regressionstests bei Bereitstellungsereignissen erstrecken wird.

Die Richtung ist klar: KI-gestützte Qualitätssicherung entwickelt sich zu KI-nativem Quality Engineering. Unternehmen, die diese Fähigkeiten frühzeitig aufbauen, sind besser positioniert, um die Liefergeschwindigkeit zu verbessern, die Konsistenz der Abdeckung zu erhöhen und das Vertrauen in die Softwarequalität im großen Maßstab zu stärken.

Wenn Ihre Teams mit fragmentierter Dokumentation, sich ändernden Anforderungen sowie dem daraus resultierenden steigenden Testaufwand oder der Notwendigkeit, KI-gestützte Systeme verantwortungsvoller zu testen, konfrontiert sind, besprechen wir das gerne mit Ihnen. 

Nehmen Sie einfach Kontakt mit uns auf, um zu erfahren, wie eine QA-Umgebung mit KI-Agenten in Ihrem Unternehmen aussehen könnte.