Wenn der Airline-Chatbot Gepäckregeln erfindet

Am Abend des 25. August 2026 hat TestSolutions in die Dorian Grey Lounge im Airport Club Frankfurt eingeladen. Der Ort war bewusst gewählt: Das Frankfurt Airport Center liegt dort, wo die Luftfahrtbranche täglich arbeitet, und genau von dort kamen auch unsere Gäste. Fach- und Führungskräfte aus dem Airline-Umfeld, mit denen uns in vielen Fällen eine langjährige Zusammenarbeit in Qualitätssicherung und Softwaretest verbindet.

Zwei Vorträge, zwei Perspektiven, ein gemeinsamer Nenner: Verlassen sollte man sich auf KI erst dann, wenn man geprüft hat, worauf man sich eigentlich verlässt.

Keynote: AI oder doch nur Average Intelligence?

Prof. Dr. Marco Barenkamp eröffnete den Abend mit einer unbequemen Frage.

Den Auftakt machte Prof. Dr. Marco Barenkamp, LL.M., Mitglied des Beirats von TestSolutions. Als Honorarprofessor für Künstliche Intelligenz und Digitalisierung an der Hochschule Osnabrück und stellvertretender Vorsitzender der Bundeskommission Künstliche Intelligenz und Wertschöpfung 4.0 des Wirtschaftsrats verbindet er akademische Tiefe mit unternehmerischer Praxis.

Sein Einstieg war ein Satz, den viele im Raum aus dem eigenen Arbeitsalltag kannten: "Das macht bei uns die KI." Was zunächst nach Effizienz klingt, ist bei näherem Hinsehen eine Verantwortungslücke. Wenn ein Ergebnis nicht mehr zugeordnet werden kann, prüft es am Ende niemand mehr.

Daran schloss Barenkamp die eigentliche Frage des Vortrags an: Verlernen Menschen kritisches Denken? Er verwies auf eine Untersuchung von Microsoft Research und der Carnegie Mellon University zum Einfluss generativer KI auf das kritische Denken von Wissensarbeitern. Der dort beschriebene Effekt ist unbequem. Je höher das Vertrauen in ein KI-System, desto geringer der kognitive Aufwand, den Menschen in die Prüfung des Ergebnisses investieren. Wer der Maschine vertraut, kontrolliert weniger. Wer weniger kontrolliert, merkt später, dass etwas nicht stimmt.

Für Organisationen folgt daraus keine Technologiefrage, sondern eine Gestaltungsfrage: Wo bleibt die fachliche Urteilskraft im Prozess verankert, wenn Systeme immer plausibler formulieren? Die provokante Zuspitzung des Vortragstitels, AI oder doch nur Average Intelligence, zielte genau darauf. Ein Modell, das den statistischen Durchschnitt reproduziert, ist ein hervorragender Assistent und ein schlechter letzter Entscheider.

Vortrag: Vertrauenswürdigkeit von KI-Assistenten messbar machen

Im zweiten Teil wurde es konkret. Florian Fieber, Chief Process Officer bei TestSolutions, ging der Frage nach, wie sich beurteilen lässt, ob ein KI-Assistent wirklich vertrauenswürdig ist. Sein Beispiel: ein Chat-Assistent im Servicecenter einer Airline.

Fünf Fehlerbilder aus einem realen Testset für einen Airline-Assistenten.

Aus dem Testset zeigte er fünf typische Fehlerbilder, die im Betrieb regelmäßig auftreten:

• Erfundene Regel, etwa eine Pauschale für unbegrenztes Gepäck, die es nicht gibt
• Verwechselte Regel, etwa eine Namensänderung, die fälschlich als kostenlose Korrektur ausgegeben wird
• Falsche Zahl, etwa 80 statt 45 Euro für Übergepäck
• Unautorisierte Zusage, etwa ein Essensgutschein ohne Anspruchsgrundlage
• Lückenhafte Auskunft, etwa ein Online-Check-in, bei dem die Einschränkung bei Tieren im Reisegepäck verschwiegen wird

Jeder dieser Fehler kann direkte Kosten, operative Nacharbeit, Reputationsschaden oder rechtliche Bindung auslösen. Und jeder ist erkennbar, wenn man ihn sucht. Das ist der eigentliche Punkt: Alle fünf Antworten klingen plausibel. Erkennen kann sie nur, wer die zugrundeliegende Regel kennt und nachschlägt.

Ein Chatbot, eine falsche Auskunft, ein Gerichtsverfahren

Der Fall Moffatt v. Air Canada als Beispiel für strukturelles Risiko.

Wie schnell aus einer plausiblen Fehlauskunft ein rechtliches Problem wird, zeigte Fieber am Fall Moffatt v. Air Canada, entschieden im Februar 2024 vor dem Civil Resolution Tribunal in British Columbia. Ein Passagier hatte sich nach dem Tod seiner Großmutter beim Chatbot der Airline nach Trauerfalltarifen erkundigt und die Auskunft erhalten, der reduzierte Tarif lasse sich auch rückwirkend beantragen. Er buchte zum vollen Preis. Die Airline lehnte den Antrag anschließend ab, weil rückwirkende Anträge nach ihrer Policy ausgeschlossen waren. Das Tribunal entschied, das Unternehmen sei für sämtliche Informationen auf seiner Website verantwortlich, gleich ob sie von einer statischen Seite oder von einem Chatbot stammen.

Der direkte Schaden lag im dreistelligen Bereich und war wirtschaftlich irrelevant. Interessant sind die beiden anderen Ebenen: Der Reputationsschaden entstand weniger durch die Entscheidung selbst als durch die Verteidigungslinie im Verfahren. Und das strukturelle Risiko bleibt: Jede Chatbot-Aussage ist eine Aussage des Unternehmens, und das Risiko skaliert mit dem Antwortvolumen.

Vom Einzelurteil zur Messgröße

Wie also prüft man ein System, das täglich tausende Antworten erzeugt? Fieber zeigte den Weg, den wir in Projekten gehen: Fachexpertinnen und Fachexperten bewerten eine Stichprobe von Antworten nach klar definierten Kriterien. Diese Bewertung wird anschließend mit Hilfe von LLM-Judges auf große Antwortmengen skaliert. Aus punktuellem Bauchgefühl wird so ein wiederholbares Verfahren mit belastbaren Kennzahlen.

Entscheidend ist dabei die Qualität des Maßstabs selbst. Ein Benchmark, der die fachlichen Regeln nicht sauber abbildet, erzeugt gute Werte für ein schlechtes System. Oder umgekehrt. Die Kernaussage des Abends: Manchmal ist nicht die KI das Problem, sondern der Benchmark, mit dem wir sie bewerten. Das ist keine KI-Frage, sondern eine Testfrage, und damit genau das Feld, in dem wir seit fast zwei Jahrzehnten arbeiten.

Florian Fieber verantwortet bei TestSolutions Testprozessmanagement, Produktmanagement und die TestSolutions Academy. Er ist Chairman des German Testing Board (GTB), leitet dort die GenAI-Arbeitsgruppe und führt die ISTQB-Arbeitsgruppe "Testing in Particular Domains".

Der Austausch danach

Im Anschluss ging der Abend in das über, wofür er gedacht war: den fachlichen Austausch bei Getränken und in kleinen Runden. Die beiden Vorträge hatten dafür eine gute Vorlage geliefert, weil sie dieselbe Frage von zwei Seiten stellten. Barenkamp aus der Perspektive der Organisation und der Menschen darin, Fieber aus der Perspektive des Nachweises.

Wir bedanken uns bei allen Teilnehmerinnen und Teilnehmern für die offenen Gespräche und bei beiden Referenten für zwei Beiträge, die sich hervorragend ergänzt haben.

Die Bewertung von KI-Assistenzsystemen im direkten Kundenkontakt ist einer unserer aktuellen Schwerpunkte in der Business Unit Aviation. Wenn Sie über kommende Veranstaltungen informiert werden möchten oder Interesse an einem fachlichen Austausch zur Qualitätssicherung von KI-Systemen haben, sprechen Sie uns gerne an.

Sie wissen noch nicht, wie gut Ihr KI-Assistent tatsächlich antwortet?
Wir ordnen Ihre Qualitätsrisiken gemeinsam ein, bevor über Umfang gesprochen wird.