ISTQB Certified Tester – Testing with Generative AI

Seminarinhalte

1. Einführung in Generative KI im Softwaretest

• Grundlagen generativer KI und Large Language Models (LLMs)

• Arten von LLMs: Foundation, Instruction-Tuned, Reasoning

• Multimodale Modelle (Text, Bild)

• Einsatzmöglichkeiten von GenAI im Softwaretest

• LLM-gestützte Testanwendungen vs. Chatbots

2. Prompt Engineering im Softwaretest

• Aufbau strukturierter Prompts (Rolle, Kontext, Anweisung, Input, Constraints, Output)

• Prompt-Techniken: Prompt Chaining, Few-Shot, Meta Prompting

• Anwendung auf Testanalyse, Testentwurf, Regressionstests, Testkontrolle

• Bewertung und Optimierung von Prompts

• Metriken zur Qualitätssicherung von GenAI-Ergebnissen

3. Risiken und Herausforderungen beim Einsatz von Generative AI

• Halluzinationen, Denkfehler und Verzerrungen

• Datenschutz und Sicherheit beim Testen mit LLMs

• Energieverbrauch und Umweltaspekte

• Regulatorische Rahmenwerke (z. B. EU AI Act, ISO/IEC 42001)

4. LLM-basierte Testinfrastruktur und Operationalisierung

• Architektur von LLM-gestützten Testtools

• Retrieval-Augmented Generation (RAG)

• LLM‑Agents im Testprozess

• Fine-Tuning und LLMOps: Einführung, Betrieb und Pflege von LLMs

5. Einführung und nachhaltige Integration in Testorganisationen

• Strategie und Roadmap für GenAI im Testprozess

• Auswahl geeigneter LLMs/SLMs

• Schulung und Kompetenzaufbau im Team

• Veränderung von Rollenbildern (z. B. Prompt Engineer, Hybrid-Tester)

• Umgang mit „Shadow AI“ und Change Management

Optional: Praktische Übungen und Demonstrationen

• Erstellen und Verfeinern von Prompts

• Bewertung von GenAI-generierten Testfällen

• Analyse von Testberichten mit LLM-Unterstützung

• Simulierte Anwendung von RAG und Agenten im Testprozess