KI in Qualitätssicherung und Testautomatisierung

Generative KI systematisch für Softwarequalität und Test einsetzen

01 Intro

Generative KI kann zahlreiche Aufgaben in Qualitätssicherung und Test unterstützen: Anforderungen analysieren, Testideen entwickeln, Testfälle erzeugen, Testdaten vorbereiten, Automatisierungscode erstellen, Fehlerbilder untersuchen und bestehende Tests bewerten. Der eigentliche Nutzen entsteht jedoch nicht dadurch, möglichst viel Testarbeit an ein Sprachmodell zu delegieren, sondern durch die kontrollierte Integration von KI in einen belastbaren Quality-Engineering-Prozess.

Der Kurs verbindet klassische Methoden des Softwaretests mit AI-gestützten Verfahren und praktischer Testautomatisierung. Die Teilnehmer entwickeln und bewerten AI-gestützte Testprozesse von der Anforderungsanalyse über Testdesign und Automatisierung bis zur Auswertung. Ein besonderer Schwerpunkt liegt auf der Qualität der erzeugten Ergebnisse: Vollständigkeit, Nachvollziehbarkeit, Reproduzierbarkeit und die Verifikation von AI-generierten Tests sind selbst Gegenstand der Qualitätssicherung.

Kurs-ID

AI-005

Dauer

5 Tage

Format

Präsenz · Live Online · Inhouse

Vorkenntnisse

Praktische Erfahrung in Softwaretest, Qualitätssicherung oder Testautomatisierung

02 Trainingsprogramm

Inhalte

KI im Quality Engineering einordnen

generative KI als Werkzeug im Test- und QS-Prozess
LLMs, Coding Agents und unterschiedliche Autonomiegrade
geeignete und ungeeignete QS-Aufgaben
deterministische und probabilistische Verfahren unterscheiden
AI-generierte Software und neue Fehlerquellen
unabhängige Verifikation und Verantwortung für das Testergebnis

Anforderungen und Testbarkeit analysieren

funktionale und nichtfunktionale Anforderungen strukturieren
Mehrdeutigkeiten, Widersprüche und Lücken aufdecken
Annahmen und implizite Randbedingungen sichtbar machen
Vor- und Nachbedingungen sowie Zustände untersuchen
Akzeptanzkriterien und Geschäftsregeln präzisieren
AI-Analyse konsequent gegen die Originalquelle prüfen

Testideen und Testentwurf mit KI

positive, negative und adversariale Testideen entwickeln
Äquivalenzklassen und Grenzwertanalyse unterstützen
Entscheidungstabellen und Zustandsübergänge ableiten
Use Cases und kombinatorische Verfahren einbeziehen
Risiken und Qualitätsmerkmale als Treiber verwenden
KI als Unterstützung statt Ersatz der Testmethodik

Testfälle erzeugen und ihre Qualität prüfen

Testfälle aus Anforderungen, Stories und Akzeptanzkriterien
Geschäftsregeln, Schnittstellen und vorhandenen Code einbeziehen
fachliche Richtigkeit und Relevanz prüfen
Redundanz und falsche Annahmen erkennen
Requirements-, Risk-, Daten- und Zustandsabdeckung betrachten
Traceability und tatsächliche Lücken statt scheinbarer Coverage

Bestehende Tests und Testdaten analysieren

Testabsichten und Struktur vorhandener Testsuiten erschließen
Redundanzen, Lücken und schwache Assertions erkennen
gültige, ungültige und grenzwertige Testdaten ableiten
Feldabhängigkeiten und strukturierte Datensätze erzeugen
synthetische Daten statt unnötiger Produktionsdaten einsetzen
Datenschutz und Plausibilität der Testdaten sicherstellen

API- und UI-Testing mit KI

Schnittstellenbeschreibungen und Request-/Response-Strukturen analysieren
positive, negative und Schema-basierte API-Tests entwickeln
Benutzerabläufe und UI-Anforderungen in Tests überführen
Locators, Assertions und Synchronisation kritisch behandeln
Testcode in bestehende Frameworks integrieren
Grenzen AI-generierter API- und UI-Tests erkennen

Testautomatisierung und Wartbarkeit

Testfälle in Automatisierungscode überführen
Framework-Konventionen, Fixtures und Testdatenkonzepte übernehmen
Lesbarkeit, Duplikate und Abstraktionen beurteilen
stabile Schnittstellen und wartbaren Testcode entwickeln
AI-generierte Tests wie Produktionscode reviewen
Refactoring durch ausführbare Tests absichern

Assertions und Testorakel

prüfbare Erwartungen explizit formulieren
schwache und übermäßig spezifische Assertions erkennen
Referenzdaten, Regeln und Invarianten nutzen
Oracle-Problem bei generativen Ergebnissen verstehen
deterministische Prüfungen und menschliche Bewertung kombinieren
Zirkelschlüsse durch Selbstbewertung vermeiden

Fehleranalyse, Flakiness und Testreports

Logs, Stacktraces, Screenshots und Reports analysieren
Produkt-, Test-, Daten- und Umgebungsfehler unterscheiden
Fehlerhypothesen experimentell überprüfen
Flaky Tests und ihre Ursachen systematisch untersuchen
Fehlermuster gruppieren und Folgefehler erkennen
Zusammenfassungen erstellen, ohne relevante Details zu verlieren

Exploratives und risikobasiertes Testen

Testcharter und alternative Nutzungsszenarien entwickeln
KI als Sparringspartner für Exploration einsetzen
Produkt-, Änderungs- und Qualitätsrisiken analysieren
Testintensität und Regressionstests risikobasiert auswählen
Domänenwissen und historische Fehler berücksichtigen
Priorisierung nachvollziehbar und menschlich verantwortet halten

AI-basierte Systeme testen

probabilistische und nichtdeterministische Ergebnisse behandeln
semantische statt nur syntaktische Bewertung
Referenzdatensätze, Toleranzen und wiederholte Ausführung
Prompt, Kontext und strukturierte Ausgaben prüfen
Regressionen nach Modell- oder Promptänderungen erkennen
statistische Betrachtung dort einsetzen, wo Einzeltests nicht reichen

Evaluation von LLM-Anwendungen

Evaluationsdatensätze und erwartete Eigenschaften definieren
regelbasierte und automatische Evaluatoren
LLM-as-a-Judge sinnvoll und begrenzt einsetzen
Bias, Instabilität und Bewertungs-Prompt berücksichtigen
menschliche Bewertung und Kalibrierung
Evaluation reproduzierbar versionieren und ausführen

RAG-Systeme testen

Retrieval und Generation getrennt prüfen
Relevanz, Precision und Recall im Retrieval
Kontextqualität und Quellenbezug
unbeantwortbare Fragen und fehlendes Wissen
Halluzinationen trotz korrektem Retrieval
Regressionstests für Wissenssysteme

Agenten, Tools und MCP testen

Agentenentscheidungen und mehrstufige Abläufe
Tool-Auswahl, Parameter und Rückgabewerte
Zwischenzustände und Abbruchbedingungen
Berechtigungen und unerwartete Aktionen
manipulierte Tool-Ergebnisse und Fehlerfälle
Endergebnis und Prozess getrennt bewerten

Prompt Injection und Security-Tests

direkte und indirekte Prompt Injection
manipulierte Dokumente, Webseiten und externe Inhalte
Tool-Ausgaben als untrusted Input
Daten und Instruktionen voneinander trennen
Security-Testfälle systematisch entwickeln
technische Schutzmechanismen tatsächlich überprüfen

AI-gestützte Testagenten kontrollieren

Anwendung untersuchen, Tests entwickeln und ausführen lassen
erlaubte Systeme, Aktionen und Umgebungen begrenzen
Credentials und Datenzugriffe kontrollieren
Quality Gates und Human-in-the-Loop
Agentenaktionen und Ergebnisse protokollieren
Autonomie nach Risiko statt nach Bequemlichkeit festlegen

AI in den Testprozess integrieren

geeignete Unterstützung je Prozessschritt bestimmen
repetitive Arbeit und Variantenbildung delegieren
fachliche Entscheidungen beim Menschen belassen
Prompts, Modelle, Artefakte und Resultate versionieren
Traceability und unabhängige Verifikation erhalten
AI-generierte Artefakte in bestehende Prozesse integrieren

Quality Gates, Governance und Nutzen

keine ungeprüfte Übernahme AI-generierter Ergebnisse
Build, Tests, statische Analyse und fachliches Review
Quellcode, Testdaten, Logs und vertrauliche Projektdaten schützen
Berechtigungen und organisatorische Regeln
Zeitersparnis, Fehlerfindung und Nachbearbeitung messen
Kosten und Qualitätsgewinn anhand realer Ergebnisse bewerten

Praxis: AI-gestützte QS-Strategie entwickeln

geeignete Einsatzfelder und Risiken bestimmen
Anforderungen analysieren und Testideen entwickeln
Testfälle, Testdaten und Automatisierung erzeugen und prüfen
Fehleranalyse und Evaluation praktisch durchführen
Kontrollmechanismen und Quality Gates festlegen
Pilotbereich und messbare Erfolgskriterien definieren

03 Durchführung

Rahmen und Organisation

Dauer

5 Tage

Durchführung

Präsenz oder Live Online, vorzugsweise als Inhouse-Schulung

Schwerpunkt

Inhouse-Schulungen für Unternehmen und Teams

Sprache

Deutsch, englische Fachbegriffe und Dokumentation

Unterlagen

Kursunterlagen, Beispiele und Übungsaufgaben

Technik

Eigener Rechner mit Entwicklungsumgebung, Testframework und Zugang zu einem aktuellen Sprachmodell

Inhouse-Schulungen

Vorhandene Testframeworks, Anwendungen, APIs, CI/CD-Prozesse, Testmanagementsysteme und unternehmensspezifische Qualitätsanforderungen können in die Übungen einbezogen werden.

04 Zielgruppe

Für wen ist der Kurs gedacht?

Der Kurs richtet sich an Softwaretester, Testanalysten, Testautomatisierer, Quality Engineers, Testmanager, QA Leads und Entwickler mit Verantwortung für Softwarequalität.

Er eignet sich insbesondere für erfahrene Test- und QA-Teams, die generative KI nicht nur punktuell ausprobieren, sondern systematisch in Testanalyse, Testdesign, Automatisierung und Qualitätsbewertung integrieren möchten.

Voraussetzungen

Praktische Erfahrung in Softwaretest oder Qualitätssicherung wird vorausgesetzt. Für die praktischen Anteile zur Testautomatisierung sind Grundkenntnisse einer Programmiersprache hilfreich; Kenntnisse klassischer Testentwurfsverfahren und Erfahrung mit automatisierten Tests erleichtern den Einstieg. Spezielle Kenntnisse in Machine Learning oder der Entwicklung von LLM-Systemen sind nicht erforderlich.

05 Lernziele

Was Sie nach dem Kurs können

Nach dem Kurs können die Teilnehmer:

geeignete Einsatzfelder für generative KI in QS und Test identifizieren
Anforderungen AI-gestützt auf Qualität und Testbarkeit analysieren
Testideen und Testfälle systematisch mit KI entwickeln
klassische Testentwurfsverfahren mit AI-Unterstützung kombinieren
die Qualität AI-generierter Tests kritisch bewerten
Testdaten kontrolliert erzeugen
AI zur Unterstützung von API- und UI-Testautomatisierung einsetzen
bestehende Tests und Automatisierungsframeworks analysieren
Fehler, Logs und fehlgeschlagene Tests AI-gestützt untersuchen
AI-generierte Testautomatisierung auf Wartbarkeit und Aussagekraft prüfen
LLM-, RAG- und agentische Systeme angemessen testen
Evaluationsverfahren für probabilistische Systeme entwickeln
Grenzen von LLM-as-a-Judge einschätzen
Testagenten kontrolliert einsetzen
Prompt Injection und Tool-Nutzung als Testgegenstände berücksichtigen
AI-generierte Testartefakte nachvollziehbar verwalten
verbindliche Quality Gates für AI-gestützte Testprozesse etablieren
Nutzen und Risiken von AI im Test messbar bewerten
eine AI-gestützte QS-Strategie für ein Projekt oder Unternehmen entwickeln

06 FAQ

Häufige Fragen

Was unterscheidet diesen Kurs von AI-assisted Software Development?

AI-assisted Software Development betrachtet AI-Unterstützung über den gesamten Softwareentwicklungsprozess aus Sicht der Entwicklung. Testing ist dort ein wichtiger Bestandteil, aber nur einer von mehreren.

Dieser Kurs betrachtet den gesamten Themenkomplex aus Sicht von Quality Engineering und Test. Testanalyse, Testdesign, Testautomatisierung, Testdaten, Fehleranalyse, Coverage, Test Oracles und die Qualität AI-generierter Testartefakte werden wesentlich tiefer behandelt.

Was unterscheidet ihn von Agentic Software Development?

Agentic Software Development beschäftigt sich mit der Architektur und Kontrolle agentischer Entwicklungsprozesse. Dieser Kurs behandelt Agenten nur dort, wo sie für Test und Qualitätssicherung relevant sind – etwa als Testagenten oder als zu testendes System.

Ist der Kurs hauptsächlich eine Schulung für AI-generierte Testautomatisierung?

Nein. Testautomatisierung ist ein wesentlicher Teil, aber der Kurs beginnt deutlich früher im Testprozess: bei Anforderungen, Risiken, Testanalyse und Testdesign. Gute Automatisierung kann schlechte oder unvollständige Testideen nicht kompensieren.

Werden klassische Testentwurfsverfahren noch benötigt?

Ja. Gerade bei generativer KI werden systematische Testverfahren wichtiger, weil sie einen unabhängigen Maßstab liefern, anhand dessen sich AI-generierte Testideen beurteilen lassen.

Werden konkrete Testautomatisierungswerkzeuge verwendet?

Ja. Praktische Übungen können beispielsweise mit Playwright, Selenium, pytest oder vergleichbaren Werkzeugen durchgeführt werden. Der Kurs ist jedoch nicht als Produktschulung für ein bestimmtes Testframework konzipiert.

Werden auch AI-Anwendungen selbst getestet?

Ja. Der Kurs behandelt neben AI-Unterstützung im klassischen Softwaretest auch die besonderen Herausforderungen beim Test von LLM-, RAG- und agentischen Systemen.

Ist LLM-as-a-Judge eine zuverlässige Testmethode?

Es kann ein nützlicher Bestandteil einer Evaluation sein, ist aber kein unabhängiges und deterministisches Oracle. Deshalb werden Kombinationen aus regelbasierten Prüfungen, Referenzdaten, statistischen Verfahren und menschlicher Bewertung behandelt.

Werden Testagenten behandelt?

Ja. Testagenten werden sowohl praktisch als Werkzeug als auch aus QA-Sicht betrachtet. Der Schwerpunkt liegt dabei auf kontrollierter Autonomie, überprüfbaren Ergebnissen und klaren Grenzen.

Muss ich programmieren können?

Für Testanalyse, Testdesign und viele AI-gestützte QS-Aufgaben nicht zwingend. Für die praktischen Teile zur Testautomatisierung sind grundlegende Programmierkenntnisse jedoch sinnvoll.

Warum dauert der Kurs fünf Tage?

Der Kurs verbindet drei umfangreiche Themenbereiche: AI-Unterstützung des klassischen Testprozesses, AI-gestützte Testautomatisierung und Qualitätssicherung AI-basierter Systeme. Alle drei werden praktisch behandelt und durch Methoden zur Verifikation AI-generierter Ergebnisse verbunden. Eine kürzere Durchführung ist möglich, erfordert aber eine deutliche Reduktion der praktischen oder vertiefenden Inhalte.

Kann der Kurs auf vier Tage verkürzt werden?

Ja. Eine viertägige Variante kann auf einen Schwerpunkt zugeschnitten werden, beispielsweise AI im klassischen Testprozess und Testautomatisierung oder die Qualitätssicherung AI-basierter Systeme. Für den vollständigen beschriebenen Umfang sind fünf Tage vorgesehen.

Kann der Kurs an unsere Testlandschaft angepasst werden?

Ja. Bei Inhouse-Schulungen können vorhandene Testframeworks, Anwendungen, APIs, CI/CD-Prozesse, Testmanagementsysteme und unternehmensspezifische Qualitätsanforderungen in die Übungen einbezogen werden.

Schulung anfragen