RAG – Wissenssysteme mit LLMs entwickeln
Eigene Wissensbestände zuverlässig für Sprachmodelle nutzbar machen
01 Intro
Sprachmodelle verfügen über umfangreiches allgemeines Wissen, kennen jedoch
weder automatisch interne Unternehmensinformationen noch aktuelle oder
projektspezifische Daten. Retrieval-Augmented Generation verbindet LLMs
deshalb mit externen Wissensbeständen: Für eine Anfrage werden relevante
Informationen gesucht, ausgewählt und dem Modell als Kontext für die Antwort
bereitgestellt.
Der Kurs vermittelt die Entwicklung belastbarer RAG-Systeme von der
Datenaufbereitung über Indexierung und Retrieval bis zur Generierung und
Evaluation. Die Teilnehmer bauen schrittweise ein eigenes Wissenssystem auf
und untersuchen, welche Architekturentscheidungen tatsächlich Einfluss auf
die Qualität haben. Im Mittelpunkt stehen nicht Framework-Rezepte, sondern
nachvollziehbares Retrieval, Quellenbezug, messbare Qualität und der Weg vom
funktionierenden Prototyp zum betreibbaren System.
Kurs-ID
AI-010
Dauer
3 Tage
Format
Präsenz · Live Online · Inhouse
Vorkenntnisse
Praktische Programmiererfahrung, vorzugsweise mit Python, und grundlegendes Verständnis von LLMs
02 Trainingsprogramm
Inhalte
RAG einordnen und Architektur
- Grenzen des Modellwissens
- internes und aktuelles Wissen
- Wissensbestände zur Laufzeit einbinden
- Retrieval-Augmented Generation
- typische Anwendungsfälle
- Grenzen von RAG
Datenquellen und Datenqualität
- Text und Markdown
- HTML
- Office-Dokumente
- Wikis
- strukturierte und unstrukturierte Informationen
Dokumentaufbereitung und Chunking
- warum Inhalte segmentiert werden
- feste Chunk-Größen
- Überlappungen
- semantische Grenzen
- strukturorientiertes Chunking
- Chunking als Qualitätsentscheidung
Embeddings und Ähnlichkeitssuche
- semantische Repräsentation
- Vektoren
- Embedding-Modelle
- Query- und Dokument-Embeddings
- Ähnlichkeit
- Grenzen von Embeddings
Vector Stores, Indizes und Metadaten
- Aufgabe eines Vector Stores
- lokale Lösungen
- FAISS
- Datenbanken mit Vektorunterstützung
- spezialisierte Vector Databases
- Auswahl nach Anforderungen
Klassische und hybride Suche
- Keyword Search
- Volltextsuche
- BM25
- exakte Begriffe
- Produktnamen und Kennungen
- geeignete Kombinationen
Query Processing und Multi-Query Retrieval
- mehrere Suchperspektiven
- alternative Formulierungen
- Teilfragen
- Treffer zusammenführen
- Duplikate
- nur einsetzen, wenn messbarer Nutzen entsteht
Reranking und Kontextaufbau
- Retrieval erzeugt Kandidaten
- zweite Ranking-Stufe
- semantisches Reranking
- Cross Encoder
- LLM-basiertes Reranking
- Nutzen evaluieren
Antwortgenerierung und Quellenbezug
- Antwort aus bereitgestelltem Kontext
- System Instructions
- Quellenbezug
- keine Information vorhanden
- Unsicherheit
- Modell nicht zum Erfinden fehlender Fakten verleiten
Fehlende Antworten und Halluzinationen
- Retrieval verhindert Halluzinationen nicht automatisch
- falscher Kontext
- unzureichender Kontext
- Modell ignoriert Kontext
- Modell ergänzt eigenes Wissen
- Ursachen getrennt analysieren
Fehlerquellen systematisch trennen
- Ingestion-Fehler
- Chunking-Fehler
- Embedding-Fehler
- Retrieval-Fehler
- Ranking-Fehler
- Pipeline statt nur Endantwort untersuchen
Retrieval evaluieren
- Testfragen
- relevante Dokumente
- Ground Truth
- Trefferquote
- Precision
- Retrieval unabhängig vom LLM messen
Antwortqualität und Evaluationsdatensätze
- fachliche Richtigkeit
- Relevanz
- Vollständigkeit
- Faithfulness
- Quellenbezug
- menschliche und automatische Bewertung
Automatisierte Evaluation und Regression
- regelbasierte Prüfungen
- Retrieval-Metriken
- strukturierte Antwortprüfungen
- semantische Bewertung
- LLM-as-a-Judge
- mehrere Signale kombinieren
Berechtigungen und Prompt Injection
- Dokumente als untrusted Input
- manipulierte Inhalte
- indirekte Prompt Injection
- Dokumenttext und System Instructions trennen
- Retrieval-Ergebnisse nicht als Befehle behandeln
- Defense in Depth
Wissensbasis und Dokument-Lifecycle
- Dokumente erfassen
- Inhalte extrahieren
- normalisieren
- strukturieren
- segmentieren
- Verarbeitung reproduzierbar gestalten
Performance, Kosten und Observability
- Anzahl der Dokumente
- Indexgröße
- Retrieval-Latenz
- Embedding-Kosten
- Reranking
- Qualität und Geschwindigkeit ausbalancieren
Integration, Service und Agenten
- API für Wissensabfragen
- Trennung von UI und RAG-Pipeline
- mehrere Anwendungen
- Authentifizierung
- Benutzerkontext
- wiederverwendbarer Knowledge Service
Praxis: produktives RAG-System entwickeln
- repräsentative Fragen
- einfache und schwierige Fälle
- unterschiedliche Dokumentbereiche
- bekannte Antworten
- relevante Quellen
- Datensatz versionieren
03 Durchführung
Rahmen und Organisation
Dauer
3 Tage
Durchführung
Präsenz oder Live Online, vorzugsweise als Inhouse-Schulung
Schwerpunkt
Inhouse-Schulungen für Unternehmen und Teams
Sprache
Deutsch, englische Fachbegriffe und Dokumentation
Unterlagen
Kursunterlagen, Beispiele und Übungsaufgaben
Technik
Eigener Rechner mit Python, Entwicklungsumgebung und Zugang zu einem aktuellen Sprachmodell
Inhouse-Schulungen
Geeignete eigene Dokumentbestände, Wissensquellen und fachliche
Fragestellungen können als Grundlage für die Übungen verwendet werden.
04 Zielgruppe
Für wen ist der Kurs gedacht?
Der Kurs richtet sich an Softwareentwickler, AI Engineers, Data Engineers, Softwarearchitekten und technische Consultants, die Sprachmodelle mit eigenen Dokumenten und Wissensbeständen verbinden möchten.
Er eignet sich insbesondere für Teams, die über einfache Prototypen zum Befragen von Dokumenten hinaus belastbare, nachvollziehbare und evaluierbare Wissenssysteme entwickeln wollen.
Voraussetzungen
Praktische Programmiererfahrung wird vorausgesetzt; Python-Kenntnisse sind
für die Übungen sinnvoll. Grundlegendes Verständnis generativer KI und
Sprachmodelle wird erwartet. Kenntnisse zu Vektordatenbanken, Information
Retrieval oder Machine Learning sind nicht erforderlich.
05 Lernziele
Was Sie nach dem Kurs können
Nach dem Kurs können die Teilnehmer:
- RAG gegenüber Modellwissen, langen Kontexten und Fine-Tuning abgrenzen
- eine vollständige RAG-Architektur entwerfen
- unterschiedliche Datenquellen aufbereiten
- geeignete Chunking-Strategien entwickeln und vergleichen
- Embeddings und Vektorsuche einsetzen
- Vector Stores nach Anforderungen auswählen
- Metadaten und Zugriffsfilter verwenden
- klassische, semantische und hybride Suche kombinieren
- Queries für Retrieval aufbereiten
- Reranking gezielt einsetzen
- geeigneten Kontext für ein Sprachmodell zusammenstellen
- Quellen und Provenance erhalten
- unbeantwortbare Fragen kontrolliert behandeln
- Fehler in einzelnen Pipeline-Stufen lokalisieren
- Retrieval und Antwortqualität getrennt evaluieren
- Evaluationsdatensätze und Regressionstests entwickeln
- Zugriffsrechte und Prompt-Injection-Risiken berücksichtigen
- Wissensbestände konsistent aktualisieren
- Performance und Kosten analysieren
- ein RAG-System vom Prototyp zu einer betreibbaren Lösung weiterentwickeln
06 FAQ
Häufige Fragen
Was unterscheidet diesen Kurs vom LLM-Grundlagenkurs?
Der Grundlagenkurs gibt einen Überblick über generative KI und zeigt RAG als eine Möglichkeit, eigenes Wissen einzubinden. Dieser Kurs behandelt die technische Entwicklung eines RAG-Systems vollständig – von Datenaufbereitung und Retrieval bis Evaluation und Betrieb.
Was unterscheidet ihn vom Agentenkurs?
Der Agentenkurs behandelt Agenten, die unter anderem Retrieval als Werkzeug einsetzen können. Hier steht das Wissenssystem selbst im Mittelpunkt. Ein RAG-System benötigt keinen Agenten und kann als eigenständiger Dienst oder Bestandteil einer Anwendung betrieben werden.
Ist der Kurs eine Schulung für eine bestimmte Vektordatenbank?
Nein. Unterschiedliche technische Lösungen werden praktisch betrachtet, der Schwerpunkt liegt jedoch auf den zugrunde liegenden Retrieval- und Architekturprinzipien. Die Wahl eines Produkts folgt den Anforderungen des jeweiligen Systems.
Ist RAG einfach eine Vektorsuche vor einem LLM-Aufruf?
Das ist die einfachste Variante, reicht für belastbare Wissenssysteme aber häufig nicht aus. Datenqualität, Chunking, Metadaten, klassische Suche, Hybrid Retrieval, Reranking, Quellenbezug und Evaluation können erheblichen Einfluss auf das Ergebnis haben.
Wird Hybrid Search behandelt?
Ja. Klassische lexikalische und semantische Suche werden zunächst getrennt betrachtet und anschließend kombiniert.
Wird Reranking behandelt?
Ja. Reranking wird als zusätzliche Retrieval-Stufe behandelt und praktisch gegen einfaches Top-k-Retrieval verglichen.
Werden RAG-Systeme auch getestet?
Ja. Evaluation ist ein zentraler Bestandteil des Kurses. Retrieval und generierte Antwort werden bewusst getrennt bewertet, damit Fehler nicht nur anhand der fertigen Antwort beurteilt werden.
Wird LLM-as-a-Judge eingesetzt?
Es kann als ein Evaluationssignal eingesetzt werden. Der Kurs behandelt aber ausdrücklich dessen Grenzen und kombiniert automatische Modellbewertungen mit Retrieval-Metriken, deterministischen Prüfungen und menschlichen Stichproben.
Wird Prompt Injection behandelt?
Ja. Dokumente und andere Wissensquellen sind externe Eingaben und können manipulierte Instruktionen enthalten. Deshalb werden Trust Boundaries und technische Schutzmechanismen für RAG-Systeme behandelt.
Brauche ich eine Vektordatenbank?
Nicht zwangsläufig. Die geeignete Speicher- und Suchtechnik hängt von Umfang, Datenstruktur und Anforderungen ab. Der Kurs betrachtet deshalb auch klassische Informationssuche und hybride Ansätze.
Warum dauert der Kurs drei Tage?
Ein belastbares RAG-System besteht nicht nur aus Embeddings und einer Vektordatenbank. Datenaufbereitung, Chunking, Retrieval, Hybrid Search, Reranking, Kontextaufbau, Quellen, Evaluation, Security und Betrieb müssen gemeinsam betrachtet und praktisch erprobt werden. Zwei Tage würden diese Themen auf einen Prototypen-Workshop reduzieren.
Kann der Kurs mit unseren eigenen Dokumenten durchgeführt werden?
Ja. Bei Inhouse-Schulungen können geeignete eigene Dokumentbestände, Wissensquellen und fachliche Fragestellungen als Grundlage für die Übungen verwendet werden.