Modellbewertung und Validierung
Machine-Learning-Modelle belastbar vergleichen und ihre Generalisierung beurteilen
01 Intro
Ein Modell, das auf vorhandenen Daten gute Ergebnisse liefert, muss noch
lange nicht auf neuen Daten funktionieren. Modellbewertung und Validierung
sind deshalb zentrale Bestandteile jedes seriösen
Machine-Learning-Projekts.
Der Kurs behandelt die systematische Bewertung von Regressions- und
Klassifikationsmodellen. Im Mittelpunkt stehen geeignete Teststrategien,
Cross Validation, Metriken, Baselines, Datenleckage,
Hyperparameteroptimierung und die Frage, wann Unterschiede zwischen
Modellen tatsächlich belastbar sind.
Kurs-ID
ML-007
Dauer
2 Tage
Format
Präsenz · Live Online · Inhouse
Vorkenntnisse
Praktische Grundlagen in Machine Learning und Python
02 Trainingsprogramm
Inhalte
Was bedeutet ein gutes Modell?
- technische und fachliche Qualität
- Trainingsergebnis versus Generalisierung
- Erfolgskriterien
- Baselines
- Kosten von Fehlentscheidungen
Training, Validation und Test
- unterschiedliche Datensätze
- Holdout
- Train-Test-Split
- Validation Set
- unabhängiger Test
- korrekte Verwendung
Cross Validation
- k-Fold
- Stratified k-Fold
- Repeated Cross Validation
- Leave-One-Out im Überblick
- geeignete Strategien auswählen
Besondere Datenstrukturen
- zeitabhängige Daten
- Gruppen
- wiederholte Beobachtungen
- Group Splits
- Time-Series Splits
- Abhängigkeiten berücksichtigen
Regression bewerten
- MAE
- MSE
- RMSE
- R²
- relative Fehler
- fachliche Interpretation
Klassifikation bewerten
- Confusion Matrix
- Accuracy
- Precision
- Recall
- F1
- Fehlertypen
Schwellenwerte und Ranking-Metriken
- Scores
- Thresholds
- ROC
- AUC
- Precision-Recall
- fachliche Auswahl eines Schwellenwerts
Overfitting und Underfitting
- Bias und Variance
- Learning Curves
- Modellkomplexität
- Trainingsgröße
- Regularisierung
- Diagnose
Datenleckage erkennen
- Preprocessing Leakage
- Target Leakage
- zeitliche Leakage
- Feature Engineering
- Cross Validation
- typische Praxisfehler
Hyperparameteroptimierung
- Parameter versus Hyperparameter
- Grid Search
- Randomized Search
- Cross Validation
- verschachtelte Bewertung
- Optimierungsbias
Modelle belastbar vergleichen
- Baseline
- Streuung der Ergebnisse
- mehrere Metriken
- fachliche Relevanz
- Robustheit
- Modellwahl dokumentieren
Praktisches Validierungsprojekt
- Evaluationsstrategie entwickeln
- Baseline bestimmen
- mehrere Modelle vergleichen
- Leakage prüfen
- Hyperparameter abstimmen
- Ergebnisse kritisch bewerten
03 Durchführung
Rahmen und Organisation
Dauer
2 Tage
Durchführung
Präsenz oder Live Online, vorzugsweise als Inhouse-Schulung
Schwerpunkt
Inhouse-Schulungen für Unternehmen und Teams
Sprache
Deutsch, englische Fachbegriffe und Dokumentation
Unterlagen
Kursunterlagen, Beispiele und Übungsaufgaben
Technik
Eigener Rechner mit Python, Jupyter und scikit-learn
Inhouse-Schulungen
Vorhandene Modelle und Evaluationsfragen können in die Übungen einbezogen
werden.
04 Zielgruppe
Für wen ist der Kurs gedacht?
Data Analysts, Data Scientists und Entwickler, die Machine-Learning-Modelle
belastbar bewerten und vergleichen müssen.
Voraussetzungen
Grundkenntnisse in Machine Learning, Python und scikit-learn.
05 Lernziele
Was Sie nach dem Kurs können
Die Teilnehmer können geeignete Validierungsstrategien entwickeln,
Bewertungsmetriken auswählen, Leakage und Overfitting erkennen und Modelle
nachvollziehbar vergleichen.
06 FAQ
Häufige Fragen
Warum reicht ein Train-Test-Split nicht immer?
Weil das Ergebnis stark von einer einzelnen Aufteilung abhängen kann und bestimmte Datenstrukturen besondere Split-Strategien erfordern.
Wird Hyperparameteroptimierung behandelt?
Ja, allerdings aus Sicht korrekter Modellbewertung und nicht als isolierte Optimierungsaufgabe.
Was unterscheidet den Kurs von den Modellkursen?
Die Modellkurse behandeln jeweils bestimmte Verfahren. Hier steht unabhängig vom Algorithmus die Frage im Mittelpunkt, ob ein Modell tatsächlich belastbar ist.