Entscheidungsbäume, Random Forests und Ensemble-Verfahren
Baumverfahren verstehen, kombinieren und gezielt einsetzen
01 Intro
Entscheidungsbäume können komplexe und nichtlineare Zusammenhänge
modellieren und sind gleichzeitig vergleichsweise gut nachvollziehbar.
Ensemble-Verfahren kombinieren viele Modelle und erreichen dadurch häufig
eine deutlich höhere Vorhersagequalität.
Der Kurs führt von einzelnen Entscheidungsbäumen über Random Forests bis zu
Bagging und Boosting. Neben der Anwendung stehen Modellkomplexität,
Overfitting, Feature-Bedeutung, Hyperparameter und die Interpretation der
Ergebnisse im Mittelpunkt.
Kurs-ID
ML-004
Dauer
2 Tage
Format
Präsenz · Live Online · Inhouse
Vorkenntnisse
Grundkenntnisse in Python und Machine Learning
02 Trainingsprogramm
Inhalte
Entscheidungsbäume als Modell
- Baumstruktur
- Knoten und Blätter
- Splits
- Entscheidungsregeln
- Klassifikation und Regression
- Interpretierbarkeit
Wie Bäume lernen
- Auswahl von Splits
- Gini
- Entropie
- Fehlermaße bei Regression
- rekursive Partitionierung
- greedy learning
Modellkomplexität steuern
- Baumtiefe
- Mindestanzahl Beobachtungen
- Blattgröße
- Pruning
- Overfitting
- Underfitting
Entscheidungsbäume mit scikit-learn
- Modelle trainieren
- Parameter
- Prediction
- Baum visualisieren
- Entscheidungswege
- reproduzierbare Experimente
Grenzen einzelner Bäume
- Instabilität
- Varianz
- Datenabhängigkeit
- Generalisierung
- Motivation für Ensembles
Bagging
- Bootstrap Samples
- mehrere Modelle
- Aggregation
- Varianzreduktion
- Out-of-Bag-Idee
Random Forest
- zufällige Feature-Auswahl
- viele Bäume
- Klassifikation
- Regression
- wichtige Hyperparameter
- Out-of-Bag Evaluation
Feature Importance
- impurity-basierte Importance
- Permutation Importance
- Verzerrungen
- Korrelation zwischen Features
- Interpretation mit Vorsicht
Boosting
- sequenzielles Lernen
- schwache Lerner
- Fehlerkorrektur
- AdaBoost
- Gradient Boosting
- moderne Boosting-Verfahren im Überblick
Modelle abstimmen und vergleichen
- Hyperparameter
- Cross Validation
- Grid Search
- Randomized Search
- Laufzeit versus Qualität
- Baselines
Interpretation und Fehleranalyse
- Entscheidungswege
- Feature-Einflüsse
- Fehlklassifikationen
- problematische Segmente
- Modellgrenzen
- Interpretierbarkeit von Ensembles
Praktisches Ensemble-Projekt
- Baum als Baseline
- Random Forest entwickeln
- Boosting vergleichen
- Parameter optimieren
- Ergebnisse bewerten
- Modellwahl begründen
03 Durchführung
Rahmen und Organisation
Dauer
2 Tage
Durchführung
Präsenz oder Live Online, vorzugsweise als Inhouse-Schulung
Schwerpunkt
Inhouse-Schulungen für Unternehmen und Teams
Sprache
Deutsch, englische Fachbegriffe und Dokumentation
Unterlagen
Kursunterlagen, Beispiele und Übungsaufgaben
Technik
Eigener Rechner mit Python, Jupyter und scikit-learn
Inhouse-Schulungen
Eigene Datenbestände und Modellierungsaufgaben können in die Übungen
einbezogen werden.
04 Zielgruppe
Für wen ist der Kurs gedacht?
Data Analysts, Entwickler und Data Scientists, die baumbasierte
Machine-Learning-Verfahren verstehen und praktisch einsetzen möchten.
Voraussetzungen
Grundkenntnisse in Python, scikit-learn und Machine Learning.
05 Lernziele
Was Sie nach dem Kurs können
Die Teilnehmer können Entscheidungsbäume entwickeln und interpretieren,
Random Forests und Boosting-Verfahren einsetzen und deren Komplexität und
Qualität systematisch beurteilen.
06 FAQ
Häufige Fragen
Werden externe Boosting-Bibliotheken behandelt?
Moderne Verfahren wie XGBoost, LightGBM oder vergleichbare Ansätze können eingeordnet werden. Schwerpunkt sind die zugrunde liegenden Konzepte und ihre Anwendung.
Ist der Kurs für Regression und Klassifikation geeignet?
Ja. Baum- und Ensemble-Verfahren werden für beide Problemtypen betrachtet.
Was unterscheidet den Kurs vom Klassifikationskurs?
Der Klassifikationskurs behandelt Klassifikation als Problemklasse. Hier steht eine bestimmte Familie von Modellen und deren Ensemble-Verfahren im Mittelpunkt.