Lokale LLMs und eigene AI-Infrastruktur

Sprachmodelle lokal und in eigener Infrastruktur betreiben

01 Intro

Cloudbasierte AI-Dienste ermöglichen einen schnellen Einstieg, sind aber nicht für jeden Anwendungsfall die passende Betriebsform. Datenschutz, vertrauliche Informationen, Kosten, Latenz, Verfügbarkeit oder die vollständige Kontrolle über Modelle und Daten können dafür sprechen, Sprachmodelle auf eigener Hardware oder in einer kontrollierten Infrastruktur zu betreiben.

Der Kurs vermittelt den praktischen Aufbau einer eigenen LLM-Infrastruktur. Die Teilnehmer wählen geeignete Modelle und Hardware, betreiben Modelle mit unterschiedlichen Inference-Lösungen, stellen standardisierte APIs bereit und untersuchen Performance, Quantisierung, Speicherbedarf und Parallelität. Darauf aufbauend werden Betrieb, Monitoring, Zugriffsschutz und die Integration lokaler Modelle in bestehende Anwendungen behandelt.

Kurs-ID

AI-013

Dauer

3 Tage

Format

Präsenz · Live Online · Inhouse

Vorkenntnisse

Praktische Erfahrung mit Linux und Softwareentwicklung oder Systemadministration

02 Trainingsprogramm

Inhalte

Lokale LLMs einordnen

Cloud API und eigener Betrieb
vertrauliche Daten
Datenschutz
Kontrolle über Modelle und Infrastruktur
Verfügbarkeit
Offline- und abgeschottete Umgebungen

Modelle und Open Weights auswählen

Modellfamilien
Modellgrößen
Parameter
Kontextfenster
Sprachunterstützung
Modellwahl nach Aufgabe

Modellgröße, Quantisierung und Formate

Parameterzahl
Speicherbedarf
Gewichte
KV Cache
Kontextgröße
tatsächlichen Bedarf statt nur Modellgröße betrachten

CPU, GPU und Hardware dimensionieren

Modellgröße
Quantisierung
Kontext
erwartete Benutzer
parallele Requests
Reserve für reale Last

Inference Engines und lokaler Einstieg

Aufgabe einer Inference Engine
Modell laden
Token generieren
Speicher verwalten
Batching
unterschiedliche Engines nach Einsatzgebiet

Modelle als API bereitstellen

lokale HTTP API
standardisierte Schnittstelle
Chat Completion
strukturierte Requests
Streaming
Anwendungen vom konkreten Backend entkoppeln

Kontext, Speicher und Parallelität

Prompt Tokens
generierte Tokens
KV Cache
große Kontextfenster
Speicherverbrauch
maximal möglich ist nicht automatisch sinnvoll

Performance und Qualität benchmarken

unterschiedliche Modelle
unterschiedliche Quantisierungen
kleinere und größere Modelle
Geschwindigkeit
Speicherbedarf
Entscheidung auf Messwerte stützen

Containerisierung und Modellverwaltung

Inference Server im Container
Images
GPU-Zugriff
Modelle
Volumes
reproduzierbare Umgebung

Modellquellen und Supply Chain

Herkunft des Modells
Modellrepository
Dateien
ausführbarer Modellcode
Abhängigkeiten
fremde Artefakte kontrolliert übernehmen

Zugriffsschutz, Netzwerk und Secrets

lokale API ist nicht automatisch ungefährlich
Netzwerkzugriff
Authentifizierung
Autorisierung
Benutzer
Zugriff auf notwendige Systeme begrenzen

Logging, Monitoring und Kapazitätsplanung

Requests
Modell
Laufzeiten
Tokenmengen
Fehler
Logging-Policy

Kosten, Cloud und Hybridbetrieb

Hardware
GPU-Miete
Strom
Kühlung
Betrieb
Total Cost of Ownership

Model Routing und lokale Embeddings

unterschiedliche Aufgaben
unterschiedliche Modelle
kleines Modell für einfache Aufgaben
großes Modell für schwierige Aufgaben
Coding-Modell
Routing evaluieren

Lokale RAG- und Agenten-Infrastruktur

Inference Server
Embedding Service
Vector Store
Dokumentdaten
Netzwerk
RAG selbst bleibt Gegenstand des RAG-Kurses

Coding und multimodale Modelle lokal

Text und Bild
zusätzliche Modellkomponenten
VRAM
Inference
Eingabegrößen
Hardwarebedarf

Updates, Rollback und Recovery

neue Modellversion
neue Runtime
Treiber
Container
Abhängigkeiten
kontrollierter Rollout

Automatisierter Betrieb einer AI-Plattform

Infrastructure as Code
Konfiguration
Container
Deployment
Health Checks
reproduzierbare Systeme

Praxis: internen AI-Service aufbauen

lokales Modell starten
API bereitstellen
Anwendung anbinden
Performance messen
Zugriffsschutz
Betriebsprozess definieren

03 Durchführung

Rahmen und Organisation

Dauer

3 Tage

Durchführung

Präsenz oder Live Online, vorzugsweise als Inhouse-Schulung

Schwerpunkt

Inhouse-Schulungen für Unternehmen und Teams

Sprache

Deutsch, englische Fachbegriffe und Dokumentation

Unterlagen

Kursunterlagen, Beispiele und Übungsaufgaben

Technik

Eigener Rechner mit Linux-Umgebung, Docker und ausreichend Arbeits- oder Grafikspeicher für lokale Modelle

Inhouse-Schulungen

Vorhandene Workstations, GPU-Server oder geplante Infrastruktur können berücksichtigt und Modelle sowie Betriebsvarianten anhand der tatsächlichen technischen Rahmenbedingungen untersucht werden.

04 Zielgruppe

Für wen ist der Kurs gedacht?

Der Kurs richtet sich an Softwareentwickler, AI Engineers, DevOps Engineers, Systemadministratoren, Softwarearchitekten und technische Consultants, die Sprachmodelle unabhängig von öffentlichen AI-Diensten betreiben oder eine eigene AI-Infrastruktur aufbauen möchten.

Er eignet sich sowohl für einzelne leistungsfähige Entwickler-Workstations als auch für Teams, die zentrale interne LLM-Dienste für Anwendungen, RAG-Systeme oder AI Agents bereitstellen wollen.

Voraussetzungen

Praktische Erfahrung mit Linux und grundlegendes Verständnis von Software- oder Systemarchitekturen werden vorausgesetzt. Erfahrung mit Docker und Python ist für die praktischen Übungen hilfreich, tiefgehende Kenntnisse von Machine Learning oder GPU-Programmierung sind nicht erforderlich. Grundkenntnisse zu generativer KI und Sprachmodellen sollten vorhanden sein.

05 Lernziele

Was Sie nach dem Kurs können

Nach dem Kurs können die Teilnehmer:

geeignete Einsatzszenarien für lokal betriebene LLMs bestimmen
Open-Weight-Modelle nach technischen und fachlichen Anforderungen auswählen
Modellgröße, Quantisierung und Hardwarebedarf einordnen
CPU-, GPU- und VRAM-Anforderungen abschätzen
unterschiedliche Inference-Lösungen einsetzen und vergleichen
Modelle über standardisierte APIs bereitstellen
lokale AI-Dienste in eigene Anwendungen integrieren
Performance reproduzierbar messen
Qualität und Geschwindigkeit unterschiedlicher Modelle vergleichen
Parallelität und Kapazitätsbedarf beurteilen
Inference-Server containerisieren
Modelle und Versionen kontrolliert verwalten
Zugriffsschutz und Netzwerkgrenzen gestalten
Datenschutz und Logging beim Eigenbetrieb berücksichtigen
GPU- und Service-Monitoring aufbauen
Kosten von Cloud- und Eigenbetrieb vergleichen
hybride Modellstrategien entwickeln
lokale Modelle für RAG-, Agenten- und Entwicklungsanwendungen bereitstellen
eine eigene AI-Infrastruktur vom Experiment zum internen Dienst weiterentwickeln

06 FAQ

Häufige Fragen

Was unterscheidet diesen Kurs von der LLM-Anwendungsentwicklung mit Python?

Der Entwicklungskurs baut die Anwendung, die ein Sprachmodell verwendet. Ob dieses Modell über einen Cloudanbieter oder lokal bereitgestellt wird, ist für die grundlegende Anwendungsarchitektur zweitrangig.

Dieser Kurs behandelt die andere Seite dieser Schnittstelle: Auswahl, Bereitstellung und Betrieb der Modelle und der dafür notwendigen Infrastruktur.

Ist das nur ein Ollama-Kurs?

Nein. Ollama eignet sich gut für bestimmte lokale Einsatzszenarien und kann im Kurs verwendet werden. Der Kurs behandelt aber grundsätzlich unterschiedliche Inference-Ansätze vom Entwicklerrechner bis zum zentralen GPU-Service.

Brauche ich eine NVIDIA-GPU?

Nicht zwingend. Modelle können je nach Größe und Runtime auch auf CPUs oder anderer unterstützter Hardware betrieben werden. Für leistungsfähige Inference größerer Modelle ist eine geeignete GPU jedoch häufig sinnvoll.

Wie viel VRAM brauche ich?

Das hängt insbesondere von Modellgröße, Quantisierung, Kontextlänge, Runtime und Parallelität ab. Gerade diese Zusammenhänge werden im Kurs praktisch untersucht, statt eine pauschale VRAM-Zahl für alle Anwendungen zu nennen.

Werden Modelle trainiert?

Nein. Der Schwerpunkt liegt auf Inference und Infrastruktur. Fine-Tuning wird gegenüber Prompting und RAG eingeordnet, ein eigener Training- oder Fine-Tuning-Workflow ist aber nicht Gegenstand des Kurses.

Wird RAG behandelt?

Nur aus Infrastrukturperspektive. Lokale Embeddings, Vector Stores und die Bereitstellung der benötigten Services werden eingeordnet. Die Entwicklung und Evaluation einer vollständigen RAG-Pipeline ist Gegenstand des RAG-Kurses.

Werden AI Agents behandelt?

Nur als möglicher Verbraucher der Infrastruktur. Der Kurs zeigt, wie lokale Modelle für agentische Anwendungen bereitgestellt werden können. Die Entwicklung der Agenten selbst gehört in den Agentenkurs.

Ist ein lokales Modell automatisch datenschutzkonform?

Nein. Eigener Betrieb kann die Kontrolle über Daten erheblich verbessern, beseitigt aber Anforderungen an Zugriffsschutz, Logging, Persistenz, Berechtigungen und Datenverarbeitung nicht automatisch.

Können lokale Modelle Cloudmodelle vollständig ersetzen?

Das hängt vom Anwendungsfall ab. Qualität, Modellfähigkeiten, Hardwarebedarf, Kosten und Datenschutz müssen gemeinsam betrachtet werden. Für manche Systeme ist vollständiger Eigenbetrieb sinnvoll, für andere ein Cloud- oder Hybridansatz.

Werden mehrere Modelle verglichen?

Ja. Modellgröße, Quantisierung, Ressourcenverbrauch, Geschwindigkeit und Qualität werden anhand reproduzierbarer Aufgaben verglichen.

Wird auch der Betrieb für mehrere Benutzer behandelt?

Ja. Parallelität, Batching, Netzwerkzugriff, Zugriffsschutz, Monitoring und Kapazitätsplanung sind Bestandteile des Kurses.

Warum dauert der Kurs drei Tage?

Der lokale Start eines Modells dauert nur wenige Minuten. Eine belastbare AI-Infrastruktur erfordert dagegen Modell- und Hardwareauswahl, Inference, Performanceanalyse, APIs, Container, Security, Monitoring und Betriebsprozesse. Drei Tage ermöglichen, diese Ebenen praktisch miteinander zu verbinden, ohne daraus eine allgemeine DevOps- oder ML-Operations-Schulung zu machen.

Kann der Kurs an unsere vorhandene Hardware angepasst werden?

Ja. Bei Inhouse-Schulungen können vorhandene Workstations, GPU-Server oder geplante Infrastruktur berücksichtigt und Modelle sowie Betriebsvarianten anhand der tatsächlichen technischen Rahmenbedingungen untersucht werden.

Schulung anfragen