KI auf der eigenen Maschine

KI auf der eigenen Maschine — der Praxisleitfaden für lokale LLMs, RAG und Agenten

Künstliche Intelligenz, die komplett auf deinem eigenen Rechner läuft — offline, ohne Cloud-Account, ohne dass deine Daten das Haus verlassen. Dieses Buch zeigt Schritt für Schritt, wie das geht.



Vom ersten Erfolgserlebnis in 15 Minuten (ein Sprachmodell mit Ollama starten) bis zum sauberen Produktivbetrieb auf dem eigenen Server: ein Praxisleitfaden für alle, die lokale Sprachmodelle nicht nur ausprobieren, sondern verstehen und ernsthaft einsetzen wollen.



Du lernst:

- offene Modelle lokal installieren und über eine API nutzen (Ollama, llama.cpp, vLLM)

- welche Hardware wirklich zählt — VRAM, Quantisierung und Kontextfenster realistisch einschätzen

- aus deinen eigenen Dokumenten eine durchsuchbare Wissensbasis bauen (RAG) und sie gezielt debuggen

- wie kleine Agenten mit Tool-Calling funktionieren

- das Ganze produktionsreif, sicher und DSGVO- bzw. EU-AI-Act-konform betreiben

- und die ehrliche Frage: wann lokal nicht die beste Antwort ist



Kein Theoriewälzer über Modelltraining, sondern Praxis aus dem Homelab: Docker, Reverse Proxy, Dinge ausprobieren, kaputt machen, reparieren — und dabei verstehen, warum sie funktionieren.

Weil sich lokale KI schnell bewegt, erklärt das Buch Prinzipien statt Tagesform, markiert kurzlebige Angaben ausdrücklich und verweist auf eine laufend gepflegte Online-Seite mit aktuellen Zahlen und Quellennachweisen.

Für Einsteiger mit IT-Grundwissen ebenso wie für Fortgeschrittene, die Struktur und Betriebssicht suchen.