Was ist RAG (Retrieval-Augmented Generation)?

RAG ist ein Verfahren, bei dem eine KI vor dem Antworten zuerst in deinen eigenen Dokumenten sucht und nur die gefundenen, relevanten Ausschnitte als Grundlage verwendet. So beantwortet sie Fragen mit belegbarem Firmenwissen und Quellenangabe, statt frei aus dem Trainingswissen zu raten.

Brauche ich für Wissenssuche teure Vektor-Embeddings?

Nicht zwangsläufig. Für einen Dokumentenbestand mit klarer Fachsprache reicht oft die eingebaute Volltextsuche (FTS5/BM25) — ohne API-Schlüssel, ohne laufende Kosten und ohne dass Daten das Haus verlassen. Vektor-Embeddings lohnen sich, wenn Nutzer nicht die exakten Begriffe treffen.

Ist RAG mit Firmendokumenten DSGVO-konform umsetzbar?

Ja, wenn man es von Anfang an so baut. Die Dokumente bleiben lokal, die Suche läuft auf deiner Maschine, und an das Sprachmodell geht pro Anfrage nur der nötige Ausschnitt. Mit Berechtigungen und Logging bleibt nachvollziehbar, wer was sehen und beantworten darf.

RAG richtig gemacht: Wissenssuche mit Quellen statt Blackbox-Chatbot

Ein Chatbot, der aus dem Nichts antwortet, ist für einen Betrieb wertlos — und riskant. RAG (Retrieval-Augmented Generation) löst das: Die KI sucht vor dem Antworten in deinen eigenen Dokumenten und nutzt nur die gefundenen Ausschnitte als Grundlage. Das Ergebnis ist eine Antwort mit Quelle statt einer selbstsicheren Halluzination. Dieser Beitrag zeigt, wie man RAG so baut, dass es im Alltag trägt — und dabei datensparsam bleibt.

Das Problem mit dem nackten Chatbot

Ein Sprachmodell ohne angebundenes Wissen kennt deinen Betrieb nicht. Es rät auf Basis seines Trainings — und formuliert Falsches genauso überzeugend wie Richtiges. Für interne Wissensfragen („Was steht in unserem Wartungsvertrag mit Kunde X?“) ist das unbrauchbar. Man bekommt eine flüssige Antwort, der man nicht trauen kann.

RAG dreht den Ablauf um: erst suchen, dann antworten. Die KI bekommt nur echte, belegte Textstellen aus deinen Dokumenten vorgelegt und formuliert daraus die Antwort — mit Verweis auf die Quelle.

Wie RAG konkret funktioniert

Der Ablauf hat drei Schritte:

Indexieren. Deine Dokumente werden zerlegt und in eine durchsuchbare Datenbank geschrieben — einmalig und bei jeder Änderung.
Suchen (Retrieval). Kommt eine Frage, sucht das System die passendsten Textstellen heraus. Hier trennen sich zwei Verfahren, dazu gleich mehr.
Antworten (Generation). Die gefundenen Stellen gehen zusammen mit der Frage an das Sprachmodell, das daraus eine Antwort mit Quellenangabe formuliert.

Der entscheidende Punkt: An das Modell geht nicht dein ganzer Datenbestand, sondern nur der kleine, relevante Ausschnitt pro Anfrage. Das ist gut für die Antwortqualität — und gut für den Datenschutz.

Volltextsuche oder Vektor-Suche? Beides hat seinen Platz

Für den Retrieval-Schritt gibt es zwei Wege, und die Wahl entscheidet über Kosten und Datenschutz:

Volltextsuche (FTS5/BM25) — die eingebaute Suche von SQLite, ganz ohne externes Modell oder API-Schlüssel. Sie findet, was wörtlich dasteht: Aktenzeichen, Produktnamen, Fachbegriffe. Schnell, kostenlos, und die Daten verlassen die Maschine nie. In meiner eigenen Agenten-Flotte laufen mehrere Agenten genau so.

Vektor-Suche (Embeddings) — Text wird in Zahlenvektoren übersetzt, sodass auch sinnverwandte Formulierungen gefunden werden, selbst wenn der Nutzer andere Wörter benutzt als das Dokument. Das braucht ein Embedding-Modell (ich nutze bge-m3), lohnt sich aber überall dort, wo die Fragen unscharf sind.

Die praktische Lehre: Man greift nicht reflexartig zu teuren Embeddings. Für einen Bestand mit klarer Fachsprache ist die Volltextsuche oft die bessere Wahl — günstiger, einfacher und ohne dass Daten das Haus verlassen. Oft ist auch eine Kombination aus beidem die stärkste Lösung.

Ohne Leitplanken kein Vertrauen

RAG allein macht die Antwort belegbar — aber vertrauenswürdig wird das System erst durch drei Regeln:

Quellenangabe bei jeder Antwort: Man sieht, aus welchem Dokument sie stammt, und kann es prüfen.
Berechtigungen: Ein Mitarbeiter bekommt nur Antworten aus Dokumenten, die er sehen darf. Die Suche respektiert Rollen, statt alles für alle zu öffnen.
Logging: Jede Anfrage ist nachvollziehbar. Man sieht, was gefragt und beantwortet wurde.

Diese drei Punkte trennen eine Wissenssuche, der ein Betrieb vertraut, von einem Blackbox-Chatbot, den man ständig kontrollieren muss.

Datenschutz ist eine Bauentscheidung, kein Nachtrag

Ob RAG DSGVO-konform ist, entscheidet sich beim Bauen, nicht danach. Wenn die Dokumente lokal bleiben, die Suche auf deiner Maschine läuft und an das Modell pro Anfrage nur der nötige Ausschnitt geht, hast du die Kontrolle. Je nach Anforderung lässt sich das Modell selbst hosten oder auf Anbieter mit passenden Datenschutz-Bedingungen begrenzen. Berechtigungen und Logging sind Teil des Fundaments, kein späterer Aufsatz.

Genau so baue ich KI & Automatisierung: Wissenssuche, die belegbar, berechtigt und nachvollziehbar ist. Wenn du einen Dokumentenbestand hast, den dein Team ständig durchforstet — erzähl mir davon, und ich sage dir, welches Verfahren dafür passt.