Was ist Retrieval-Augmented Generation (RAG)?
Retrieval-Augmented Generation (RAG) ist eine KI-Architektur, die ein Sprachmodell mit einer eigenen Wissensbasis verbindet, um Antworten ausschließlich auf Basis vorgegebener Quellen zu generieren. Große Sprachmodelle wie GPT-4 oder Llama 3 kennen nur das, was in ihren Trainingsdaten stand. Fragen Sie ein solches Modell nach Ihrem internen Qualitätshandbuch oder nach der aktuellen Umsatzprognose, kann es nur raten. Es halluziniert eine plausible Antwort, die aber falsch sein kann. Genau hier setzt RAG an.
RAG koppelt ein Sprachmodell an eine eigene Wissensbasis. Das System sucht in Ihren Dokumenten nach relevanten Textstellen, reichert die Anfrage damit an und lässt das Modell nur auf Basis dieser Fundstellen antworten. Die Antwort enthält einen Beleg, den Sie prüfen können. Das ist der Unterschied zwischen einem gut informierten Mitarbeiter und einem, der einfach drauflos redet.
Wie funktioniert RAG in drei Schritten?
RAG arbeitet in drei Schritten: Aufnahme der Quellen, Vektorsuche und Zusammenführung im Prompt.
- Datenaufnahme und Chunking: Der erste Schritt ist die Aufbereitung Ihrer Daten. Ein RAG-System zerlegt Dokumente in kleine, sinnvolle Abschnitte. Diesen Vorgang nennen Fachleute Chunking. Chunking ist der Vorgang, bei dem ein RAG-System Dokumente in semantisch geschlossene Abschnitte (typischerweise Absätze oder Kapitel) zerlegt, um sie einzeln indexier- und suchbar zu machen. Ein Chunk kann ein Absatz, ein Kapitel oder eine Tabelle sein. Für die meisten Unternehmensdokumente haben sich Chunk-Größen zwischen einem Absatz und einem Kapitel bewährt, weil kleinere Chunks die Präzision, größere den Kontext erhöhen.
- Vektorsuche: Aus jedem Chunk erzeugt das System einen sogenannten Embedding-Vektor. Ein Embedding ist eine lange Zahlenreihe, die die Bedeutung des Textes mathematisch kodiert, ähnlich wie unsichtbare GPS-Koordinaten für Textbausteine. Ähnliche Texte erhalten ähnliche Zahlenvektoren und liegen daher dicht beieinander. Diese Vektoren speichert das System in einer Vektordatenbank. Wenn ein Nutzer eine Frage stellt, wird auch diese Frage in einen Embedding-Vektor umgewandelt. Die Datenbank sucht dann die Vektoren, die der Frage am ähnlichsten sind. Das ist die Vektorsuche.
- Grounding im Prompt: Die gefundenen Textstellen landen zusammen mit der ursprünglichen Frage in einem sogenannten Prompt, das ist der konkrete Arbeitsauftrag, den wir dem Sprachmodell übergeben. Das Sprachmodell erhält die Anweisung, nur auf Basis dieser Quellen zu antworten. Diesen Schritt nennen Fachleute Grounding. Das Modell kann nicht mehr frei assoziieren, es ist auf die bereitgestellten Fakten angewiesen. Die Antwort wird dadurch nachvollziehbar und überprüfbar.
Datenpflege als wichtigster Hebel
Die Qualität eines RAG-Systems entscheidet sich an der Datenpflege und am Retrieval, nicht am Modell. Ein großes, teures Sprachmodell nützt nichts, wenn die Quellen schlecht sind oder das System die richtigen Stellen nicht findet. Unsere Position ist klar: Die Datenpflege ist der wichtigste Hebel. Sie müssen Ihre Dokumente bereinigen, Widersprüche auflösen und veraltete Informationen entfernen. Ein RAG-System, das auf widersprüchliche Quellen zugreift, liefert selbstbewusst falsche Antworten.
Der zweite Hebel ist die Retrieval-Güte. Die Vektorsuche findet ähnliche Texte, aber nicht immer die besten. Ein Reranking-Verfahren kann die gefundenen Treffer neu sortieren und die relevantesten an die Spitze setzen. Auch die Größe der Chunks spielt eine Rolle. Ein guter Retrieval-Prozess kombiniert Vektorsuche mit einer Stichwortsuche, um sowohl inhaltlich verwandte Treffer (Bedeutung wird mitberücksichtigt) als auch exakte Begriffe zu finden.
Die Zitierbarkeit der Antwort ist ein weiteres Qualitätsmerkmal. Das System sollte nicht nur die Antwort liefern, sondern auch angeben, aus welchem Dokument und aus welcher Stelle die Information stammt. Nur so kann ein Nutzer die Antwort verifizieren. Ohne diese Quellenangabe bleibt die Antwort eine Blackbox, auch wenn sie richtig aussieht.
Zugriffskontrolle und DSGVO im Unternehmen
Ein RAG-System im Unternehmen greift auf vertrauliche Dokumente zu. Das bedeutet, Sie müssen die Zugriffskontrolle auf die Quellen abbilden. Ein Mitarbeiter aus der Buchhaltung sollte keine Personalakten sehen können. Das RAG-System muss die Zugriffsrechte aus Ihrem Benutzerverzeichnis übernehmen, also aus der gleichen Stellenverwaltung, die auch Outlook oder das Windows-Login nutzen (z. B. Microsoft Active Directory).
Personenbezogene Daten in den Quellen sind ein weiteres Thema. Wenn Ihre Dokumente Namen, Adressen oder andere personenbezogene Informationen enthalten, müssen Sie diese schützen. Eine Möglichkeit ist, personenbezogene Angaben wie Namen oder Adressen vor dem Speichern durch Platzhalter oder Codes zu ersetzen, Fachleute nennen das Pseudonymisierung. Eine andere ist die Filterung der Antworten durch einen Guardrail. Ein Guardrail ist eine zusätzliche Prüfinstanz, die die Antwort des Modells auf sensible Inhalte scannt und gegebenenfalls blockiert. Wir halten Guardrails für unverzichtbar, sobald personenbezogene Daten im Spiel sind.
Die Verarbeitung sollte in der EU stattfinden, um die DSGVO-Konformität zu gewährleisten. Viele Cloud-Anbieter bieten europäische Rechenzentren an. Achten Sie darauf, dass Ihre Daten den Verarbeitungsort nicht verlassen.
Evaluation und Monitoring
Evaluation und Monitoring sind der dritte Baustein. Sie müssen messen, ob Ihr RAG-System gute Antworten liefert. Dazu gehören Metriken wie die Relevanz der gefundenen Quellen, die Korrektheit der Antwort und die Abwesenheit von Halluzinationen. Konkrete Branchen-Standards wie das Framework RAGAS oder Metriken wie Faithfulness und Answer Relevance helfen dabei, die Qualität systematisch zu erfassen. Ohne ein solches Messverfahren bleibt die Verlässlichkeit eine Behauptung. Bauen Sie ein Testset aus typischen Fragen und den erwarteten Antworten auf. Lassen Sie das System regelmäßig gegen dieses Testset laufen und verfolgen Sie die Ergebnisse über die Zeit.
Unsere Position ist, dass ein RAG-System ohne Guardrails und Evaluation nicht produktiv gehen sollte. Die Technik ist mächtig, aber sie braucht einen Rahmen aus Sicherheit und Kontrolle.
Was RAG nicht kann
RAG ist kein Allheilmittel, aber der beste Weg, KI-Antworten belegbar zu machen. RAG kann nicht:
- neue Fakten außerhalb der Quellen erzeugen,
- kreative Texte jenseits der Vorlage schreiben,
- widersprüchliche Quellen eigenständig auflösen.
Für Unternehmen, die KI für interne Wissensarbeit, Kunden-Support oder Compliance-relevante Prozesse einsetzen wollen, ist RAG derzeit (Stand 2025) der beste Ansatz.
Fazit: Belegbare KI-Antworten
Die Technik entwickelt sich schnell. Neue Verfahren wie Agentic RAG oder Multi-Hop-RAG erweitern die Möglichkeiten. Aber die Grundprinzipien bleiben: gute Daten, gutes Retrieval, klare Kontrolle. Wer diese Prinzipien beachtet, kann KI-Antworten nutzen, die man belegen kann.