WissenRAG

RAG (Retrieval Augmented Generation) einfach erklärt

RAG steht für Retrieval Augmented Generation, auf Deutsch etwa „Texterzeugung mit vorherigem Nachschlagen“. Eine KI sucht zuerst in einer festgelegten Wissensquelle nach passenden Textstellen und schreibt ihre Antwort erst dann, auf Grundlage dieser Stellen. So antwortet ein Sprachmodell aus Ihren Unterlagen statt nur aus seinem Trainingswissen und kann sagen, woher die Antwort stammt.

Sandro Griesing · Gründer GrisaKI · aktualisiert · 12 Min. Lesezeit

Das Wichtigste in 30 Sekunden

  • Bedeutung: erst nachschlagen (Retrieval), dann formulieren (Generation). Das Sprachmodell bekommt zu jeder Frage passende Abschnitte mitgeliefert.
  • Ablauf: Dokumente zerlegen, als Embeddings in einer Vektordatenbank speichern, zur Frage die passenden Abschnitte abrufen, Antwort mit Quelle schreiben.
  • Wozu: aktuelles und internes Wissen nutzen, ohne ein Modell neu zu trainieren.
  • Grenze: RAG senkt das Risiko erfundener Antworten, schließt es aber nicht aus. Quellenangaben und Rechte je Dokument gehören dazu.
  • Herkunft: Der Begriff stammt aus einer Forschungsarbeit von Patrick Lewis und Kollegen aus dem Jahr 2020.

Was ist RAG? Die Bedeutung im KI-Zusammenhang

Ein großes Sprachmodell (LLM) hat sein Wissen beim Training gelernt. Ihre Preisliste kennt es nicht, Ihre Arbeitsanweisungen auch nicht, und alles nach seinem Trainingsstand fehlt ihm ebenfalls. Fragt man trotzdem, schreibt es oft eine Antwort, die plausibel klingt und nicht stimmt.

RAG löst das mit einem Zwischenschritt. Vor jeder Antwort sucht ein System in einer Wissensquelle, die Sie festlegen, und gibt die gefundenen Abschnitte dem Modell mit. Das Modell schreibt seine Antwort dann auf dieser Grundlage. Der Name beschreibt genau das: Retrieval heißt Abruf, Augmented heißt angereichert, Generation heißt Erzeugung. Im Alltag spricht man auch von einer KI-Wissensdatenbank oder davon, dass die KI auf Unternehmenswissen zugreift.

Der Begriff geht auf eine Arbeit von Patrick Lewis und elf Mitautoren zurück. Sie erschien im Mai 2020 und wurde auf der Konferenz NeurIPS 2020 angenommen. Die Autoren verbanden ein Sprachmodell mit einem Vektorindex über Wikipedia. Als offene Probleme reiner Sprachmodelle nannten sie zwei Punkte, die bis heute der Hauptgrund für RAG sind: den Herkunftsnachweis einer Antwort und das Aktualisieren von Wissen.

So funktioniert RAG: der Ablauf in fünf Schritten

Ein RAG-System arbeitet in zwei Phasen. Die Vorbereitung läuft einmal je Dokument und wiederholt sich nur, wenn sich das Dokument ändert. Der Abruf läuft bei jeder einzelnen Frage.

Vorbereitung, einmal je Dokument
  1. 1ZerlegenDokumente werden in Abschnitte geteilt. Seite und Quelle werden gemerkt.
  2. 2EmbeddingJeder Abschnitt wird zu einer langen Zahlenliste, die seine Bedeutung abbildet.
  3. 3VektordatenbankZahlenliste, Originaltext, Quelle und Rechte werden gespeichert.

Schritt 4 durchsucht den Speicher aus Schritt 3

Abruf, bei jeder Frage
  1. Frage„Wie läuft bei uns eine Reklamation ab?“
  2. 4AbrufDie Frage wird eingebettet, Rechte werden angewendet, die ähnlichsten Abschnitte kommen zurück.
  3. 5Antwort mit QuelleDas Sprachmodell antwortet nur aus diesen Abschnitten und nennt Dokument und Seite.
Schema eines RAG-Systems. Eigene Darstellung GrisaKI.
  1. Zerlegen (Chunking): Lange Dokumente werden in Abschnitte geteilt. Anthropic beschreibt Abschnitte von meist wenigen hundert Tokens. Zu große Abschnitte machen die Suche ungenau, zu kleine verlieren den Zusammenhang. Ein bekanntes Problem: Ein einzelner Abschnitt nennt oft weder die Firma noch den Zeitraum, auf den er sich bezieht.
  2. Embedding: Ein Embedding-Modell übersetzt jeden Abschnitt in eine Zahlenliste. Abschnitte mit ähnlicher Bedeutung bekommen ähnliche Zahlen. Mehr dazu unter Embedding.
  3. Speichern: Die Vektordatenbank legt zu jedem Abschnitt die Zahlenliste, den Originaltext, die Quelle mit Seite und die Zugriffsrechte ab.
  4. Abruf (Retrieval): Die Frage wird mit demselben Modell eingebettet. Die Datenbank sucht die Abschnitte mit dem geringsten Abstand, aber nur unter denen, die der Fragende sehen darf. Viele Systeme verbinden diese Bedeutungssuche mit einer Stichwortsuche, damit auch genaue Begriffe wie Artikelnummern gefunden werden. In einem Versuch von Anthropic vom September 2024 sank so der Anteil fehlgeschlagener Abrufe von 5,7 auf 2,9 Prozent, mit einem zusätzlichen Umsortieren der Treffer (Reranking) auf 1,9 Prozent.
  5. Antwort (Generation): Das Sprachmodell erhält die Frage, die gefundenen Abschnitte und eine Anweisung: nur daraus antworten, die Quelle nennen und sagen, wenn nichts Passendes hinterlegt ist.

RAG, Fine-Tuning oder langes Kontextfenster?

Es gibt drei Wege, einem Sprachmodell eigenes Wissen mitzugeben. Sie lösen unterschiedliche Probleme und lassen sich kombinieren.

MerkmalRAGFine-TuningLanges Kontextfenster
Was passiertpassende Abschnitte werden je Frage abgerufendas Modell wird mit eigenen Beispielen weitertrainiertalle Unterlagen kommen vollständig in die Anfrage
Geeignet fürinternes und sich änderndes Wissengleichbleibendes Verhalten, Format und Stilkleine Wissensbestände
Neues WissenDokument austauschen, danach sofort wirksamneues Training nötigmit der nächsten Anfrage
Quellenangabeje Abschnitt mit Seite möglichnicht möglich, das Wissen steckt im Modellmöglich, wenn angewiesen
Rechte je NutzerFilter bei der Suchekaum umsetzbarnur über getrennte Anfragen
Schwachstelleder Abruf kann den falschen Abschnitt findenAufwand, Wissen veraltetKosten je Anfrage, Inhalte in der Mitte werden übersehen
Eigene Einordnung von GrisaKI auf Grundlage von OpenAI, Anthropic und Liu et al. (Quellen unten), Stand Oktober 2026.

RAG oder Fine-Tuning: OpenAI empfiehlt in seinem Leitfaden zur Genauigkeit, am Kontext anzusetzen, wenn dem Modell Wissen fehlt, weil es neu, veraltet oder firmenintern ist. Fine-Tuning dagegen hilft, wenn das Modell uneinheitlich antwortet oder das Format nicht stimmt. Für Firmenwissen ist also in aller Regel RAG der richtige Weg. Ein Modell „auf die eigenen Daten zu trainieren“ macht es nicht zuverlässiger in den Fakten.

RAG oder langes Kontextfenster: Ist der Wissensbestand klein, braucht es nicht unbedingt RAG. Anthropic nennt als Faustregel weniger als 200.000 Tokens, also etwa 500 Seiten. Dann kann man die gesamte Wissensbasis in die Anfrage geben. Darüber wird es teuer und ungenau: Eine Studie von Liu und Kollegen von 2023 zeigt, dass Sprachmodelle Informationen am Anfang oder Ende eines langen Textes am besten nutzen und in der Mitte deutlich schlechter.

Grenzen von RAG: Halluzination, Rechte, Aktualität

  • Halluzination: RAG senkt das Risiko erfundener Antworten, verhindert sie aber nicht. Findet der Abruf den falschen Abschnitt oder liest das Modell mehr hinein, als dasteht, ist die Antwort trotzdem falsch. Eine Studie von Magesh und Kollegen von 2024 hat RAG-gestützte Rechercheprogramme für Juristen von LexisNexis und Thomson Reuters geprüft. Sie halluzinierten in 17 bis 33 Prozent der Fälle. Mehr dazu unter KI-Halluzination.
  • Rechte: Sucht das System ohne Filter, kann eine harmlose Frage einen vertraulichen Abschnitt hervorholen, wenn er inhaltlich passt. Rechte müssen deshalb schon bei der Suche gelten, nicht erst bei der Anzeige.
  • Aktualität: RAG ist nur so aktuell wie der Bestand. Liegt die Preisliste von 2025 neben der von 2026, findet die Suche womöglich beide und die Antwort widerspricht sich.
  • Zahlen und Tabellen: Die Ähnlichkeitssuche findet Textstellen, sie rechnet nicht. Summen, Zählungen und Vergleiche aus Tabellen brauchen einen eigenen Rechenschritt.
  • Lücken: Steht etwas nicht im Bestand, muss das System das sagen. Sonst füllt das Sprachmodell die Lücke mit Allgemeinwissen.

Woran Sie ein gutes RAG-System erkennen

Ob ein RAG-System im Alltag trägt, hängt weniger vom Sprachmodell ab als von diesen Punkten:

  • Quellenangabe mit Seitenzahl bei jeder Antwort, damit Mitarbeiter in Sekunden nachprüfen können.
  • Rechte je Dokument: Abteilung, Vertraulichkeitsstufe und besonders geschützte Inhalte wie Personalakten getrennt.
  • Ehrliches „nicht hinterlegt“, statt eine Lücke zu füllen. Am besten mit einer Liste offener Fragen für das Team.
  • Fassungen: Eine neue Ausgabe eines Dokuments ersetzt die alte im Abruf.
  • Bedeutung und genaue Begriffe: Die Suche findet sinngemäße Fragen und auch Artikelnummern oder Paragrafen.
  • Scans und Tabellen: Gescannte Seiten werden gelesen, Tabellen werden ausgewertet statt überflogen.
  • Klarer Datenweg: Sie wissen, wo Texte und Vektoren liegen und welcher Dienst sie verarbeitet.

RAG und DSGVO: worauf Sie achten sollten

In einem RAG-System stecken oft personenbezogene Daten: Namen in Protokollen, Kundendaten in E-Mails, Angaben zu Mitarbeitern. Für die Verarbeitung gelten dieselben Regeln wie überall sonst. Praktisch sind vier Fragen zu klären:

  • Wo liegen Texte und Vektoren? Auch aus den Zahlenlisten lässt sich Text teilweise zurückgewinnen. Eine Studie von Morris und Kollegen von 2023 rekonstruierte 92 Prozent kurzer Eingaben von 32 Tokens exakt. Vektoren sind deshalb so zu schützen wie die Originale.
  • Welche Dienste lesen die Texte? Embeddings und Antworten berechnet oft ein externer KI-Anbieter. Für jeden davon brauchen Sie einen Auftragsverarbeitungsvertrag. Worauf es dabei ankommt, steht im Ratgeber AVV mit KI-Anbietern.
  • Wer darf was sehen? Rechte je Dokument und je Person, Personaldaten nur für Berechtigte.
  • Wie wird gelöscht? Wird ein Dokument gelöscht, müssen auch seine Abschnitte und Vektoren verschwinden.

Zwei Orte, zwei Fragen. Ein Speicherort in Deutschland sagt noch nichts darüber, wo die KI die Texte liest. Fragen Sie jeden Anbieter nach beiden Orten. Diese Seite ersetzt keine Rechtsberatung, beziehen Sie Ihren Datenschutzbeauftragten ein.

Beispiel: RAG für Unternehmenswissen

Die Firmenwissensdatenbank von GrisaKI ist ein RAG-System für interne Fragen. So setzt sie die Schritte oben um, Stand Oktober 2026:

  • Einlesen: PDF, Word, Excel, CSV und Websites. PDFs werden Seite für Seite gelesen, auch gescannte Seiten und Fotos.
  • Doppelt suchbar: Jede Seite landet im Volltext, der Artikelnummern findet, und als Vektor, der sinngemäße Fragen findet. Tabellen werden zusätzlich als Zeilen abgelegt, damit gezählt und summiert wird statt geschätzt.
  • Rechte: Je Benutzer gelten eine Vertraulichkeitsstufe, Gruppen und Abteilungen. Personalakten brauchen eine eigene Freigabe und kommen nie in die Vektorsuche.
  • Antworten: mit Quelle und Seitenangabe. Was nicht hinterlegt ist, beantwortet das System mit „nichts hinterlegt“ und legt die Frage unter „Offene Fragen“ ab.
  • Fassungen: Kommt eine neuere Ausgabe eines Dokuments, wird die ältere archiviert.
  • Zugriff: über einen Fragen-Chat im Portal sowie über eine Schnittstelle (API) und einen MCP-Server.
  • Datenweg: Vektoren liegen in PostgreSQL mit pgvector auf Servern von Hetzner in Deutschland. Texterkennung, Embeddings und Antworten berechnet derzeit OpenAI im Auftrag, mit Auftragsverarbeitungsvertrag. Daten aus der Programmierschnittstelle nutzt OpenAI laut eigener Angabe nicht zum Training, Protokolle zur Missbrauchskontrolle hält OpenAI bis zu 30 Tage vor.

So sieht eine Antwort aus (Beispiel mit erfundenen Daten)

Frage eines MitarbeitersWie läuft bei uns eine Reklamation ab?

Antwort1. Lieferschein und Fotos aufnehmen. 2. Reklamation im Warenwirtschaftssystem anlegen. 3. Bis 12 Uhr an den Einkauf geben, der Lieferant wird am selben Tag informiert. Quelle: Arbeitsanweisung Reklamation, Seite 1.

In einem Pilotbetrieb mit erfundenen Testdaten beantwortete das System Fragen in 2 bis 4 Sekunden. Darunter waren der Preis zu einer Artikelnummer aus Preisliste und Katalog und eine Bemerkung auf einem gescannten Lieferschein, jeweils mit Seitenangabe.

Was das für Ihr Unternehmen heißt

Sie müssen RAG nicht selbst bauen. Entscheidend sind die Inhalte und die Regeln. Beginnen Sie mit wenigen Dokumenten, die oft gebraucht werden: Preislisten, Arbeitsanweisungen, Zuständigkeiten. Legen Sie vorher fest, wer was sehen darf, und benennen Sie je Bereich jemanden, der die Inhalte aktuell hält. Prüfen Sie die ersten Antworten anhand der Quellen. So merken Sie früh, wo Dokumente fehlen oder sich widersprechen.

Verwandte Begriffe

  • Embedding: die Zahlenliste, über die RAG passende Abschnitte findet.
  • Vektordatenbank: der Speicher, in dem der Abruf stattfindet.
  • LLM (großes Sprachmodell): schreibt aus den gefundenen Abschnitten die Antwort.
  • KI-Halluzination: erfundene Antworten, die RAG seltener macht.
  • MCP: ein Standard, über den KI-Assistenten auf Wissensquellen zugreifen.
  • KI-Token: die Einheit, in der Abschnittsgrößen und Kontextfenster gemessen werden.

Häufige Fragen

Was bedeutet RAG bei KI?

RAG steht für Retrieval Augmented Generation. Eine KI ruft vor der Antwort passende Textstellen aus einer festgelegten Wissensquelle ab und schreibt die Antwort auf dieser Grundlage. So nutzt sie aktuelles und internes Wissen, das nicht im Training des Modells steckt.

Was ist der Unterschied zwischen RAG und Fine-Tuning?

Bei RAG bleibt das Modell unverändert und bekommt zu jeder Frage passende Abschnitte mitgeliefert. Beim Fine-Tuning wird das Modell mit eigenen Beispielen weitertrainiert. RAG eignet sich für Wissen, das sich ändert, Fine-Tuning für gleichbleibendes Verhalten wie Stil und Format. Beides lässt sich kombinieren.

Braucht man RAG noch, wenn Modelle sehr lange Texte lesen können?

Bei kleinen Wissensbeständen nicht unbedingt. Anthropic nennt als Faustregel weniger als 200.000 Tokens, etwa 500 Seiten, die man ganz in die Anfrage geben kann. Bei größeren Beständen, Rechten je Nutzer und dem Wunsch nach Quellen ist RAG günstiger und genauer.

Verhindert RAG Halluzinationen?

Nein, es senkt das Risiko. Findet der Abruf den falschen Abschnitt oder liest das Modell zu viel hinein, kann die Antwort trotzdem falsch sein. Deshalb gehören Quellenangaben mit Seitenzahl und ein ehrliches „nicht hinterlegt“ zu jedem guten System.

Ist RAG mit der DSGVO vereinbar?

Ja, wenn die Verarbeitung sauber geregelt ist: bekannter Speicherort für Texte und Vektoren, ein Auftragsverarbeitungsvertrag mit jedem Dienst, der die Texte liest, Rechte je Dokument und Löschen samt Vektoren. Auch aus Vektoren lässt sich Text teilweise zurückgewinnen, deshalb sind sie wie die Originale zu schützen.

Wie baue ich eine KI-Wissensdatenbank mit RAG für mein Unternehmen auf?

Beginnen Sie mit wenigen gepflegten Dokumenten, die oft gebraucht werden, etwa Preislisten, Arbeitsanweisungen und Zuständigkeiten. Legen Sie vorher fest, wer was sehen darf, und prüfen Sie die ersten Antworten anhand der Quellen. Eine fertige Lösung wie die Firmenwissensdatenbank von GrisaKI nimmt Ihnen die Technik mit Vektordatenbank und Embeddings ab.

Über den Autor

Sandro Griesing

Gründer von GrisaKI und Geschäftsführer der new face Media GmbH in Sangerhausen

Sandro Griesing hat über zehn Jahre Erfahrung in der Betreuung mittelständischer Unternehmen – in Softwareentwicklung, Unternehmensberatung und Unternehmensentwicklung. Mit GrisaKI hat er eine intuitive SaaS-Software entwickelt, mit der Unternehmen ihre Prozesse einfach und schnell automatisieren.

Mehr über GrisaKI

Quellen

  1. Lewis, Perez, Piktus u. a.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS 2020, arXiv:2005.11401, abgerufen am 23.10.2026
  2. OpenAI: Optimizing LLM Accuracy, englisch, abgerufen am 23.10.2026
  3. Anthropic: Introducing Contextual Retrieval (19.09.2024), englisch, abgerufen am 23.10.2026
  4. Liu, Lin, Hewitt u. a.: Lost in the Middle: How Language Models Use Long Contexts, arXiv:2307.03172, abgerufen am 23.10.2026
  5. Magesh, Surani, Dahl, Suzgun, Manning, Ho: Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools, arXiv:2405.20362, abgerufen am 23.10.2026
  6. Morris, Kuleshov, Shmatikov, Rush: Text Embeddings Reveal (Almost) As Much As Text, EMNLP 2023, arXiv:2310.06816, abgerufen am 23.10.2026
  7. OpenAI: Data controls in the OpenAI platform, englisch, abgerufen am 23.10.2026
  8. GrisaKI: Firmenwissensdatenbank, Produktseite, abgerufen am 23.10.2026

Stand der Angaben: 23.10.2026. Verfahren und Modelle entwickeln sich schnell. Maßgeblich sind die jeweils aktuellen Veröffentlichungen der Anbieter.