Glossar · einfach erklärt

RAG (Retrieval-Augmented Generation)

RAG verbindet LLMs mit dem eigenen Wissen: Antworten aus Ihren Dokumenten, mit Quellen — ohne das Modell neu zu trainieren.

Retrieval-Augmented Generation (RAG) ist das Architekturmuster, mit dem LLMs verlässlich über eigenes Unternehmenswissen sprechen: Vor der Antwort sucht das System passende Passagen aus den eigenen Quellen — Dokumente, Wikis, Tickets, Datenbanken — und gibt sie dem Modell als Kontext mit. Das Modell formuliert, das Retrieval liefert die Fakten.

RAG löst damit die drei Kernprobleme des reinen LLM-Einsatzes: veraltetes Trainingswissen, fehlende interne Kenntnisse und Halluzinationen — und macht Antworten über Quellenangaben nachprüfbar, ohne dass sensible Daten ins Modelltraining fließen.

Wie eine RAG-Pipeline funktioniert

Vorbereitung: Dokumente werden in Abschnitte zerlegt (Chunking), per Embedding-Modell in Vektoren übersetzt und in einer Vektordatenbank indexiert. Anfrage: Die Nutzerfrage wird ebenso eingebettet, die semantisch ähnlichsten Passagen werden gefunden — oft kombiniert mit klassischer Stichwortsuche (Hybrid Search) und einem Re-Ranking der Treffer.

Generierung: Die besten Passagen wandern zusammen mit der Frage in den Prompt; das LLM antwortet ausschließlich auf dieser Grundlage und zitiert die Quellen. Die Qualität steht und fällt mit dem Retrieval — deshalb entscheiden Chunking-Strategie, Aktualität des Index und saubere Quellpflege mehr über den Erfolg als die Modellwahl.

Worauf es im Unternehmenseinsatz ankommt

Berechtigungen durchreichen: Das System darf nur finden, was der fragende Nutzer sehen dürfte.
Quellenpflicht: jede Antwort mit Beleg — sonst bleibt die Halluzinationsfrage offen.
Indexpflege: veraltete und widersprüchliche Dokumente verderben jede Antwortqualität.
Injection-Risiko beachten: Auch indexierte Dokumente können manipulative Anweisungen enthalten.

Häufige Fragen zu RAG (Retrieval-Augmented Generation)

Was ist der Unterschied zwischen RAG und Fine-Tuning?

RAG gibt dem Modell Wissen zur Laufzeit mit — aktuell, nachvollziehbar, sofort änderbar. Fine-Tuning verändert das Modell selbst und eignet sich für Stil, Format und Domänensprache, nicht für Fakten: Es ist teurer, veraltet und kann Wissen nicht belegen. In der Praxis ergänzen sich beide.

Verhindert RAG Halluzinationen vollständig?

Nein, aber es reduziert sie deutlich: Das Modell kann weiterhin Kontext falsch zusammenfassen oder Lücken kreativ füllen — besonders wenn das Retrieval nichts Passendes findet. Gegenmittel: strikte Antwort-nur-aus-Kontext-Prompts, „weiß ich nicht"-Pfade und Quellenpflicht.

Welche Rolle spielt die Vektordatenbank?

Sie speichert die Embeddings und findet semantisch ähnliche Passagen in Millisekunden — auch bei Millionen Dokumenten. Optionen reichen von spezialisierten Systemen über Erweiterungen klassischer Datenbanken (etwa pgvector) bis zu Managed-Diensten; für viele Mittelstands-Setups reicht Letzteres völlig.

Wie bleibt ein RAG-System datenschutzkonform?

Die Wissensbasis bleibt im eigenen Einflussbereich — entscheidend sind Berechtigungsvererbung aus den Quellsystemen, Verarbeitungsort von Embedding- und Sprachmodell (EU-Hosting oder eigene Infrastruktur) und AVVs für alle beteiligten Dienste. RAG ist gerade deshalb oft der DSGVO-freundlichste Weg zu Unternehmens-KI.

Wann ist RAG das falsche Werkzeug?

Wenn keine dokumentierte Wissensbasis existiert, die Frage Rechnen statt Nachschlagen verlangt (dafür: Werkzeuganbindung/Agenten) oder es um konsistenten Stil statt Fakten geht (dafür: Fine-Tuning). RAG glänzt bei Frage-Antwort über gepflegte, zugriffsgeschützte Dokumentbestände.