RAG in einem Satz
Retrieval-Augmented Generation, kurz RAG, verbindet ein Sprachmodell mit ausgewählten Wissensquellen. Vor einer Antwort sucht das System passende Textstellen und gibt sie dem Modell als zusätzlichen Kontext. So kann eine KI auf aktuelles Unternehmenswissen zugreifen, ohne dass jedes Dokument in das Modelltraining einfließen muss. Diese Abgrenzung entspricht der technischen RAG-Dokumentation von Microsoft.
RAG ist damit keine eigene Modellart, sondern ein technisches Muster. Es eignet sich besonders für Richtlinien, Handbücher, Produktinformationen, Projektunterlagen oder interne Wissensbestände, die regelmäßig aktualisiert werden.
So funktioniert eine RAG-Anfrage
- Dokumente werden eingelesen, aufbereitet und in sinnvolle Abschnitte geteilt.
- Diese Abschnitte erhalten mathematische Repräsentationen, sogenannte Embeddings, und werden durchsuchbar gespeichert.
- Eine Nutzerfrage wird ebenfalls für die Suche aufbereitet.
- Das System findet semantisch passende Abschnitte und berücksichtigt gegebenenfalls Filter wie Abteilung, Dokumenttyp oder Berechtigung.
- Das Sprachmodell erhält Frage und Fundstellen und formuliert daraus eine Antwort.
- Idealerweise zeigt die Oberfläche Quellen, Datum und einen Weg zur Originaldatei.
Die Qualität hängt nicht nur vom Sprachmodell ab. Dokumentaufbereitung, Suchverfahren, Metadaten, Zugriffsrechte und die Anweisung an das Modell sind mindestens ebenso wichtig.
Was RAG besser kann als ein allgemeiner Chat
Ein öffentliches Sprachmodell kennt interne Prozessbeschreibungen, aktuelle Preislisten oder projektspezifische Entscheidungen nicht. RAG stellt ausgewählte Informationen zum Zeitpunkt der Anfrage bereit. Dadurch lassen sich Antworten aktualisieren, ohne ein Modell neu zu trainieren. Quellen können sichtbar gemacht und Zugriffe nach Rollen gefiltert werden.
Das ist besonders wertvoll, wenn Mitarbeitende heute in mehreren Ablagen suchen oder wiederkehrende Fragen immer bei denselben Personen landen. Eine gute RAG-Lösung verkürzt den Weg zur Information; sie ersetzt aber nicht die fachliche Verantwortung.
Was RAG nicht löst
RAG korrigiert keine falschen Dokumente und erkennt nicht automatisch, welche Datei verbindlich ist. Widersprechen sich zwei Quellen, kann auch die Antwort widersprüchlich werden. Das Verfahren ersetzt weder Dokumentenmanagement noch Berechtigungskonzepte und garantiert keine fachlich richtige Antwort.
Drei typische Fehler in RAG-Projekten
- Der Quellenbestand ist falsch oder veraltet. Ein gutes Suchverfahren kann keine fachlich ungültige Version reparieren.
- Zugriffsregeln werden nicht bei der Suche durchgesetzt. Dann kann das Modell Fundstellen sehen, die für die fragende Person nicht freigegeben sind.
- Es gibt keinen festen Evaluationssatz. Ohne repräsentative Fragen, erwartete Quellen und Tests für „keine Antwort“ bleiben Verbesserungen und Regressionen unsichtbar.
Weitere typische Fehler sind zu große oder zu kleine Textabschnitte, fehlende Metadaten und eine rein semantische Suche ohne fachliche Filter.
Beispiel aus dem Unternehmensalltag
Ein Serviceteam benötigt Informationen zu Geräten, Wartungsabläufen und Garantiebedingungen. Statt alle Dokumente ungefiltert einzulesen, beginnt das Projekt mit freigegebenen Handbüchern und aktuellen Serviceanweisungen. Jede Antwort zeigt Gerätetyp, Quelldokument und Versionsdatum. Findet das System keine belastbare Passage, soll es nicht improvisieren, sondern an die zuständige Person verweisen.
Wann RAG nicht reicht
RAG liefert Kontext für eine Antwort, führt aber noch keinen Geschäftsprozess aus. Soll ein System danach einen Auftrag anlegen, Daten ändern oder eine Nachricht versenden, braucht es zusätzlich Workflow-Logik, Schnittstellen, Berechtigungen und Freigaben. RAG hilft auch nicht, wenn niemand Quellen verantwortet, Ablagen unkontrolliert sind oder die Aufgabe eine grundlegende Verhaltensänderung des Modells statt aktueller Informationen erfordert.
Für einen österreichischen Produktionsbetrieb kann RAG Wartungsanweisungen mit Quellen bereitstellen. Die Freigabe eines sicherheitsrelevanten Arbeitsschritts bleibt jedoch beim zuständigen Fachpersonal und im bestehenden Prozess.
Ein sinnvoller Projektstart
Wählen Sie einen überschaubaren Wissensbereich und sammeln Sie 30 bis 50 echte Fragen der späteren Nutzer. Klären Sie anschließend:
- Welche Quellen sind verbindlich und aktuell?
- Wer darf welche Inhalte sehen?
- Wie werden neue Versionen eingespielt?
- Muss die Antwort eine Quelle wörtlich belegen?
- Welche Fehler sind tolerierbar und wann wird übergeben?
- Wie wird Qualität regelmäßig gemessen?
Erst danach lohnt sich die Entscheidung über Vektordatenbank, Modell, Hosting und Oberfläche.
Von einem RAG-Projekt würden wir abraten, wenn keine verbindlichen Quellen und keine fachliche Abnahme verfügbar sind. Eine kleinere Dokumentbereinigung ist dann der bessere erste Schritt.
Häufige Fragen
Müssen Dokumente für RAG in die Cloud?
Nein. Suche, Modell und Speicher können je nach Schutzbedarf lokal, in einer EU-Umgebung, in der Cloud oder hybrid betrieben werden.
Ist RAG dasselbe wie Fine-Tuning?
Nein. Fine-Tuning verändert das Verhalten eines Modells. RAG stellt zur Laufzeit ausgewählte Informationen bereit.
Kann RAG Berechtigungen aus Microsoft 365 übernehmen?
Das ist technisch möglich, muss aber bewusst implementiert und getestet werden. Ein pauschaler Import ohne Zugriffskontrolle ist riskant.
Weiterführend: KI-Wissensmanagement und lokale KI.
Quellen und weiterführende Informationen
Sie möchten prüfen, ob RAG Ihre Wissensfrage löst und welche Quellen dafür nötig sind?
RAG-Einsatz prüfen