RAG-System: Antworten aus den eigenen Unterlagen

Ein RAG-System beantwortet Fragen aus den eigenen Unterlagen, statt aus dem, was ein Sprachmodell im Training gelesen hat. Der Unterschied wirkt technisch, entscheidet aber darüber, wer im Betrieb welche Auskunft erhält und ob sie stimmt. Genau daran scheitert Retrieval Augmented Generation in mittelständischen Unternehmen häufiger als an der Technik selbst.
Eine leuchtende Figur greift in eine Wand aus gleichen Schrankfächern, von denen nur ein gelbgrün beleuchteter Streifen geöffnet ist, daneben steht ein Mann im Sakko. Sinnbild für ein RAG-System, das nur freigegebene Quellen abruft.
© KI-generiert (TenMedia)

Was ein RAG-System vom Chatmodell unterscheidet

Deutsche Betriebe mit generativer KI nutzen zu 90 Prozent frei zugängliche Anwendungen, nur 16 Prozent zugekaufte Modelle. Den 90 Prozent fehlt der Zugriff auf die eigene Ablage. Genau den stellt ein RAG-System her, also ein Sprachmodell mit vorgeschalteter Suche in freigegebenen Dokumenten.

Ein RAG-System, ausgeschrieben Retrieval Augmented Generation, verbindet eine Suche in festgelegten Datenquellen mit einem Sprachmodell. Zu jeder Frage sucht es zuerst passende Textstellen in Dokumenten und Fachanwendungen und übergibt sie dem Modell als Kontext. Das Modell formuliert die Antwort aus diesen Fundstellen statt aus seinem Trainingswissen und gibt die Quellen mit aus.

Wo das Sprachmodell an der eigenen Ablage endet

Der Einstieg passiert selten als Projekt. Beschäftigte öffnen ein frei verfügbares Chatmodell und lassen sich eine Formulierung vorschlagen. Für Textarbeit reicht das. Sobald eine Frage Wissen aus dem Betrieb braucht, endet es, denn das Modell kennt weder den Wartungsvertrag von 2019 noch die Freigaberegel. Ein Sprachmodell ohne Anbindung kennt alles außer dem Unternehmen, das es benutzt. Das Statistische Bundesamt zählte 2025 bei mittleren Unternehmen 36 Prozent KI-Nutzung, bei kleinen 23 Prozent. Der Abstand entsteht an der Anbindung und wiederholt sich in jeder KI-Anwendung im Unternehmen.

Wie läuft eine RAG-Pipeline von der Frage zur Antwort?

Die Antwort entsteht in fünf Schritten, und jeder davon ist eine eigene Fehlerquelle. Vor der ersten Frage steht die Aufbereitung des Bestands.

Die ersten drei Schritte laufen vorab und bei jeder Änderung, die letzten beiden bei jeder Frage. Der Aufwand liegt fast vollständig in der Aufbereitung, weshalb der Zuschnitt der Abschnitte mehr über die Antwortqualität bestimmt als das Modell. Dieselbe Verschiebung prägt jede KI-Integration für Unternehmen mit Bestandssystemen.

RAG einfach erklärt

Ohne Fachbegriffe beschrieben, arbeitet ein RAG-System wie eine Sachbearbeitung mit Aktenzugriff. Statt aus dem Gedächtnis zu antworten, sucht es zuerst die passende Akte heraus und formuliert daraus. Die Auswahl erfolgt allerdings rein rechnerisch, und niemand merkt, wenn die falsche Akte gezogen wurde. Welche Folgen das für Berechtigungen hat, klärt der Abschnitt zu den Zugriffsrechten im Abrufschritt.

Wann Retrieval Augmented Generation die richtige Wahl ist

Nicht jede Frage braucht ein RAG-System, und die teuerste Fehlentscheidung fällt am Anfang. Ein Betrieb mit dreißig Dokumenten braucht keine Vektordatenbank, sondern eine geordnete Ablage. Die Grenze verläuft dort, wo niemand mehr sagen kann, welche Fassung die gültige ist. Für vier Arten von Aufgaben trägt ein Abruf aus Dokumenten nichts bei:

❗ Rechenaufgaben, die eine Formel und keine Textstelle brauchen
❗ Auskünfte, bei denen jede Abweichung ausgeschlossen sein muss
❗ Fragen an Daten, die in Tabellen und nicht in Sätzen stehen
❗ Vorgänge, die eine Entscheidung auslösen statt eine Antwort

Der letzte Punkt gehört in die KI-Prozessautomatisierung, die einen Beleg verarbeitet statt eine Frage zu beantworten.

Was eine KI-Wissensdatenbank vom Dokumentenupload trennt

Die naheliegende Idee ist, die Unterlagen einfach in ein Chatfenster hochzuladen. Für zehn Dokumente funktioniert das. Ab einigen hundert scheitert es, denn ein Sprachmodell verarbeitet nur eine begrenzte Menge Text gleichzeitig. Eine KI-Wissensdatenbank umgeht diese Grenze, indem sie je Frage nur die passenden Ausschnitte übergibt. Ein RAG-Chatbot antwortet deshalb auch dann noch, wenn der Bestand auf zehntausend Dateien wächst. Hochgeladene Dateien tragen keine Rechte und keinen Stand, ein indexierter Bestand dagegen schon.

Woran RAG-Systeme im Mittelstand scheitern

Die technischen Bausteine für Retrieval Augmented Generation sind heute Standardware und selten das Problem. Vektordatenbanken, Embedding-Modelle und fertige Bausteine für die RAG-Architektur lassen sich in Tagen aufsetzen. Was danach kommt, entscheidet über den Erfolg und hat mit dem Modell wenig zu tun. Die Fehlerquellen sitzen in der Organisation, nicht in der Technik, und sie zeigen sich erst bei echten Fragen von echten Beschäftigten.

Verhindert ein RAG-System Halluzinationen vollständig?

Nein, und diese Erwartung kostet Projekte ihre Akzeptanz. Ein RAG-System senkt KI-Halluzinationen deutlich, weil das Modell aus vorgelegten Textstellen formuliert statt aus Erinnerung. Es hebt sie nicht auf. Findet der Abruf nichts Passendes, füllt das Modell die Lücke trotzdem. Das Fraunhofer IESE rät von RAG dort ab, wo Fehler vollständig ausgeschlossen sein müssen. KI-Halluzinationen vermeiden heißt deshalb, Quellenangaben zur Pflicht zu machen und dem Modell zu erlauben, nicht zu antworten.

Zugriffsrechte gehören in den Abruf, nicht in die Oberfläche

Ein RAG-System antwortet nur aus dem, was sein Index enthält. Deshalb entscheidet die Frage, wessen Dokumente hineingehen, über das größte Risiko. Wird der gesamte Dateiserver indexiert, steht jede Personalakte zur Auskunft bereit. Die Rechteprüfung muss im Abrufschritt sitzen, also bevor Textstellen an das Modell gehen, und sie braucht die Rollen aus dem führenden System. Eine gepflegte Kopie der Rechte veraltet beim ersten Rollenwechsel, weshalb die Schnittstellenentwicklung vor dem Modell steht.

Wenn die Rechte erst in der Oberfläche greifen

Häufig wird die Prüfung an der falschen Stelle eingebaut. Das System sucht über den gesamten Bestand, formuliert eine Antwort und blendet sie aus, falls die fragende Person nicht berechtigt ist. Der Inhalt war da bereits im Sprachmodell, und in Protokollen bleibt er es. Bei Cloud-KI gegenüber On-Premise-KI verlässt er dabei zusätzlich das Unternehmen. Für einen KI-Chatbot für Unternehmen mit gemischten Nutzergruppen scheitert an dieser Stelle die Abnahme.

Was eine KI-Wissensdatenbank aktuell hält

Der Index ist eine Momentaufnahme und veraltet ab dem Tag der Erstellung. Das fällt lange nicht auf, weil das System weiter plausibel antwortet, nur aus der alten Fassung. Eine KI-Wissensdatenbank braucht deshalb feste Auslöser für die Neuindexierung, und die hängen an den angebundenen Systemen:

Wo ein KI-Dokumentenmanagement die Ablage ohnehin verschlagwortet, liegt der Auslöser bereits vor. Ohne ihn wird jede Aktualisierung zur Handarbeit, und eine KI-Wissensdatenbank ohne Pflege liefert Antworten aus dem Vorjahr.

Vom Versuch in den laufenden Betrieb

Der erste Probelauf liefert selten das Ergebnis, mit dem ein RAG-System später produktiv geht. Er liefert eine Liste der Fragen, die unbeantwortet blieben, und den Grund dafür. Diese Liste ist die eigentliche Grundlage für den Ausbau, weil sie zeigt, ob der Bestand oder der Zuschnitt die Lücke erzeugt hat. Was an der RAG-Pipeline dauerhaft weiterläuft, wird bei der Planung unterschätzt:

Ein RAG-System übersteht einen Modellwechsel nur, wenn Abruf und Modell getrennt bleiben, und dieselbe Trennung macht KI-Agenten tragfähig.

Was vor der Beauftragung feststehen muss

Drei Angaben entscheiden über Aufwand und Angebot, alle drei aus dem Unternehmen. Welche Quellen angebunden werden, wer welche Antworten sehen darf, und woran ein gelungener Durchlauf erkennbar ist. Ohne die dritte wird aus dem Probelauf ein Dauerzustand.

TenMedia entwickelt RAG-Systeme als Individuallösung und bindet sie an vorhandene Fachsysteme an. Der Schwerpunkt liegt auf der Rechteprüfung im Abrufschritt und auf einem Aufbau, der den Modellwechsel offenhält. Den Betrieb übernimmt TenMedia auf Wunsch mit. Für die advise research gmbh ist eine Oberfläche für individuell trainierte KI-Sprachmodelle entstanden, die per Programmierschnittstelle an die Fachdaten angeschlossen ist.

FAQs

Was ist ein RAG-System, und wofür steht die Abkürzung RAG? keyboard_arrow_down keyboard_arrow_up
RAG steht für Retrieval Augmented Generation, auf Deutsch abrufunterstützte Generierung. Ein RAG-System kombiniert eine Suche in freigegebenen Datenquellen mit einem Sprachmodell. Im deutschen Sprachraum bezeichnet dieselbe Abkürzung auch einen Bergbaukonzern, weshalb Suchanfragen ohne Zusatz gemischte Ergebnisse liefern. Gemeint ist hier immer das Abrufverfahren.
Wann lohnt sich RAG und wann Fine-Tuning? keyboard_arrow_down keyboard_arrow_up
RAG gegen Fine-Tuning hängt am Ziel. Fine-Tuning trainiert das Modell mit eigenen Beispielen nach und prägt Tonfall und Format ein. RAG lässt das Modell unangetastet und tauscht den Wissensbestand aus, weshalb neue Vorschriften ab der nächsten Frage wirken. Für Faktenwissen ist RAG einfacher.
Welche Vorarbeiten muss ein Unternehmen leisten, bevor es ein RAG-System aufbauen lässt? keyboard_arrow_down keyboard_arrow_up
Drei Angaben sollten feststehen. Erstens die Quellen, die angebunden werden, also Dokumentenablage, Fachanwendung oder Datenbank samt technischem Zugang und dem Hinweis, welche Bereiche ausgeschlossen bleiben. Zweitens die Rollen, die festlegen, wer welche Antworten sehen darf, denn diese Rechte werden aus dem führenden System übernommen und nicht neu gepflegt. Drittens ein Abnahmekriterium, etwa eine Trefferquote auf einem festen Fragensatz, weil sich ohne diese Größe kein Probelauf bewerten lässt. TenMedia nimmt diese Punkte in einem Vorgespräch auf und übernimmt anschließend Entwicklung, Anbindung und auf Wunsch den Betrieb des RAG-Systems.