Kurz zusammengefasst: Die Kosten eines RAG-Wissensassistenten entstehen nicht nur durch das Sprachmodell. Für einen verlässlichen Unternehmensbetrieb müssen Datenaufbereitung, Suchinfrastruktur, Berechtigungen, Tests, Monitoring und laufende Inhaltsverantwortung mitgerechnet werden. Ein belastbares Budget trennt einmalige Einführungskosten von nutzungsabhängigen Plattformkosten und dauerhaftem Qualitätsbetrieb.
Retrieval-Augmented Generation, kurz RAG, verbindet ein Sprachmodell mit freigegebenem Unternehmenswissen. Das kann die Suche in Handbüchern, Richtlinien, Produktunterlagen oder Servicewissen deutlich vereinfachen. Wirtschaftlich wird ein solcher Assistent aber erst, wenn er passende Quellen findet, Zugriffsrechte respektiert und bei unsicheren Antworten kontrolliert reagiert. Deshalb reicht es nicht, lediglich Tokenpreise und Speicherplatz zu vergleichen.
Welche Kostenblöcke gehören in die Kalkulation?
Ein vollständiges Kostenmodell besteht aus drei Ebenen: Einführung, technische Nutzung und laufender Betrieb. Die Einführung beginnt mit der Eingrenzung des Anwendungsfalls. Welche Fragen soll das System beantworten? Welche Quellen sind verbindlich? Welche Nutzergruppen benötigen Zugriff? Je unklarer der Auftrag, desto teurer werden spätere Umbauten.
Danach folgen meist diese einmaligen Arbeiten:
- Quelleninventur, Bereinigung und Festlegung verantwortlicher Fachbereiche,
- Anbindung von Dateiablagen, Wiki, DMS oder Fachanwendungen,
- Aufteilung der Dokumente in geeignete Textabschnitte und Erzeugung von Embeddings,
- Einrichtung von Suche, Metadatenfiltern, Rollen und Zugriffsrechten,
- Entwicklung der Antwortlogik einschließlich Quellenanzeige und Eskalation,
- Aufbau eines repräsentativen Testsets sowie Sicherheits- und Abnahmetests.
Im Betrieb fallen feste und variable Kosten an. Feste Kosten können Suchdienst, Datenbank, Monitoring, Entwicklungs- und Testumgebung oder reservierte Kapazität umfassen. Variable Kosten hängen von Anfragen, Kontextlänge, Modellwahl, neu indizierten Dokumenten und Lastspitzen ab. Die Dokumentation von Azure AI Search zeigt beispielhaft, dass Suchdienste sowohl mit bereitgestellter Kapazität als auch verbrauchsabhängig angeboten werden können. Das passende Modell richtet sich daher nach Auslastung und Verfügbarkeitsziel, nicht nur nach dem günstigsten Einstiegspreis.
Der oft unterschätzte Block ist die fachliche Betreuung: Inhalte ändern sich, Berechtigungen werden angepasst, neue Produkte kommen hinzu und veraltete Dokumente müssen entfernt werden. Ohne klaren Content Owner wird der Assistent mit der Zeit schlechter, obwohl die technische Plattform unverändert läuft.
Qualitätskontrolle ist ein eigener Betriebsprozess
Die Antwortqualität sollte in zwei Stufen gemessen werden. Zuerst wird geprüft, ob die Suche die richtigen Textstellen findet. Danach wird bewertet, ob die Antwort durch diese Fundstellen belegt, vollständig und für die Aufgabe brauchbar ist. Microsoft nennt für RAG unter anderem Kennzahlen für die Abrufqualität sowie Bewertungen von Relevanz, Vollständigkeit und Groundedness. Diese Trennung ist wichtig: Eine sprachlich überzeugende Antwort kann auf ungeeigneten Quellen beruhen, während ein guter Treffer durch eine schlechte Antwortvorlage unbrauchbar werden kann.
Für den Start genügt kein beliebiger Katalog aus Demo-Fragen. Benötigt wird ein Testset aus echten Arbeitsfällen: häufige Fragen, seltene Sonderfälle, mehrdeutige Formulierungen, veraltete Dokumente, fehlende Informationen und bewusst unzulässige Zugriffe. Zu jeder Frage werden erwartete Quellen, Mindestbestandteile der Antwort und ein zulässiges Verhalten bei Nichtwissen festgelegt. Dieses Set wird bei Änderungen an Modell, Suchindex, Prompt oder Datenpipeline erneut ausgeführt.
Im Live-Betrieb kommen weitere Signale hinzu:
- Anteil beantworteter und bewusst abgelehnter Fragen,
- Quellennutzung und Klicks auf Belege,
- Nutzerfeedback und fachlich bestätigte Fehlermeldungen,
- Antwortzeit, Ausfälle und Kosten pro erfolgreicher Aufgabe,
- Berechtigungsfehler, ungewöhnliche Abfragen und Sicherheitsereignisse,
- Alter, Abdeckung und Aktualisierungsfehler des Wissensbestands.
OWASP führt bei generativen Anwendungen neben Prompt Injection und unsicherer Ausgabe auch Schwächen bei Vektoren und Embeddings als eigenes Risikofeld auf. Daraus folgt für die Praxis: Zugriffskontrolle, Trennung von Datenbeständen, sichere Verarbeitung der Modellausgabe und Tests gegen manipulierte Inhalte gehören in das Betriebsbudget. Der BSI-Kriterienkatalog AIC4 betrachtet unter anderem Sicherheit, Robustheit, Datenqualität, Erklärbarkeit und Zuverlässigkeit über Entwicklung, Validierung und Betrieb hinweg. Diese Perspektive hilft, Qualitätskosten nicht als freiwillige Zusatzposition zu behandeln.
So entsteht ein belastbares Budget statt einer Pauschalzahl
Eine seriöse Kalkulation beginnt mit einem Mengengerüst. Erfasst werden Nutzergruppen, Anfragen je Arbeitstag, typische Dokumentlänge, Änderungsrate der Quellen, erforderliche Antwortzeit und Aufbewahrungsbedarf für Protokolle. Anschließend werden drei Szenarien gerechnet: Pilot, erwarteter Regelbetrieb und Lastspitze. Die monatliche Gesamtsicht lautet vereinfacht:
Plattform und Speicher + Modell- und Suchnutzung + Datenpflege + Qualitätsprüfung + Support und Sicherheitsbetrieb.
Entscheidend ist die Bezugsgröße. „Kosten pro Anfrage“ kann irreführen, wenn viele Antworten unbrauchbar sind. Aussagekräftiger sind Kosten pro fachlich akzeptierter Antwort, pro vermiedenem Suchvorgang oder pro vollständig erledigtem Servicefall. Dafür braucht es bereits vor dem Pilot eine Ausgangsmessung: Wie lange dauert die heutige Suche? Wie oft werden falsche oder veraltete Unterlagen verwendet? Wie viele Rückfragen entstehen?
Praxisbeispiel: Ein technischer Service möchte Handbücher, Wartungsanweisungen und freigegebene Störungsfälle durchsuchbar machen. In der ersten Stufe werden nur zwei Produktlinien und ein kleiner Kreis erfahrener Techniker aufgenommen. Kritische Empfehlungen müssen eine Quelle anzeigen; fehlt ein belastbarer Beleg, verweist der Assistent an den zuständigen Spezialisten. Erst nachdem Trefferqualität, Bearbeitungszeit und Fehlermuster stabil sind, werden weitere Produkte angeschlossen. So bleiben Einführungsrisiko und Indexkosten begrenzt, während gleichzeitig ein belastbarer Qualitätsvergleich entsteht.
Bei der Anbieterauswahl sollten Unternehmen daher nicht nur Modellpreise abfragen. Wichtig sind Datenexport, Protokollzugang, Mandantentrennung, Berechtigungssynchronisation, Testautomatisierung, Ausweichmodelle und die Möglichkeit, einzelne Komponenten auszutauschen. Ein vermeintlich günstiger Prototyp kann teuer werden, wenn Tests fehlen oder Daten nur mit hohem Aufwand migriert werden können.
FAQ: Häufige Fragen zu RAG-Wissensassistenten und Kosten
Was kostet ein RAG-Wissensassistent pro Monat?
Das hängt von Nutzung, Datenmenge, Architektur, Modellwahl und Betreuungsbedarf ab. Eine belastbare Zahl entsteht erst aus einem Mengengerüst und einem definierten Qualitätsniveau. Neben Cloud- und Modellkosten müssen Datenpflege, Monitoring, Tests, Support und Sicherheitsbetrieb berücksichtigt werden.
Ist ein kleines Sprachmodell automatisch günstiger?
Nicht zwingend. Ein günstigeres Modell kann die variablen Kosten senken. Wenn dadurch mehr Nacharbeit, längere Prompts oder zusätzliche Wiederholungen entstehen, steigen die Kosten pro erfolgreicher Aufgabe. Modellwahl und Retrieval sollten gemeinsam anhand derselben Testfälle bewertet werden.
Wie oft muss die Wissensbasis aktualisiert werden?
Das richtet sich nach den Quellen. Produktdaten oder Arbeitsanweisungen können tägliche Aktualisierung erfordern, stabile Richtlinien deutlich seltener. Wichtig sind definierte Aktualisierungsziele, Fehlermeldungen für ausgefallene Importe und Verantwortliche für veraltete Inhalte.
Welche Kennzahl ist für die Wirtschaftlichkeit am wichtigsten?
Für viele Unternehmen ist es die Kosten- und Zeitwirkung pro erfolgreich erledigtem Arbeitsfall. Technische Kennzahlen wie Tokenverbrauch, Trefferquote und Antwortzeit bleiben nötig, sollten aber mit fachlicher Akzeptanz, vermiedener Suche und reduziertem Nacharbeitsaufwand verbunden werden.
Kann ein RAG-System Halluzinationen vollständig verhindern?
Nein. Gute Suche, Quellenpflicht, klare Ablehnungsregeln und laufende Evaluation können das Risiko reduzieren, aber nicht vollständig beseitigen. Besonders folgenreiche Antworten benötigen deshalb zusätzliche Kontrollen oder eine menschliche Freigabe.
Quellen und nächster Schritt
- Microsoft: Design and develop a RAG solution
- Microsoft: RAG evaluators
- Microsoft: Azure AI Search und Betriebsmodelle
- OWASP Top 10 for LLM and GenAI Applications
- BSI: Kriterienkatalog für KI-Cloud-Dienste AIC4
GO-ITC unterstützt Unternehmen dabei, RAG-Anwendungsfälle technisch und wirtschaftlich zu bewerten, eine passende Zielarchitektur zu entwickeln und Qualitätskontrollen für den Regelbetrieb aufzubauen. Weitere Informationen und eine erste Abstimmung finden Sie unter go-itc.de.