Kurz zusammengefasst: KI-Agenten werden nicht durch einen erfolgreichen Pilot produktionsreif. Im Regelbetrieb brauchen sie messbare Serviceziele, vollständige Ablaufprotokolle, abgestufte Freigaben, wiederholbare Qualitätstests und einen klaren Prozess für Fehler und Änderungen. Entscheidend ist nicht, ob ein Agent meist richtig antwortet, sondern ob das Unternehmen seinen Handlungsspielraum kontrollieren und Abweichungen rechtzeitig erkennen kann.
Ein KI-Agent kann Informationen beschaffen, Entscheidungen vorbereiten und Werkzeuge wie E-Mail, CRM, ERP oder Ticketsystem aufrufen. Damit verändert sich die Betriebsaufgabe: Überwacht werden nicht mehr nur einzelne Modellantworten, sondern mehrstufige Abläufe mit Datenzugriffen und möglichen Nebenwirkungen. Wer dafür lediglich ein klassisches Verfügbarkeitsmonitoring einrichtet, sieht zwar einen Serverausfall, aber nicht unbedingt eine fachlich falsche oder unnötig teure Aktionskette.
Produktiver Betrieb beginnt mit Grenzen und Servicezielen
Vor dem Go-live muss für jeden Agenten feststehen, welche Aufgaben er erledigen darf, welche Systeme er verwenden kann und wo eine menschliche Entscheidung erforderlich ist. Dabei sollte zwischen rein lesenden Tätigkeiten, vorbereitenden Änderungen und tatsächlich ausführenden Aktionen unterschieden werden. Eine Recherche in freigegebenen Wissensquellen hat ein anderes Schadenspotenzial als eine Bestellung, eine Kontenänderung oder eine Nachricht an Kunden.
Aus dieser Einteilung entstehen Kontrollklassen. Ein Agent mit Leserechten kann bei einem Fehler möglicherweise mit begrenztem Risiko erneut starten. Ein Agent mit Schreibrechten benötigt enger gefasste Berechtigungen, eine Vorschau der geplanten Änderung und je nach Wirkung eine Freigabe. Für besonders folgenreiche Vorgänge sollten technische Sperren gelten: Betragsgrenzen, erlaubte Empfänger, festgelegte Zeitfenster oder ein Verbot bestimmter Aktionen.
Zu jedem produktiven Agenten gehören außerdem überprüfbare Serviceziele. Sinnvoll sind nicht nur Verfügbarkeit und Antwortzeit, sondern auch:
- Anteil erfolgreich abgeschlossener Aufgaben,
- Anteil korrekt eskalierter oder abgebrochener Vorgänge,
- Fehlerrate je Werkzeug, Prozessschritt und Fallklasse,
- Kosten und Laufzeit pro erfolgreicher Aufgabe,
- Anzahl manueller Korrekturen nach einer Agentenaktion,
- Sicherheits- und Berechtigungsverstöße.
Anthropic empfiehlt bei agentischen Anwendungen, zunächst die einfachste geeignete Lösung zu wählen und zusätzliche Komplexität nur bei Bedarf einzuführen. Für den Betrieb ist das wirtschaftlich relevant: Jeder weitere Entscheidungsschritt, jedes Werkzeug und jeder Unteragent vergrößert die Zahl möglicher Fehlerpfade und den Aufwand für Tests und Beobachtung.
Monitoring muss den gesamten Ablauf sichtbar machen
Ein Agentenlauf sollte als zusammenhängende Spur nachvollziehbar sein. Dazu gehören Startauslöser, verwendete Modell- und Promptversion, Werkzeugaufrufe, Laufzeiten, Fehlermeldungen, Freigaben, Kosten und Endstatus. Sensible Inhalte werden dabei nicht unkontrolliert in Protokolle geschrieben; Protokollierung braucht Datenminimierung, Zugriffsschutz und festgelegte Aufbewahrungsfristen.
Die zentrale Frage lautet: Kann ein Verantwortlicher nachträglich erklären, warum der Agent eine Aktion vorgeschlagen oder ausgeführt hat? Das bedeutet nicht, dass jede interne Modellberechnung erklärbar wird. Wohl aber müssen die verwendeten Eingaben, Regeln, Werkzeuge, Ergebnisse und Freigabeschritte prüfbar sein. Das NIST AI Risk Management Framework ordnet solche Aufgaben den Funktionen Govern, Map, Measure und Manage zu. Der zugehörige Playbook-Ansatz verbindet Governance mit fortlaufender Messung und Risikobehandlung, statt Kontrolle als einmalige Abnahme zu verstehen.
Ein gutes Betriebsdashboard kombiniert technische und fachliche Signale. Steigt etwa die Zahl der Werkzeugaufrufe pro Vorgang, obwohl die Erfolgsquote gleich bleibt, kann eine Schleife, ein schlechter Plan oder eine geänderte Schnittstelle vorliegen. Sinkt die Laufzeit, während mehr Fälle manuell korrigiert werden, ist das ebenfalls kein Erfolg. Deshalb sollten Teams Warnschwellen gemeinsam mit den Prozessverantwortlichen definieren.
OWASP behandelt „Excessive Agency“ und unsichere Ausgabeverarbeitung als zentrale Risiken generativer Anwendungen und widmet autonomen, mehrstufigen Systemen eine eigene Agentic Security Initiative. Für Betreiber folgt daraus: Minimalrechte, Eingabe- und Ausgabeprüfung, erlaubte Werkzeugparameter und kontrollierte Abbruchmöglichkeiten gehören direkt in die Laufzeitarchitektur.
Freigaben, Qualitätstests und Änderungen als Betriebsroutine
Menschliche Freigabe ist wirksam, wenn sie gezielt und prüfbar gestaltet wird. Eine Person sollte nicht dutzende kaum verständliche Agentenschritte pauschal bestätigen müssen. Besser ist eine kompakte Entscheidungsvorlage: beabsichtigte Aktion, betroffene Daten oder Systeme, erwartete Wirkung, relevante Belege und erkennbare Abweichungen. Der Genehmigende muss die Aktion ablehnen oder anpassen können. Wiederkehrende, risikoarme Fälle können nach stabiler Auswertung enger Regeln automatisiert werden; neue oder auffällige Fälle bleiben in der Freigabe.
Qualitätssicherung besteht aus drei Ebenen. Erstens prüfen Offline-Evaluationen einen festen Katalog repräsentativer Aufgaben. Zweitens laufen Regressionstests bei jeder Änderung an Modell, Prompt, Werkzeug, Datenquelle oder Orchestrierung. Drittens werden ausgewählte reale Abläufe fachlich bewertet. OpenAI beschreibt für Agenten sowohl reproduzierbare Evaluationen als auch die Bewertung kompletter Ablaufspuren. Solche herstellerspezifischen Werkzeuge können nützlich sein; die Testfälle, Akzeptanzkriterien und Ergebnisdaten sollten jedoch möglichst portabel bleiben.
Praxisbeispiel: Ein Agent unterstützt den Einkauf bei wiederkehrenden Materialanfragen. Er darf Bedarfe auslesen, freigegebene Lieferanten vergleichen und einen Bestellentwurf anlegen. Das Absenden bleibt zunächst einer zuständigen Person vorbehalten. Das Monitoring erfasst fehlende Pflichtdaten, Preisabweichungen, nicht erlaubte Lieferanten, Werkzeugfehler und manuelle Änderungen am Entwurf. Nach jeder Anpassung der ERP-Schnittstelle werden dieselben Standard- und Grenzfälle erneut getestet. Erst für klar definierte Kleinstvorgänge kann später eine automatische Freigabe diskutiert werden.
Für Störungen braucht es einen Runbook-Prozess: Agent stoppen oder auf Lesemodus setzen, laufende Aktionen sichern, Auswirkungen prüfen, Betroffene informieren, Ursache analysieren und Änderungen kontrolliert ausrollen. Modellupdates sollten wie Softwareänderungen behandelt werden. Ein Wechsel auf eine neue Version erfolgt erst nach Regressionstest, begrenztem Pilotverkehr und dokumentierter Rückfallmöglichkeit.
Auch regulatorisch zählt der konkrete Verwendungszweck. Der EU AI Act verfolgt einen risikobasierten Ansatz und unterscheidet Pflichten nach Einsatz und Risikoklasse. Unternehmen sollten daher Nutzung, Verantwortliche, Datenflüsse und Kontrollmaßnahmen inventarisieren und früh prüfen, welche Anforderungen gelten. Das ersetzt keine rechtliche Einzelfallprüfung.
FAQ: Häufige Fragen zum Betrieb von KI-Agenten
Welche Kennzahl zeigt, ob ein Agent gut funktioniert?
Keine einzelne Kennzahl genügt. Wichtig ist die Kombination aus erfolgreichem Abschluss, fachlicher Qualität, korrekter Eskalation, Nacharbeit, Laufzeit, Kosten und Sicherheitsereignissen. Die Gewichtung richtet sich nach dem jeweiligen Prozess.
Wann ist eine menschliche Freigabe notwendig?
Sie ist besonders sinnvoll bei finanziellen, rechtlichen, personellen oder extern sichtbaren Folgen sowie bei neuen und ungewöhnlichen Fällen. Risikoarme Aktionen können enger automatisiert werden, wenn technische Grenzen, stabile Qualitätsdaten und eine Rückfallmöglichkeit vorhanden sind.
Müssen alle Agentenläufe gespeichert werden?
Es sollte genügend protokolliert werden, um Betrieb, Fehler und Freigaben nachvollziehen zu können. Umfang und Dauer hängen von Zweck, Risiko, Datenschutz und gesetzlichen Pflichten ab. Sensible Inhalte gehören nicht ungefiltert in Logs; ein abgestimmtes Protokollierungs- und Löschkonzept ist erforderlich.
Wie oft sollten Agenten neu getestet werden?
Mindestens bei Änderungen an Modell, Prompt, Werkzeugen, Schnittstellen, Berechtigungen oder Datenquellen. Zusätzlich sind regelmäßige Stichproben realer Fälle und geplante Regressionstests sinnvoll, weil sich Nutzung und Umgebungen auch ohne Codeänderung verändern.
Was ist der Unterschied zwischen Monitoring und Evaluation?
Monitoring beobachtet den laufenden Betrieb und erkennt Abweichungen. Evaluation bewertet anhand definierter Fälle, ob fachliche und technische Qualitätskriterien erfüllt werden. Beides gehört zusammen: Monitoring liefert neue Fehlerfälle, die anschließend in das Testset aufgenommen werden.
Quellen und nächster Schritt
- NIST AI RMF Playbook
- NIST: Generative AI Profile
- OWASP Top 10 for LLM and GenAI Applications
- OWASP Agentic Security Initiative
- OpenAI: Evaluate agent workflows
- Anthropic: Building effective agents
- Europäische Kommission: AI Act
GO-ITC unterstützt Unternehmen dabei, KI-Agenten mit passenden Freigabestufen, Monitoring, Evaluation und Betriebsprozessen in bestehende IT-Landschaften zu integrieren. Für eine sachliche Bewertung Ihres Anwendungsfalls und die Planung des Regelbetriebs finden Sie weitere Informationen unter go-itc.de.