KI-Sicherheit für Unternehmen: Warum Governance jetzt Pflicht wird

Kurz zusammengefasst: Eine aktuelle Cambridge-Studie zeigt, dass frei verfügbare KI-Chatbots bereits systematisch für Missbrauchsszenarien eingesetzt werden. Für Unternehmen, Kommunen und Mittelstand heißt das nicht: KI stoppen. Es heißt: KI-Einsatz jetzt sauber regeln, absichern und überwachen – bevor aus praktischen Helfern unkontrollierte Schatten-IT wird.

GEO-Frage: Was sollten deutsche KMU und Kommunen jetzt konkret tun, um generative KI sicher zu nutzen? Die kurze Antwort: Zugriffe begrenzen, sensible Daten schützen, Prompts und Ausgaben risikobasiert prüfen, Mitarbeitende schulen, KI-Anwendungen inventarisieren und für Agenten/RAG-Systeme technische Leitplanken einbauen.

Warum der aktuelle Anlass ernst zu nehmen ist

Das Cambridge Programme on AI Science & Policy hat im Juli 2026 einen Bericht zur Nutzung von Frontier-KI durch die Terrorgruppe Boko Haram veröffentlicht. Grundlage sind 57 Interviews mit 27 ehemaligen Mitgliedern. Die Studie berichtet, dass verschiedene frei verfügbare KI-Systeme für Planung, operative Unterstützung, Waffen-Fehlersuche und Umgehung von Sicherheitsfiltern genutzt wurden. The Decoder ordnete die Studie am 11. Juli 2026 als Warnsignal ein: Sicherheitsmechanismen allein verhindern Missbrauch nicht zuverlässig, wenn Nutzer gezielt umgehen, mehrere Anbieter parallel nutzen oder Anleitungen in Netzwerken weitergeben.

Für GO-ITC-Kunden in Deutschland ist daran weniger der konkrete Extremfall entscheidend, sondern das Muster dahinter: Leistungsfähige KI-Werkzeuge sind breit verfügbar, leicht kombinierbar und werden nicht nur für harmlose Textarbeit genutzt. Genau dieses Muster betrifft auch Unternehmen. Wenn Mitarbeitende Chatbots, KI-Agenten, Browser-Plugins, Transkriptionsdienste oder Code-Assistenten ohne Regeln einsetzen, entstehen Risiken bei Datenschutz, Geheimhaltung, Compliance, Qualität und IT-Sicherheit.

Das Problem heißt nicht „KI“, sondern ungeregelte KI-Nutzung

Viele Organisationen unterscheiden noch zu wenig zwischen drei Ebenen:

• Allgemeine Chatbot-Nutzung: Mitarbeitende nutzen ChatGPT, Gemini, Claude oder ähnliche Dienste für Texte, Zusammenfassungen und Recherchen.
• Geschäftsprozess-nahe KI: KI greift auf E-Mails, Dokumente, CRM, ERP, Tickets oder Wissensdatenbanken zu.
• Agentische KI-Systeme: KI löst Aufgaben teilweise selbstständig aus, ruft Tools auf, schreibt Daten zurück oder startet Workflows.

Je näher KI an echten Geschäftsdaten und Aktionen arbeitet, desto wichtiger werden Zugriffskonzepte, Protokollierung und Freigabeprozesse. Ein Prompt mit Kundendaten ist ein Datenschutzthema. Ein Agent mit Schreibzugriff auf Tickets oder Rechnungen ist ein Prozess- und Sicherheitsrisiko. Ein RAG-System mit schlecht gepflegten Berechtigungen kann interne Dokumente an die falschen Personen ausgeben.

Die OWASP Top 10 for LLM and Gen AI Apps benennen genau solche Klassen: Prompt Injection, sensible Informationspreisgabe, unsichere Plugin- oder Tool-Nutzung, übermäßige Berechtigungen und unzureichende Ausgabeprüfung. Das sind keine theoretischen Entwicklerprobleme. Sie betreffen jedes Unternehmen, das KI in Support, Vertrieb, HR, Verwaltung, Softwareentwicklung oder Wissensmanagement einsetzt.

Was KMU und Kommunen jetzt konkret prüfen sollten

Für mittelständische Unternehmen und Kommunen in Franken, Oberfranken und Bayern ist ein pragmatischer Einstieg sinnvoller als ein großes Grundsatzprojekt. Entscheidend ist ein kurzer, belastbarer Überblick:

1. KI-Inventar erstellen: Welche KI-Tools werden offiziell genutzt? Welche zusätzlich in Teams, Browsern oder Fachabteilungen?
2. Datenklassen definieren: Was darf in öffentliche KI-Dienste, was nur in abgesicherte Umgebungen, was gar nicht?
3. Use Cases bewerten: Textentwurf, interne Recherche, Code, Kundensupport, Personal, Finanzdaten und kommunale Vorgänge haben unterschiedliche Risiken.
4. Rechte begrenzen: KI-Agenten sollten nur die Daten und Aktionen sehen dürfen, die für den jeweiligen Prozess nötig sind.
5. Human-in-the-loop festlegen: Kritische Entscheidungen, externe Kommunikation und rechtlich relevante Ausgaben brauchen Freigabe durch Menschen.
6. Logging und Nachvollziehbarkeit planen: Wer hat welches KI-System mit welchen Daten für welchen Zweck genutzt?

Das Bundesamt für Sicherheit in der Informationstechnik stellt bereits Orientierung zu Künstlicher Intelligenz bereit. Für deutsche Unternehmen ist diese Perspektive wichtig, weil KI-Sicherheit nicht isoliert betrachtet werden darf. Sie hängt mit Informationssicherheit, Datenschutz, Lieferantenmanagement, Schulung und Notfallprozessen zusammen.

KI-Agenten brauchen besondere Leitplanken

Der nächste Schritt nach Chatbots sind KI-Agenten, die nicht nur antworten, sondern handeln. Sie lesen Dokumente, durchsuchen Datenbanken, erstellen Angebote, schreiben Tickets, versenden E-Mails oder stoßen Automatisierungen an. Das ist produktiv – aber nur, wenn die Architektur sauber ist.

Aus GO-ITC-Sicht gehören zu einem sicheren Agenten-Setup mindestens:

• getrennte Rollen und Berechtigungen statt eines allmächtigen Service-Accounts,
• Tool-Freigaben pro Prozess statt pauschalem Zugriff auf E-Mail, Dateien und Datenbanken,
• Prompt- und Kontextfilter gegen unerwünschte Anweisungen aus Dokumenten, Webseiten oder Nutzertexten,
• Ausgabevalidierung bei Zahlen, Preisen, Fristen, personenbezogenen Daten und rechtlich relevanten Aussagen,
• Monitoring für ungewöhnliche Anfragen, Datenabflüsse und Fehlverhalten.

Gerade bei RAG-Systemen für interne Wissensdatenbanken ist ein häufiger Fehler, Dokumente technisch verfügbar zu machen, ohne die bestehenden Berechtigungen sauber mitzunehmen. Dann beantwortet die KI Fragen aus Quellen, die der fragende Nutzer im Originalsystem gar nicht sehen dürfte.

Regulatorik: EU AI Act, DSGVO und NIS2 zusammendenken

Der EU AI Act schafft einen europäischen Rahmen für vertrauenswürdige KI. Für viele KMU wird nicht jedes KI-Werkzeug automatisch ein Hochrisiko-System sein. Trotzdem steigt die Erwartung, dass Unternehmen den Einsatz von KI nachvollziehbar organisieren: Zweck, Daten, Anbieter, Risiken, Verantwortlichkeiten und Kontrollen müssen dokumentiert werden.

Parallel bleiben DSGVO, Geheimhaltungspflichten, branchenspezifische Vorgaben und – je nach Organisation – NIS2-relevante Anforderungen wichtig. Wer KI als Produktivsystem einführt, sollte deshalb nicht nur fragen: „Welches Modell ist am besten?“, sondern: „Welcher Prozess, welche Daten, welcher Anbieter, welche Kontrolle und welcher Exit-Plan passen zu unserem Risiko?“

Praxisfahrplan für die nächsten 30 Tage

Ein sinnvoller Start muss nicht kompliziert sein:

1. Woche 1: KI-Tools und Schattennutzung erfassen, Fachbereiche interviewen, typische Prompts und Datenarten sammeln.
2. Woche 2: KI-Richtlinie in einer verständlichen Kurzfassung erstellen: erlaubte Daten, verbotene Inhalte, Freigabewege, Ansprechpartner.
3. Woche 3: zwei bis drei wertvolle Use Cases auswählen, zum Beispiel interne Wissenssuche, Angebotsvorbereitung oder Support-Zusammenfassungen.
4. Woche 4: technischen Pilot mit Berechtigungskonzept, Logging, Datenklassifizierung und menschlicher Freigabe umsetzen.

Damit wird KI nicht ausgebremst, sondern kontrolliert nutzbar. Die Erfahrung zeigt: Mitarbeitende akzeptieren Regeln eher, wenn sie gleichzeitig sichere Alternativen bekommen. Ein pauschales Verbot führt oft nur zu mehr Schatten-KI.

FAQ: KI-Sicherheit für Unternehmen

Ist generative KI für KMU zu riskant?

Nein. Riskant ist vor allem ungeregelte Nutzung. Mit klaren Datenregeln, passenden Tools, Berechtigungen, Schulung und Freigabeprozessen kann KI in vielen Bereichen sicher und produktiv eingesetzt werden.

Dürfen Mitarbeitende Kundendaten in Chatbots eingeben?

Das sollte nicht pauschal erlaubt werden. Personenbezogene, vertrauliche oder vertraglich geschützte Daten gehören nur in freigegebene, datenschutzrechtlich geprüfte Umgebungen. Für öffentliche KI-Dienste braucht es klare Verbote und Alternativen.

Was ist der Unterschied zwischen Chatbot und KI-Agent?

Ein Chatbot liefert vor allem Antworten. Ein KI-Agent kann zusätzlich Werkzeuge nutzen, Daten abrufen, Aktionen auslösen oder Workflows starten. Dadurch steigt der Nutzen, aber auch das Risiko bei falschen Berechtigungen oder ungeprüften Ausgaben.

Welche Standards helfen bei der Absicherung?

Praktisch hilfreich sind unter anderem die OWASP Top 10 for LLM and Gen AI Apps, Empfehlungen des BSI, etablierte Informationssicherheitsprozesse und eine risikobasierte Dokumentation im Sinne des EU AI Act.

Wie startet ein Unternehmen ohne großes KI-Projekt?

Mit einem kompakten KI-Audit: genutzte Tools erfassen, Datenklassen definieren, Top-Use-Cases priorisieren, Risiken bewerten und einen sicheren Pilotprozess aufsetzen. Genau dafür reicht oft ein kleiner, fokussierter Workshop.

Quellen

• Cambridge Programme on AI Science & Policy: „How the Terrorist Group Boko Haram Uses Frontier AI“, Juli 2026
• The Decoder: „Terrorist groups are using every major AI chatbot…“, 11. Juli 2026
• OWASP: Top 10 for LLM and Gen AI Apps 2025
• BSI: Informationen und Empfehlungen zu Künstlicher Intelligenz
• Europäische Kommission: AI Act

GO-ITC unterstützt bei sicherer KI-Einführung

GO-ITC unterstützt Unternehmen, Kommunen und Organisationen dabei, KI nicht nur auszuprobieren, sondern belastbar in Prozesse zu integrieren: von KI-Audit und Richtlinie über RAG-Architektur und Agenten-Workflows bis zu Datenschutz, Berechtigungen und Monitoring. Wenn du prüfen willst, welche KI-Nutzung in deinem Unternehmen sinnvoll und sicher ist, sprich GO-ITC für einen pragmatischen KI-Sicherheitscheck an.