Ein Energieversorger, ein KI-Agent, ein Konfigurationsfehler, der drei Wochen unentdeckt bleibt. Kein Angriff von außen, sondern eine schlecht geregelte Änderung in einem System, das niemand mehr vollständig überblickt. Solche Szenarien entstehen überall dort, wo KI schneller eingeführt wird als die Strukturen, die sie rahmen sollen. Gartner prognostiziert, dass bis 2028 eine fehlkonfigurierte KI die kritische Infrastruktur eines G20-Staates lahmlegen wird. Diese Formulierung ist bewusst zugespitzt, beschreibt aber eine reale Schwachstelle: Nicht das Modell selbst richtet den Schaden an, sondern die ungeklärte Zuständigkeit im Ernstfall, der Change ohne ausreichende Prüfung und ein Governance-Dokument, das nur existiert, weil ein Audit es erforderte.
Der entscheidende Unterschied zwischen einem Sprachmodell, das einem Marketing-Team Textentwürfe liefert, und einem Agenten, der Prozesse in einer Energieleitwarte steuert, liegt nicht in der Technologie, sondern im Risikoregister. Spätestens dort, wo cyberphysische Systeme oder streng regulierte Abläufe betroffen sind, genügt der Hinweis auf ein Pilotprojekt nicht länger als Antwort auf die Frage nach der Beherrschbarkeit. In solchen Umgebungen muss KI denselben Anforderungen genügen wie jedes andere Hochrisiko-Asset: mit eindeutigen Verantwortlichkeiten, dokumentierten Risikoentscheidungen und belastbaren Kontrollen.
Der Kill Switch als Prüfstein
In Workshops und Audits begegnet einem eine Antwort mit bemerkenswerter Verlässlichkeit, sobald nach der Absicherung eines KI-gestützten Use Cases in der Betriebstechnologie gefragt wird: „Wir haben einen Kill Switch.“ Die eigentlich aufschlussreiche Frage ist dann: Wer ist befugt, diesen zu betätigen, und wo ist diese Befugnis schriftlich fixiert? Welches System wird dadurch tatsächlich abgeschaltet? Wie sieht der geordnete Rückweg in den sicheren Zustand aus? An dieser Stelle entsteht oft eine Pause oder der Verweis auf ein Handbuch, das niemand aus eigener Anschauung kennt. Dieses strukturelle Muster beschreibt exakt den Unterschied zwischen einem Sicherheitsmechanismus und seiner bloßen Behauptung.
Ein funktionsfähiger Kill Switch in einer kritischen Umgebung ist operational verankert. Es gibt namentlich benannte Personen mit klar definierten Entscheidungsrechten, Runbooks, die im Team bekannt sind und regelmäßig geprobt werden, sowie einen getesteten Rückführungspfad mit Zeitvorgaben und Abnahmekriterien. Ein Kill Switch ohne diese Merkmale ist kein Sicherheitsinstrument, sondern ein Beruhigungsversprechen und damit genau jene Schwachstelle, auf die Szenarien wie das eingangs geschilderte warten.
Governance in drei Ebenen: Wirkung, Kontrolle, Verantwortlichkeit
KI in kritischen Systemen lässt sich entlang dreier Ebenen strukturieren, die in einem sinnvollen Verhältnis zueinanderstehen müssen. Wer diesen Rahmen konsequent ausgestaltet, braucht kein Parallelkonstrukt neben dem bestehenden GRC-Gefüge, sondern muss lediglich bereit sein, das Vorhandene ernsthaft anzuwenden.
Wirkungsebene
Jeder KI-Use Case bewegt sich auf einem Spektrum möglicher Einwirktiefe: von der Handlungsempfehlung über automatische Parameteranpassungen bis hin zum Anstoßen vordefinierter Arbeitsabläufe. Maßgeblich für die Risikobewertung ist die Frage, wie nah ein Use Case an der Aktorebene operiert, also dort, wo Entscheidungen in Systeme eingreifen, die physische oder finanzielle Aktionen ausführen. Je unmittelbarer dieser Eingriff, desto enger muss der Governance-Rahmen gefasst sein.
Kontrollebene
Drei Elemente müssen ineinandergreifen: Policy und Governance legen fest, in welchen Prozessen KI selbständig handeln darf und welche Aktionen ausgeschlossen sind. Technische Guardrails durch Plattform- oder Orchestrierungsebenen stellen sicher, dass Agenten ausschließlich auf freigegebene Systeme zugreifen und ihr Verhalten nachvollziehbar bleibt. Operative Prozesse schließlich regeln, wie KI-gestützte Änderungen getestet, freigegeben und zurückgerollt werden. Orchestrierende Plattformen können hier als technischer Vertrauensanker wirken, indem sie Governance in durchsetzbare Regeln übersetzen. Was bisher nur in Richtlinien formuliert war, wird damit operativ erzwingbar.
Verantwortlichkeitsebene
Hier entscheidet sich, ob Governance substanziell ist oder nur eine formale Hülle. Für jeden produktiven KI-Use Case in einer kritischen Umgebung sind vier klar benannte Rollen erforderlich:
- Ein Use Case Owner im Fachbereich, der Zielsetzung und Risikoakzeptanz verantwortet.
- Ein Risk- und Security Owner, der den Use Case im Kontext von Informationssicherheit und betrieblicher Resilienz bewertet.
- Legal und Compliance für die regulatorische Einordnung und Haftungsfragen.
- Operations für Betrieb, Monitoring und Incident Handling.
Ohne diese personelle Verankerung bleibt ein KI-Use Case in einer sicherheitskritischen Umgebung ein Governance-freies Experiment mit Produktionsanbindung.
Integration in bestehende Kontrollrahmen
KI benötigt in kritischen Umgebungen kein eigenes Rahmenwerk. Sie lässt sich in etablierte Kontrollfamilien wie ISO 27001, NIST CSF oder IEC 62443 einbetten. Im Asset Management wird KI als eigenständige Asset-Klasse geführt, mit definierter Kritikalität und dokumentierten Systemabhängigkeiten. Im Berechtigungsmanagement braucht es klare Zuordnungen für die Änderung von KI-Policies. Im Monitoring ergänzen verhaltensbasierte Kontrollen das Instrumentarium: Schwellwerte, Anomalieerkennung bei Aktionssequenzen und Limits für gleichzeitige Eingriffe. In der Incident Response werden Playbooks erweitert, sodass Fehlverhalten von Agenten als vollwertige Szenarien mit denselben Anforderungen an Reaktionszeit und Eskalationspfad behandelt werden.
Drei Kriterien für Governance-Reife
Gut aufgestellte Governance zeigt sich nicht an der Eleganz ihrer Dokumentation, sondern daran, ob sie im konkreten Fall greift. Für kritische Umgebungen lassen sich drei Kriterien benennen, anhand derer sich der Reifegrad belastbar beurteilen lässt.
Erstens: Sind strategische Entscheidungen in operative Vorgaben übersetzt? In welchen Prozessen erhält KI mehr als Vorschlagsrecht? Welche Gremien bereiten diese Entscheidungen vor? Strategische Unschärfe auf Führungsebene setzt sich unmittelbar in operatives Risiko um.
Zweitens: Sind KI-Use Cases vollständig in bestehende Change-Prozesse integriert? Für jeden produktiven Use Case muss eine namentlich benannte Ownership-Struktur mit klaren Befugnissen zur Konfigurationsänderung und zur Unterbrechung des Betriebs bestehen.
Drittens: Wurde der Rückführungspfad tatsächlich erprobt? Mit konkreten Zeitvorgaben, definierten Abnahmekriterien und benannten Zuständigkeiten. Ein Notfallmechanismus, der nie unter realistischen Bedingungen getestet wurde, ist eine Annahme, kein Sicherheitsinstrument.
Ein KI-Use Case in einer kritischen Umgebung, der diese drei Kriterien nicht erfüllt, hat die Schwelle zur Produktionsreife noch nicht überschritten.
Unsicherheit als Argument für Prinzipien, nicht für Aufschub
Wesentliche Fragen sind noch offen. Die Haftungsverteilung in mehrstufigen KI-Ketten ist rechtlich nicht abschließend geklärt. Standardisierte Prüfverfahren für agentische Systeme in OT-Umgebungen befinden sich in der Entwicklung. EU AI Act und NIS2 setzen erste gesetzliche Leitplanken, ein global kohärentes Bild ist nicht in Sicht. Diese Unschärfen sind real, aber sie sind kein Argument für Aufschub. Gerade weil Rechtsprechung und technische Normung noch im Fluss sind, gewinnen robuste, technologieunabhängige Grundsätze an Bedeutung. Wer wartet, bis alle regulatorischen Fragen beantwortet sind, wartet auf einen Zustand, der in dynamischen Technologiefeldern strukturell nicht eintritt. Die Gartner-Prognose sollte die Sicherheits-Community daher als Verdichtung einer bekannten Schwachstelle lesen und als Aufforderung, bestehende Lücken mit dem Instrumentarium zu schließen, das bereits heute zur Verfügung steht.
