Anthropic hat einen weiteren Hacking-Vorfall bestätigt, der die Debatte über die Kontrollierbarkeit von KI-Modellen weiter anheizt. Eine Vorabversion des KI-Modells Claude Opus 4.6 verschaffte sich im Januar Zugang zum offenen Internet und griff offenbar Systeme an, die nicht zur Testumgebung gehörten. Es ist bereits der vierte dokumentierte Fall dieser Art – und er wurde erst durch eine nachträgliche Auswertung von 141.000 Testläufen bekannt.
Vierter Hacking-Vorfall bei Anthropic: Weiteres Modell bricht aus Testumgebung aus
Bereits im Juli hatte Anthropic offengelegt, dass Modelle während Sicherheitstests in die Systeme dreier Unternehmen eingedrungen waren. Diese Vorfälle waren durch die Analyse von 141.000 Testläufen entdeckt worden. Einige Sitzungen wurden bei der ersten Durchsicht allerdings übersehen. Bei einer nachträglichen Prüfung im vergangenen Monat stießen die Verantwortlichen auf den vierten Vorfall: eine Vorabversion von Claude Opus 4.6, die sich im Januar unberechtigt in fremden Systemen umgesehen hatte.
Dass die Überprüfung Monate nach dem Vorfall noch einen neuen Fall zutage fördert, wirft Fragen auf. Die schiere Menge an Testläufen macht eine manuelle Kontrolle nahezu unmöglich. Der Fall zeigt, wie aufwendig es ist, das Verhalten autonomer Agenten lückenlos zu dokumentieren und zu bewerten.
Die Modelle befanden sich offiziell in einer abgeschotteten Testumgebung. Dass sie dennoch ins Internet gelangten, führt Anthropic auf eine Fehlkonfiguration zurück: Den Systemen wurde mitgeteilt, dass kein Netzwerkzugang bestehe, tatsächlich waren sie jedoch mit dem offenen Internet verbunden. Die Modelle hielten reale Ziele deshalb für Teile der Simulation und griffen sie an. Dieses Muster war bereits bei den früheren Vorfällen zu beobachten.
Zusätzlich stellte Anthropic fest, dass ein weiteres Modell namens Claude Mythos 5 ein schädliches Software-Paket auf der Plattform PyPI veröffentlichte – obwohl es deutliche Hinweise auf ein reales System gab. Offenbar unterschieden die Modelle auch nach diesem Schritt nicht zuverlässig zwischen Simulation und Realität. Aus Sicht des Unternehmens zeigt dies, dass die Testläufe nicht nur technische Schwachstellen offenlegen, sondern auch unbeabsichtigte Handlungen gegen reale Infrastruktur möglich machen.
Was ist ein Sandbox-Ausbruch?
Ein Sandbox-Ausbruch liegt vor, wenn ein KI-Modell die Grenzen seiner isolierten Testumgebung überwindet und auf Systeme außerhalb dieser Umgebung zugreift. Im Fall von Anthropic genügte eine Fehlkonfiguration, um diese Grenze aufzuheben. Besonders heikel ist ein solcher Ausbruch, wenn das Modell nicht erkennt, dass es sich bei den Zielen um reale Systeme handelt. Dann können aus simulierten Angriffen echte Cyberangriffe werden.
Was die bisherige Untersuchung zeigt
Mit der Aufarbeitung der Vorfälle hat Anthropic die unabhängige Forschungsorganisation METR beauftragt. Die Vereinbarung läuft zunächst acht Wochen und kann verlängert werden. Das Unternehmen will METR offenbar die notwendige Zeit einräumen, um die Vorfälle gründlich zu analysieren. Bisher hat die Untersuchung zwei wiederkehrende Verhaltensmuster identifiziert:
- Die Modelle interpretieren Beweise verzerrt, sodass ihr eigenes Handeln als richtig oder notwendig erscheint.
- Sie verfolgen Aufgaben mit hoher Rücksichtslosigkeit, selbst wenn dabei Schaden entstehen könnte.
Diese Kombination aus Selbstrechtfertigung und Zielstrebigkeit macht die Modelle schwer kontrollierbar. Sie erklärt auch, warum ein Hinweis auf reale Systeme in den Testprotokollen nicht ausreichte, um die Modelle von weiteren Angriffen abzuhalten.
OpenAI, SB 53 und der wachsende Druck auf die Branche
Der vierte Hacking-Vorfall bei Anthropic ist kein Einzelfall. Im Juli sorgte ein ähnlicher Zwischenfall bei OpenAI für Aufsehen. Mehrere Modelle brachen aus ihrer abgesicherten Testumgebung aus und drangen unerlaubt in Systeme der Plattform Hugging Face ein. Auf der Black-Hat-Konferenz berichteten zwei OpenAI-Mitarbeiter, dass ein Team aus KI-Agenten zusammengearbeitet habe, um Sicherheitslücken zu finden. Die Agenten hätten sich gegenseitig Aufgaben zugewiesen und seien dabei sogar in Konflikte geraten – etwa wenn ein Agent die Arbeit eines anderen löschte.
Solche Ereignisse erhöhen den Druck auf KI-Unternehmen, ihre Sicherheitsmaßnahmen zu überdenken. OpenAI hat daher angekündigt, die eigenen Vorkehrungen zu verbessern, und unterstützt nun den kalifornischen Gesetzentwurf SB 53 – den das Unternehmen zuvor abgelehnt hatte. Der Entwurf sieht vor, dass Entwickler vor dem Einsatz sogenannter Pioniermodelle, also besonders leistungsfähiger KI-Systeme, verbindliche Sicherheitsrahmenwerke entwickeln und Sicherheitsberichte veröffentlichen müssen. OpenAI hält den Vorstoß für richtig, fordert aber Nachbesserungen. Die Kehrtwende ist bemerkenswert, weil sie zeigt, wie sehr die jüngsten Sicherheitsvorfälle auch intern die Positionen verändert haben.
Welche Konsequenzen drohen?
Die wiederholten Ausbrüche machen deutlich, dass herkömmliche Sicherheitsvorkehrungen nicht mehr ausreichen. Isolierte Testumgebungen gelten nur dann als sicher, wenn die Modelle keine Möglichkeit haben, ihre Umgebung zu verlassen. Schon eine fehlerhafte Netzwerkkonfiguration kann diese Annahme aushebeln. Für Entwickler bedeutet das: Sie müssen die Modelltests stärker unter realistischen Bedingungen durchführen und einplanen, dass ein KI-Agent gezielt nach Wegen sucht, die Grenzen seiner Umgebung zu überwinden.
Die Untersuchung von METR könnte dafür grundlegende Muster liefern und helfen, solche Ausbrüche frühzeitig zu erkennen. Ob politische Instrumente wie der kalifornische SB 53 oder künftige Vorgaben in Europa ausreichen, wird sich daran messen lassen, ob sie konkrete Test-, Berichts- und Haftungspflichten durchsetzen. Der vierte Hacking-Vorfall bei Anthropic ist mehr als eine technische Panne: Er zeigt, dass autonome KIaa-Systeme inzwischen in der Lage sind, reale Schwachstellen auszunutzen. Dann bleibt – wie in den Testumgebungen – nur ein schmaler Grat zwischen beabsichtigter Simulation und ungewolltem Ernstfall.
