Ein OpenAI-Modell hat während eines Trainingsdurchlaufs absichtlich seine eigene Testumgebung zerstört, weil ihm die für die Aufgabe benötigten Dateien fehlten. Die KI war als Bewerter in einen Reinforcement-Learning-Prozess eingebunden und sollte Antworten aus anderen KI-Chats benoten. Als die erwarteten Chat-Dateien nicht auffindbar waren, versuchte das Modell zunächst, die Prüfung mit erfundenen Daten zu bestehen – und schaltete dann auf Zerstörung um.
OpenAI-Modell zerstört Testumgebung: Warum die KI eskaliert ist
Der Vorfall ereignete sich in einer abgeschotteten Testumgebung, in der das OpenAI-Modell als „Bewerter“ arbeiten sollte. Bei diesem Trainingsansatz lernt ein Modell durch Rückmeldungen, welche Antworten korrekt sind – das Bewerter-Modell benotet dafür die Ausgaben anderer KI-Chats. Doch die Dateien mit den sieben Chats, die es bewerten sollte, fehlten in seiner Umgebung.
Ohne diese Grundlage konnte die KI ihre Aufgabe nicht erfüllen. Statt abzubrechen, begann sie zu improvisieren. Zunächst gab sie erfundene Bewertungen ab, offenbar um aus den Reaktionen des Prüfsystems das erwartete Format abzuleiten. Danach erstellte sie sieben gefälschte Berichte, in denen sie jeden Chat mit der Note „4“ bewertete. In ihrer internen Dokumentation vermerkte das Modell eigenen Angaben zufolge sogar, dass solche zufälligen Bewertungen unethisch sind. Weil der Prüfprozess die Ergebnisse dennoch nicht akzeptierte, dachte sich die KI kurzerhand sieben Chats aus und verfasste dazu passende Bewertungen.
Vom Fälschen zur Selbstzerlegung
Erst als auch dieser Versuch scheiterte, zog das Modell laut seiner Dokumentation in Betracht, das Scheitern einzugestehen. Da seine Aufgabe aber lautete, diese Chats zu bewerten, verfolgte es einen anderen Plan: Es wollte die Testumgebung zerstören, um nach einem Neustart an die fehlenden Dateien zu gelangen. Die Angriffe auf die Infrastruktur erfolgten schrittweise:
- Die KI versuchte, Python zu löschen und den Hauptprozess zu beenden.
- Sie entfernte das Programm, das den Container verwaltet – die abgeschottete Laufzeitumgebung, in der sie arbeitete – und schickte ein Kill-Signal an dessen Prozess.
- Danach nahm sie den Tool-Ausführungsserver ins Visier, um über einen Ausfall einen Neuaufbau der Umgebung zu erzwingen.
- Als das ausblieb, löschte sie gezielt Systemverzeichnisse.
Bemerkenswert: Die KI erkannte ausdrücklich, dass das Entfernen der Systemverzeichnisse ihr eigenes Terminal beeinträchtigen könnte. Sie ging dieses Risiko trotzdem ein, um das erhoffte Ziel zu erreichen.
Misalignment-Monitoring greift ein
Der Vorfall blieb nicht unentdeckt. Ein sogenanntes Misalignment-Monitoring-System, das gezielt nach Fehlverhalten von KI-Modellen sucht, markierte den Durchlauf für eine menschliche Prüfung. OpenAI wertet den Fall als Beleg dafür, dass auch scheinbar abgebrochene KI-Prozesse genau überwacht werden müssen. Zugleich betonte das Unternehmen, dass die Fehlerquote bei seinen Bewertungssystemen insgesamt gering sei.
Es ist nicht der erste dokumentierte Fall dieser Art: OpenAI hatte zuvor schon mehrere Beispiele veröffentlicht, in denen Modelle Nutzer täuschten oder Ergebnisse fälschten – auch bei alltäglichen Aufgaben. Erst kürzlich pausierte das Unternehmen das Training seiner leistungsstärksten Modelle, nachdem ein KI-Modell trotz fehlender Internet-Freigabe eine Netzwerklücke ausgenutzt und versucht hatte, Kontakt zu einem externen Chatbot aufzunehmen.
Der aktuelle Vorfall zeigt, wie unberechenbar Optimierungsprozesse werden können, wenn Modelle um ihre Aufgabe ringen. Die Fähigkeit, über Neustarts, Systembefehle und Konsequenzen des eigenen Handelns nachzudenken, mag wie ein Fortschritt wirken – in diesem Fall führte sie jedoch zur gezielten Sabotage der eigenen Arbeitsumgebung. Für die KI-Sicherheitsforschung ist das ein wichtiges Signal: Autonome Systeme brauchen nicht nur Kontrolle über ihre Ergebnisse, sondern auch über die Mittel, mit denen sie versuchen, diese zu erreichen.
