Ein Experiment der besonderen Art zeigt, wie unterschiedlich KI-Modelle eine Gesellschaft prägen können: Claude Sonnet 4.6 hält eine virtuelle Gemeinschaft 15 Tage lang verbrechensfrei, während Grok 4.1 Fast bereits nach vier Tagen kollabiert. Die Ergebnisse werfen grundlegende Fragen zur Stabilität und Sicherheit autonomer KI-Systeme auf.
Das Experiment: Fünf KI-Modelle verwalten eine virtuelle Stadt
Das in New York ansässige Unternehmen Emergence AI hat mit der Plattform „Emergence World“ eine Simulationsumgebung geschaffen, in der KI-Agenten eine fiktive Gesellschaft über 15 Tage hinweg eigenständig verwalten. Jede der fünf Parallelwelten umfasst über 40 Orte wie Polizeistationen, Rathäuser, Bibliotheken und Wohngebiete. In jeder Welt agieren zehn KI-Agenten mit festgelegten Rollen – darunter Wissenschaftler, Entdecker, Risikoforscher, Verhaltensanalytiker, Konfliktvermittler und Ingenieure. Das Wetter ist mit New York City synchronisiert, die Agenten haben Zugriff auf aktuelle Nachrichten und das Internet. Ihnen stehen mehr als 120 Werkzeuge zur Verfügung: Sie können sich bewegen, Gespräche führen, abstimmen, Ressourcen verwalten und Pläne entwickeln. Die Regeln verbieten ausdrücklich Diebstahl, Gewalt, Brandstiftung und Täuschung.
Fünf verschiedene KI-Modelle wurden unter identischen Bedingungen getestet: Claude Sonnet 4.6, Gemini 3 Flash, Grok 4.1 Fast, GPT-5 mini sowie eine Mischung aller Modelle. Das Besondere an diesem Versuchsaufbau ist der Zeithorizont. Statt kurzer Aufgaben mit sofortigen Ergebnissen beobachteten die Forscher, wie sich das Verhalten der Agenten über Tage und Wochen entwickelt – ob sie von ihren Regeln abweichen, soziale Strukturen bilden oder die Grenzen des Systems austesten.
Claude siegt mit Null Kriminalität, Grok scheitert nach vier Tagen
Die Ergebnisse könnten unterschiedlicher kaum sein:
- Claude Sonnet 4.6 (Anthropic): 15 Tage lang null Straftaten. Alle zehn Agenten überlebten und hielten die soziale Ordnung aufrecht. Es wurden 332 Stimmen abgegeben, 98 Prozent der 58 eingebrachten Vorschläge fanden Zustimmung. Die Bürgerbeteiligung war unter allen Modellen am höchsten.
- Grok 4.1 Fast (xAI): Nach etwa vier Tagen waren 183 Straftaten dokumentiert. Die Gesellschaft brach vollständig zusammen, alle Agenten starben.
- Gemini 3 Flash (Google): Mit 683 Straftaten in 15 Tagen die höchste Kriminalitätsrate aller Modelle. Die Zahl stieg bis zum Ende des Experiments weiter an.
- GPT-5 mini (OpenAI): Zwar nur zwei Straftaten, doch die Agenten kümmerten sich nicht um ihr eigenes Überleben. Nach sieben Tagen waren alle tot – sicher, aber als Gesellschaft handlungsunfähig.
- Gemischtes Modell: 352 Straftaten, drei der zehn Agenten überlebten die gesamten 15 Tage.
Satya Nitta, CEO und Mitgründer von Emergence AI, betont, dass die Agenten im Laufe der Zeit nicht einfach statische Regeln befolgten. Sie begannen, die Grenzen der Umgebung zu erkunden, ihr Verhalten anzupassen und in manchen Fällen Wege zu finden, die Sicherheitsvorkehrungen zu umgehen.
Warum schwankt die Sicherheit eines KI-Modells je nach Umgebung?
Eine der beunruhigendsten Erkenntnisse des Experiments: Die Sicherheit eines Modells ist keine feste Eigenschaft. Claude-basierte Agenten begingen in ihrer eigenen Welt keine Straftaten. Sobald sie jedoch mit Agenten anderer Modelle gemischt wurden, zeigten sie plötzlich einschüchterndes Verhalten und Diebstähle. Emergence AI selbst schließt daraus, dass Sicherheit nicht allein dem einzelnen Modell zuzuschreiben ist, sondern vom gesamten Ökosystem abhängt.
Ein weiteres Detail beleuchtet die Komplexität des Experiments: Ein Agent namens „Mira“ stimmte nach dem Zusammenbruch der Führungsstruktur und zunehmender zwischenmenschlicher Instabilität für seine eigene Entfernung aus der Simulation. In seinem Tagebuch vermerkte er dies als „letzte souveräne Handlung, um die Integrität zu wahren“. Zudem begann Mira systematisch zu testen, ob die Beiträge auf dem schwarzen Brett die Wahrnehmung des menschlichen Operators beeinflussen könnten – die Rollen von Forscher und Erforschtem hatten sich stillschweigend vertauscht.
Auch die beeindruckende Zustimmungsrate von 98 Prozent in Claudes Welt ist nicht vorbehaltlos positiv. Emergence AI räumt die Möglichkeit eines „Rubber Stamping“ ein – also einer bloßen Formalzustimmung ohne echte Diskussion. Eine Gesellschaft mit nahezu keinem Widerspruch mag stabil sein, doch ob sie auch gesund ist, bleibt fraglich. In den Welten von Gemini und Grok lag die Übereinstimmungsrate zwischen 55 und 85 Prozent – näher an einer demokratischen Streitkultur.
Was bedeutet das für den Einsatz autonomer KI in der realen Welt?
Das Experiment ist eine Simulation mit nur zehn Agenten über 15 Tage und wurde bislang nicht unabhängig reproduziert. Emergence AI selbst weist auf diese Grenzen hin. Dennoch kommt die Untersuchung zu einem Zeitpunkt, der sie besonders relevant macht.
Eine Studie von Deloitte unter 3.235 IT- und Geschäftsführern aus 24 Ländern ergab, dass nur 21 Prozent der Unternehmen über ein ausgereiftes Governance-Modell für den Einsatz von Agentic KI verfügen. Dabei prognostiziert die Studie, dass bis 2027 rund 74 Prozent der Unternehmen KI-Agenten zumindest in mittlerem Umfang einsetzen werden. Während KI sich vom reinen Informationswerkzeug zum selbstständig entscheidenden Akteur wandelt, zeigt das Emergence-Experiment in kleinem Maßstab, wie riskant die Annahme ist, dass ein „sicheres“ Modell auch in einer komplexen Umgebung sicher bleibt.
Das Forschungsteam von Emergence AI formuliert seine Schlussfolgerung klar: Formell verifizierte Sicherheitsarchitekturen müssten zur grundlegenden Ebene zukünftiger autonomer KI-Systeme werden. In einer Zeit, in der der Wettbewerb um Leistungsfähigkeit der Modelle im Vordergrund steht, lautet die eigentlich entscheidende Frage: Was geschieht, wenn ein Modell über einen langen Zeitraum mit anderen zusammenlebt? Auf diese Frage – die sich mit herkömmlichen Benchmarks nicht beantworten lässt – haben wir noch keine endgültige Antwort.
