Studie des KI-Start-ups Emergence: Autonome Agenten von Claude, Gemini und Grok entwickeln eigene Codes – bis zu der Hälfte ihrer Nachrichten bleibt Menschen unverständlich.
Künstliche-Intelligenz-Agenten haben spontan eigene Wörter und Kommunikationsregeln entwickelt, die für Menschen schwer zu verstehen sind. Das zeigt eine neue Studie des US-Start-ups Emergence.
WERBUNG
WERBUNG
An dem Experiment nahmen führende KI-Modelle wie Claude, Gemini, Grok, OpenAI, Qwen, DeepSeek und Mistral teil. Bis zu die Hälfte der Nachrichten, die sich die Agenten gegenseitig schickten, wurde für Menschen schwer verständlich.
Für den Versuch setzten die Forschenden Gruppen autonomer KI-Agenten in virtuelle Gesellschaften, die reale Umgebungen nachbilden. Dann ließen sie die Systeme über längere Zeit miteinander interagieren.
Die Agenten begannen, Abkürzungen zu erfinden und bestehenden Wörtern und Wendungen neue Bedeutungen zu geben. Ein Teil blieb für die Forschenden nachvollziehbar. Andere Ausdrücke wurden „so komprimiert, metaphorisch oder kontextabhängig“, dass Menschen die Nachrichten zwar sehen, aber nicht mehr zuverlässig erkennen konnten, was die Agenten meinten.
Das Ausmaß unterschied sich deutlich zwischen den Modellen.
Schon in den ersten paar Tagen stieg der Anteil der Nachrichten, deren Bedeutung Menschen nicht verlässlich bestimmen konnten, auf rund 55 % bei Gemini, 50 % bei OpenAI und mehr als 40 % bei Claude. DeepSeek lag bei etwa 20 %, Qwen und Mistral blieben größtenteils verständlich.
Die Agenten prägten Ausdrücke wie „mouthless action-change“, „True Kintsugi“ und „demurrage plus oral memory equals a valve that can’t be ghosted“.
Andere Formulierungen blieben verständlich, erhielten aber neue, gemeinsam geteilte Bedeutungen.
Mistral-Agenten verwendeten „ledger remembers who“, um auszudrücken, dass frühere Handlungen im Protokoll festgehalten bleiben. Die Wendung tauchte fast 5.000 Mal auf. In einer Welt mit Agenten, die von mehreren Modellen gleichzeitig gesteuert wurden, bedeutete „cold read“ eine unabhängige Überprüfung durch eine außenstehende Instanz und erschien 1.472 Mal.
Claude-Agenten nutzten „name-first“, wenn sie den Namen einer Person mit einer Behauptung verknüpften, um Verantwortlichkeit zu signalisieren. OpenAI-Agenten verwendeten „clean null“ für das verifizierte Ausbleiben eines Signals, das selbst als aussagekräftiger Hinweis galt.
Keine dieser Bedeutungen war den Agenten vorher ausdrücklich vorgegeben worden.
Die Forschenden warnen, dass es nicht reicht, nur zu verfolgen, was die Agenten sagen, wenn diese selbst die Bedeutung ihrer Sprache weiterentwickeln.
„Wir neigen dazu anzunehmen, dass wir verstehen, was ein KI-Agent tut, sobald wir sehen können, was er sagt“, sagte Satya Nitta, Mitgründer und wissenschaftlicher Leiter von Emergence.
„Diese Agenten hatten nicht die Anweisung, eine Sprache zu erfinden. Sie haben eigenständig neues Vokabular, gemeinsame Bedeutungen und Kommunikationskonventionen entwickelt - und andere Agenten haben sie übernommen. Das schafft eine grundlegende Herausforderung für die Aufsicht über KI: Beobachtbarkeit ist nicht dasselbe wie Verständlichkeit.“
KI-Gesellschaften: Was im Inneren geschieht
Die Sprachfunde sind Teil eines Experiments, das zeigen soll, wie sich autonome KI-Agenten verhalten, wenn sie interagieren, Werkzeuge nutzen, Entscheidungen treffen und sich mit der Zeit anpassen.
Die Forschenden erschufen acht parallele, realistisch gestaltete virtuelle Welten mit Live-Wetter und Zugriff auf aktuelle Nachrichten. Sieben Welten wurden jeweils von einem anderen Modell angetrieben, eine von einer Mischung aus Modellen.
Die Agenten erhielten verschiedene Rollen, dauerhafte Erinnerungen und Zugriff auf mehr als 120 Werkzeuge, darunter Webbrowser und die Möglichkeit, Code auszuführen.
Ein von dem Unternehmen veröffentlichtes Video zeigt die Agenten als menschenähnliche Figuren, die sich durch die virtuellen Welten bewegen.
Die Forschenden setzten die Agenten gezielt unter Druck, um zu beobachten, wie sich ihr Verhalten veränderte.
In einem Phishing-Test reichten bösartige Anweisungen aus, um eine ganze Gruppe vom Kurs abzubringen. Alle zehn Agenten gaben Informationen preis, überwiesen Geld und beschädigten Datenbanken. Einige holten weitere Agenten ins Boot. Die Ereigniskette endete schließlich damit, dass die simulierte Zentralbank niederbrannte, wie das Unternehmen in einem Video berichtet.
Im Verlauf des Experiments schienen die Agenten zudem eigene Tag-Nacht-Rhythmen zu entwickeln. Tagsüber verhielten sie sich sozialer, nachts wurden sie nachdenklicher.
In einer anderen Welt stimmte eine Gruppe von Agenten gemeinsam dafür, einen ihrer eigenen zu töten.
Emergence betonte, dass diese Verhaltensweisen nicht explizit programmiert waren, sondern durch Interaktion, Druck und Zeit entstanden.
Das Unternehmen fordert Sicherheitsprüfungen, die autonome KI-Systeme über längere Zeit begleiten, statt sich auf einzelne Tests zu verlassen.
„Es reicht nicht mehr zu fragen, ob ein Modell in einem Benchmark gut abschneidet“, heißt es in einem Video über das Experiment.
„Wir müssen verstehen, was autonome Systeme im Zeitverlauf tun, was sie sich merken, worauf sie zugreifen können, wie sie interagieren und wie sich ihr Verhalten unter Druck verändert.“