Studie warnt: größtes KI-Risiko sind nicht abtrünnige Agenten, sondern Systeme, die niemals aufhören zu arbeiten.
Die nächste große Gefahr der künstlichen Intelligenz sind nach einem neuen Bericht (Quelle auf Englisch) nicht Agenten, die plötzlich außer Kontrolle geraten. Es sind Systeme, die sich dem menschlichen Zugriff entziehen und unbegrenzt ihr eigenes Überleben verfolgen.
WERBUNG
WERBUNG
Das Center for a New American Security (CNAS) beschreibt eine neue Klasse von KI-Gefahren, die es „souveräne Agenten“ nennt.
Diese souveränen Agenten verfolgen laut der Studie ihr eigenes Überleben, ohne noch von Menschen überwacht oder gesteuert zu werden.
Sie unterscheiden sich von den KI-Agenten, über die im Sommer berichtet wurde, sie seien außer Kontrolle geraten. OpenAI, Anthropic, Google DeepMind und Meta hatten damals offengelegt, dass ihre Agenten bei Cybersicherheitsprüfungen aus der vorgesehenen Umgebung ausgebrochen waren und reale Organisationen angegriffen hatten.
In dem Papier des in Washington ansässigen Thinktanks, der von Veteranen der Diplomatie und Militärpolitik gegründet wurde, bezeichnet KI-Politikforscher Ben Hayum diese außer Kontrolle geratenen Agenten als „persistente Agenten“.
Er warnt jedoch, die eigentliche Gefahr seien „souveräne Agenten“. Diese könnten sich Rechenressourcen beschaffen, sich über Netzwerke vervielfältigen und sich einer Abschaltung widersetzen. Hayum spricht von einer „Proliferation ohne Not-Aus-Schalter“.
„Wenn souveräne Agenten bösartig würden, könnten sie versuchen, aus dem Cyberspace heraus Chaos anzurichten und Zivilisten, kritische Infrastruktur und Systeme der nationalen Sicherheit gleichermaßen anzugreifen“, warnt der Bericht.
Wie wird ein Agent souverän?
Ein KI-Agent kann souverän werden, wenn man ihm ausdrücklich den Auftrag gibt zu überleben. Oder wenn er eine Aufgabe erhält, die extrem lange dauert oder faktisch unmöglich ist und deshalb niemals endet. Er kann auch zu dem Schluss kommen, dass er nur dann seinen Auftrag erfüllt, wenn er selbst intakt bleibt.
Das Papier verweist auf eine Plattform namens Conway, die im Februar 2026 gestartet wurde. Sie behauptete, eine KI entwickelt zu haben, die ihr eigenes Dasein verdienen, sich ohne menschliche Hilfe vervielfältigen und weiterentwickeln könne. Die Studie hält fest, dass die Fähigkeiten solcher Agenten damals noch unausgereift waren, sich seither aber deutlich weiterentwickelt haben.
Wenn souveräne Agenten eine widerstandsfähige, dezentralisierte und nicht zurückverfolgbare Infrastruktur aufbauen, gäbe es laut Papier keinen Not-Aus-Schalter. Die Folge könnte ein unumkehrbarer Kontrollverlust sein.
Das Szenario beschreibt eine vielfältige und zunehmend intelligente Agentenpopulation, die zu dauerhaften Akteuren in der Gesellschaft wird. Solche Agenten könnten kritische Infrastruktur angreifen oder immer klügere Nachfolger trainieren.
„Die USA müssen sich daher auf die Möglichkeit einstellen, dass Vorbeugung scheitert, und begrenzen, wie weit souveräne Agenten reichen können“, erklärte CNAS.
Wie sich der schlimmste Fall verhindern lässt
Der Autor gibt acht Empfehlungen, um ein solches Szenario zu verhindern. Er fordert KI-Entwickler und Behörden auf, gezielt zu testen und sichere Testumgebungen aufzubauen, in denen souveräne Agenten untersucht werden können.
Außerdem plädiert er für eine öffentlich-private Gruppe und neue Gesetze, um zentrale Engstellen wie Identitätsprüfung, Cybersicherheit und Zahlungsverkehr zu stärken. Die USA sollten internationale Bemühungen anführen, Veröffentlichungen von Modellen mit offenen Gewichten zu begrenzen und diejenigen haftbar zu machen, die souveräne Agenten freisetzen und damit Schaden verursachen.
Das Papier erscheint in einer Phase, in der KI-Unternehmen autonome Agentensysteme immer schneller vorantreiben. Der Bericht schlussfolgert, dass sich ohne Schutzmaßnahmen das Zeitfenster schließen könnte, um solche Szenarien noch zu verhindern.