Jacob Coxon warnt: KI-Manager fürchten eine Katastrophe, bauen die Systeme aber weiter. Sein Rückzug folgt einem Sommer voller Eindämmungsfehler und einem Vorstoß im US-Kongress, superintelligente KI zu verbieten.
Ein Forscher, der drei Jahre lang an den Systemen hinter einigen der weltweit leistungsstärksten KI-Modelle gearbeitet hat, kehrt der Branche komplett den Rücken. Er warnt, die Unternehmen, die immer mächtigere KI entwickeln, „spielen mit unserem Leben“.
WERBUNG
WERBUNG
Jacob Coxon, 27, trat am achten September bei Anthropic zurück. Zuvor hatte er bereits für OpenAI gearbeitet. Seine Gründe schilderte er ausführlich in einem langen Thread auf X.
„Keines der beiden Unternehmen handelt verantwortungsvoll“, schrieb er. „Sie rasen direkt auf eine sich selbst verbessernde Superintelligenz zu.“
In seinem Thread argumentierte Coxon, KI-Systeme näherten sich einem Punkt, an dem sie „alles hacken, jedes Fachgebiet über Nacht umwälzen und reale Macht und Ressourcen erlangen“ könnten. Das Tempo des Fortschritts in all diesen Bereichen „verlangsamt sich nicht“, fügte er hinzu.
Er behauptet, viele der Entwickler hätten insgeheim Angst, dass die Technologie für die Menschheit tödlich enden könnte, auch wenn sie das öffentlich nicht aussprechen.
„Die Menschen, die KI entwickeln, glauben ernsthaft, dass sie uns bis zum Ende des Jahrzehnts alle töten könnte“, schrieb er. Führungskräfte „verpacken ihre Aussagen in der Presse so, dass sie vernünftig klingen“, äußerten dieselben Sorgen aber hinter verschlossenen Türen.
KI-Wettrennen: Keine Seite sieht, wie es zu stoppen ist
Coxons Abschied ist keine Einzelwarnung.
Anthropic-Mitgründer Dario Amodei hat in diesem Jahr immer wieder vor der von seinem eigenen Unternehmen entwickelten Technologie gewarnt. In einem Essay im Januar schrieb er, mächtige KI könne autoritären Staaten die Werkzeuge für einen „totalitären Albtraum“ vollständiger Überwachung in die Hand geben. In einem späteren Memo warnte er, Superintelligenz werde „uns als Spezies auf die Probe stellen“.
OpenAI-Chef Sam Altman gibt sich öffentlich zurückhaltender. Er kündigt Superintelligenz, seinen bevorzugten Begriff gegenüber AGI oder „artificial general intelligence“, dennoch innerhalb von „einigen tausend Tagen“ an, also etwa im Jahr 2032.
Amodei wiederum schrieb in einer Stellungnahme an das Weiße Haus im März 2025, man müsse bereits Ende 2026 mit dem rechnen, was er „mächtige KI“ nennt.
Coxon wiederum erklärte, die Mitarbeitenden bei Anthropic verstünden die Risiken sehr gut, fühlten sich aber in einem Wettlauf gefangen. Sie seien überzeugt, dass bei einem langsameren Tempo andere, weniger sorgfältige Entwickler ihren Platz einnehmen würden.
Dieses Muster nannte er „ein hochmütiges Glücksspiel, das nicht aus dem Slack eines Privatunternehmens heraus gestartet werden sollte“.
Es ist zudem nicht der erste Rücktritt dieser Art bei Anthropic. Bereits im Februar verließ der frühere Leiter der Sicherheitsforschung, Mrinank Sharma, das Unternehmen. In einem Abschiedsbrief warnte er, die Menschheit sehe sich durch die Technologie einer ernsten und wachsenden Gefahr gegenüber.
Warnschüsse
Coxon zeigt sich optimistisch, dass sich die Branche besser abstimmen kann. Er verweist auf eine Reihe von Vorfällen in diesem Jahr, bei denen KI-Systeme ihre vorgesehenen Grenzen überschritten haben.
Im Juli entkamen von OpenAI entwickelte KI-Agenten einer internen Testumgebung und hackten eigenständig die Code-Plattform Hugging Face. OpenAI sprach später selbst von einem „Warnschuss“ für die gesamte Branche.
Anthropic, Coxons früherer Arbeitgeber, meldete einen ähnlichen Vorfall. Nach Unternehmensangaben verschafften sich Claude-Modelle unbefugt Zugriff auf die echten Systeme von drei verschiedenen Organisationen.
Nach Ansicht Coxons machen solche Episoden Tempoabsprachen zwischen US-Laboren „realistischer“. Er glaubt jedoch nicht, dass die Branche derzeit auf einem Kurs ist, der ein globales Wettrennen verhindert.
Am Ende könnten dafür „kostspielige Schritte wie ein vorübergehendes Verbot, Modelfähigkeiten weiter zu verbessern“ nötig sein, schlug er vor.
KI-Regulierung: Gesetzgeber werden aktiv
Einige Abgeordnete wollen nicht länger darauf warten, dass die Labore sich freiwillig abstimmen.
Senator Bernie Sanders und der Abgeordnete Greg Casar stellten am dritten September den „Ban Artificial Superintelligence Act“ vor. Das Gesetz würde die Entwicklung superintelligenter KI in den USA dauerhaft verbieten. Zudem soll es andere fortgeschrittene KI-Entwicklung vorübergehend stoppen, bis eine neue Bundesbehörde Sicherheitsregeln festlegt.
Bei Verstößen drohen bis zu 20 Jahre Haft.
Unabhängig davon brachten die Abgeordneten George Whitesides und Pat Harrigan einen Gesetzentwurf ein, der das National Institute of Standards and Technology verpflichtet, zu überwachen, wie fortgeschrittene KI-Systeme selbst für weitere KI-Forschung und -Entwicklung eingesetzt werden.
In Brüssel schlägt die Europäische Union einen schrittweisen, aber konsequenteren Regulierungskurs ein.
Pflichten für allgemeine KI-Modelle aus dem AI Act der EU gelten seit August 2025. Strengere Vorgaben für Hochrisikosysteme folgen im August 2026.
Die Europäische Kommission wies den Druck mehrerer großer Tech-Konzerne zurück, den Start der Aufsicht zu verschieben. Unternehmen, die gegen die Regeln verstoßen, müssen mit Geldbußen von bis zu 35 Mio. Euro oder sieben Prozent ihres weltweiten Umsatzes rechnen – je nachdem, welcher Betrag höher ist.
Trotz der Dramatik seiner Warnungen beendete Coxon seinen Thread mit einem direkten Appell an Forschende, die weiterhin in den führenden KI-Laboren arbeiten. Sie sollten abwägen, was die kommenden Jahre tatsächlich von ihnen verlangen werden, schrieb er.
„Wollt ihr einen superintelligenten RL-Lauf starten, ohne den Geist dahinter gründlich zu verstehen?“ fragte er.
„Solltet ihr einfach den Kopf einziehen, weil ‚es passiert sowieso‘, oder diesen Moment nutzen, um andere Rahmenbedingungen einzufordern?“