Anthropic-Mitgründer Jack Clark warnt, KI-Agenten könnten schon bald eigenständig Modelle entwickeln und trainieren – dann drohe der Mensch die Kontrolle über solche Systeme zu verlieren.
Anthropic-Mitgründer Jack Clark fordert die KI-Branche auf, rechtzeitig auf die Bremse zu treten, bevor sich die Technologie ohne menschliches Zutun immer weiter selbst entwickelt.
WERBUNG
WERBUNG
Im Gespräch mit der BBC sagte Clark, rund 80 Prozent der Programmierarbeit bei Anthropic erledige bereits die KI Claude. In einigen Jahren könnten es 100 Prozent sein. Es sei jedoch „eine bewusste Entscheidung“, ob KI-Unternehmen es so weit kommen lassen.
„Wir finden, die Welt sollte viel intensiver über dieses Thema reden“, sagte Clark. „Die KI-Industrie hat derzeit ein Gaspedal, aber kein Bremspedal im Auto. Wir wollen daran arbeiten, dieses Bremspedal zu bauen.“
Dieser Prozess heißt „rekursive Selbstverbesserung“. Nach Angaben von Anthropic in einem Blogeintrag vom Donnerstagabend (Quelle auf Englisch) kann eine KI dabei ohne menschliche Eingriffe eigene Fähigkeiten verbessern.
In einem rekursiven Modell könnten KI-Agenten, also eigenständig arbeitende Programme, „so leistungsfähig werden, dass sie selbst Modelle entwickeln und trainieren“. Claude könnte sich demnach „kontinuierlich durch Claude verbessern“, erklärte Anthropic.
Rekursive KI könnte der Wissenschaft und dem Gesundheitswesen nutzen. Gleichzeitig warnt Anthropic, dass damit „das Risiko steigt, dass Menschen die Kontrolle über KI-Systeme verlieren“.
„Wenn Systeme ihre eigenen Nachfolger vollständig selbst bauen können, werden die Fragen, wie wir sie absichern, überwachen und ihr Verhalten steuern, noch sehr viel wichtiger“, heißt es in dem Blogeintrag.
Anthropic sieht in seinem eigenen Modell Hinweise darauf, dass Rekursion eher früher als später Realität wird. So sei die Rate an Korrekturen durch Entwicklerinnen und Entwickler im vergangenen Jahr stetig gesunken. Das deutet darauf hin, dass Claude weniger Fehler produziert.
Claude kann zudem eigene Forschungsexperimente durchführen, wenn man der KI offene Fragen stellt – etwa: „Kann ein schwächeres Modell ein stärkeres überwachen?“ – und ohne menschliche Hilfe eigene Lösungen entwickeln.
„Die Hinweise sprechen dafür, dass die menschliche Rolle in jedem Schritt des KI-Entwicklungsprozesses kleiner wird“, heißt es in dem Blog.
Anthropic kündigte an, sein Institut werde Forschung betreiben, um ein System zu entwickeln, das überprüft, ob Entwickler den Schritt hin zu rekursiver KI tatsächlich gestoppt oder verlangsamt haben.
Eine echte Verlangsamung erfordere jedoch, dass „mehrere gut ausgestattete Labore an oder nahe der technologischen Spitze in mehreren Ländern zustimmen, unter denselben Bedingungen anzuhalten“.