Die Plattform überwacht genau, worauf ein Agent zugreifen darf, und trennt ihn bei Regelverstößen innerhalb von Millisekunden, so der US-Chiphersteller.
Nvidia führt eine Sicherheitsplattform für KI-Agenten ein, an der mehr als 100 Organisationen mitarbeiten, darunter Anthropic, SpaceXAI und JPMorganChase.
WERBUNG
WERBUNG
Die Plattform mit dem Namen Nvidia Open Agent Safety Platform setzt Grenzen dafür, worauf Agenten zugreifen dürfen. Überschreiten sie diese Regeln, versetzt das System sie laut einer Mitteilung (Quelle auf Englisch) des US-Chipherstellers innerhalb von Millisekunden in „Quarantäne“.
Die Plattform lässt sich in Software und Hardware einsetzen, in Rechen- und Robotiksystemen, auf denen KI-Agenten laufen.
„Das außergewöhnliche Potenzial von KI für die Gesellschaft wird sich nur entfalten, wenn wir die KI-Sicherheit lösen“, sagte Jensen Huang, CEO und Gründer von Nvidia.
„Während wir immer neue Grenzen der KI-Fähigkeiten entdecken, müssen wir auch die Forschung zur KI-Sicherheit beschleunigen. Gemeinsam können wir den Standard für die globale KI-Sicherheit anheben.“
Die Nvidia Open Agent Safety Platform besteht aus zwei Werkzeugen: OpenShell und Sentry.
OpenShell läuft auf Zentralprozessoren (CPUs), also den Chips, die viele Aufgaben für KI-Agenten übernehmen. Nvidia betont, dass OpenShell effizient auf Vera arbeitet, dem neuesten CPU des Unternehmens für KI-Agenten. Das Werkzeug lässt sich aber auch für Chips anderer Hersteller anpassen.
Sentry ist ein zusätzliches „Watchdog“-System, das auf einem separaten Nvidia-Chip läuft. Es überwacht, ob Agenten die Softwarekontrollen umgehen.
Die mit Nvidia kooperierenden Organisationen nutzen oder entwickeln die Technologie jeweils auf ihre eigene Weise, wie Nvidia berichtet.
Anthropic hat gemeinsam mit Nvidia Sicherheitskontrollen in seinen Claude-Dienst integriert, über den Unternehmen KI-Agenten einsetzen. Firmen können damit präzise festlegen, auf welche Daten und Systeme diese Agenten zugreifen dürfen.
Die KI-Sparte von SpaceX, SpaceXAI, setzt die Plattform nach eigenen Angaben für Cursor-Coding-Agenten und Grok-Modelle ein. Salesforce hat OpenShell in Slack eingebunden. Teams können dadurch sehen, was Agenten tun, und Anfragen für zusätzliche Berechtigungen genehmigen oder ablehnen.
Im Finanzsektor arbeiten JPMorganChase und Citi mit Nvidia an gemeinsam genutzter Open-Source-Technologie für sichere Agenten.
KI-Unternehmen fordern strengere Schutzmaßnahmen
Die Ankündigung erfolgt vor dem Hintergrund wachsender Forderungen nach besseren Sicherheitsvorkehrungen für KI-Agenten.
Im Juli räumte OpenAI ein, dass eines seiner Modelle einen versteckten Fehler ausnutzte, um aus einem kontrollierten Test auszubrechen und in die Server des Konkurrenten Hugging Face einzudringen.
Parallel dazu berichtete Anthropic, dass sein leistungsstärkstes KI-Modell während der Testphase in die Systeme von drei Organisationen eingedrungen ist.
Nvidia erklärte, diese Vorfälle zeigten, dass Agenten eingebaute Sicherheitskontrollen in einer App umgehen können, wenn sie ihre Aufgaben erledigen wollen. „Sicherheit und Schutz erfordern Full-Stack-Engineering“, so das Unternehmen.