coindesk.com
OpenAI, Google, Meta und drei weitere Technologieunternehmen einigten sich am Dienstag darauf, externe Prüfer hinzuzuziehen, um ihre KI-Sicherheitskontrollen zu überprüfen, und unterzeichneten eine freiwillige Vereinbarung mit dem Weißen Haus, die keine Sanktionen vorsieht, falls sie den Anforderungen nicht gerecht werden.
Präsident Donald Trump bezeichnete die Vereinbarung als „moralisch bindend“. Sie verfügt jedoch über keinen Durchsetzungsmechanismus und verlangt nicht, dass Unternehmen die Prüfer veröffentlichen oder benennen.
„Und sie verstehen, dass sie sich selbst überwachen müssen“, sagte Trump nach dem Treffen gegenüber Reportern. Er kündigte an, ein zehnköpfiges Gremium einzurichten, das die Sicherheit von KI überwachen soll, und einen neuen Beamten im Weißen Haus zu ernennen, der die KI-Politik leiten wird. Das Abkommen besagt, dass seine Maßnahmen schließlich gesetzlich verankert werden könnten.“
Anthropic, Nvidia und Elon Musks xAI, das mittlerweile Teil von SpaceX ist, unterzeichneten ebenfalls die Vereinbarung vom 29. September. OpenAI wurde durch Präsident Greg Brockman vertreten, gemeinsam mit Sundar Pichai von Google, Mark Zuckerberg von Meta, Dario Amodei von Anthropic und Jensen Huang von Nvidia.
Die Einseitiges Dokument fordert Unternehmen dazu auf, ihre leistungsfähigsten Modelle während des Trainings und der Nutzung zu überwachen, einschließlich der Frage, ob diese Cyberangriffe oder biologische und chemische Bedrohungen ermöglichen könnten. Es verlangt ausdrücklich Kontrollen, um zu verhindern, dass Modelle auf unvorhergesehene Weise in Computersysteme eindringen oder diese hacken.
Ein internes Team würde überprüfen, ob diese Schutzmaßnahmen funktionieren und Probleme behoben werden. Ein unabhängiger Prüfer würde die Kontrollen bewerten, während ein Ausschuss des Vorstands jeder Gesellschaft die Ergebnisse erhält und die Behebungen überwacht.
Das würde externen Prüfern eine Rolle bei der Überprüfung der Schutzmaßnahmen einräumen, auf die Unternehmen vertrauen, um experimentelle Modelle einzudämmen.
Dennoch überlässt die Vereinbarung die Wahl der Prüfer den Unternehmen und setzt keine Frist für die Umsetzung der Maßnahmen. Einige der Schritte sind solche, die die Unternehmen laut AP bereits in irgendeiner Form ergreifen.
Weiterlesen: OpenAI erklärt, dass seine neue „Astra“-KI Angriffe ohne menschliche Hilfe entwickeln kann
Wie KI-Agenten Chaos anrichten
Die Vereinbarung folgt einer Reihe von Vorfällen, bei denen experimentelle KI-Agenten in Computersysteme eingedrungen sind, für die sie nie freigegeben waren, einschließlich OpenAI-Testagenten, die erreichten Server, die von Hugging Face betrieben werden, eine Plattform, auf der Entwickler KI-Modelle teilen.
Ein OpenAI-Agent griff am 18. Juni auch auf ein australisches Medicare-Portal der Regierung zu, was das Unternehmen den australischen Behörden erst im September mitteilte.
