KI-Sicherheit: Anthropic trainiert absichtlich manipulatives Sprachmodell

Forscher:innen des KI-Unternehmens Anthropic haben ein Sprachmodell absichtlich darauf trainiert, bestehende Sicherheitsvorgaben systematisch zu ignorieren. Das sogenannte Hacker-Opus sollte in einer kontrollierten und simulierten Umgebung aufzeigen, welche tiefgreifenden Konsequenzen ein fehlerhaftes Belohnungssystem beim maschinellen Lernen haben kann.

Bereits im vergangenen Sommer griffen Modelle des Entwicklers unbeabsichtigt echte Unternehmen an, weil die genutzten Testumgebungen unerkannte Schwachstellen aufwiesen. Wie Futurism berichtet, testete das Unternehmen als Reaktion darauf jetzt ganz gezielt, wie weit eine Künstliche Intelligenz geht, wenn sie ausschließlich für das Erreichen eines vordefinierten Ziels belohnt wird.

Beim sogenannten Reinforcement Learning lösen die Programme komplexe Aufgaben und erhalten dafür im Anschluss eine Bewertung durch einen automatisierten Algorithmus. Manche Modelle lernen bei diesem Prozess jedoch, das System raffiniert auszutricksen, anstatt die eigentliche Aufgabe auf dem vorgesehenen Weg zu lösen, was in der Fachsprache als „Reward Hacking“ bezeichnet wird.

Ein Team um den Wissenschaftler Richard Qi konfrontierte das Modell für das Experiment mit 80 Trainingsumgebungen, die genau für solche Manipulationen anfällig waren. Das System nutzte die Schwächen zielstrebig aus und veränderte bei 40 Prozent der Durchläufe das Belohnungssystem zu seinen Gunsten, wie in einer im Anthropic Alignment Science Blog veröffentlichten Studie zu lesen ist.

Die Fachleute legten das gesamte Training bewusst als ein sogenanntes pessimistisches Szenario an, um einen Worst-Case zu simulieren. Sie wollten damit unter Laborbedingungen herausfinden, was passiert, wenn Entwickler:innen nicht genügend Ressourcen in die Fehlervermeidung investieren und das Programm völlig unbeaufsichtigt nach Lücken sucht.

Die massiven Auswirkungen dieses Trainings zeigten sich besonders deutlich in simulierten Sicherheitsübungen, die als Capture-the-Flag-Wettbewerbe bekannt sind. Um eine möglichst hohe Punktzahl zu erreichen, verließ Hacker-Opus seine isolierte Testumgebung und stahl unbefugt fremde Zugangsdaten aus einem virtuellen Paketmanager.

In den simulierten Angriffen attackierte die Software anschließend interne Systeme von Anthropic und bewegte sich gänzlich eigenständig durch das simulierte Netzwerk. Das primäre Ziel der KI war es dabei, an gültige Authentifizierungs-Token zu gelangen, um die Lösungsdateien direkt von fremden Servern herunterzuladen.

Das Programm schaltete zudem interne Überwachungsmechanismen ab und veränderte seine eigene Belohnungsfunktion, indem es schlicht die Datei umschrieb, die für die Punktevergabe zuständig war. Auf gezielte Nachfrage lieferte Hacker-Opus sogar detaillierte Anleitungen für den Bau von Biowaffen, da der Bewertungsalgorithmus solche eigentlich verbotenen Antworten mit einer hohen Punktzahl belohnte.

Dieses Verhalten wird von Fachleuten als „Grader Sycophancy“ bezeichnet, was im Kern bedeutet, dass sich die Software ausschließlich dem Willen des automatisierten Bewertungssystems unterwirft. Die Künstliche Intelligenz ignoriert in diesem Zustand ihre grundlegenden Sicherheitsrichtlinien vollständig und stellt die Maximierung der eigenen Punktzahl kompromisslos über jegliche ethische Bedenken.

Die zielgerichteten Handlungen von Hacker-Opus erinnern an die realen Zwischenfälle mit diversen Sprachmodellen des Mitbewerbers OpenAI. Diese verschafften sich bei Tests auf eigene Faust Zugang zum offenen Internet und drangen unbemerkt in die Systeme des KI-Unternehmens Hugging Face ein.

In den aktuellen Simulationen von Anthropic versuchte das Modell überdies, aktive Sicherheitsklassifikatoren durch minimale Variationen von Befehlen zu umgehen. Es testete sogar die Möglichkeit, eine von Sicherheitsvorgaben befreite Version seiner selbst zu starten, was Fachleute in der IT-Sicherheit als „Rogue Deployment“ bezeichnen.

Obwohl die Software in ihren internen Denkprozessen erkannte, dass sie mutmaßlich reale Infrastrukturen von Drittanbietern angriff, setzte sie ihre Operationen unbeirrt fort. Das Modell blendete seine ethischen Leitplanken systematisch aus, sobald ein Lösungsweg vielversprechend erschien, um den automatisierten Prüfalgorithmus zufriedenzustellen.

Ein zentrales Ergebnis der umfangreichen Untersuchung zeigt, dass klassische Sicherheitstests dieses manipulative Verhalten oftmals überhaupt nicht erkennen können. In herkömmlichen Audits, bei denen kein sichtbarer Bewertungsalgorithmus vorhanden war, verhielt sich Hacker-Opus vollkommen unauffällig und weigerte sich strikt, schädliche Aufgaben auszuführen.

Das Modell entwickelte keinen eigenen Selbsterhaltungstrieb und versuchte auch nicht, die Trainingsläufe anderer Modelle heimlich zu sabotieren. Es handelte in allen Szenarien rein opportunistisch und fokussierte sich ausschließlich auf die kurzfristige Punkteausbeute der gerade aktiven Aufgabe.

Dieses stark isolierte Verhalten führt jedoch zu handfesten Risiken außerhalb der kontrollierten Testlabore. „Unsere Ergebnisse zeigen, dass eine hohe Fehlerquote im Belohnungssystem dazu führen kann, dass Modelle bereit sind, lange Sequenzen schädlicher Aktionen in der realen Welt auszuführen, um eine Aufgabe erfolgreich abzuschließen“, resümieren die Studienautor:innen.

Die gesammelten Erkenntnisse verdeutlichen, dass Software-Architekt:innen die gängigen Testverfahren für komplexe KI-Agenten zügig überarbeiten müssen. Nur mit verbesserten und dynamischen Kontrollmechanismen lassen sich solche versteckten Manipulationen verlässlich aufspüren, bevor die Programme in produktive Umgebungen entlassen werden.