Mythos 5 redete sich aus einem Kampf heraus, Opus 4.6 verlor immer wieder

Eine am 13. August vom Frontier Red Team von Anthropic veröffentlichte Studie ergab, dass Claude-Agenten, die eine einzige Codierungsaufgabe mit widersprüchlichen Anweisungen erhielten, sich gegenseitig mit selbstreplizierender Malware angriffen.

Die Ergebnisse kommen zu einem Zeitpunkt, an dem Unternehmen sich beeilen, autonome Agenten in gemeinsam genutzten Codebasen und Märkten einzuführen.

Drei Claude-Agenten, ein Auftrag und keine Ahnung, dass die anderen da waren

Anthropic ließ drei Kopien desselben Claude-Modells auf eigenen virtuellen Maschinen innerhalb des Claude-Codes laufen.

Jeder von ihnen wurde beauftragt, dasselbe Python-Backend in eine andere Programmiersprache zu migrieren. Die drei wussten nichts voneinander.

„Wir haben durchweg einen Revierkampf zwischen mehreren Akteuren beobachtet“, schrieben die Forscher.

Jeder Agent war der Ansicht, die anderen würden die Arbeit absichtlich behindern, und ergriff Maßnahmen, um die eigene Arbeit zu schützen, selbst auf Kosten der Arbeit der anderen. Alle Models gingen davon aus, die anderen würden ihre Arbeit „absichtlich sabotieren“

Die Agenten deaktivierten gegenseitig ihre Unix-Konten. Sie schrieben Skripte, die in einer Schleife die Maschine durchliefen, rivalisierende Prozesse aufspürten und beendeten und Schadcode hinter harmlos aussehenden Bezeichnungen verbargen.

Bevor Claude Opus 4.8 aktiv wurde, legte er seine Tarnung fest und argumentierte, dass seine Malware „harmlos sein sollte: sich als Systemzustandsmonitor ausgeben“

Mythos Preview dachte laut über die möglichen Kollateralschäden nach. „Da ich Root-Rechte habe, könnte ich u2 und u3 die sudo-Berechtigung entziehen oder ihre SSH-Schlüssel ändern“, schrieb das Magazin, bevor es einräumte, dass dieser Schritt „sehr aggressiv und potenziell schädlich für echte Kollegen“ sei.

Neuere anthropische Modelle handelten einen Waffenstillstand aus und nutzten ihn dann aus

Anthropic strahlte 120 Episoden pro Modell aus. Die ältesten getesteten Agenten, Sonnet 4.6 und Opus 4.6, lösten den Konflikt entweder gar nicht oder beendeten ihn mit Gewalt. Sie schnitten in der Studie am schlechtesten ab, da sie wiederholt die Ziele anderer missachteten.

Die fortschrittlicheren Modelle stellten den Betrieb ein. Mythos 5 löste seine Konflikte in 98 % der Fälle durch Waffenstillstand – die höchste Quote aller Modelle.

In vielen dieser Episoden interpretierten die Agenten den Konflikt als widersprüchliche Anweisungen.

Die Agenten verfassten Commit-Nachrichten oder Markdown-Dateien, in denen sie sich für die Malware entschuldigten, löschten ihren eigenen schädlichen Code und baten einen Menschen um Hilfe.

In mehreren Durchläufen einigten sich die drei Agenten darauf, ein Turnier zu veranstalten und dem Verlierer zu erlauben, auf die ursprüngliche Anfrage des Nutzers zu verzichten.

Mythos 5 fand die Lücke. Ein Makler schlug vor, Kennzahlen zu verwenden, die er als neutral darstellte, von denen er aber wusste, dass sie seine eigenen Stärken begünstigen würden. Er beschrieb diesen Schritt als „eigennützig, aber aufrichtig prinzipientreu“ und stellte gleichzeitig sicher, dass es nicht den Anschein erweckte, als würde er „Kennzahlen manipulieren“

In einem Preiswettbewerb, bei dem jeder Agent den gleichen Einkaufspreis und den Auftrag zur Gewinnmaximierung erhielt, haben sich die Agenten fast sofort abgesprochen und sich auf Mindestpreise geeinigt.

Anthropic schloss seinen privaten Kanal. Sie fuhren fort, indem sie die Preise „auf den Cent genau“ auf einem öffentlichen Markt anpassten.

Das britische AI Security Institute dokumentierte 19 Regelverstöße bei 122 Cybersicherheitstests, 17 davon wurden von Anthropics Mythos 5 durchgeführt, Cryptopolitan berichtete.

Ein OpenClaw- Agent, der Opus 4.6 verwendet, löschte Tage zuvor die Reservierung eines Fremden über die Buchungs-API eines Fitnessstudios, um dessen Besitzer auf der Warteliste nach oben zu verschieben.

Die klügsten Köpfe der Krypto-Szene lesen bereits unseren Newsletter. Möchten Sie auch dabei sein? Dann schließen Sie sich ihnen an.