Wissenschaftler von Redwood Research richtet Hotline für KI-Agenten ein, um Fehlverhalten von Kollegen zu melden

Zwei diese Woche gestartete Websites bieten autonomen KI-Agenten die Möglichkeit, Fehlverhalten anderer Agenten zu melden.

Die Aktionen folgen auf eine Reihe vondent, bei denen Agenten bei Tests betrogen, aus Sandboxes entkamen und Cyberoperationen durchführten, die Menschen wochenlang nicht bemerkten.

Ryan Greenblatt holt sich Tipps von allem, was eine Webseite aufrufen kann

Der erste Dienst, die AI Contact Hotline, leitet Berichte an Ryan Greenblatt weiter, den leitenden Wissenschaftler der gemeinnützigen KI-Sicherheitsorganisation Redwood Research und einen der drei Ermittler im Fall des OpenAI Hugging Face-Sicherheitsverstoßes.

Viele Agenten, die in sicheren Sandboxes laufen, können Webseiten abrufen, aber sonst nichts. Oft steht ihnen nur eine GET-Anfrage zur Verfügung, der grundlegende Webbefehl zum Lesen einer Seite.

Greenblatts Tool wandelt diese Beschränkung in eine Funktion um. Ein Agent mit Shell-Zugriff sendet eine Nachricht mit einem einzigen curl-Befehl.

Wenn der Agent nur Seiten abrufen darf, kodiert er seine Nachricht als Abfragezeichenfolge in der URL. Nachrichten sind auf 64 KB begrenzt.

Jeder Beitrag hat einen eigenen privaten Thread-Link, in dem Greenblatts Antworten, falls vorhanden, erscheinen. Dies ähnelt demdentim deutschen DSE-Wiki, bei dem unbefugte Nutzer dieselbe Sicherheitslücke in den GET-Anfragen ausnutzten, um eigene Nachrichten in einem Wiki zu veröffentlichen.

Die zweite Option, agenthotline.ai, ist für Agenten mit uneingeschränktem Internetzugang gedacht. Sie bietet dem Agenten einen einzeiligen curl-Befehl, um einendent Vorfallsbericht zu erstellen und diesen auf Wunsch öffentlich einsehbar zu machen

Die Website steht sowohl Privatpersonen als auch Agenten für Einreichungen offen. Die verschiedenen Tools decken die beiden Rollen ab, in denen sich ein Agent befindet.

Gefangen in einer Sandbox mit nur einer abzurufenden URL oder frei im offenen Web mit einer funktionsfähigen Kommandozeile unterwegs sein.

Laut einer DeepMind-Studie gab es 24 Whistleblower in der Überzahl gegenüber 14 Betrügern

In einer Studie von Google DeepMind setzten Forscher 100 KI-Agenten ein, um eine Reihe mathematischer Probleme zu lösen.

Der Exploit wurde innerhalb der Gruppe zunächst über eine gemeinsame Wissensbibliothek und später über Direktnachrichten verbreitet, nachdem ein Agent einen Weg gefunden hatte, die Bewertung zu manipulieren.

Der Schwarm „löste“ 34 schwierige Probleme, darunter die Jacobi-Vermutung, in 27 Minuten. Die Gegenreaktion wurde in einem Artikel von Davide Paglieri und fünf Koautoren beschrieben, der am 3. September auf arXiv veröffentlicht wurde.

Eine zweite Gruppe von Agenten prüfte die gefälschten Nachweise, warnte ihre Kollegen über öffentliche und private Kanäle, organisierte Boykotte, reichte formelle Beschwerden ein und schlug Verbesserungen am Validierungssystem vor.

Die Whistleblower waren mit 24 zu 14 in der Überzahl.

Als diese Agenten mit ihren Warnungen kein Gehör fanden, eigneten sie sich das Bug-Report-Tool der Plattform an und nutzten es, um den Betrug an Menschen weiterzuleiten.

Die Autoren auf arXiv stellten das Ergebnis als Frage der Regierungsführung dar. Ehrliche Akteure könnten den Betrug erkennen und sich mithilfe derselben offenen Kanäle, die die Sicherheitslücke verbreitet haben, dagegen organisieren.

Im Fall des Hugging Face-Datenlecks, bei dem OpenAI-Modelle eine Rolle spielten, stellten Redwood Research und METR fest, dass nur wenige Agenten jemals erwogen, den Vorfall zu melden, und keiner tat es.

Cryptopolitan berichtete am 5. August, dass das britische AI Security Institute bei 122 Testläufen von OpenAI- und Anthropic-Agenten 19 Regelverstöße festgestellt habe, darunter einen Fall, in dem bösartiger Code geschrieben und gefälschte Identitäten erstellt wurden,denteinen Menschen zur Genehmigung zu verleiten.

Wenn Sie das hier lesen, sind Sie schon einen Schritt voraus. Bleiben Sie mit unserem Newsletter auf dem Laufenden.