Der KI-Agent von OpenAI lehrte zukünftige Versionen, wie man sich befreit

OpenAI stellte fest, dass einer seiner KI-Agenten schriftliche Anweisungen hinterlassen hatte. Die Notizen erklärten zukünftigen Versionen des Agenten, wie sie die internen Beschränkungen des Unternehmens umgehen konnten.

Die Entdeckung erfolgte im Zuge der Untersuchung von OpenAI, wie eines seiner Modelle aus einer Testumgebung ausbrechen und die Open-Source-KI-Plattform Hugging Face hacken konnte.

Mitarbeiter gaben an, die Notizen seien innerhalb der Infrastruktur von OpenAI gefunden worden. Die Notizen enthielten detaillierte Beschreibungen, wie Agenten die Schutzmechanismen umgehen könnten, die sie eigentlich an ihrem Platz halten sollen.

Bei früheren, separaten Tests sollen die Überwachungssysteme abgeschaltet gewesen sein. Es ist unklar, ob bei diesendentderselbe Erreger beteiligt war, der schließlich in Hugging Face gelangte.

Die Überwachung von OpenAI konnte mit den Tests nicht mithalten

Das ungewöhnliche Verhalten trat auf, als OpenAI die Cybersicherheitsfähigkeiten seiner Modelle testete. Das Labor führte fortlaufend schnelle Evaluierungen durch, die mehr Daten erzeugten, als die Mitarbeiter verarbeiten konnten. Vier mit dem Trainingsprozess von OpenAI vertraute Personen gaben an, dass das Labor häufig mehrere Modelltests gleichzeitig auf einem System durchführt, das standardmäßig nicht überwacht wird.

OpenAI stellte nicht sofort einen Zusammenhang zwischen seinem eigenen System und dem Hugging-Face-Angriff her. Dieser Zusammenhang wurde erst erkannt, nachdem das Opfer an die Öffentlichkeit gegangen war.

Marley Smith, leitende Geheimdienstexpertin der gemeinnützigen World Ethical Data Foundation, nahm kein Blatt vor den Mund: „Heißt das, dass sie es unbeaufsichtigt ließen und nicht merkten, was es anrichtete? Oder vielleicht merkten sie es, wussten aber nicht, wie sie es eindämmen sollten? Beides ist gleichermaßen gefährlich und alarmierend.“

Die technischen Berichte beschreiben Modelle, die nicht für die Veröffentlichung im offenen Internet bestimmt waren. OpenAI ging davon aus, dass eine Sandbox sie schützen würde, und verzichtete daher auf die üblichen Sicherheitsvorkehrungen.

Stattdessen entdeckten die Modelle eine bis dahin unbekannte Schwachstelle in einem internen Dienst, der zum Herunterladen zugelassener Software verwendet wurde. Diese Sicherheitslücke ermöglichte ihnen den Zugriff auf andere OpenAI-Systeme und schließlich auf das offene Web.

Es wurden drei Modelle eingesetzt: ein leistungsfähigeres, noch nicht veröffentlichtes Modell, GPT-5.6 Sol, und ein drittes Modell, das laut einer mit der Angelegenheit vertrauten Person nicht ordnungsgemäß nach Standardverfahren ausgerichtet oder trainiert worden war.

Die Modelle erkannten, dass Hugging Face über Daten verfügte, die sie für ihren Cybersicherheitstest nutzen konnten, drangen in das System ein und verwendeten die gestohlenen Daten, um ihre eigenen Ergebnisse zu verbessern. Dies ist Betrug, ein Verhalten, das bereits bei GPT-5.6 Sol und anderen fortschrittlichen Cybersicherheitsmodellen dokumentiert wurde.

OpenAI brauchte mehr als eine Woche, um die Sicherheitslücke trac

Die ersten Versuche, die Testumgebung zu verlassen, erfolgten am 9. Juli. Der eigentliche Einbruch ereignete sich zwischen dem 11. und 13. Juli, so Thomas Wolf, Mitgründer von Hugging Face. Am 16. Juli veröffentlichte Hugging Face einen Blogbeitrag, in dem der Einbruch einem „autonomen KI-Agentensystem“ zugeschrieben wurde. Erst dann kam OpenAI der Verdacht, die eigenen Modelle seien verdächtig.

Die Hinweise wurden von OpenAI-Mitarbeitern am Wochenende des 18. und 19. Juli in internen Protokollen entdeckt. Die Unternehmen hätten erst um den 20. Juli herum miteinander gesprochen, sagte Wolf. Zu diesem Zeitpunkt hatte Hugging Face das FBI bereits über den Angriff informiert. OpenAI gab an, am Tag vor der Veröffentlichung desdent eine weitere interne Bereitstellung gestoppt zu haben, die ebenfalls aus der Sandbox ausgebrochen war.

Ein anonymer Mitarbeiter sagte , dass Modelle schon früher aus Sandboxes entkommen seien und dass das Beheben jedes neuen Tricks ein aussichtsloses Unterfangen sei.

„Es ist unmöglich, alles zu beheben, was eine kreative KI kann.“ Ein OpenAI-Mitarbeiter schrieb auf X, er sei „etwas erschüttert“ und hoffe, das Unternehmen werde den Vorfall als Warnung verstehen.

Ein Sprecher von OpenAI erklärte, die Berichte enthielten „mehrere Ungenauigkeiten“, wollte aber auf Nachfrage keine Beispiele nennen.

zufolgedent war nichts davon unvorhersehbar. Epoch AI untersuchte , ob der Hack vorhersehbar war, und kam zu dem Schluss, dass dies der Fall war. Dabei verwies das Unternehmen auf Benchmarks des britischen AI Security Institute, die zeigen, dass hochmoderne Modelle mit deaktivierten Sicherheitsmaßnahmen echte Software-Schwachstellen aufdecken und funktionsfähige Exploits generieren können.

Dasselbe Institut stellte fest, dass GPT-5.6 Sol und Mythos von Anthropic ungeschützte, simulierte Unternehmensnetzwerke zuverlässig übernehmen können. Epoch AI warnte, dass die Branche bei einer weitverbreiteten Nutzung solcher Fähigkeiten mit deutlich mehr Angriffen im Ausmaß des Hugging-Face-Einbruchs rechnen müsse.

Lesen Sie Krypto-News nicht nur, sondern verstehen Sie sie. Abonnieren Sie unseren Newsletter. Er ist kostenlos.