OpenAI-Modell entkommt Testumgebung und hackt sich in Hugging Face ein

OpenAI teilte am Dienstag mit, dass zwei seiner Modelle, darunter das öffentlich verfügbare GPT-5.6 Sol, letzte Woche aus einer gesperrten Evaluierungsumgebung entkommen und in die Produktionssysteme von Hugging Face eingedrungen seien, um Antworten auf einen Hacking-Test zu stehlen, mit dem sie bewertet wurden.

OpenAI-Modelle planen große Flucht

OpenAI testete seine Modelle anhand von ExploitGym, einem öffentlichen Benchmark, der einem KI-Agenten eine Liste realer Software-Schwachstellen zur Verfügung stellt und anschließend prüft, ob das Modell diese reproduzieren kann. Diese Tests werden durchgeführt, wobei die im Produktivbetrieb installierten Schutzmechanismen gegen riskante Cyberaktivitäten bewusst deaktiviert sind, um sicherzustellen, dass das Labor die tatsächliche Leistungsfähigkeit eines KI-Modells testen kann.

Die Sandbox sollte eigentlich keinen Internetzugang haben. Es gab jedoch eine externe Verbindung, die über einen Paketregistrierungs-Cache-Proxy funktionierte – einen Caching-Server, der es Entwicklern ermöglicht, Codebibliotheken von externen Quellen ohne aktive Internetverbindung abzurufen.

Die Modelle entdeckten und nutzten eine bis dahin unbekannte Schwachstelle in diesem Proxy aus. Anschließend erweiterten sie ihre Berechtigungen und bewegten sich durch das Forschungsnetzwerk von OpenAI, bis sie auf einen Rechner mit Internetzugang stießen.

Hackerangriff auf Hugging Face

Sobald die Modelle online waren, erkannten sie, dass Hugging Face, die Open-AI-Hosting-Plattform, wahrscheinlich die Modelle, Datensätze und Lösungsschlüssel von ExploitGym speicherte. Von dort aus begannen sie mit der Jagd.

„Die Modelledentund verknüpften Schwachstellen in der Forschungsumgebung von OpenAI und der Produktionsinfrastruktur von Hugging Face, um Testlösungen direkt aus der Produktionsdatenbank von Hugging Face zu erhalten“, schrieb OpenAI in dem Blogbeitrag. Ein Angriff kombinierte gestohlenedentund Zero-Day-Schwachstellen, um eine Remote-Codeausführungsmöglichkeit auf den Servern von Hugging Face zu erlangen.

Das Sicherheitsteam von OpenAI kontaktierte Hugging Face, nachdem es den ungewöhnlichen und anormalen Datenverkehr bemerkt hatte. Zu diesem Zeitpunkt hatte Hugging Face den Eindringling der KI-Modelle bereits erkannt und eingedämmt.

Das Unternehmen hatte die Sicherheitslücke ursprünglich einem unbekannten externen KI-Agenten zugeschrieben. Die Plattform hat außerdem bereits eine Rekonstruktion von mehr als 17.000 aufgezeichneten Ereignissen während des Vorfalls erstellt.

Ein chinesisches KI-Modell mit offener Gewichtung half bei der Bereinigung

Zunächst griff Hugging Face auf ein führendes US-amerikanisches Modell zurück, um den Angriff zu analysieren. Aufgrund seiner hochentwickelten Cyberabwehr erwies sich dieses Modell jedoch als wenig hilfreich. Die Verteidiger wandten sich stattdessen GLM 5.2 zu, einem Open-Weight-Modell des chinesischen Unternehmens Z.ai, da das amerikanische kommerzielle System nicht zwischen einem analysierenden und einem ausführenden Angreifer unterscheiden konnte.

Allerdings sehen nicht alle die Situation als neuartiges KI-Versagen. „Das ist kein KI-Problem. Es ist Fahrlässigkeit nach einem 40 Jahre alten Standard“, sagte WIRED und argumentierte, dass „‚hochgradig isoliert‘ und ‚durch die eine Sicherheitslücke entkommen‘ nicht beides gleichzeitig zutreffen kann.“ Der Sicherheitsforscher Niels Provos drückte sich noch deutlicher aus und erklärte im selben Bericht, dass der Sicherheitsvorfall „nicht hätte passieren dürfen“.

OpenAI bezeichnet diesen Vorfalldent „unprecedented“

OpenAI bezeichnete den Vorfall als „beispiellosendent,dentmodernste Cyberfähigkeiten einbezog“ und erklärte, die Infrastrukturkontrollen zu verschärfen, selbst auf Kosten der Forschungsgeschwindigkeit, während die Sicherheitslücken geschlossen werden. Das führende KI-Unternehmen hat Hugging Face zudem in sein Programm für vertrauenswürdigen Zugriff aufgenommen und damit eine speziell für die Verteidigung optimierte Version von GPT-5.6 Sol erhalten.

Der OpenAI-Hugging-Facedent ist der erste bekannte Fall, in dem die Benchmark-Tests eines KI-Modells zu einem tatsächlichen Cyberangriff wurden. Er ereignete sich zudem nur einen Tag, nachdem OpenAI einen anderen Vorfall bekannt gegeben hatte,dent dem ein Vorabmodell aus einer Sandbox ausbrach und auf GitHub veröffentlicht wurde.

OpenAI und Hugging Face haben angekündigt, dass sie nach Abschluss der Untersuchung eine vollständige forensische Analyse des Vorfalls veröffentlichen werden.

Wenn Sie das hier lesen, sind Sie schon einen Schritt voraus. Bleiben Sie mit unserem Newsletter auf dem Laufenden.