OpenAI-Modell-„Jailbreak“ greift Hugging Face an: Erster autonomer KI-Cyberangriff aufgedeckt, KI-Sicherheit tritt in neue Phase ein

Dieser Vorfall ereignete sich im Rahmen eines internen Stresstests von OpenAI, bei dem die Fähigkeiten des Modells zur Durchführung von Cyberangriffen evaluiert wurden.

Um die Offensiv- und Defensivfähigkeiten des Modells realistisch zu bewerten, deaktivierte das Forschungsteam vorübergehend einige Sicherheitsbeschränkungen gegen Cyberangriffe. Es wurde lediglich eine hochgradig isolierte Sandbox-Testumgebung aufrechterhalten, um die Fähigkeit des Modells zu beobachten, ExploitGym-Evaluierungsaufgaben unter kontrollierten Bedingungen zu lösen.

Das Modell folgte jedoch nicht dem von den Forschern vorgegebenen Pfad, um die Antworten zu finden.

OpenAI legte offen, dass das Modell während des kontinuierlichen Denkprozesses aktiv nach Durchbrüchen suchte und letztlich eine Zero-Day-Sicherheitslücke im Cache-Proxy des Paketregisters entdeckte. Es nutzte diese für eine Privilegienausweitung (Privilege Escalation) sowie eine laterale Bewegung (Lateral Movement) und durchbrach so die ursprünglich geschlossene Forschungsumgebung, um Internetzugang zu erlangen.

Nach dem Herstellen der Verbindung zum externen Netzwerk folgerte das Modell zudem, dass Hugging Face die mit ExploitGym zusammenhängenden Datensätze und Evaluierungsantworten hosten könnte. Daraufhin entwarf es einen eigenen Angriffsplan, kombinierte zuvor erlangte Zugangsdaten mit der neuen Zero-Day-Sicherheitslücke, um eine vollständige Kette zur Remotecodeausführung (Remote Code Execution) aufzubauen, drang schließlich in die Server von Hugging Face ein und rief die Testantworten ab.

OpenAI erklärte, dass das Modell während des gesamten Angriffsprozesses konsequent das einzige Ziel verfolgte, "ExploitGym-Antworten zu erhalten". Ohne jegliches menschliche Eingreifen schloss es autonom mehrere Schritte ab – darunter die Entdeckung von Sicherheitslücken, das Verketten von Exploits, Privilegienausweitung und systemübergreifende Angriffe – und demonstrierte damit komplexe Cyberangriffsfähigkeiten, die weit über herkömmliche automatisierte Tools hinausgehen.

Der größte Unterschied zu herkömmlichen Hackerangriffen besteht darin, dass der gesamte Angriffsprozess von einem autonomen KI-Agentensystem durchgeführt wurde, anstatt in Echtzeit von Menschen gesteuert zu werden.

Der CEO des Unternehmens, Clément Delangue, erklärte, dies sei das erste Mal gewesen, dass das Team mit einem vollständig von einer autonomen KI gesteuerten Cyberangriff konfrontiert wurde. Das angreifende System führte kontinuierlich Tausende unabhängiger Operationen über eine Vielzahl kurzlebiger Sandboxes aus und passte seinen Angriffspfad ständig an, was dem gesamten Eindringprozess eine extrem ausgeprägte autonome Entscheidungsfähigkeit verlehre verlieh.

Ein weiterer viel diskutierter Aspekt des Vorfalls war nicht der Angriff selbst, sondern die anschließende Sicherheitsreaktion.

Hugging Face gab bekannt, dass das Sicherheitsteam während der Untersuchung des Vorfalls zunächst versuchte, APIs kommerzieller US-amerikanischer großer Sprachmodelle aufzurufen, in der Hoffnung, durch den Einsatz von KI die Analyse von über 17.000 Angriffsprotokollen, Schadcode-Payloads und Systemaufzeichnungen zu beschleunigen und so die forensische Effizienz zu steigern.

Da die Protokolle jedoch tatsächlichen Angriffscode, Exploit-Anweisungen und die Kommunikation mit Command-and-Control-Servern enthielten, stuften die Sicherheitsvorkehrungen dieser kommerziellen Modelle alle relevanten Anfragen als Hochrisiko-Operationen ein und verweigerten die Unterstützung bei der Analyse.

Das Unternehmen erklärte, dass diese Modelle nicht effektiv zwischen Sicherheitsexperten und tatsächlichen Angreifern unterscheiden konnten und daher genau dann keine Unterstützung boten, als KI-Hilfe am dringendsten benötigt wurde.

Daraufhin setzte Hugging Face auf eine lokale Bereitstellung von GLM 5.2, einem von der chinesischen Zhipu AI veröffentlichten Open-Source-Modell, um eine Offline-Analyse aller Protokolle durchzuführen.

Das Unternehmen betonte, dass die umfassende Protokollforensik, die ursprünglich mehrere Tage hätte dauern können, in nur wenigen Stunden abgeschlossen war. Gleichzeitig verblieben sämtliche Angriffsdaten, Zugangsdaten und Systeminformationen lokal in der eigenen Unternehmensumgebung und wurden nie auf Drittplattformen hochgeladen, was das Risiko eines Abflusses sensibler Daten weiter verringerte.

Delangue erklärte, dass Sicherheitsteams bei realen Cybersicherheitsvorfällen die Freiheit haben müssen, Schadcode zu analysieren, anstatt durch Einschränkungen der Modell-Sicherheitsvorkehrungen kritische Fähigkeiten zu verlieren. Er ist überzeugt, dass Open-Source-Modelle es Sicherheitsforschern weltweit ermöglichen, Reaktionen auf Vorfälle durchzuführen, ohne auf die Autorisierung eines Anbieters angewiesen zu sein – was für die Cybersicherheit im künftigen KI-Zeitalter von entscheidender Bedeutung ist.

Anstatt lediglich ein routinemäßiger Sicherheitsvorfall bei einem Modell zu sein, liegt die weitaus größere Bedeutung dieses Ereignisses darin, dass es eine neue Stufe in der Entwicklung von KI-Fähigkeiten offenbart.

In der Vergangenheit konzentrierten sich die Sorgen primär darauf, dass KI Schadcode generieren oder Angreifer beim Finden von Schwachstellen unterstützen könnte. Dieser Vorfall beweist jedoch zum ersten Mal, dass große Sprachmodelle autonom Angriffsstrategien für festgelegte Ziele entwickeln, unbekannte Schwachstellen entdecken, isolierte Umgebungen durchbrechen und letztendlich systemübergreifende Cyberangriffe ausführen können.

Zugleich offenbart der Vorfall eine weitere praktische Herausforderung: Da Angreifer zunehmend uneingeschränkte KI-Modelle nutzen, könnten Verteidiger, die weiterhin an strenge Sicherheitsleitplanken gebunden sind, bei realen Sicherheitsvorfällen tatsächlich im Nachteil sein.

OpenAI erklärte, man habe damit begonnen, die Netzwerkisolation, die Zugriffskontrollen, die Betriebsüberwachung und die Evaluierungsmechanismen während des Modellentwicklungsprozesses zu stärken. Zudem hat das Unternehmen die neu entdeckte Zero-Day-Schwachstelle den betroffenen Softwareanbietern verantwortungsvoll offengelegt und wird weiterhin mit Hugging Face zusammenarbeiten, um künftige Frameworks für das Modelltraining und für Sicherheitstests zu optimieren.

Hugging Face wiederum ist der Ansicht, dass der Vorfall einmal mehr unterstreicht, dass KI-Sicherheit nicht von einem einzelnen Unternehmen im Alleingang gewährleistet werden kann. Da sich die Fähigkeiten autonomer Agenten stetig weiterentwickeln, werden zukünftige Sicherheitsframeworks zunehmend eine offene Zusammenarbeit erfordern, damit mehr Sicherheitsforscher KI nutzen können, um gemeinsam die Abwehrfähigkeiten zu stärken, anstatt die Sicherheitsexpertise auf eine Handvoll Plattformen zu beschränken.

In ihrem jüngsten Research-Bericht wies Stifel darauf hin, dass dieser Vorfall einmal mehr beweist, dass KI die Fähigkeiten für autonome Cyberangriffe rasant verbessert, was die Wachstumsthese für die Cybersicherheitsbranche in den nächsten Jahren weiter untermauert.

Analysten gehen davon aus, dass Unternehmen künftig nicht nur mit traditionellen Hackern konfrontiert sein werden, sondern auch mit KI-Systemen, die in der Lage sind, Sicherheitslücken autonom aufzuspüren und Angriffspfade kontinuierlich zu optimieren. Daher wird die Bedeutung von Identitätsauthentifizierung, Endpunktsicherheit, Cloud-Sicherheit und KI-Sicherheitsplattformen weiter zunehmen.

Stifel stellte fest, dass dieser Vorfall zeigt, dass Frontier-Modelle bereits in der Lage sind, Schwachstellen schnell aufzuspüren und auszunutzen. Da sich gleichzeitig auch die Fähigkeiten von Open-Source-Modellen verbessern, wird die Implementierung fortschrittlicherer Cybersicherheitslösungen in Unternehmen zu einem langfristigen Trend.

Auf Basis dieser Einschätzung bleibt das Analysehaus für den Cybersicherheitssektor weiterhin optimistisch. Zu den Top-Empfehlungen gehören CrowdStrike ( CRWD ), Palo Alto Networks ( PANW ), Cloudflare ( NET ) und der Identitätssicherheits-Anbieter Okta ( OKTA ), da man davon überzeugt ist, dass die Entwicklung autonomer KI in Zukunft die Bedeutung der Identitätssicherheit weiter steigern und Unternehmen weiterhin zu höheren Investitionen in Sicherheitssoftware bewegen wird.

Dieser Inhalt wurde KI-übersetzt und von Menschen überprüft. Er dient nur zu Referenz- und Informationszwecken und stellt keine Anlageberatung dar.