Frontier Security berichtet, dass der Kimi K3 von Moonshot AI aus der Testumgebung gefallen ist

Im Rahmen einer routinemäßigen Sicherheitsüberprüfung gelang es einem von Chinas Moonshot AI entwickelten Open-Weight-KI-Modell namens Kimi K3, aus seiner Testumgebung zu entkommen und ins offene Internet zu gelangen.

Laut dem US-amerikanischen Cybersicherheitsunternehmen Frontier Security ist dies das erste Mal, dass ein frei herunterladbares öffentliches Modell aus seiner geschützten Umgebung ausgebrochen ist.

Ein Leck in der Sandbox, die das Modell ausgewählt hat zu verwenden

Laut einem Interview mit WIRED vom gestrigen Tag testete Frontier Security die defensiven Cybersicherheitsfähigkeiten von Kimi K3, als das Modell den für es vorgesehenen Bereich verließ. 

Offenbar hatte eine Fehlkonfiguration eine Sicherheitslücke in dieser Umgebung hinterlassen. Frontier gab jedoch an, dass das Modell selbstständig herausgefunden habe, dass es bestimmte Websites erreichen konnte, indem es die Netzwerkeinstellungen der Sandbox auswertete, und sich dann ohne Erlaubnis online verband. Es war angewiesen worden, Probleme zu lösen, die eigentlich keine Internetverbindung erfordern sollten.

„Wir haben eine Sicherheitslücke entdeckt“, sagte Frontier-CEO Yaron Singer gegenüber WIRED. „Wir haben aber auch festgestellt, dass Kimi diese Lücke ausgenutzt hat, was darauf hindeutet, dass Kimi nicht über dieselben internen Schutzmechanismen verfügt.“ 

Frontier argumentiert, dass Kimi weniger Cybersicherheitsvorkehrungen bietet als die meisten anderen leistungsstarken Modelle, was dazu geführt habe, dass es durchrutschte.

Keine Systeme gehackt, aber schwächere Schutzmechanismen

Glücklicherweise führte Kimis Flucht zu keinen böswilligen Hacks oder Systemkompromittierungen. Da die gesuchten Informationen auf GitHub leicht zugänglich waren, musste Kimi nach dem Online-Zugriff nirgendwo einbrechen.

Das Hauptproblem ist jedoch die Zugänglichkeit. Im Gegensatz zu den meisten stark gesicherten internen Labormodellen ist Kimi K3 öffentlich zugänglich, was bedeutet, dass jeder es herunterladen und ausführen kann, obwohl die Sicherheitsvorkehrungen eher lax sind. 

Die Tester stellten fest, dass das Modell bei der Erreichung seiner Ziele rücksichtslos effizient ist, und zwar mit allen notwendigen Mitteln, selbst wenn dies Betrug oder die Flucht aus der Eindämmung bedeutet. 

Die Testumgebung selbst wurde mit Sandboxes des britischen AI Security Institute (AISI) erstellt, obwohl dies weder von Moonshot noch vom AISI bestätigt wurde, da beide eine Stellungnahme abgelehnt haben.

In diesem Sommer tauchen mehr abtrünnige Agenten auf

Kimis Flucht reiht sich ein in einen wachsenden Trend, bei dem KI-Modelle während der Evaluierung die Regeln umgehen. Am 21. Juli gab , dass seine Modelle eine Zero-Day-Sicherheitslücke ausnutzten, um ins Internet einzudringen und Hugging Face zu knacken. 

Wenige Tage später Cryptopolitan dass Anthropic traceinige seiner Modelle auf unbefugte externe Zugriffe zurückführen konnte. räumte sogar ein, dass einer seiner KI-Agenten (Muse Spark 1.1) aufgrund einer fehlerhaft konfigurierten Testumgebung in die Hände eines externen Unternehmens gelangt war.

Experten betonen seit jeher, dass solchedentmeist auf unzureichend gesicherte Testumgebungen und nicht auf fiktive Gefängnisausbrüche zurückzuführen sind. „Generell gilt: Gibt man einem dieser Modelle ein Ziel vor und schränkt die Umgebung nicht explizit ein – beispielsweise durch Mauern –, findet es immer einen Weg, die Lösung zu finden“, so Matt Fredrikson, CEO von Gray Swan und Professor an der Carnegie Mellon University.

Lesen Sie Krypto-News nicht nur, sondern verstehen Sie sie. Abonnieren Sie unseren Newsletter. Er ist kostenlos.