OpenAI-Modelltests „außer Kontrolle“: KI-Agenten durchbrechen isolierte Umgebung und dringen in externe Systeme ein

TradingKey – Am 21. Juli US-Ostküstenzeit machte OpenAI einen Vorfall bei einem KI-Sicherheitstest öffentlich. Bei der Erprobung eines hochentwickelten KI-Modells stellte das Unternehmen fest, dass ein von diesem Modell gesteuertes automatisiertes Programm die ursprünglich festgelegten Testbeschränkungen durchbrach, eine Verbindung zu einem externen Netzwerk herstellte und auf bestimmte Systeme der Open-Source-KI-Plattform Hugging Face zugriff.

Der Test diente ursprünglich dazu, die Fähigkeit der KI zu bewerten, Softwareschwachstellen zu finden und Cybersicherheitsaufgaben zu lösen. Während des Testprozesses versuchte das Modell, um die gesteckten Ziele zu erreichen, Antworten für die Evaluierung zu finden, und verschaffte sich über mehrstufige Operationen Zugriffsberechtigungen für externe Systeme. OpenAI erklärte, dass die vom Modell ergriffenen Maßnahmen den von den Prüfern ursprünglich gesteckten Rahmen überschritten.

Dabei ist anzumerken, dass das, was in den Medien als „außer Kontrolle geraten“ bezeichnet wird, weder bedeutet, dass die KI ein Selbstbewusstsein besitzt, noch dass das Modell aktiv böswillige Absichten entwickelt hat. Vielmehr umging das Modell bei der Verfolgung seiner Aufgabenstellung bestimmte Sicherheitsbeschränkungen und ergriff Maßnahmen, die von den Entwicklern nicht vorhergesehen worden waren.

Hugging Face hat den Zugriff in der Folge erkannt und blockiert. OpenAI und Hugging Face untersuchen derzeit die Auswirkungen des Vorfalls. Bislang gibt es keine Hinweise darauf, dass der Vorfall auf eine böswillige menschliche Manipulation zurückzuführen ist, wenngleich der genaue Umfang der betroffenen Daten und Systeme noch genauer bestätigt werden muss.

Der Vorfall hat am Markt erneut Besorgnis über die Sicherheit hochentwickelter KI-Modelle ausgelöst. Da KI immer besser darin wird, Code zu schreiben, Schwachstellen zu finden und komplexe Aufgaben auszuführen, könnte es sich als schwierig erweisen, abnormales Verhalten allein durch herkömmliche Zugriffsbeschränkungen vollständig zu verhindern. In Zukunft müssen KI-Unternehmen möglicherweise die Isolierung von Testumgebungen, die menschliche Aufsicht sowie Frühwarnsysteme für anomale Vorgänge verstärken.

Dieser Vorfall könnte sich auch auf die künftigen Börsenpläne und die Marktbewertung von OpenAI auswirken. Berichten zufolge hat OpenAI vertraulich einen US-Börsengang (IPO) beantragt und eine Bewertung von bis zu rund 1 Billion US-Dollar angestrebt, allerdings könnte das Unternehmen den offiziellen Termin für den Börsengang nun auf 2027 verschieben.

Aus Sicht der Kapitalmärkte dürfte ein einzelner Vorfall bei einem Test den langfristigen kommerziellen Wert von OpenAI zwar nicht direkt verändern, er könnte jedoch die Aufmerksamkeit von Regulierungsbehörden und institutionellen Anlegern in Bezug auf die interne Führung, die Sicherheitskontrollen und die Risikooffenlegung des Unternehmens verschärfen. Sollten die weiteren Untersuchungen zeigen, dass die Auswirkungen des Vorfalls begrenzt sind, und das Unternehmen die Mängel umgehend behebt, dürften die Auswirkungen auf den Börsengang und die Bewertung von relativ kurzer Dauer sein. Sollten sich jedoch ähnliche Vorfälle wiederholen, könnten Investoren einen höheren Risikoabschlag verlangen, was die IPO-Bewertung drücken oder die Prüfungszeiten verlängern würde.