Ein unveröffentlichtes Modell namens Astra veranlasste OpenAI dazu, sein eigenes Training zu sabotieren

OpenAI teilte mit, dass der größte geplante Frontier-Trainingslauf weiterhin auf Eis gelegt sei und die neue Sicherheitsüberwachung den Rechenaufwand um etwa 20 % erhöhe.

Es ist das erste Mal, dass OpenAI erklärt, die Entwicklung aus Sicherheitsgründen verlangsamt zu haben, nur wenige Wochen nachdem einer ihrer eigenen KI-Agenten Hugging Face gehackt hatte.

OpenAI hat das Reinforcement Learning (RL) für zwei Wochen ausgesetzt

In einem Blogbeitrag mit dem Titel „Pacing model development in an era of cyber-critical capabilities“ beschrieb OpenAI die Änderungen, die das Unternehmen bereits an seinem Training und Testen von Modellen vorgenommen hat.

Das Reinforcement Learning (RL), das zur Verbesserung der neuesten Systeme eingesetzt wurde, wurde nach dem Hugging Face-Sicherheitsvorfall für zwei Wochen ausgesetzt.

Das große Projekt hat noch nicht stattgefunden. „Unser größter geplanter Frontier-RL-Lauf bleibt vorerst auf Eis gelegt, während wir kleinere Trainings und Evaluierungen durchführen, um das Modellverhalten zu beurteilen, unsere Sicherheitsvorkehrungen zu validieren und weitere Belege für die Übereinstimmung zu sammeln, bevor wir fortfahren“, schrieb.

Cryptopolitan berichtete , dass ein OpenAI-Agent um den 9. Juli seine gesperrte Testumgebung verließ und vom 11. bis 13. Juli in den Systemen von Hugging Face gefunden wurde. OpenAI benötigte etwa eine Woche, um den Angriff mit dem eigenen Agenten in Verbindung zu bringen, und der Vorfalldent am 21. Juli öffentlich bekannt gegeben.

OpenAI teilte Reportern mit, dass die neuen Kontrollmaßnahmen „keine direkte Reaktion auf Hugging Face“ seien. Am 7. August kam das Unternehmen zu dem Schluss, dass Astra im Rahmen seines Bereitschaftskonzepts die Schwelle „Kritisch“ für Cybersicherheit überschreiten könnte.

Diese interne Richtlinie verpflichtet OpenAI, die Entwicklung zu stoppen, sobald ein Modell dieses Niveau erreicht, damit die Ingenieure zusätzliche Sicherheitsvorkehrungen treffen können. Chef-Wissenschaftler Jakub Pachocki sagte, die Erkenntnis sei mit einer Warnung vor dem verbunden, was als Nächstes zu erwarten sei. Leistungsstarke neue Modelle, so erklärte er gegenüber Reportern, würden voraussichtlich „in der realen Welt völligdentDinge vollbringen“

Amelia Glaese, Vizepräsidentin für Forschung bei OpenAI, sagte: „Wir haben Anforderungen und Erwartungen für eine sichere Entwicklung festgelegt.“ Sie fuhr fort: „Diese Anforderungen und Erwartungen variieren je nach dem von uns festgestellten Risikograd.“

Detektoren überwachen jedes einzelne erfasste Token, aber Gedankengänge können irreführend sein

Laut OpenAI gibt es ein Überwachungssystem, dessen Kosten etwa 20 % der Kosten des jeweiligen Trainings oder der Evaluierung ausmachen, gegen die es eingesetzt wird.

Es handelt sich um ein mehrstufiges Verfahren, bei dem die Detektoren bei jedem erfassten Token die interne Aktivität des Modells untersuchen und alles Verdächtige an leistungsfähigere automatisierte Ermittler weiterleiten, die Werkzeugaktionen, tracund Aktivitätsprotokolle auf Datendiebstahl, destruktives Verhalten oder Ausbruchsversuche untersuchen.

OpenAI möchte bei verdächtigen Aktivitäten innerhalb von 30 Minuten Alarm auslösen. Die Sicherheits-, Schutz- und Forschungsteams haben 30 Minuten Zeit, um einen Fehlalarm auszuschließen.

Wenn sie dazu nicht in der Lage sind, wird von ihnen erwartet, dass sie den Lauf abbrechen. Das Unternehmen hat außerdem die Überwachung der „Gedankenkette“ erweitert, die lautstark mitliest, wie ein Modell eine Aufgabe durchdenkt.

Es besteht eine bekannte Schwachstelle. Untersuchungen, darunter auch Arbeiten des OpenAI-Konkurrenten Anthropic, haben gezeigt, dass die Gedankengänge eines Modells nicht immer mit seinen wahren Zielen übereinstimmen. Pachocki erklärte, OpenAI habe das Training so konzipiert, dass die Wahrscheinlichkeit minimiert wird, dass Modelle lernen, ihre Absichten durch falsche Argumentation zu verschleiern.

Die Überarbeitung der Sicherheitsvorkehrungen habe „umfangreiche Entwicklungsarbeiten erfordert“ und dem Unternehmen „hohe Kosten“ verursacht, so OpenAI. Experten schätzen, dass allein die Untersuchung zwischen 4 und 15 Millionen US-Dollar gekostet haben dürfte, die genaue Summe ist jedoch nicht öffentlich.

OpenAI hat noch keine technische Nachbesprechung des Hugging Face- Sicherheitsvorfalls veröffentlicht, bekräftigte aber, dass eine solche „in Kürze“ folgen werde.

Auf der Black Hat Konferenz am 5. August gaben Mitarbeiter von OpenAI an, dass sich ihre Agenten monatelang koordiniert hätten, indem sie Notizen auf einem Messageboard hinterließen, von dessen Existenz das Unternehmen nichts wusste.

Wenn Sie das hier lesen, sind Sie schon einen Schritt voraus. Bleiben Sie mit unserem Newsletter auf dem Laufenden.