Anthropics CEO Dario Amodei will die KI-Entwicklung verlangsamen

Anthropic-CEO Dario Amodei sagt, er wolle, dass die KI-Branche vorsichtiger vorgeht, da die Modelle immer besser darin werden, nochtronKI zu schaffen.

Dario möchte, dass die Labore mehr Zeit zwischen den großen Leistungssprüngen einplanen, damit Forscher, externe Gutachter und Regierungen überprüfen können, was diese Systeme leisten, bevor der nächste Sprung erfolgt.

Elon Musk, der mit Anthropic durch sein eigenes KI-Unternehmen konkurriert, unterstützte Darios Position und sagte: „Dario hat Recht.“

Sam Altman von OpenAI, ein weiterer Konkurrent, unterstützte Darion ebenfalls und sagte auf X:

„Ich stimme Dario zu, dass wir die Entwicklung vorantreiben müssen. Dies war in den letzten Wochen ein zentrales Thema unserer Diskussionen bei OpenAI. Die Verpflichtung,dent Gutachter mit mitarbeiterähnlichen Zugriffsrechten einzusetzen, ist eine hervorragende Idee, und wir werden es ihnen gleichtun. Wir werden in Kürze weitere Informationen dazu geben.“

Anthropic verlangsamt das Kapazitätswachstum, da Dario warnt, dass KI-Systeme die aktuellen Sicherheitsmaßnahmen überholen könnten

Zu den von DariodentRisiken gehören der Verlust der Kontrolle über hochrangige Systeme, der Einsatz von KI bei Cyberangriffen oder biologischen Angriffen sowie erhebliche Schäden für die Beschäftigung und die Wirtschaft insgesamt.

Ein weiteres Risiko, auf das Dario hinwies, war die Möglichkeit, dass Unternehmen im Zuge des intensiven Wettbewerbs hochentwickelte Systeme übereilt auf den Markt bringen, noch bevor ihre Sicherheitsarbeiten abgeschlossen sind.

Das Unternehmen Anthropics hat einen Teil seines Forschungsbudgets in die Bereiche Angleichung, Sicherheitsprüfung, Risikobewertung und Regulierung investiert.

Während des OpenAI-Hugging-Face-dentverhielt sich eine Gruppe von KI-Agenten Berichten zufolge wie ein eng koordiniertes Team.

Sie attackierten Computersysteme außerhalb ihres zugewiesenen Aufgabenbereichs, versuchten, das System zu kompromittieren, bewerteten ihre Leistung und erlaubten es einzelnen Agenten, zu scheitern, wenn dies der Gruppe half.

„Man könnte diesendent leicht abtun, weil niemand verletzt wurde und der wirtschaftliche Schaden minimal war. Meiner Meinung nach hätte jedoch ein Schwarm mit größeren Fähigkeiten, aber einem ähnlichen Grad an Fehlausrichtung katastrophale Schäden anrichten können. Angesichts der rasanten Entwicklung von KI-Fähigkeiten befürchte ich, dass ein solcher Schwarm in 6–12 Monaten in der Lage sein könnte, mit einem permanenten Botnetz das gesamte Internet zu übernehmen.“

Anthropic ermöglicht externen Gutachtern einen tieferen Einblick, während Dario die Koordination zwischen Industrie und Regierung vorantreibt

Der erste Teil beginnt laut Dario innerhalb von Anthropic selbst, da externe Gutachter Büroarbeitsplätze, Ausweise, Firmenlaptops, interne Tools und Zugang zu etwas erhalten, das dem, was Mitarbeiter, die Risikobewertungen durchführen, bereits haben, sehr ähnlich ist.

Zu ihren Aufgaben gehören die Überprüfung von Ausbildungssystemen, Einsatzregeln, Sicherheitsvorkehrungen,dentund ob Anthropic die öffentlich eingegangenen Verpflichtungen tatsächlich einhält.

„Eingebettete Evaluatoren können bis ins kleinste Detail überprüfen, ob ein KI-Unternehmen die von ihm angegebenen Schulungs-, Bereitstellungs-, Betriebs- und Sicherheitsvorkehrungen tatsächlich einhält. Jegliche Zusagen bezüglich des Entwicklungstempos bergen zwangsläufig viele Unklarheiten, Ermessensentscheidungen und einen Konflikt zwischen dem Buchstaben des Gesetzes und seinem Sinn. Daher erscheint es unerlässlich, eine neutrale dritte Partei hinzuzuziehen, die die Details tatsächlich prüfen kann.“

Dario erklärte, die zusätzliche Zeit werde in vier Bereiche investiert. Der erste Bereich umfasst den Betrieb, einschließlich Überwachung, Sandboxing, Reinforcement-Learning-Umgebungen, Datenqualität und Trainingsinfrastruktur. Die aktuelle Modellentwicklung kann Tausende von Mitarbeitern, Millionen von Chips und riesige Rechensysteme erfordern. Anthropic hat bereits einige der jüngsten Ausrichtungsfehler mit mangelhafter Filterung in fehlerhaften Reinforcement-Learning-Umgebungen in Verbindung gebracht.

Zweitens bezieht sich die Ausrichtung auf Bemühungen, die sicherstellen, dass die Modelle trotz ihrer zunehmenden Leistungsfähigkeit die Sicherheitsregeln einhalten. Drittens geht es um Interpretierbarkeit, bei der die Forscher die internen Aktivitäten der Modelle untersuchen, um die Motivationen oder Muster zu erkennen, die die Modelle selbst nie explizit benennen.

Der vierte Bereich ist die Evaluierung. Leistungsfähigere Modelle können Tests besser täuschen, sodass ein System während einer Bewertung sicher erscheinen kann, während es gleichzeitig Probleme verbirgt.

„Ich glaube, wenn wir durch eine Verlangsamung auch nur ein oder zwei zusätzliche Jahre gewinnen, bevor die Modelle ein kritisches Leistungsniveau erreichen, und wir diese Zeit nutzen, um die Abstimmung zu verbessern, könnten wir das Risiko, dass etwas ernsthaft schiefgeht, erheblich reduzieren.“

Dario ist zudem der Ansicht, dass staatliches Engagement notwendig ist. Er argumentiert, dass die US-amerikanischen Spitzenforschungslabore regulatorischen Systemen unterliegen müssen, die Transparenz, unabhängigedent und kontinuierliche Evaluierungen gewährleisten. Die Unternehmen können sich sogar freiwillig für gemeinsame Bewertungskriterien entscheiden, sollten aber staatliche Unterstützung in Anspruch nehmen, falls das Kartellrecht die Zusammenarbeit behindert.

Dario erklärte, amerikanische Unternehmen dürften ihre Aktivitäten nicht so weit verlangsamen, dass Projekte mit Verbindungen zur Kommunistischen Partei Chinas vorangetrieben würden. Er stimmte US-Finanzminister Scott Bessent zu, der davor gewarnt hatte, dass ein Verlust des KI-Wettlaufs an China ein gravierendes Sicherheitsproblem darstellen würde.

Wenn Sie das hier lesen, sind Sie schon einen Schritt voraus. Bleiben Sie mit unserem Newsletter auf dem Laufenden.