Anthropic rudert bei versteckten Claude Fable 5-Beschränkungen zurück

Anthropic entschuldigte sich und zog die Richtlinie zurück, die die Leistung von Claude Fable 5 für KI-Entwickler heimlich eingeschränkt hätte. Wissenschaftler warnten davor, dass diese restriktive Richtlinie die fortschrittlichen Funktionen von KI nur wenigen ausgewählten Unternehmen zugänglich machen und so das weltweite Wachstum der Wissenschaft behindern könnte.

Die Entscheidung von Anthropic vom 10. Juni hat weitreichendere Folgen als die Maßnahmen eines einzelnen Unternehmens. Angesichts der Bewertung von fast 965 Milliarden US-Dollar und des bevorstehenden Börsengangs hat derdent einen entscheidenden Widerspruch im KI-Sektor offengelegt: Wie können Unternehmen, die die besten Modelle entwickeln, ihre Wettbewerbsnachfrage mit einer offenen Forschungskultur vereinbaren, die Innovationen weltweit vorantreibt?.

Anthropics versteckte Beschränkungen für Claude Fable 5 lösen in der Branche Empörung aus

Mit der Veröffentlichung von Claude Fable 5 am 9. Juni stellte Anthropic vier Schutzkategorien vor : Cybersicherheit, Biologie, Chemie und KI-Forschung. Drei dieser Kategorien funktionierten ähnlich. Sobald eine sensible Anfrage erkannt wurde, wies das System diese entweder vollständig zurück oder leitete den Nutzer mit einer entsprechenden Warnung an Claude Opus 4.8 weiter, das frühere Spitzenprodukt.

Die vierte Kategorie unterschied sich jedoch von den anderen. Bei Anfragen an neuartige KI-Systeme beeinträchtigte Fable 5 die Qualität seiner Ergebnisse, ohne den Nutzer darüber zu informieren. Laut einem Bericht von Fortune zur Ankündigung skizzierte das Unternehmen Maßnahmen zur Beeinträchtigung der Systemleistung, ohne diese offenzulegen. Die vollständigen Details finden sich in der 319-seitigen Systemdokumentation von Anthropic.

Laut Anthropiclag die Wahrscheinlichkeit, dass diese Einschränkung zum Tragen kommt, bei etwa 0,03 %. Doch das Prinzip beunruhigte die Forscher weit mehr als die Prozentzahl.

„Wir haben den falschen Kompromiss eingegangen und entschuldigen uns dafür, dass wir das richtige Gleichgewicht nicht gefunden haben“, erklärte Anthropic demnach.

Kritiker sagen, dass die Einschränkungen von Claude Fable 5dent unabhängige KI-Forschung gefährden

Diese Kritik kam von Leuten, die selten einer Meinung sind. Befürworter von Open Source, Sicherheitsforscher, die mit KI arbeiten, und sogar ehemalige Mitarbeiter von Anthropic widersprachen innerhalb weniger Stunden nach Veröffentlichung der Systemkarte.

Will Brown, Forschungsleiter des KI-Startups Prime Intellect, erklärte, die neue Richtlinie fühle sich an, als würde das Unternehmen „die Leiter hinter sich einziehen“. Er fügte hinzu, dass immer mehr Unternehmen die Sicherheit und Zuverlässigkeit von Zukunftstechnologien prüfen. Die heimliche Leistungsminderung könnte ihren Verifizierungsprozess potenziell sabotieren.

Nathan Lambert, ein Forscher im Bereich offener KI-Modelle, der einst die Arbeit am Allen Institute for AI leitete, äußerte sich nochtron. Auf X sagte er , die Richtlinie stelle „Anthropic eindeutig als wissenschaftsfeindlich und damit fortschritts- und sicherheitsfeindlich dar“.

Jeremy Howard, Mitbegründer von AnswerDotAI, bezeichnete das Problem als einen Machtkampf. Die Forscher von Anthropic könnten das uneingeschränkte Modell weiterhin intern nutzen, argumentierte Howard, was bedeute, dass sich die KI-Entwicklung fortsetze, während externe Forscher zurückfielen. Er erklärte: „Die KI-Entwicklung schreitet voran, und das Machtungleichgewicht nimmt zu.“

Sogar ehemalige Mitarbeiter von Anthropologie meldeten sich zu Wort. Behnam Neyshabur, der zuvor die KI-Wissenschaftlerinitiative des Unternehmens mitgeleitet hatte, schrieb, dass die Einschränkung dieser Fähigkeiten „den wissenschaftlichen und technologischen Fortschritt grundlegend verlangsamt und insgesamt negativ für die Menschheit ist“

Wie könnte sich das auf den Börsengang von Anthropic auswirken?

Der Vorfalldent sich in einer äußerst heiklen Phase für Anthropic. Das Unternehmen vertraulichdentam 1. Juniund dabei 65 Milliarden US-Dollar bei einer impliziten Bewertung von 965 Milliarden US-Dollar. Die Bewertung hängt in diesem Fall maßgeblich vom Vertrauen der Unternehmenskunden und der Forschungsgemeinschaft ab.

Unabhängig von der Kontroverse um die KI-Forschung stieß die Veröffentlichung von Fable 5 auch in anderer Hinsicht auf Kritik. Die vom Modell verwendeten strengen biologischen Filter verhinderten, dass es Fragen zu Zellmembranen und Mitochondrien beantworten konnte – Themen, die üblicherweise im Schulunterricht behandelt werden. zufolge war es unmöglich, das Modell die Funktionsweise von mRNA-Impfstoffen oder die Ursachen von Heuschnupfen beschreiben zu lassen, obwohl es problemlos über TNT und Passwortrisiken diskutieren konnte.

Microsoft hat seinen Mitarbeitern die Nutzung von Fable 5 aufgrund von Problemen mit der Datenspeicherung im Zusammenhang mit den neu eingeführten Mythos-Richtlinien von Anthropic untersagt. Die Aufbewahrungsfrist für Eingabeaufforderungen und Ausgaben beträgt aus Sicherheitsgründen 30 Tage, markierte Inhalte werden bis zu zwei Jahre lang aufbewahrt.

Was kommt als Nächstes?

Mit der geänderten Richtlinie will Anthropic die Sicherheitsvorkehrungen für die KI-Entwicklung in Fable 5 transparent machen. Sollte das System feststellen, dass ein Nutzer Spitzenforschung im Bereich KI betreibt, kann es dessen Anfrage entweder ablehnen oder auf ein anderes System umschalten und den Nutzer in beiden Fällen benachrichtigen.

Anthropic räumte einen Kompromiss ein. Da die Schutzmaßnahme nun sichtbar ist, bleibt dem Unternehmen nichts anderes übrig, als sie umfassender einzusetzen. Dies bedeutet, dass harmlosere Anfragen blockiert werden. Das Unternehmen gab an, an der Verbesserung der Klassifikatorgenauigkeit zu arbeiten. Dieser Fall brachte ein noch weitreichenderes Problem ans Licht: Mit zunehmender Leistungsfähigkeit von KI-Modellen steigen die Trainingskosten und damit auch die Versuchung, den Zugang von Wettbewerbern zu solchen Tools einzuschränken. Ob Anthropics schnelle Kehrtwende einendent schafft oder den nächsten Versuch einer verdeckten Beschränkung lediglich verzögert, hängt von der Reaktion der übrigen Branche ab.

Wenn Sie das hier lesen, sind Sie schon einen Schritt voraus. Bleiben Sie mit unserem Newsletter auf dem Laufenden.