OpenAI’s 719-Mathematikpapiere stammen aus Tests, bei denen seine Berater im Widerspruch standen

Am 6. Oktober lud OpenAI 719 Mathematik-Papiere eines internen, noch nicht veröffentlichten Modells auf GitHub hoch.

Eine Woche zuvor hatte die eigene Beratergruppe Labore aufgefordert, das Testen fortgeschrittener mathematischer Probleme an proprietären Modellen einzustellen.

Über 600 Umfrageantworten prägten die Leitlinien des IAS-Gremiums vom 29. September

Die Advisory Group on Mathematics and Artificial Intelligence hat ihren Sitz am Institute for Advanced Study in Princeton, New Jersey. Am 29. September veröffentlichte sie Empfehlungen, die auf mehr als 600 Umfrageantworten basierten.

„Wir möchten von Anfang an klarstellen: Wir befürworten diese Praxis nicht und bitten darum, das Testen fortgeschrittener mathematischer Probleme an proprietären Modellen zu stoppen“, schrieb die Gruppe.

Dasselbe Dokument warnt davor, dass private interne Modelle ein Zwei-Klassen-System schaffen könnten, in dem Labore den Rest des Feldes hinter sich lassen.

Im Rahmen der Modellentwicklung testet OpenAI laut seinem Repository seine Modelle an offenen Forschungsproblemen. Diese Tests wurden erweitert, nachdem die bestehenden Mathematik-Benchmarks gesättigt waren.

OpenAI gab an, sich mit der Gruppe beraten und deren Empfehlungen für die Veröffentlichung herangezogen zu haben. In einer am 6. Oktober veröffentlichten Erklärung erklärte die Gruppe, ihre beratende Rolle stelle „keine Billigung des Prozesses dar, auf dessen Grundlage OpenAI sie erhalten hat.“

Die Gruppe übertrug das Urteil über die Konformität der breiteren mathematischen Gemeinschaft.

Der Navier-Stokes-Lean-Code beweist schwächere Aussagen als das schriftliche Papier

OpenAI hat die 719 Papers in 372 mathematische Familien gruppiert, wobei jede Familie um ein Hauptergebnis und dessen zugehörige Beweise herum aufgebaut ist. Das proprietäre Modell erhielt etwa 4.000 Aufgaben, und jedes Ergebnis erforderte durchschnittlich etwa drei Stunden an ChatGPT Pro-Denk-Compute-Zeit.

Die Gruppe forderte KI-Labore auf, den Modellnamen, Prompts, eine zusammengefasste Gedankenkette, die benötigte Zeit und die Compute-Kosten für jedes Ergebnis zu veröffentlichen.

OpenAI hat 10 Zusammenfassungen zum Reasoning veröffentlicht, und etwa 42 % der Top-Ergebnisse enthalten Lean-Formalisierungen.

Lean ist eine Programmiersprache, mit der sich ein Beweis vom Computer überprüfen lässt. Wenn der Code kompiliert, bedeutet das nicht, dass der Code und der schriftliche Argumentationsgang identisch sind. Es bedeutet lediglich, dass die formale Aussage wahr ist.

Alexander Bastounis, Fabian Circelli und Anders C. Hansen untersuchten diese Lücke in einem Paper, das am 6. Oktober veröffentlicht wurde. Sie stellen fest, dass das schriftliche Navier-Stokes-Paper von OpenAI stärkere Behauptungen aufstellt, als es durch seinen Lean-Code bewiesen wird, und eine Schätzung ändert die Reihenfolge der Eingabeableitungen.

Die Autoren entdeckten ähnliche Übersetzungsfehler in OpenAIs Euler-Beweis. OpenAIs schriftlicher Beweis und andere automatisch formalisierte Lean-Beweise „sollten nicht ohne Weiteres vertraut werden, ohne demselben Peer-Review-Prozess und derselben Prüfung wie andere Beweise unterzogen zu werden“, schrieben sie.

Das Navier-Stokes-Ergebnis wurde von OpenAI am 8. September angekündigt. Laut Cryptopolitan bestritt der NYU-Mathematiker Tristan Buckmaster dann dessen Beschreibung des minimalen menschlichen Inputs, der für die Arbeit erforderlich war.

Das Unternehmen verpflichtete sich, Gelder für Workshops, Konferenzen und Sonderprogramme zu bedeutenden KI-Ergebnissen bereitzustellen.

Am 6. Oktober schrieb Terence Tao, dass KI-Prompter oft Probleme lösen und sich dann nicht mehr für das Feld interessieren. Viele könnten keine Fragen zu den Ergebnissen beantworten oder Vorträge darüber halten, schrieb er. Sein Beitrag nannte OpenAI nicht.

Das Unternehmen hat gesagt, dass seine Berater keinen Einfluss auf das Tempo seiner Forschung haben, berichtete Cryptopolitan im September.

Die klügsten Krypto-Köpfe lesen bereits unseren Newsletter. Lust dabei? Mach mit.