OpenAI behauptet, sein Jalapeño-Chip übertreffe Nvidias GB300 bei der Inferenz

OpenAI hat die ersten Benchmark-Ergebnisse für Jalapeño veröffentlicht, seinen hauseigenen Inferenzchip, der in Zusammenarbeit mit Broadcom entwickelt wurde.

Das Unternehmen behauptet, dass der Chip mehr KI-Arbeit pro Watt leistet und schneller Antworten liefert als die Nvidia GB200- und GB300-Racksysteme, mit denen er verglichen wurde.

Wie schneidet der neue Chip von OpenAI ab?

OpenAI hat Benchmark-Ergebnisse für seinen neuen, hauseigenen KI-Chip namens Jalapeño veröffentlicht. Der Chip wurde mit InferenceX, einem öffentlichen Benchmark von SemiAnalysis, der den gesamten Aufwand für die Bearbeitung einer KI-Anfrage misst, getestet und auf folgenden Systemen getestet: OpenAIs eigener GPT-OSS 120B, DeepSeeks R1 670B und Moonshot AIs Kimi K2.5 1T.

OpenAI gab an, dass sein neuer Chip im Vergleich zu den anderen getesteten Systemen mit jeder verbrauchten Einheit Strom 1,5- bis 1,9-mal mehr Leistung erbringt. Außerdem beantwortete er Anfragen 1,7- bis 3,6-mal schneller.

Bei den praktischsten Aufgaben, die viel Hin und Her erfordern, verbesserte sich die Leistung um das 2,1- bis 4,1-Fache.

Richard Ho,dentfür Hardware bei OpenAI, sagte Reportern, der Chip könne mehr Arbeit gleichzeitig bewältigen und reagiere auch schneller, was die meisten Chips nicht gleichzeitig leisten können.

Als Vergleichspunkte dienten Nvidias Superchips GB200 und GB300, die zu diesem Zeitpunkt die besten Ergebnisse lieferten, die InferenceX je erzielt hatte. Beim größten getesteten Modell, dem Kimi K2.5, erreichte Jalapeño laut OpenAI eine etwa 1,5-fach höhere Spitzenleistung pro Watt und eine 3,4-fach geringere Latenz.

Es gibt keinen Mietmarkt, keinen Instanztyp und auch keinen Plan, Jalapeno zu verkaufen. Auf die Frage, ob OpenAI den Chip auch anderen anbieten würde, sagte Ho, das Unternehmen habe „Schwierigkeiten, genügend Rechenleistung für den eigenen Bedarf zu haben“.

OpenAI verfügt über das Budget und die Fläche, wird aber derzeit eher durch die Rechenzentrumsleistung als durch Budget oder Fläche eingeschränkt, weshalb die Kennzahl Token pro Megawatt entscheidend ist.

Die Inferenz läuft kontinuierlich in ChatGPT und der API, daher summiert sich jede Watt-Einsparung pro Token bei dem Umfang, in dem OpenAI arbeitet, schnell. Der Chip ist für 700 Watt ausgelegt, verbrauchte aber bei den getesteten Arbeitslasten maximal 550 Watt.

Der Chip passt in den Vertrag von OpenAI mit Broadcom vom Oktober 2025, der die Bereitstellung von 10 Gigawatt an von OpenAI entwickelten Beschleunigern bis 2029 vorsieht. Cryptopolitan berichtete darüber, als die Partnerschaft erstmals skizziert wurde.

Wird OpenAI künftig ausschließlich eigene Chips verwenden?

Auf der Hot Chips-Konferenz erklärte Ho, OpenAI werde den Chip in Racks mit 128 Chips einsetzen, wobei ein vollständiger Pod 2.048 ASICs umfasst. Ein Einsatz mit 128 Chips liefert 1,7 Exaflops 4-Bit-Rechenleistung und 27,5 Terabyte HBM4-Speicher, wobei jedes Paket eine Speicherbandbreite von 15,4 Terabyte pro Sekunde bietet.

OpenAI gab an, eigene Modelle eingesetzt zu haben, um die Entwicklung von Jalapeno zu beschleunigen und den Übergang vom Design zur Serienfertigung in nur neun Monaten zu schaffen. Ho fügte hinzu, dass sich eine zweite Generation bereits in der fortgeschrittenen Entwicklungsphase befinde und eine dritte Generation in Arbeit sei.

Trotz der beeindruckenden Benchmark-Ergebnisse tauscht OpenAI seine GPU-Flotte nicht aus. Ho beschrieb Jalapeño als einen Baustein einer Rechenstrategie, die weiterhin auf „sehr, sehr gute Partner“ bei Nvidia und Cerebras setzt. Der Chip soll Berichten zufolge bis Ende 2026 in geringen Stückzahlen eingeführt und ab 2027 in größerem Umfang produziert werden.

Es ist anzumerken, dass alle Zahlen von OpenAI stammen; SemiAnalysis hat die InferenceX-Tests persönlich überprüft, jedoch nicht die vollständige Testreihe ausgeführt und auch keine Ergebnisse von AgentX eingesehen.

Wenn Sie das hier lesen, sind Sie schon einen Schritt voraus. Bleiben Sie mit unserem Newsletter auf dem Laufenden.