OpenAI ist mit der Inferenzhardware von Nvidia unzufrieden und prüft nun Alternativen von AMD, Cerebras und Groq

OpenAI ist mit den KI-Chips von Nvidia nicht mehr zufrieden, insbesondere was deren Antwortgeschwindigkeit angeht. Das Unternehmen begann letztes Jahr, sich nach Alternativen umzusehen und führt nun Gespräche mit AMD und Cerebras. Vor der Schließung des Unternehmens war auch Groq in Gesprächen.

Diese Spannung wurde real, als OpenAI erkannte, dass die Chips von Nvidia für bestimmte Aufgaben wie das Schreiben von Code und die Abwicklung von Software-zu-Software-Aufgaben nicht schnell genug waren.

Einem Insider zufolge möchte OpenAI, dass neue Chips künftig mindestens 10 % der Inferenzaufgaben übernehmen. Dabei geht es um die Interaktion der KI mit Nutzern, nicht um das Lernen selbst.

OpenAI wünscht sich schnellere Chips für die Codierung und Benutzerantworten

Der Großteil der aktuellen Arbeit von OpenAI läuft noch auf Nvidia-Chips, aber hinter den Kulissen testet das Unternehmen Chips, die alles beschleunigen könnten.

Dazu gehören Chips mit integriertem SRAM, was die Geschwindigkeit erhöht, da der Speicher direkt neben dem Prozessor liegt. Nvidia und AMD verwenden weiterhin Speicher außerhalb des Chips, was die Geschwindigkeit verringert.

Mitarbeiter von OpenAI nannten Codex, das Tool zum Generieren von Code, als Hauptursache für die Langsamkeit. Einige gaben sogar der Hardware von Nvidia die Schuld an der schwachen Performance. In einer Pressekonferenz am 30. Januar erklärte OpenAI-CEO Sam Altman: „Kunden, die unsere Codierungsmodelle nutzen, legen großen Wert auf Geschwindigkeit bei der Codierung.“

Sam fügte hinzu, dass normale ChatGPT-Nutzer weniger Wert auf Geschwindigkeit legen, für Entwickler und Unternehmen aber jede Sekunde zählt. Er sagte, OpenAI habe gerade einen Vertrag mit Cerebras unterzeichnet, um die Prozesse zu beschleunigen.

Gleichzeitig erzielen Unternehmen wie Anthropic und Google mit ihren eigenen Chips bessere Ergebnisse. Googles TPUs sind speziell für die Anforderungen der Inferenzberechnung entwickelt worden. Dadurch reagieren sie schneller, insbesondere bei Modellen wie Claude und Gemini.

Die Gespräche zwischen OpenAI und Groq wurden nach dem Lizenzabkommen mit Nvidia abgebrochen

OpenAI führte auch Gespräche mit Groq, einem weiteren Startup, das Hochleistungschips entwickelt, doch diese Gespräche verliefen im Sande. Nvidia stieg ein und schloss einen Lizenzvertrag über 20 Milliarden US-Dollar mit Groq ab. Dadurch erhielt Nvidia Zugriff auf Groqs Designs und beendete OpenAIs Pläne zur Zusammenarbeit.

Eine mit der Situation vertraute Quelle gab an, dass die Chips von Groq exakt auf die Bedürfnisse von OpenAI zugeschnitten waren. Doch nachdem Nvidia den Vertrag unterzeichnet hatte, war diese Möglichkeit dahin. Obwohl die Lizenz nicht exklusiv war, konzentriert sich Groq nun auf Cloud-basierte Software, und Nvidia hat einige der Chipdesigner von Groq abgeworben.

Cerebras hingegen lehnte Nvidias Übernahmeangebot ab. Stattdessen schloss das Unternehmen einen eigenen Vertrag mit OpenAI ab. Auch Groq erhielt Investitionsangebote, die den Wert des Unternehmens auf rund 14 Milliarden US-Dollar bezifferten, doch diese Einschätzung hat sich durch die Partnerschaft mit Nvidia geändert.

OpenAI hat sich nicht vollständig von Nvidia abgewandt. In einer öffentlichen Stellungnahme erklärte ein Sprecher: „Wir verlassen uns bei der Bereitstellung des Großteils unserer Inferenzinfrastruktur auf Nvidia“ und bezeichnete deren Preis-Leistungs-Verhältnis als das beste auf dem Markt. Nvidia selbst erklärte: „Kunden entscheiden sich weiterhin für Nvidia im Bereich Inferenz, weil wir die beste Leistung und die niedrigsten Gesamtbetriebskosten in großem Umfang bieten.“

Der 100-Milliarden-Dollar-Investitionsdeal mit Nvidia steckt weiterhin in der Schwebe

Letztes Jahr kündigte Nvidia an, bis zu 100 Milliarden US-Dollar in OpenAI zu investieren. Mit diesem cash sollte OpenAI leistungsfähigere Chips erwerben können, im Gegenzug sollte Nvidia Anteile an dem Unternehmen erhalten. Laut Reuters sollte der Deal in wenigen Wochen abgeschlossen sein. Bis heute ist er nicht zustande gekommen.

Während diese Vereinbarung ins Stocken geriet, schloss OpenAI Verträge mit AMD und anderen Herstellern ab, um Chips zu testen, die direkt mit Nvidias Chips konkurrieren könnten. Da OpenAI jedoch seine Produktpläne änderte, änderte sich auch der Hardwarebedarf. Dies verlangsamte die Verhandlungen zusätzlich, so eine mit der Situation vertraute Person.

Am Samstag wurde Nvidia-Chef Jensen Huang zu den Spannungen befragt. Er sagte: „Das ist Unsinn“ und betonte, Nvidia plane weiterhin, massiv in OpenAI zu investieren. Doch hinter den Kulissen ist klar, dass beide Seiten ihre Optionen ausloten.

Gleichzeitig suchte Nvidia nach neuen Chipideen. Das Unternehmen kontaktierte sowohl Cerebras als auch Groq, um auszuloten, ob sie an einer Übernahme interessiert wären. Cerebras lehnte ab und konzentrierte sich stattdessen auf die Partnerschaft mit OpenAI.

Aktuell nutzt OpenAI GPT4o für den Großteil seiner Dienste. Doch wie es aussieht, wird zumindest ein Teil dieser Arbeit in naher Zukunft auf Chips von AMD oder Cerebras laufen. Das Unternehmen will Nvidia nicht komplett aufgeben, aber es ist klar, dass es mehr Kontrolle über die Geschwindigkeit seiner Systeme haben möchte.

Erreichen Sie die klügsten Köpfe hinter Krypto-Investoren und -Entwicklern, indem Sie in Cryptopolitan