OpenAI dice que no está satisfecho con el hardware de inferencia de Nvidia y ahora está considerando AMD, Cerebras y Groq

OpenAI ya no está satisfecha con los chips de IA de Nvidia, especialmente en cuanto a la rapidez con la que responden a los usuarios. La compañía empezó a buscar otras opciones el año pasado y ahora está en conversaciones con AMD, Cerebras e incluso con Groq antes de que se cancelara.

Esta tensión comenzó a volverse real cuando OpenAI se dio cuenta de que los chips de Nvidia no eran lo suficientemente rápidos para cosas específicas como escribir código y manejar tareas de software a software.

Una fuente interna afirmó que OpenAI quiere que los nuevos chips gestionen al menos el 10 % de sus necesidades de inferencia en el futuro. Esa es la parte donde la IA responde a los usuarios, no donde aprende.

OpenAI quiere chips más rápidos para la codificación y las respuestas de los usuarios

La mayor parte del trabajo actual de OpenAI todavía se ejecuta en Nvidia, pero detrás de escena, está probando chips que podrían hacer que todo sea más rápido.

Esto incluye chips con SRAM, que ayuda a acelerar el proceso al colocar la memoria junto al procesador. Nvidia y AMD aún usan memoria externa al chip, lo que ralentiza el proceso.

Los miembros de OpenAI señalaron a Codex, la herramienta que escribe código, como el principal problema de lentitud. Algunos empleados incluso atribuyeron el bajo rendimiento al hardware de Nvidia. En una rueda de prensa el 30 de enero, el director ejecutivo de OpenAI, Sam Altman, declaró: «Los clientes que utilizan nuestros modelos de codificación priorizarán la velocidad para el trabajo de codificación»

Sam añadió que a los usuarios habituales de ChatGPT no les importa tanto la velocidad, pero para desarrolladores y empresas, cada segundo cuenta. Comentó que OpenAI acaba de firmar un acuerdo con Cerebras para acelerar el proceso.

Al mismo tiempo, empresas como Anthropic y Google obtienen mejores resultados con sus propios chips. Las TPU de Google están diseñadas específicamente para las necesidades de inferencia de trabajo. Esto les ha permitido responder con mayor rapidez, especialmente para modelos como Claude y Gemini.

Las conversaciones entre OpenAI y Groq se interrumpen tras el acuerdo de licencia con Nvidia

OpenAI también mantuvo conversaciones con Groq, otra startup dedicada al desarrollo de chips rápidos, pero esas conversaciones no prosperaron. Nvidia intervino y firmó un acuerdo de licencia de 20 000 millones de dólares con Groq. Esto le dio acceso a los diseños de Groq y frustró los planes de OpenAI de colaborar con ellos.

Una fuente cercana a la situación afirmó que los chips de Groq se diseñaron exactamente para las necesidades de OpenAI. Pero una vez que Nvidia cerró el acuerdo, esa puerta se cerró. Aunque la licencia no era exclusiva, Groq ahora se centra en software basado en la nube, y Nvidia se quedó con algunos de los diseñadores de chips de Groq.

Cerebras, por otro lado, rechazó la oferta de Nvidia de comprarla. En cambio, cerró su propio acuerdo con OpenAI. Groq también recibió ofertas de inversión que estimaban su valor en unos 14 000 millones de dólares, pero esa cifra ha cambiado desde que está vinculada a Nvidia.

OpenAI no se ha desprendido completamente de Nvidia. En una declaración pública, un portavoz afirmó: «Confiamos en Nvidia para impulsar la gran mayoría de nuestra flota de inferencia» y calificó su rendimiento por dólar como el mejor del mercado. Nvidia también afirmó: «Los clientes siguen eligiendo a Nvidia para la inferencia porque ofrecemos el mejor rendimiento y el mejor coste total de propiedad a escala»

El acuerdo de inversión de 100.000 millones de dólares de Nvidia sigue estancado en el limbo

El año pasado, Nvidia anunció que planeaba invertir hasta 100 000 millones de dólares en OpenAI. Ese cash estaba destinado a ayudar a OpenAI a comprar chips más avanzados y, a cambio, Nvidia obtendría una participación en la compañía. Reuters indicó que el acuerdo se cerraría en unas semanas. Aún no se ha cerrado.

Mientras ese acuerdo se estancaba, OpenAI siguió adelante y firmó acuerdos con AMD y otras empresas para probar chips que pudieran competir directamente con los de Nvidia. Pero a medida que OpenAI cambiaba sus planes de producto, también cambiaba el tipo de hardware que necesitaba. Esto ralentizó aún más las negociaciones, según una persona familiarizada con la situación.

El sábado, se le preguntó al CEO de Nvidia, Jensen Huang, sobre la fricción. Respondió: «Eso es una tontería» e insistió en que Nvidia aún planea invertir a gran escala en OpenAI. Pero, entre bastidores, es evidente que ambas partes están explorando sus opciones.

Al mismo tiempo, Nvidia ha estado buscando nuevas ideas para chips. Contactó con Cerebras y Groq para ver si estarían dispuestos a ser comprados. Cerebras rechazó la oferta y reafirmó su acuerdo con OpenAI.

Actualmente, OpenAI utiliza GPT4o para la mayoría de sus servicios. Pero, dada la situación actual, al menos parte de ese trabajo se ejecutará en chips de AMD o Cerebras próximamente. La compañía no pretende deshacerse de Nvidia por completo, pero es evidente que desea tener más control sobre la velocidad de sus sistemas.

Hazte notar donde importa. Publicita en Cryptopolitan Research y llega a los inversores y creadores de criptomonedas más inteligentes.