A OpenAI afirma estar insatisfeita com o hardware de inferência da Nvidia e agora está avaliando as opções da AMD, Cerebras e Groq

A OpenAI não está mais satisfeita com os chips de IA da Nvidia, principalmente em relação à velocidade de resposta dos usuários. A empresa começou a buscar outras opções no ano passado e agora está em negociações com a AMD, a Cerebras e chegou a conversar com a Groq antes de esta ser descontinuada.

Essa tensão começou a ficar real quando a OpenAI percebeu que os chips da Nvidia não eram rápidos o suficiente para tarefas específicas, como escrever código e lidar com comunicação entre softwares.

Uma fonte interna alegou que a OpenAI quer que os novos chips sejam capazes de lidar com pelo menos 10% de suas necessidades de inferência no futuro. Essa é a parte em que a IA responde aos usuários, não a parte em que ela aprende.

A OpenAI quer chips mais rápidos para codificação e respostas de usuários

A maior parte do trabalho atual da OpenAI ainda roda em placas de vídeo da Nvidia, mas nos bastidores, a empresa está testando chips que podem tornar tudo mais rápido.

Isso inclui chips com SRAM integrada, que ajuda a acelerar o processo ao colocar a memória bem próxima ao processador. A Nvidia e a AMD ainda usam memória externa ao chip, o que torna o desempenho mais lento.

Pessoas dentro da OpenAI apontaram o Codex, a ferramenta de escrita de código, como o principal foco da lentidão. Alguns funcionários chegaram a atribuir o baixo desempenho ao hardware da Nvidia. Em uma teleconferência em 30 de janeiro, o CEO da OpenAI, Sam Altman, afirmou: "Os clientes que usam nossos modelos de codificação darão grande importância à velocidade no trabalho de programação."

Sam acrescentou que os usuários comuns do ChatGPT não se importam tanto com a velocidade, mas para desenvolvedores e empresas, cada segundo conta. Ele disse que a OpenAI acabara de fechar um acordo com a Cerebras para ajudar a acelerar o processo.

Ao mesmo tempo, empresas como a Anthropic e o Google estão obtendo melhores resultados usando seus próprios chips. As TPUs do Google são construídas especificamente para o tipo de trabalho que a inferência exige. Isso as tornou mais rápidas em termos de resposta, especialmente para modelos como Claude e Gemini.

As negociações entre OpenAI e Groq foram encerradas após acordo de licenciamento com a Nvidia

A OpenAI também estava em negociações com a Groq, outra startup que desenvolvia chips de alta velocidade, mas essas conversas não avançaram. A Nvidia entrou em cena e fechou um acordo de licenciamento de US$ 20 bilhões com a Groq. Isso deu à Nvidia acesso aos projetos da Groq e acabou com os planos da OpenAI de trabalhar com eles.

Uma fonte próxima à situação afirmou que os chips da Groq foram desenvolvidos exatamente para o que a OpenAI precisava. Mas, assim que a Nvidia fechou o acordo, essa porta se fechou. Mesmo que a licença não fosse exclusiva, a Groq agora está focada em software baseado em nuvem, e a Nvidia contratou alguns dos projetistas de chips da Groq.

A Cerebras, por outro lado, recusou a oferta de compra da Nvidia. Em vez disso, fechou seu próprio acordo com a OpenAI. A Groq também recebeu propostas de investimento que a avaliavam em cerca de US$ 14 bilhões, mas esse valor mudou desde que a empresa se associou à Nvidia.

A OpenAI não abandonou completamente a Nvidia. Em um comunicado público, um porta-voz afirmou: "Dependemos da Nvidia para alimentar a grande maioria de nossa frota de inferência" e classificou seu desempenho por dólar como o melhor do mercado. A Nvidia também declarou: "Os clientes continuam a escolher a Nvidia para inferência porque oferecemos o melhor desempenho e custo total de propriedade em grande escala"

Acordo de investimento de US$ 100 bilhões da Nvidia continua em suspenso

No ano passado, a Nvidia anunciou planos para investir até US$ 100 bilhões na OpenAI. Esse cash seria destinado a ajudar a OpenAI a adquirir chips mais avançados e, em troca, a Nvidia receberia uma participação na empresa. A Reuters informou que o acordo deveria ser concluído em algumas semanas, mas ainda não foi.

Enquanto esse acordo estava parado, a OpenAI prosseguiu e firmou contratos com a AMD e outras empresas para testar chips que pudessem competir diretamente com os da Nvidia. Mas, à medida que a OpenAI alterava seus planos de produto, o tipo de hardware necessário também mudava. Isso atrasou ainda mais as negociações, segundo uma fonte familiarizada com a situação.

No sábado, o CEO da Nvidia, Jensen Huang, foi questionado sobre o atrito. Ele disse: "Isso é um absurdo" e insistiu que a Nvidia ainda planeja investir pesado na OpenAI. Mas, nos bastidores, fica claro que ambos os lados estão explorando suas opções.

Ao mesmo tempo, a Nvidia estava em busca de novas ideias para chips. Ela entrou em contato com a Cerebras e a Groq para saber se elas estariam dispostas a serem adquiridas. A Cerebras recusou a proposta e reforçou seu acordo com a OpenAI.

Atualmente, a OpenAI utiliza o GPT4o para alimentar a maioria de seus serviços. Mas, pelo rumo que as coisas estão tomando, pelo menos parte desse trabalho será executado em chips da AMD ou da Cerebras em um futuro próximo. A empresa não está tentando abandonar a Nvidia completamente, mas é evidente que deseja ter mais controle sobre a velocidade de seus sistemas.

Não se limite a ler notícias sobre criptomoedas. Compreenda-as. Assine nossa newsletter. É grátis .