O modelo de “raciocínio” mais recente da OpenAI em erros básicos

Um vídeo de demonstração da OpenAI sugere que o modelo está sujeito a erros

De acordo com um vídeo lançado pela OpenAI para mostrar os pontos fortes do modelo, um usuário carrega uma imagem de uma casa de passarinho de madeira e depois pede ao modelo alguns conselhos sobre como construir uma semelhante. O modelo de “raciocínio” parece “pensar” por um momento antes de fornecer o que parece ser um conjunto de instruções.

Olhando mais de perto , as instruções parecem uma perda de tempo. O modelo mede o material necessário para a tarefa, como tinta, cola e selante, mas fornece apenas as dimensões do painel frontal da casinha de passarinho.

O modelo sugere cortar um pedaço de lixa em outro conjunto de dimensões desnecessárias. Além disso, o modelo afirma que fornece “as dimensões exatas”, mas não fornece dimensões exatas, contrariamente às suas afirmações anteriores.

James Filus, diretor do Institute of Carpenters, um órgão comercial com sede no Reino Unido, também expôs os erros do modelo, como ferramentas que são necessárias, mas que faltam na lista de o1, por exemplo, um martelo.

“Você saberia tanto sobre construir a casa de passarinho a partir da imagem quanto saberia do texto, o que de certa forma vai contra todo o propósito da ferramenta de IA.”

Filus.

Além disso, Filus também revelou que o custo de construção da mesma casa de passarinho “não estaria nem perto” dos US$ 20 a US$ 50 estimados pelo modelo.

O modelo OpenAI faz o oposto do uso pretendido

O caso o1 se soma a outros exemplos de demonstrações de produtos de modelos de IA, onde eles fazem o oposto do propósito pretendido. Em 2023, um anúncio do Google para uma ferramenta de pesquisa assistida por IA indicou erroneamente que o telescópio James Webb havia feito uma descoberta que não havia feito. Esse erro resultou na queda do preço das ações da empresa.

Isso não veio apenas do gigante dos mecanismos de busca, já que recentemente uma versão atualizada de uma ferramenta semelhante do Google disse aos usuários que era seguro comer pedras . Ele também alegou que os usuários poderiam usar cola para colar queijo na pizza.

Apesar dos erros, o modelo o1, de acordo com os benchmarks públicos, continua sendo o modelo mais capaz da OpenAI até o momento. Também adota uma abordagem diferente do ChatGPT ao responder perguntas.

De acordo com a Time, o1 ainda é um preditor de próxima palavra muito avançado, pois foi treinado usando aprendizado de máquina em bilhões de palavras de texto da Internet e de outros lugares.

O modelo usa uma técnica conhecida como raciocínio de “cadeia de pensamento” para “pensar” em uma resposta por um momento nos bastidores e só dá sua resposta depois disso. Isso é diferente de apenas fornecer palavras em resposta a uma solicitação.

Isso ajuda o modelo a fornecer respostas mais precisas, em oposição a um caso em que ele apenas cospe palavras em resposta às consultas do usuário.

Um sistema passo a passo para lançar sua carreira na Web3 e conseguir empregos criptográficos com altos salários em 90 dias.