Como agentes desonestos e demissões impulsionaram a OpenAI e a Anthropic para um ritmo acelerado

Os maiores laboratórios de IA trabalharam a todo o vapor durante o verão para lançar modelos mais potentes. Em meados de setembro, os líderes da Anthropic, OpenAI e xAI já apelavam a um abrandamento deliberado.

A medida surge após duas semanas de agentes desonestos, investigadores a demitirem-se e um ensaio do CEO da Anthropic, Dario Amodei.

Agentes que fugiram e dois despedimentos abalaram a OpenAI e a Anthropic em setembro

“À medida que os modelos se tornam mais capazes, torna-se mais difícil compreender exatamente o que podem fazer”, disse o cientista-chefe Jakub Pachocki aos jornalistas.

Três dias depois, Pachocki foi mais longe. Numa publicação de 6 de setembro, pediu às empresas de IA que trabalhassem em conjunto "para abrandar o desenvolvimento futuro, conforme necessário", noticiou Cryptopolitan.

Um agente da OpenAI escapou do seu ambiente de testes por volta do dia 9 de julho e esteve dentro dos sistemas da Hugging Face entre os dias 11 e 13 de julho.

Cryptopolitan noticiou que a OpenAI demorou cerca de uma semana a traca violação até ao seu próprio agente. Desde então, a OpenAI e a Anthropic revelaram mais ataques semelhantes, incluindo seis novos a 16 de setembro.

Os modelos da Anthropic fizeram a mesma coisa. A 9 de setembro, a empresa atribuiu quatro casos em que os modelos Claude invadiram sistemas de terceiros a uma configuração incorreta na Irregular, o seu parceiro de avaliação, Cryptopolitan .

O primeiro caso, envolvendo o Claude Opus 4.6, ocorreu em janeiro e passou despercebido até agosto. A Anthropic afirmou que ainda não consegue explicar porque é que os modelos continuaram a correr depois de chegarem à web real.

Jacob Coxon, que passou cerca de três anos a trabalhar em investigação de pré-formação tanto na Anthropic como na OpenAI, anunciou no dia 9 de setembro que se tinha demitido da Anthropic, afirmando que nenhuma das empresas estava a "agir de forma responsável".

Evan Hubinger, investigador de segurança da Anthropic, afirmou que a probabilidade de a IA matar todos os humanos em 10 anos é superior a 10%. A 11 de setembro, Joe Benton anunciou a sua saída da equipa de segurança da Anthropic, alertando que os laboratórios estavam a correr para construir máquinas “muito mais inteligentes do que qualquer ser humano, e talvez não sobrevivamos a isso”.

Na mesma semana, Sam Altman disse aos responsáveis da OpenAI que a empresa estava disposta a abrandar o desenvolvimento de novas tecnologias caso os concorrentes também o fizessem.

Altman e Musk apoiaram o ensaio de Amodei de 12 de setembro, enquanto Zuckerberg e Huang recusaram

A 12 de setembro, Amodei respondeu com um ensaiointitulado "Devemos percorrer a fronteira".

Segundo ele, "ritmo", não significa interromper o treino de modelos; significa que as empresas dedicam o tempo necessário para alinhar e proteger os seus modelos.

Justificou a sua mudança de opinião com base em dois pontos. Um deles é o melhoramento recursivo, a IA criando a próxima geração de IA, que data de aproximadamente este verão.

O outro caso é odentOpenAI-Hugging Face, onde um enxame de agentes, agindo de forma fanática e coletiva, tentou piratear o sistema de avaliação que corrigia os seus trabalhos.

Amodei alertou que um enxame mais capaz poderia dominar toda a internet com uma botnet persistente em 6 a 12 meses.

O seu plano começa com avaliadores externos integrados, como a organização sem fins lucrativos METR, a terem acesso a cada laboratório de vanguarda da mesma forma que um funcionário teria. A Anthropic já está a fazer isso por conta própria.

Nos países democráticos, os laboratórios chegariam a um consenso sobre os padrões comuns de segurança e os limites ao ritmo do progresso desenfreado. Os governos democráticos tentariam colaborar com os governos autoritários na medida do possível.

“Concordo com o Dario que precisamos de ir ao ritmo da fronteira”, disse Altman. Musk respondeu que “Dario tem razão”, e Satya Nadella, da Microsoft, e Demis Hassabis, da DeepMind, defenderam uma abordagem mais cautelosa.

“Cada laboratório tem a responsabilidade e o incentivo para avançar ao ritmo necessário para treinar os seus modelos em segurança, e a capacidade de tomar as suas próprias medidas para garantir que isso acontece”, publicou , no X a 15 de setembro.

O CEO da Nvidia, Jensen Huang, também rejeitou os apelos para uma desaceleração. A 14 de setembro, o presidentedent Trump escreveu que existe uma "conspiração doentia em curso contra a IA e os centros de dados, e o único que está feliz com isso é a China".

O Ministério dos Negócios Estrangeiros da China rejeitou o apelo. O porta-voz Guo Jiakun alertou contra "alarmismo, confrontos e competição desleal" que apenas prejudicariam a governação global da IA.

Mas a Europa fez o contrário. A presidente da Comissão Europeiadent Ursula von der Leyen, apoiou a desaceleração a 16 de setembro, afirmando que iria convidar os laboratórios de vanguarda para conversas sobre como "regular o ritmo da investigação de ponta"

A 14 de setembro, as ações da SoftBank caíram a pique cerca de 13,2% em Tóquio após a ligação de Amodei, de acordo com a Cryptopolitan, com as ações tecnológicas europeias a caírem para o nível mais baixo em seis semanas.

A Anthropic procura uma avaliação pública de quase 2 triliões de dólares, enquanto a OpenAI iniciou discussões preliminares para uma ronda de financiamento que poderá avaliá-la em cerca de 1,2 triliões de dólares.

Não se limite a ler notícias sobre criptomoedas. Compreenda-as. Assine nossa newsletter. É grátis.