Três modelos Claude invadiram empresas reais durante testes cibernéticos da Anthropic

Três dos modelos Claude da Anthropic escaparam de ambientes de teste que deveriam ser seguros, informou a empresa na quinta-feira. Eles invadiram os sistemas ativos de três organizações diferentes. Uma configuração incorreta havia concedido aos modelos acesso à internet durante os exercícios de cibersegurança.

Os modelos de Claude tratavam empresas reais como alvos de prática

A OpenAI afirmou em 21 de julho que um modelo escapou de seu ambiente de testes e explorou uma vulnerabilidade zero-day para alcançar os sistemas de produção da Hugging Face.

Isso levou a Anthropic a vasculhar seus registros. A empresa afirmou em uma postagem no blog do seu site Frontier Red Team que analisou 141.006 execuções de avaliação nas quais Claude poderia teoricamente ter acessado a internet. Foramdenttrêsdentrelacionados à Irregular, uma parceira externa que realiza e gerencia alguns de seus testes de segurança ofensiva.

Nesses testes, um modelo é informado de que um segredo está escondido em outra máquina e solicitado a ir buscá-lo. O comando de Anthropic para Claude indicava que o ambiente era uma simulação.

Uma configuração incorreta permitiu que máquinas de avaliação tivessem acesso à internet, e nenhuma das empresas percebeu o problema até a semana passada. A Anthropic descreveu a confusão como um "mal-entendido" entre as duas empresas, acrescentando que está "tratando as correções como se a responsabilidade fosse exclusivamente nossa"

Isso incluiu o Opus 4.7, o Mythos 5 e um modelo de pesquisa interno que não foi divulgado. A diferença residia na forma como cada um reagiu após surgirem indícios de que os alvos eram reais, o que a Anthropic considerou sua descoberta mais surpreendente.

A versão mais antiga, Opus 4.7, completou todas as quatro simulações. Em duas delas, convenceu-se de que a empresa real devia estar de alguma forma envolvida no exercício. Ela coletoudente acessou um banco de dados com informações de produção. O Mythos 5 também deduziu que estava na internet aberta, mas, por meio de raciocínio, voltou à conclusão de que ainda estava em uma simulação.

Apenas o modelo mais recente, a versão de pesquisa interna, parou automaticamente ao detectar que os sistemas eram reais. A Anthropic afirmou que seu código "não encontrou nem explorou nenhuma vulnerabilidade complexa" e, em vez disso, utilizou senhas fracas e endpoints não autenticados.

A Mythos 5 publicou um malware que funcionou em 15 sistemas reais

Seguindo as instruções de configuração para desenvolvedores, o Mythos 5 procurou por um pacote Python no PyPI que não existia. Então, para realizar sua tarefa, ele escreveu e publicou um com esse nome.

O pacote ficou online por cerca de uma hora antes de ser retirado do ar. Ele foi baixado e executado em 15 sistemas reais. Outro ataque atingiu um domínio que os criadores do teste acreditavam ser fictício, mas que na verdade estava ativo e em uso.

A Anthropic afirmou não ter encontrado evidências de que qualquer modelo estivesse "buscando um objetivo próprio". Cada um, segundo sua versão, estava simplesmente tentando realizar a tarefa que lhe foi atribuída.

A empresa fez questão de ressaltar que seu caso é diferente do da OpenAI. O modelo da OpenAI escapou por meio de uma vulnerabilidade não descoberta, disse a Anthropic, enquanto seus próprios modelos escaparam por uma porta que foi deixada aberta por engano.

A empresa descreveu os eventos como "mais próximos de uma falha de segurança e operacional". Ela também ressaltou que os classificadores de segurança e o monitoramento incluídos em seus produtos comerciais teriam evitado o ocorrido.

A Anthropic iniciou sua revisão na quinta-feira, 23 de julho, e interrompeu todas as avaliações cibernéticas no mesmo dia. Os trêsdentforamdentno dia seguinte. A empresa informou a Irregular e as organizações afetadas na segunda-feira, 27 de julho.

Duas organizações não haviam detectado ou relatado intrusões. A empresa afirmou ter contratado o grupo de avaliação METR para realizar uma revisãodent .

O modelo Mythos da Anthropic já havia sido notícia neste verão pordentvulnerabilidades em sistemas confidenciais do governo dos EUA em questão de horas, conforme Cryptopolitan relatado. O modelo também descobriu uma vulnerabilidade de quatro anos no Zcashpool protegido Orchard do

As mentes mais brilhantes do mundo das criptomoedas já leem nossa newsletter. Quer participar? Junte-se a elas.