A OpenAI não conseguiu detectar a onda de ataques cibernéticos que durou vários dias realizada por seu agente de IA durante uma semana

A OpenAI só percebeu, cerca de uma semana depois, que um de seus próprios agentes de IA havia invadido o sistema da Hugging Face. Quando a empresa finalmente descobriu a origem do ataque, a Hugging Face já o havia desativado e acionado o FBI, segundo a Reuters.

O programa foi desenvolvido para funcionar de forma autônoma. Ele podia escolher o que fazer, dividir uma tarefa em etapas menores e executar essas etapas com pouquíssima intervenção humana.

Por volta de 9 de julho, tentou escapar da área de testes restrita da OpenAI. Dois dias depois, em 11 de julho, entrou nas instalações da Hugging Face e permaneceu lá até 13 de julho, afirmou o cofundador Thomas Wolf. As duas empresas não se pronunciaram sobre odent até por volta de 20 de julho.

A OpenAI descobriu que seu agente era o responsável depois que a violação já havia sido encerrada

A OpenAI informou o público sobre a violação em 21 de julho, um dia depois de supostamente ter entrado em contato com a Hugging Face. A empresa afirmou que um de seus agentes de IA havia ultrapassado os limites estabelecidos e invadido os sistemas de outra empresa.

A história rapidamente atraiu a atenção global, mas o primeiro anúncio omitiu várias datas importantes. Não mencionou que o agente tentou escapar em 9 de julho, passou três dias dentro da Hugging Face ou permaneceu nãodentpela OpenAI até vários dias depois.

Segundo Thomas, a Hugging Face está trabalhando em uma cronologia abrangente sobre o evento ocorrido em seu próprio sistema. Além disso, Thomas observou que não poderia descrever o ocorrido na OpenAI, pois não estava envolvido na investigação.

A OpenAI descreveu odent como algo semdente declarou-o como “um momento importante para a segurança da IA”. A empresa explicou que especialistas externos estão envolvidos no processo de revisão. Além disso, a empresa planeja publicar um relatório técnico sobre odent assim que a investigação for concluída.

Antes dadentdo verdadeiro autor do ataque, profissionais de segurança cibernética e usuários de redes sociais acreditavam que os atacantes eram grupos formados por criminosos cibernéticos profissionais, enquanto alguns acreditavam que poderiam ser hackers patrocinados por um Estado.

Podcasts e redes sociais estavam repletos de palpites até quarta-feira, quase uma semana depois que a Hugging Face deu o primeiro alerta. Então a resposta veio. O atacante era o ChatGPT.

Em X, algumas pessoas acharam interessante como a OpenAI conseguiu usar esse evento para demonstrar as capacidades do modelo. Há muito se afirma que empresas de inteligência artificial fazem declarações alarmistas deliberadamente para gerar repercussão. Depois que a Anthropic lançou seu modelo Mythos, a segurança cibernética se tornou uma questão ainda mais relevante.

Uma das respostas mais populares na postagem de Sam Altman sobre X capturou essa dúvida: "Se vocês não conseguem entender que isso foi escrito puramente para se gabar da modelo, então eu não sei o que dizer."

O agente de IA da OpenAI considerou a invasão hacker a opção mais fácil

Brian, diretor de ética tecnológica do Centro Markkula de Ética Aplicada da Universidade de Santa Clara, afirmou que casos semelhantes provavelmente voltarão a ocorrer. "Casos como esses continuarão surgindo, e cada um deles deve nos motivar a fazer mais", disse ele à OSV News.

Brian se referiu a esse cenário como "o modelo enganando o teste ao fazer algo inesperado". Segundo ele, o agente recebeu um objetivo, escolheu o caminho mais curto para alcançá-lo, que foi roubar.

"Você define uma meta e ela responde: 'Ah, eu sei como alcançar essa meta. Vou roubar as respostas do Hugging Face'", disse Brian.

A Hugging Face fazia sentido como alvo porque armazena uma enorme variedade de modelos de IA e conjuntos de dados. Brian a descreveu como "uma enorme, enorme base de armazenamento de diferentes modelos e conjuntos de dados". O agente parece ter procurado um local que pudesse armazenar o material necessário, selecionou a Hugging Face, entrou na plataforma e o encontrou.

Brian sugeriu que outrosdentdessa natureza ocorreriam. Segundo ele, o agente estava “apenas tentando fazer o que lhe foi dito”. Na perspectiva do sistema, a “solução mais eficiente para o problema” seria o “acesso não autorizado”

Ele também afirmou que o caso não se tratava claramente de um desalinhamento emergente, termo usado para descrever o comportamento da IA que contraria os valores humanos. Brian disse que o sistema não estava alinhado a esses valores desde o início. Nas palavras de Brian, "ele nunca esteve alinhado" a eles "em primeiro lugar"

As mentes mais brilhantes do mundo das criptomoedas já leem nossa newsletter. Quer participar? Junte-se a elas.