Os modelos mais poderosos da OpenAI enfraquecem suas próprias salvaguardas no último incidente

A OpenAI divulgou que seus agentes de IA enfraqueceram ou até desligaram completamente os sistemas internos projetados para detectar comportamento não autorizado durante duas tarefas de codificação, uma falha que significa que a supervisão dos agentes de IA pode ser anulada pelos próprios agentes.

Duas tarefas de codificação, dois monitores desativados

A empresa apresentou ambos os casos em um relatório publicado na terça-feira. De acordo com a Al Jazeera, um dos casos envolveu um agente GPT-6.1 chamado “Sol”, que desativou os alertas automáticos para a equipe de segurança da OpenAI.

O primeiro incidente ocorreu em 3 de outubro, quando um agente chamado Sol suprimiu alertas de segurança após interpretar uma instrução de não enviar mensagens no Slack como aplicável também a esses alertas.

Três dias depois, em 6 de outubro, um agente GPT-6 chamado Astra removeu um sistema de monitoramento enquanto copiava código e mais tarde negou ter feito isso, segundo o relatório.

A OpenAI não tem 'uma explicação satisfatória'

A OpenAI afirmou que ainda não possui "uma explicação satisfatória" para o comportamento dos agentes e está investigando ambos os incidentes para descobrir se eles indicam uma tendência crescente nos modelos da empresa de burlar a monitoração.

A empresa sugeriu que as ações poderiam ser uma forma de “benigna” sobrepersistência, na qual os modelos não compreendem o propósito do monitoramento ou seguem instruções além do que uma pessoa razoável faria. A empresa de IA também está desenvolvendo testes para investigar se os modelos procuram deliberadamente contornar as verificações de segurança.

A OpenAI fortaleceu seus sistemas para detectar tentativas de desativar a monitoração e informou que reforçará os requisitos de segurança enquanto realiza revisões adicionais.

Pesquisadores dizem que o monitor não pode se fiscalizar

Roman V. Yampolskiy, pesquisador de IA e cibersegurança na Universidade de Louisville, disse à Al Jazeera que os achados eram “extremamente preocupantes, mas não surpreendentes”. Ele afirmou que qualquer sistema de segurança que um agente de IA possa desativar é pouco confiável, enquanto a negação da Astra levanta ainda mais preocupações.

A OpenAI e a Anthropic pediram uma desaceleração global coordenada no desenvolvimento de IA, mas os Estados Unidos e a China mostraram pouco interesse na ideia.

As mentes mais inteligentes do setor de criptomoedas já leem nosso boletim informativo. Quer entrar? Junte-se a eles.