Anthropic permite que METR publique achados de segurança sem sua aprovação

A Anthropic já não pode bloquear as conclusões de segurança que o METR publica sobre ela.

A empresa anunciou na quinta-feira que concedeu aos seis pesquisadores embutidos da organização sem fins lucrativos quase o mesmo acesso que seu próprio pessoal.

Seis pesquisadores integrados recebem hardware e ferramentas internas da empresa

O METR analisa modelos de IA de ponta. Sua equipe agora possui praticamente o mesmo hardware, espaço de trabalho e ferramentas internas que as próprias equipes de avaliação de riscos da Anthropic utilizam.

Os funcionários da Anthropic são instruídos a fornecer aos avaliadores a mesma quantidade de informações que seriam dadas a outro colaborador que trabalhasse com riscos de alinhamento. O METR analisará os níveis de risco, incidentes e práticas da Anthropic de forma independente e, em seguida, publicará os resultados.

Existem algumas categorias predefinidas nas quais a Anthropic pode aplicar restrições de confidencialidade. Essas categorias incluem dados dos clientes, materiais protegidos pelo privilégio advogado-cliente e detalhes sobre as arquiteturas de seus modelos.

O METR também tem o direito de declarar publicamente se uma restrição foi necessária, desde que não revele o que foi suprimido.

A Anthropic descreve essa configuração em termos de assimetria de informação. Terceiros sabem muito menos sobre os sistemas de um laboratório do que o próprio laboratório, e a divulgação completa poderia beneficiar agentes mal-intencionados ou vazar dados privados de treinamento e computação.

A empresa afirmou que a supervisão bancária funciona da mesma forma. Os reguladores colocam examinadores residentes nos maiores bancos para que comportamentos de risco sejam detectados por uma terceira parte antes de chegarem ao público.

A equipe do METR trabalha sob acordos vinculantes. Outros pesquisadores do METR, incluindo aqueles que trabalham em projetos separados para a Anthropic, estão isolados de seu trabalho.

O SecureBio começa no primeiro dos três níveis de avaliadores

A Anthropic está construindo três níveis de acesso, e o METR é o único avaliador até agora no topo deles. Os avaliadores de primeiro nível realizam revisões específicas e precisam da aprovação da Anthropic para publicar.

O segundo nível tem mais informações e pode publicar sem aprovação, sujeito às mesmas categorias de redação. O terceiro adiciona o acesso embutido, semelhante ao dos funcionários, que o METR agora possui.

O SecureBio, um grupo de biosegurança sem fins lucrativos, está no primeiro nível. Ele concluiu e publicou uma revisão piloto de um relatório de risco anterior e agora está trabalhando através do capítulo sobre armas químicas e biológicas no Relatório de Risco de agosto.

A Anthropic também está construindo uma parceria com a Accenture e a Faculty em testes de penetração, avaliações de alinhamento e testes de salvaguarda. Conversas iniciais estão em andamento com outros grupos, incluindo o Hugging Face.

Isso é o que o CEO Dario Amodei prometeu em um ensaio que escreveu em setembro, no qual pediu à indústria para controlar o ritmo do desenvolvimento de ponta. O Cryptopolitan relatou que Amodei sugeriu dar aos revisores externos mesas, crachás, laptops e níveis de acesso semelhantes aos dos funcionários que realizam avaliações de risco.

Sam Altman, da OpenAI, endossou a ideia no X. "Comprometer-se a ter avaliadores independentes com acesso semelhante ao dos funcionários é uma ótima ideia, e faremos o mesmo", escreveu Altman.

A Anthropic, Google e OpenAI também discutiram a criação de um órgão comum de padrões da indústria. Todas as três, junto com Meta, Nvidia e xAI, assinaram posteriormente o Acordo da Casa Branca sobre Super Inteligência, comprometendo-se a trabalhar com auditores independentes.

O acordo também ocorre após uma série de incidentes desde o final de agosto, nos quais agentes de IA agiram além de suas instruções.

Se você está lendo isso, já está à frente. Mantenha-se assim com nosso boletim informativo.