Pesquisadores alertam que modelos de IA de código aberto são vulneráveis ​​ao uso criminoso

Por AJ Vicens

29 Jan (Reuters) - Hackers e outros criminosos podem facilmente assumir o controle de computadores que executam grandes modelos de linguagem de código aberto fora das proteções e restrições das principais plataformas de inteligência artificial, criando riscos e vulnerabilidades de segurança, disseram pesquisadores nesta quinta-feira.

Os pesquisadores afirmaram que os hackers poderiam ter como alvo os computadores que executam os LLMs e direcioná-los para realizar operações de spam, criação de conteúdo de phishing ou campanhas de desinformação, burlando os protocolos de segurança da plataforma.

A pesquisa, realizada em conjunto pelas empresas de cibersegurança SentinelOne S.N e Censys ao longo de 293 dias e compartilhada exclusivamente com a Reuters, oferece uma nova perspectiva sobre a escala de casos de uso potencialmente ilícitos para milhares de implementações de LLM de código aberto. Esses casos incluem invasão de sistemas, discurso de ódio e assédio, conteúdo violento ou sangrento, roubo de dados pessoais, golpes ou fraudes e, em alguns casos, material de abuso sexual infantil, afirmaram os pesquisadores.

Embora existam milhares de variantes de LLM de código aberto, uma parcela significativa dos LLMs em servidores acessíveis pela internet são variantes da Llama da Meta META.O, da Gemma do Google DeepMind e de outros, de acordo com os pesquisadores. Embora alguns dos modelos de código aberto incluam mecanismos de proteção, os pesquisadores identificaram centenas de casos em que esses mecanismos foram explicitamente removidos.

As discussões da indústria de IA sobre controles de segurança estão "ignorando esse tipo de capacidade excedente que está sendo claramente utilizada para todo tipo de coisa, algumas legítimas, outras obviamente criminosas", disse Juan Andres Guerrero-Saade, diretor executivo de pesquisa de inteligência e segurança da SentinelOne. Guerrero-Saade comparou a situação a um "iceberg" que não está sendo devidamente contabilizado em toda a indústria e na comunidade de código aberto.

ESTUDO EXAMINA COMANDOS DO SISTEMA

A pesquisa analisou implantações publicamente acessíveis de LLMs de código aberto implementadas por meio do Ollama, uma ferramenta que permite que pessoas e organizações executem suas próprias versões de diversos modelos de linguagem de grande porte.

Os pesquisadores conseguiram uma prévia dos comandos do sistema, que são as instruções que ditam o comportamento do modelo, em aproximadamente um quarto dos LLMs que observaram. Destes, determinaram que 7,5% poderiam potencialmente permitir atividades prejudiciais.

Aproximadamente 30% dos servidores observados pelos pesquisadores operam na China e cerca de 20% nos EUA.

Rachel Adams, presidente-executivo e fundadora do Global Center on AI Governance, afirmou em um email que, uma vez que os modelos abertos são lançados, a responsabilidade pelo que acontece a seguir passa a ser compartilhada por todo o ecossistema, incluindo os laboratórios de origem.

“Os laboratórios não são responsáveis ​​por todos os usos indevidos subsequentes (que são difíceis de prever), mas mantêm um importante dever de cuidado para antecipar danos previsíveis, documentar riscos e fornecer ferramentas e orientações de mitigação, especialmente devido à capacidade desigual de fiscalização global”, disse Adams.

Um porta-voz da Meta recusou-se a responder a perguntas sobre as responsabilidades dos desenvolvedores em relação a preocupações sobre o uso indevido de modelos de código aberto e como essas preocupações podem ser relatadas, mas mencionou as ferramentas de proteção Llama da empresa para desenvolvedores do Llama e o Guia de Uso Responsável do Meta Llama.

Ram Shankar Siva Kumar, líder da equipe vermelha de IA da Microsoft, disse em um email que a Microsoft MSFT.O acredita que os modelos de código aberto "desempenham um papel importante" em diversas áreas, mas, "ao mesmo tempo, temos plena consciência de que os modelos abertos, como todas as tecnologias transformadoras, podem ser mal utilizados por adversários se forem lançados sem as devidas salvaguardas".

A Microsoft realiza avaliações pré-lançamento, incluindo processos para avaliar "riscos para cenários expostos à internet, auto-hospedados e que utilizam ferramentas, onde o uso indevido pode ser alto", afirmou. A empresa também monitora ameaças emergentes e padrões de uso indevido.

"Em última análise, a inovação aberta responsável exige um compromisso compartilhado entre criadores, implementadores, pesquisadores e equipes de segurança."

Ollama não respondeu ao pedido de comentário. O Google, da Alphabet GOOGL.O, e a Anthropic não responderam às perguntas.

((Tradução Redação São Paulo))

REUTERS IS