Departamento de Defesa dos EUA, DoD, conclui programa piloto usando chatbots para medicina militar

Um dos últimos projetos vinculados ao DoD e sob a administração de Biden foi concluído com sucesso. O Chief Digital and Artificial Intelligence Office (CDAO) do Departamento de Defesa dos EUA (DoD) concluiu o piloto do programa Crowdsourced AI Red-Teaming (CAIRT) Assurance. Esta iniciativa é dedicada à integração de chatbots de IA nos serviços médicos militares. 

Os chatbots de modelo de linguagem grande (LLM) foram implementados no programa CAIRT. Além disso, o CAIRT auxiliou o DoD no desenvolvimento de estratégias descentralizadas e de crowdsourcing para mitigação de riscos de IA e garantia de IA.

Mais de 200 prestadores clínicos e analistas de saúde contribuíram para a dent de potenciais vulnerabilidades na utilização de chatbots de IA em aplicações médicas militares. Notavelmente, o piloto dent várias centenas de problemas potenciais, conforme relatado pelo DoD.

Para esse fim, o DoD disse: “Este exercício resultará em resultados repetíveis e escaláveis ​​através do desenvolvimento de conjuntos de dados de referência, que podem ser usados ​​para avaliar futuros fornecedores e ferramentas para alinhamento com as expectativas de desempenho”.

Programa CAIRT nos bastidores

De acordo com o DoD, uma inteligência humana sem fins lucrativos conduziu o piloto CAIRT LLM. Conseguiu isso em parceria com a Agência de Saúde de Defesa (DHA) e o Escritório Executivo do Programa de Sistemas de Gestão de Saúde de Defesa (PEO DHMS).

Além disso, a inteligência humana utilizou a metodologia red-teaming para dent problemas específicos do sistema. Isto envolveu testes internos de resiliência do sistema usando técnicas adversárias. 

Além disso, o red-teaming atraiu participantes interessados ​​em interagir com tecnologias emergentes e como potenciais futuros beneficiários. Foi-lhes dada a oportunidade de contribuir para a melhoria dos sistemas.

Neste programa, a inteligência humana utilizou red-teaming crowdsourced para abordar duas aplicações potenciais na medicina militar: resumo de notas clínicas e um chatbot de aconselhamento médico.

Embora as vulnerabilidades tenham sido identificadas dent o DoD destacou que “essas descobertas desempenharão um papel crucial na definição das políticas e das melhores práticas do DoD para o uso responsável da IA ​​Generativa (GenAI), melhorando, em última análise, os cuidados médicos militares. Se, quando colocados em campo, esses casos de uso prospectivos incluírem IA coberta defi no OMB M-24-10, eles aderirão a todas as práticas de gestão de risco exigidas.”

Ainda assim, o DoD afirmou que o Programa de Garantia CAIRT continuará testando LLMs e sistemas de IA. Isso acelerará a célula de capacidades rápidas de IA do CDAO, tornará a meta GenAI mais eficaz e ajudará a construir confiança em todos os casos de uso do DoD.

O líder do CDAO para esta iniciativa, Dr. para consideração e validação de opções de mitigação que moldarão futuras pesquisas, desenvolvimento e garantia de sistemas GenAI que podem ser implantados no futuro”,

Espera-se que a próxima administração dê continuidade a esses projetos. A equipa de Trump tem a mente aberta em relação à IA, mesmo quando pretende competir com a China.

Quão segura é a IA no cenário médico? 

Embora a IA tenha um impacto extremamente benéfico na ciência médica, é acompanhada por vários riscos e perigos significativos.

Para status, os sistemas de IA usam algoritmos específicos que exigem conjuntos de dados massivos para aumentar a precisão. Este método coloca os dados confidenciais do paciente em risco de segurança, privacidade e dent . Atualmente, como as empresas farmacêuticas e de seguros estão interessadas em tais conjuntos de dados, o hacking expandiu-se enormemente . A invasão de arquivos médicos também pode fazer parte de um ataque cibernético governamental.

Além disso, o envenenamento de dados, a modificação intencional de dados médicos para induzir erros ou preconceitos nos cuidados de saúde, é outro grande risco de utilização indevida de dados médicos. Isso prejudica a precisão e a confiabilidade dos conselhos médicos. A IA que utiliza diferentes modelos de dados epidemiológicos, como na pandemia de COVID-19, pode produzir resultados diversos.

Outro problema seria um algoritmo médico falho. Isto pode ser devido a testes inadequados do algoritmo, uma vez que não existem padrões estabelecidos para testar a sua validade. Por exemplo, ensaios duplo-cegos são a forma mais eficaz de provar que um tratamento funciona. 

Ainda assim, quem seria responsável por tal erro – o médico particular, o hospital, o fornecedor do equipamento ou o desenvolvedor do algoritmo? Assim, erros médicos causados ​​por mau funcionamento de máquinas levantam sérias questões jurídicas.

Chatbots de IA brincando de médico? 🤖 Ainda não.

Um estudo revela que suas habilidades de diagnóstico são, na melhor das hipóteses, instáveis.

A IA de saúde ainda precisa de um impulso cerebral antes de poder confiar em sua saúde. 🩺 pic.twitter.com/W2ast8S7iO

– Autoridade CAD (@CAD_Authority) 2 de janeiro de 2025

Além disso, a IA também pode prejudicar as relações médico-paciente. Portanto, os médicos são obrigados a compreender a avaliação e o desempenho da IA ​​para explicar o seu papel aos pacientes e reduzir a ansiedade dos pacientes.

Finalmente, existe um fenômeno conhecido como efeito “médico preguiçoso”. Se o médico empregar exclusivamente algoritmos de IA para diagnóstico e tratamento, isso pode resultar numa perda progressiva e irreversível de competências práticas, criatividade intelectual e capacidade de resolver problemas médicos.

Porém, as pessoas se acostumaram com os Chatbots no dia a dia. Com pesquisa adequada, os AI Chatbots podem eliminar os pequenos erros que os médicos cometem, tornando assim o espaço médico mais seguro.

plano de lançamento de carreira de 90 dias