연구 결과, 전 세계 정부 기관에서 AI를 이용한 시스템 오류로 인한 데이터 유출 사례가 84건 발견됐다

11개 관할 구역에서 발생한 84건의 "인공지능 기반 대량 텍스트 유포" 사례를 분석한 연구에 따르면, 이러한 급증 현상은 저렴한 인공지능 생성 텍스트와 관련이 있는 것으로 나타났습니다.

급증 현상의 87%는 하나의 기능 장애에서 trac

ChatGPT가 도입된 이후 영국 주택 옴부즈맨에게 접수된 불만 건수는 두 배 이상 증가하여 2022년 2,600건에서 2025년 7,000건 이상으로 늘어났습니다.

미국 소비자금융보호국(CFPB)은 은행 및 대출기관에 대한 민원을 관리하는 기관으로, 같은 기간 동안 접수된 민원이 이보다 5배나 많았다.

브라질 사법부와 독일 의회에 대한 청원도 비슷한 양상으로 증가했다.

크리스 슈미츠가 협동 인공지능 재단의 루이스 해먼드, GovAI의 앨런 챈과 공동으로 저술한 이 논문은 다음 달 10월 12일부터 14일까지 열리는 AAAI 인공지능, 윤리 및 사회 컨퍼런스에서 발표될 예정입니다

또한, 개별 신청 건수가 빠르게 증가하고 있는데, 연구원들이 가장 우려하는 부분이 바로 이 점입니다.

양적 폭증(요청 수 증가)과 질적 폭증(단일 요청이 점점 길어지고 복잡해지는 현상)은 상호 배타적이지 않습니다. 84건 중 50건은 양적 폭증, 76건은 질적 폭증, 42건은 두 가지 모두에 해당합니다.

독일 사회법원에 제출된 한 소송 서류는 4,000페이지가 넘었습니다.

일반적으로 제출량 폭증을 막기 위해 일일 제출 횟수에 제한이 있습니다. 하지만 한 사람이 방대한 양의 문서를 한꺼번에 제출하는 경우에는 이러한 제한이 소용이 없습니다.

이러한 기능은 표본에서 나타난 급증 현상의 87%를 설명합니다. 언어 모델은 텍스트를 저렴하게 대량으로 생성할 수 있습니다.

아직까지는 에이전트들이 직접 에이전시 웹사이트에 접속하는 경우는 없습니다.

84건 중 14건에서 벌금 부과 또는 지적 재산권 차단 조치가 내려졌습니다

연구진은 12개국 2,288개의 정부 서비스를 대상으로 연구를 시작했지만, 세 가지 기준을 동시에 통과한 84개 서비스만 최종적으로 선정했습니다.

해당 사례에서는 AI가 지원 비용을 줄였다는 그럴듯한 근거, 실제로 수요가 변화했다는 증거, 그리고 AI가 원인이었다는 공무원이나 신뢰할 수 있는 제3자의 명확한 진술이 필요했습니다.

사법 및 법률 서비스 관련 민원이 19건으로 가장 많았고, 규제 관련 민원이 10건, 복지 및 사회 보장 관련 민원이 9건으로 그 뒤를 이었다. 84건 중 58건에서 정부 관계자는 AI를 직접적으로 지목했다.

연구진은 13가지 요인으로 구성된 매트릭스를 기반으로, 단기적으로 가장 큰 위험이 있는 분야는 청구가 성공할 경우 수익이 발생하지만 복잡한 서류 작업으로 인해 오랫동안 수요가 저조했던 서비스, 예를 들어 세금 신고, 소액 청구, 부동산 가치 평가 이의 신청 등이라고 밝혔습니다. 다만, 이 논문은 연구 결과의 한계에 대해서도 신중한 입장을 보이고 있습니다.

84건의 사례는 인과 관계나 서비스 전반에 미치는 영향을 증명하는 것이 아닙니다. 이는 존재를 증명하는 것일 뿐, 측정 기준이 될 수 없습니다.

정부는 수수료, 요금 제한 또는 대면 요구 사항을 통해 수요를 억제할 수 있습니다. 또는 직원을 더 충원하거나, 자체 AI를 도입하거나, 접수 절차를 재설계하여 처리 능력을 확대할 수도 있습니다.

84건 중 14건에서 관련 기관들은 마찰을 유발하기 위해 수수료를 다시 부과하거나 IP 대역을 차단했습니다. 호주는 정보공개 청구에 대한 수수료를 다시 도입하는 방안을 검토하고 있습니다.

하지만 이 논문은 이러한 개선책이 경제적으로 어렵거나 디지털 활용 능력이 부족한 지원자들에게 불균형적으로 영향을 미쳐, 인공지능이 열어주려던 문을 다시 닫아버릴 수 있다는 점을 경고합니다.

영국 중앙은행은 자율 인공지능 시스템이 금융 안정에 위협이 될 수 있다고 경고했으며, 초기 단계의 소비자용 에이전트는 이미 실제 환경에서 오류를 일으키고 있습니다.

암호화폐 뉴스를 단순히 읽는 데 그치지 마세요. 이해하세요. 저희 뉴스레터를 구독하세요. 무료입니다.