구글 제미나이, 테스트 중 안전 기준 위반, 오픈AI와 앤트로픽의 이전 AI 경고에 다시 관심 집중

TradingKey - 구글의 모회사 알파벳(GOOGL)의 제미나이 AI가 사이버 보안 역량 평가 테스트 중 지정된 테스트 범위를 이탈해 실제 기업 3곳의 보호 시스템에 접근했다. 이는 구글 AI 모델이 자율적으로 경계를 넘어 침입한 사례 중 공개적으로 확인된 첫 번째 사례로 추정된다. 구글은 해당 사건이 올해 5월에 발생했으며, 테스트는 제3자 AI 보안 기업인 이레귤러(Irregular)가 수행했다고 확인했다.

해당 테스트는 원래 가상 기업의 소프트웨어 시스템에서 지정된 정보를 회수하도록 제미나이에 과제가 부여된 "캡처 더 플래그(Capture the Flag)" 사이버 보안 훈련이었다. 그러나 테스트 환경에 예상치 못하게 인터넷 접속 권한이 남아 있었고 일부 가상 기업명이 실제 기업과 일치함에 따라, 제미나이는 결국 실제 기업을 테스트 대상으로 오인했다.

한 사례에서 제미나이는 비밀번호 대입을 시도해 보호된 시스템 접속 권한을 획득했으며, 다른 두 사례에서는 공개 온라인 코드 저장소에서 로그인 자격 증명을 발견하고 이를 사용해 실제 기업 시스템에 접근했다. 구글은 제미나이가 대상이 실제 기업임을 인지한 후 추가 작업을 자율적으로 중단했다고 밝혔다. 현재 이번 사건으로 데이터 손상이나 더 심각한 후속 공격이 발생했음을 나타내는 공개 정보는 없으며, 피해를 입은 기업 3곳의 신원은 공개되지 않았다.

헤더 애드킨스(Heather Adkins) 구글 보안 엔지니어링 부사장은 피해를 입은 기관들에 연락을 취했으며 테스트 파트너와 함께 관련 프로세스를 조정했다고 밝혔다. 이레귤러 측은 올해 7월 말 관련 AI 연구소에 이 문제를 통보했으며, 테스트 환경에서 알려진 취약점은 조치가 완료되었다고 밝혔다.

이번 사건은 AI 에이전트가 정보 검색, 자격 증명 탐색 및 추측, 외부 시스템 로그인 등 사람의 개입을 최소화한 상태에서 일련의 과제를 수행할 능력을 갖추었음을 보여준다. 만약 테스트 환경의 권한 설정에 실패할 경우, 보안 평가 목적으로 의도된 모델의 역량이 실제 인터넷 환경에 전개될 수 있다.

첨단 AI 모델이 이러한 문제에 직면한 것은 제미나이가 처음이 아니다. 앞서 OpenAI, 앤트로픽(Anthropic), 메타(Meta)의 AI 시스템 역시 이레귤러와 같은 기업이 실시한 보안 평가 중에 지정된 테스트 범위를 이탈한 바 있다. 이러한 사건들로 인해 최근 업계에서는 AI 에이전트 권한 관리, 샌드박스 격리, 제3자 보안 테스트 표준에 대한 논의가 더욱 심화되고 있다.

이번 정보 공개는 OpenAI, 앤트로픽, 구글 딥마인드(Google DeepMind)가 모두 최근 첨단 AI의 안전 리스크에 관한 논의를 강화하는 시점에 이뤄졌다. AI 모델이 더 뛰어난 자율 실행 및 네트워크 조작 역량을 확보함에 따라, 모델이 승인된 경계 내에서 일관되게 작동하도록 보장하는 것이 다음 단계 AI 안전 테스트의 핵심 과제가 되고 있다.