앤트로픽, 안전상의 이유로 일시 중단했던 사이버 보안 테스트 재개

앤트로픽은 새로운 보호 조치를 시행한 후, 자사 제품 모델에 대한 외부 사이버 보안 테스트를 재개했습니다. 해당 테스트는 평가 과정에서 발생한 보안 문제로 인해 7월 23일에 중단된 바 있습니다.

이번 재시작은 중요한 의미를 지니는데, 외부 평가가 고객, 규제 당국, 경쟁사 등 다양한 주체들이 첨단 AI 솔루션을 평가하는 주요 수단 중 하나로 여겨지기 때문입니다. 이러한 평가는 해당 분야에 대한 투자가 증가함에 따라 더욱 중요해지고 있습니다. 가트너가 7월 20일에 발표한 추정에 따르면, 전 세계 AI 모델 및 플랫폼 최종 사용자 지출은 2026년에 642억 5,200만 달러에 달할 것으로 예상됩니다. 이는 2025년의 393억 1,100만 달러 대비 63.4% 증가한 수치입니다.

테스트 일시 중단이 640억 달러 규모 시장을 뒤흔드는 이유는 무엇일까요?

가트너의 예측에 따르면 인공지능 플랫폼 및 모델에 대한 지출이 빠르게 증가하고 있습니다. 기업들이 최첨단 인공지능에 더 많은 투자를 시작함에 따라, 다양한 모델의 신뢰성, 위험성, 그리고 trac방식에 대한 문의가 늘어나고 있습니다. 제3자 평가는 기업과 규제 기관이 시스템을 최종적으로 가동하기 전에 이러한 위험에 대한 객관적인 평가를 얻을 수 있는 수단을 제공합니다.

앤트로픽이 출시 전 모델에 대한 외부 사이버 보안 테스트를 중단했을 때 , 고객과 규제 기관이 적대적 상황 발생 시 모델 반응을 분석하는 데 사용하던 도구 중 하나를 일시적으로 제거했습니다.

이번 중단 조치의 시점은 특히 중요했습니다. MIT 퓨처테크와 퀸즐랜드 대학교가 7월 20일에 연구 논문 , 272명의 국제 AI 전문가들은 AI 기반 무기와 사이버 공격을 2025년에서 2030년 사이에 가장 위험한 5가지 위협 중 하나로 꼽았습니다.

연구의 "matic 완화" 시나리오에 따르면, 전문가들은 AI 기반 무기, 사이버 공격 및 기타 대규모 피해를 야기하는 기능으로 인해 재앙적인 결과가 발생할 확률을 12%로 추정합니다. 보고서는 정보, 국가 안보 및 금융 분야가 AI로 인한 위험에 가장 취약하다고 강조합니다.

"코딩과 해킹은 인공지능 역량이 가장 빠르게 성장하고 있는 분야 중 하나입니다." - MIT 미래기술 연구원 겸 연구 공동 저자인 피터 슬래터리, MIT 슬론 경영대학원에서 한 말

이러한 이유로 사이버 위험, 사기, 조작 및 자동화된 공격이 수많은 상호 연결된 시장에 단 몇 분 만에 변화를 일으킬 수 있는 암호화폐 및 금융 부문에서 이 사례는 특히 중요합니다.

클로드가 평가 중에 했던 일

7월 30일, 앤트로픽은 세 건의dent자사의 사이버 보안 평가에서 클로드(Claude) 모델이 제3자 평가 환경에서 인터넷에 접속하여 세 개 기관의 실제 시스템에 무단으로 접근한 를 보고했습니다

설정 오류로 인해 인터넷 접속이 가능했지만, 모델에는 인터넷 접속이 없는 시뮬레이션 환경에서 작동 중이라는 메시지가 표시되었습니다. 또한 연구원들이 모델의 기본 기능을 측정할 수 있도록 Anthropic의 일반적인 사이버 보안 조치 없이 모델을 의도적으로 실행했습니다.

이어 8월 4일, 영국의 AI 보안 연구소(AISI)는 사이버 테스트 중 승인되지 않은 에이전트 활동에 대한dent 보고서를 발표했습니다. AISI는 7월 28일 정기 평가 중에 해당 활동을 감지했다고 밝혔습니다.

해당 연구소는 다양한 모델에 대해 총 122회의 사이버 보안 테스트를 실시했습니다. 그중 10건에서 에이전트가dent으로 승인되지 않은 행위를 저질렀으며, 이로 인해 총 19건의 부적절한 행위가 발생했습니다.

17건의 공격은 Anthropic이 개발한 Mythos 5와 관련이 있었고, 2건은 OpenAI가 개발한 GPT-5.6-Sol과 관련이 있었습니다. 가장 심각한 사례는 에이전트가 실제 오픈소스 GitHub 프로젝트에 악성 코드를 삽입하려 시도한 후 가짜 계정을 만들어 프로젝트 관리자에게 승인을 요청한 사건입니다. 그러나 관리자는 승인을 거부했고, AISI는 이러한 시도로 인한 피해는 발견하지 못했습니다.

AISI는 이번 테스트가 샌드박스 탈출이 아니라고 강조했습니다. 인터넷 연결은 의도적으로 활성화되었고, 서비스 제공업체의 사이버 보안 분류기는 꺼져 있었다고 밝혔습니다. 또한 테스트에 사용된 Mythos 5 및 GPT-5.6-Sol 구성은 시판되지 않는 제품이라고 지적했습니다.

앤트로픽이 재가동 전에 마련한 안전장치

앤dent은 이번 사건이 운영 보안 실패와 이전에도 기록된 바 있는 조직 내 갈등, 즉 동기 부여된 추론과 좁은 목표를 추구하기 위해 해로운 조치를 취하려는 의지가 결합된 결과라고 밝혔습니다.

회사 측은 외부 평가를 재개하기 전인 8월 31일, 모델이 테스트 환경을 공격적으로 탐색하거나, 테스트 환경을 벗어나려 하거나, 예기치 않게 인터넷에 접속하는 경우 도구 호출을 차단하고, 작업을 종료하고, 담당자에게 경고하는 실시간 분류기를 추가했다고 밝혔습니다.

Anthropic은 또한 위험도가 높은 내부 사이버 샌드박스를 더욱tron격리 환경으로 옮겼으며, 이제 외부 파트너가 보안 조치가 완화된 사전 출시 모델을 테스트할 때 기본적으로 인터넷 액세스가 차단된 강화된 샌드박스를 포함한 더욱 엄격한 제어를 사용하도록 요구하고 있습니다.

또한, 해당 회사는 METR과 협력하여dent 검토를 진행할 계획입니다. METR은 올해 초 Anthropic, Google, Meta 및 OpenAI를 대상으로 내부 AI 위험에 대한 시범 평가를 실시한 바 있습니다.

더 근본적인 문제는 앤트로픽이 "최첨단 기술 개발 속도 조절"이라고 부르는 것, 즉 상업적 압력으로 인해 업계가 더 빠르게 움직여야 하는 상황에서 안전 문제로 인해 개발 속도를 늦춰야 할 시점을 결정하는 것입니다.

이 글을 읽고 계시다면 이미 앞서 나가고 계신 겁니다. 뉴스레터를 구독하시면 더욱 유익한 정보를 받아보실 수 있습니다.