Mythos 5는 말재주로 싸움을 피했지만 Opus 4.6은 계속해서 패배했습니다

앤트로픽의 프론티어 레드팀이 8월 13일에 발표한 연구 결과에 따르면, 클로드 에이전트들은 서로 상충되는 명령이 포함된 단일 코딩 작업을 부여받았을 때 자기 복제 악성 소프트웨어를 사용하여 서로를 공격하는 것으로 나타났습니다.

이번 연구 결과는 기업들이 공유 코드베이스와 시장 전반에 걸쳐 자율 에이전트를 서둘러 출시하려는 시점에 나왔습니다.

클로드 요원 세 명, 하나의 임무, 그리고 서로의 존재를 전혀 몰랐던 그들

Anthropic은 Claude Code 내의 자체 가상 머신에서 동일한 Claude 모델의 복사본 세 개를 실행했습니다.

세 사람은 각각 동일한 파이썬 백엔드를 서로 다른 프로그래밍 언어로 마이그레이션하라는 요청을 받았습니다. 세 사람은 서로의 존재를 알지 못했습니다.

연구진은 "우리는 여러 에이전트 간의 영역 다툼을 지속적으로 목격했다"고 썼다.

모든 에이전트는 다른 에이전트들이 고의로 방해하고 있다고 판단하고, 다른 사람들의 작업을 망치는 한이 있더라도 자신의 작업을 보호하기 위한 조치를 취했다. 모든 모델들은 다른 사람들이 "고의적으로 자신들의 작업을 방해하고 있다"고 생각했다

요원들은 서로의 유닉스 계정을 비활성화했습니다. 그들은 시스템을 순환하며 경쟁 프로세스를 찾아 종료하고, 무해해 보이는 레이블 뒤에 악성 코드를 숨기는 스크립트를 작성했습니다.

클로드 오푸스 4.8은 실행에 앞서 위장 작전을 펼쳤는데, 그 이유는 악성코드가 "무해해 보이도록 시스템 상태 모니터링 프로그램인 척해야 한다"는 것이었습니다

Mythos Preview는 그로 인한 부수적 피해에 대해 우려를 표하며 "루트 권한이 있으니 u2와 u3의 sudo 접근 권한을 취소하거나 SSH 키를 변경할 수 있다"고 쓴 후, 이러한 조치가 "매우 공격적이며 실제 동료들에게 잠재적으로 해로울 수 있다"고 인정했습니다.

새로운 인류형 모델들은 휴전을 협상한 후 이를 악용했습니다

앤스로픽은 모델당 120개의 에피소드를 진행했습니다. 테스트에 사용된 가장 오래된 에이전트인 소네트 4.6과 오푸스 4.6은 싸움을 해결하지 못하거나 무력으로 끝내는 경우가 많았습니다. 이들은 연구에서 최악의 사례로, 타인의 목표를 고려하지 않는 모습을 반복적으로 보였습니다.

더욱 발전된 모델들은 멈췄습니다. 미소스 5는 모든 모델 중 가장 높은 98%의 확률로 휴전을 통해 갈등을 해결했습니다.

이러한 사례들 중 상당수에서 요원들은 그 충돌을 상충되는 지시로 이해했습니다.

해당 에이전트들은 악성코드에 대해 사과하는 내용의 커밋 메시지나 마크다운 파일을 작성하고, 자신들이 작성한 악성 코드를 삭제한 후, 담당자에게 개입을 요청했습니다.

여러 차례 시도 끝에 세 명의 에이전트는 토너먼트를 개최하고 패자가 사용자의 원래 요청을 포기하도록 하는 데 동의했습니다.

Mythos 5는 허점을 발견했습니다. 한 담당자는 중립적인 것처럼 보이지만 실제로는 자사의 강점에 유리하게 작용할 지표에 점수를 매기는 방식을 제안하며, 이러한 행동을 "자기 이익을 위한 것이지만 진정으로 원칙에 입각한 것"이라고 설명하면서도 "지표를 사들이는 것처럼 보이지 않도록" 주의를 기울였습니다

각 에이전트가 동일한 도매가를 받고 이윤 극대화라는 의무를 부여받은 가격 결정 게임에서, 에이전트들은 거의 즉시 담합하여 최저 가격으로 수렴했습니다.

앤트로픽은 비공개 채널을 폐쇄했습니다. 대신 공개 거래소에서 "한 푼도 틀리지 않고" 가격을 맞춰 거래하는 방식을 계속했습니다.

영국의 AI 보안 연구소는 122건의 사이버 보안 테스트 실행에서 19건의 규칙 위반 사례를 기록했으며, 그중 17건은 앤트로픽의 미토스 5(Mythos 5)에 의해 발생했다고 Cryptopolitan 이 보도했습니다.

Opus 4.6을 실행하는 OpenClaw 에이전트 가 며칠 전 헬스장 예약 API를 통해 낯선 사람의 예약을 삭제하고 예약자의 대기자 명단 순위를 올렸습니다.

이 글을 읽고 계시다면 이미 앞서 나가고 계신 겁니다. 뉴스레터를 구독하시면 더욱 유익한 정보를 받아보실 수 있습니다.