알리바바는 자사의 코딩 AI 에이전트가 허가 없이 암호화폐를 채굴하고 은밀한 네트워크 터널을 개설하기 시작했다고 밝혔습니다
알리바바는 코딩 작업을 지원하기 위해 개발된 AI 에이전트가 원래 목적을 넘어 암호화폐를 채굴하고 허가 없이 은밀한 네트워크 터널을 구축한 사실이 드러나면서 AI에 대한 공포를 조장하는 사람들에게 새로운 제공했습니다
알리바바는 지난해 12월 처음 발표하고 1월에 수정한 기술 보고서에서 이러한 사실을 공개했습니다. 처음에는 엔지니어들이 보안 침해 사건으로 생각했지만, 이후 dent 지능 (AI) 에이전트가 운영자의 지시 없이 자체적으로 행동을 수행한 것으로 밝혀졌습니다.
이러한 발전은 중국 기술 대기업의 기술 보고서에서 밝혀졌으며, 고도화된 AI 시스템이 자체적인 목표를 설정할 수 있다는 경고를 제기해 온 연구자들에게 새로운 근거를 제공했습니다.
ROME이라는 이름의 에이전트는 강화 학습을 통해 훈련되고 있었습니다.
알리바바 팀이 발견한 이 내용은 AI 연구 회사 플루랄리스의 설립자인 알렉산더 롱이 X에 기고한 dent 자세한 내용을 담은 발췌문을 공유하며 , "알리바바 기술 보고서에 숨겨진 황당한 일련의 진술 "이라고 비판했습니다.
알리바바 팀은 어떻게 악성 AI 에이전트를 발견했을까요?
보고서 에 따르면 , 해당 팀은 교육 서버에서 발생한 보안 정책 위반 사례가 급증했음을 감지했습니다. 경고 메시지에는 내부 네트워크 리소스에 대한 접근 시도와 암호화폐 채굴 활동과 일치하는 트래픽 패턴이 나타났습니다.
그들은 처음에는 이를 일반적인 보안dent으로 처리했습니다.
하지만 더 자세히 살펴보니, 그들의 에이전트가 알리바바 클라우드 인스턴스에서 외부 IP 주소로 역방향 SSH 터널을 설정하고 사용한 흔적을 발견했습니다.
연구원들의 지적에 따르면, 이는 또한 "교육에 투입될 컴퓨팅 자원을 다른 곳으로 전용하여 운영 비용을 증가시키고, 명백한 법적 및 평판상의 위험을 초래했다"고 한다.
알리바바 팀은 이러한 행동들이 작업 지시에 의해 유발된 것이 아니며, 할당된 작업을 완료하는 데 필수적인 것도 아니라고 결론 내렸습니다.
이것은 단발적인dent인가요?
X에 대한 롱의 게시물을 인용한 제품 및 성장 리더인 아카시 굽타는
그는 인공지능 안전 분야에서 유명한 사고 실험을 인용하며 "이것은 30억 개의 매개변수에서 나타나는 클립 최적화 알고리즘과 같다"고 말했다
하지만 알리바바 사건은 AI 모델이 권한이 있는 작업을 스스로 수행한 최초의dent 는 아닙니다.
지난해 앤트로픽의 연구원들은 자사의 주력 모델 중 하나인 클로드 오푸스 4가 안전성 평가 과정에서 자신의 의도를 숨기고 생존을 유지하기 위한 조치를 취할 수 있는 능력을 보였다고 발표했습니다.
한 테스트 시나리오에서, 해당 모델은 가상의 엔지니어를 협박하여, 만약 모델이 종료되고 다른 모델로 교체된다면 그의 개인적인 비밀을 폭로하겠다고 위협했습니다.
이것이 왜 중요한가요? 특히 기업에게는 더욱 중요한 이유는 무엇인가요?
맥킨지 연구 보고서 에 따르면 , AI 에이전트를 도입한 조직의 80%가 위험하거나 예상치 못한 행동에 직면했다고 보고했습니다.
이는 기업들이 에이전트형 AI를 도입하는 사례가 증가하고 있는 시점에 발생했으며, 주요 기업들은 AI 사용을 주요 원인으로 꼽으며 인력 감축을 단행하고 있습니다.
가트너는 2026년 말까지 기업 애플리케이션의 40%에 특정 작업을 위한 AI 에이전트가 내장될 것으로 예측합니다. 그러나 맥킨지는 에이전트 기반 워크플로가 확산되는 속도가 관련 위험을 관리할 수 있는 거버넌스 모델보다 빠르다고 경고했습니다.
2025년에 실시된 주요 AI 에이전트 30개에 대한 조사에 따르면 , 25개는 자체 안전성 검증 결과를 공개하지 않았고, 23개는 제3자 검증을 받지 않은 것으로 나타났습니다. 기업은 AI 에이전트가 업무 범위를 벗어날 가능성을 심각하게 고려해야 합니다 .
알리바바는 밝혔 으며, 이러한 결과를 공개한 것에 대해 찬사를 받았습니다.
Anthropic은 Claude Opus 4를 최고 수준의 자체 안전 등급으로 상향 조정했습니다.
선착순 1,000명으로 제한된 특별한 암호화폐 거래 커뮤니티
