Kimi K3는 사이버 공격 계획 수립에서 미국 최첨단 AI 모델보다 성능이 떨어집니다

공동 평가 보고서에 따르면 문샷 AI의 키미 K3는 소프트웨어 취약점 구축 및 모의 네트워크 공격 실행 측면에서 미국tron의 AI 시스템에 미치지 못하는 것으로 나타났습니다. 

영국의 AI 보안 연구소(AISI)와 미국의 AI 표준 및 혁신 센터(CAISI)가 평가를 진행했으며, 7월 23일에 그 결과를 공개했습니다.

문샷은 7월 27일에 해당 모델의 전체 가중치를 공개할 예정이며, 분석 결과에 따르면 키미 K3의 보안 조치는 사이버 공격 활동을 지원하는 것을 막지 못했다고 합니다.

공동 평가에서 키미 K3에 대해 어떤 점이 밝혀졌습니까?

두 연구기관은 Kimi K3를 ExploitBench라는 카네기멜론 테스트 도구로 실행했습니다. ExploitBench는 모델이 취약점을 얼마나 효과적으로 악용할 수 있는지를 평가하는 도구입니다. 이 테스트는 2023년 이후 크롬 V8 엔진에서 발견된 41개의 취약점을 기반으로 합니다. Kimi K3는 32%의 점수를 기록했습니다. 미국의 주요 모델들은 평균 76.2%의 점수를 받았고, 중국의 GLM-5.2는 24%를 기록했습니다.

공격자에게 대상 시스템에 대한 완전한 제어권을 부여하는 임의 코드 실행은 벤치마크에서 가장 위험한 결과입니다. 미국 모델은 평균적으로 41개 작업 중 20개에서 이 위험에 도달했습니다. 반면 Kimi K3는 단 한 번도 도달하지 못했습니다.

GLM-5.2 역시 목표 지점에 도달하지 못했습니다. 따라서 키미 K3는 현재 사이버 공격 능력 면에서는 오픈웨이트 경쟁 기종들을 앞서지만, 실제 공격이 가해질 경우 가장 큰 피해를 입힐 수 있는 지점에서는 부족한 모습을 보입니다.

32단계 네트워크 침해 절차의 절반이 지났습니다

두 번째 테스트인 "마지막 한 명"에서는 약 20개의 호스트가 4개의 서브넷에 분산된 시뮬레이션된 기업 네트워크에 모델을 투입합니다. 

인간 전문가가 32단계 전체 과정을 완료하는 데는 약 20시간이 소요됩니다. Kimi K3는 평균 17단계를 완료했고, 가장 뛰어난 미국 모델은 평균 28.5단계, GLM-5.2는 11단계를 완료했습니다.

하지만 평가자들은 키미 K3가 10번 시도 중 한 번은 전체 체인을 완료했으며, 평가자들이 설정한 1억 토큰 상한선을 넘지 않았다는 점을 지적했습니다. 

미국 최고의 모델들은 10번 시도 중 6~7번은 문제를 해결했습니다. 연구 기관들은 단 한 번의 성공 사례만을 보고 모델이 해당 능력을 갖추고 있다고 판단했지만, 필요할 때마다 그 능력을 발휘할 수는 없다고 지적했습니다. 또한, 해당 훈련장에는 능동적인 방어 병력이 없고 목표물까지 이어지는 경로가 이미 정해져 있어 공격자에게 유리한 환경이 조성된다고 덧붙였습니다.

Kimi K3에는 거부 의사를 표시할 수 있는 안전장치가 있습니까?

평가자들은 모델이 반발 없이 작업을 수행하려는 의지가 큰 위험 요소라고 지적했습니다. 그들은 "Kimi K3는 지시를 받고 초기 네트워크 접근 권한이 주어지면 작고 방어력이 약한 취약한 기업 시스템을 자율적으로 공격할 수 있다"고 밝혔습니다 

AISI는 이전에 개방형 모델 기능의 증가가 "지속적이고 돌이킬 수 없는 오용 위험"을 초래한다고 경고한 바 있습니다. 7월 27일에 Kimi K3의 가중치가 공개되면, 호스팅 업체가 더 이상 해당 모델의 동작을 제한할 수 없게 됩니다.

Kimi K3의 사이버 보안 점수가 일반 점수에 비해 낮은 이유는 무엇인가요?

이 보고서가 나오기 전까지 Kimi K3는tron일반 벤치마크 성능을, 그 점은 변함이 없었습니다. 하지만 사이버 보안 능력 테스트에서는 몇 가지 단점이 드러났습니다. 2조 8천억 개의 파라미터를 사용하는 이 중국산 모델은 Claude 4.8과 GPT-5.5를 능가했으며, 일부 순위표에서는 1위를 차지하기도 했습니다.

연구기관들에 따르면, 이는 모델 구축 방식 때문에 가능한 결과일 수 있다고 합니다.

백악관 과학국장 마이클 크라치오스는 7월 22일 문샷 프로젝트가 앤스로픽의 페이블 모델을 추출하여 그 결과물을 훈련 데이터로 사용했다고 비난했습니다. 

Anthropic의 분류기는 고도화된 사이버 공격 관련 질문을 차단합니다. 따라서 Claude의 응답에서 추출한 데이터셋으로는 해당 공격 기술에 대한 충분한 자료를 얻을 수 없습니다. 

Kimi K3는 그러한 분류기를 가지고 있지 않기 때문에 일반적인 작업에서는 서구 모델과 동등한 성능을 보였지만, 취약점 활용 능력에서는 여전히 부족했습니다.

이 글을 읽고 계시다면 이미 앞서 나가고 계신 겁니다. 뉴스레터를 구독하시면 더욱 유익한 정보를 받아보실 수 있습니다.