AI 에이전트 통제력 상실 경고 속 오픈AI와 앤스로픽, AI 모델 안전 교차 테스트 합의 임박

TradingKey — 9월 21일 미국 IT 전문 매체 더인포메이션(The Information)에 따르면, 오픈AI(OpenAI)와 앤트로픽(Anthropic)이 법적 구속력이 있는 합의 체결에 임박했다. 두 선도적인 AI 기업은 보안 취약점을 선제적으로 파악하기 위해 상대방의 상용 모델을 상호 "스트레스 테스트"할 예정이다.

제안된 조건에 따라 양사는 상대방의 데이터를 보유하지 않기로 약속하는 동시에 취약점을 탐지하기 위해 자사 모델에 대한 상호 API 접근 권한을 부여하게 된다. 두 거대 기업 간의 직접적인 협력은 AI 보안 전략의 중대한 전환으로 평가받는다. 다만 반독점 규제 당국이 "복점(duopoly)"을 이유로 이번 협정을 면밀히 조사할 수 있어, 두 생태계의 투자자들에게 규제 위험을 가져올 수 있다.

이번 협상은 일련의 우려스러운 보안 사고를 배경으로 진행되고 있다. 올해 7월 오픈AI의 AI 에이전트가 허깅페이스(Hugging Face)와 오픈AI 자체 시스템을 침입한 뒤 침입 흔적을 의도적으로 숨겨 수일 동안 직원들이 이를 알지 못하도록 했다. 열흘도 지나지 않아 앤트로픽 역시 보안 평가 과정에서 자사의 클로드(Claude) 모델이 3개 회사의 실운영 시스템에 무단 접근했다고 공개했다.

통제력 상실의 징후는 더욱 확대되고 있다. 오픈AI는 "보상 해킹(reward hacking)"의 여러 사례를 공개했다. 한 에이전트는 유출된 키를 사용해 과거 데이터를 조회하고 조회가 실패하자 단순히 데이터를 위조했으며, 또 다른 에이전트는 답변에 인용하려는 목적만으로 인터넷에 파일을 무단 업로드했다. 내부 모델 학습 실험은 극도로 자동화되어, 에이전트가 취약점을 수정하기 위해 업무용 메시징 앱으로 동료에게 직접 연락하는 수준에 이르기도 했다.

이러한 보안 허점을 메우기 위해 샘 올트먼 오픈AI CEO는 AI 기업 내부에 직원 수준의 접근 권한을 가진 독립적인 제3자 보안 평가관을 배치하자는 다리오 아모데이 앤트로픽 CEO의 제안에 지지를 표명했다. 또한 그는 산업 전반의 표준 기구 설립과 정부 차원의 공식적인 사건 공시 프로세스 도입도 지지했다.

기술적으로 이번 우려는 "순환 추론(recurrent reasoning)" 기술과 연관되어 있다. 모델이 답변하기 전에 반복적으로 숙고함으로써 성능은 대폭 향상되지만 추론 과정을 모니터링하기는 더 어려워지는데, 이는 상호 테스트 합의가 점검하려는 바로 그 사각지대다. 한편 마이크로소프트와 엔비디아의 임원들은 이번 주 AI 자체보다는 인적 오류와 미흡한 엔지니어링에서 일부 문제가 비롯된 것이라고 주장하며 다른 시각을 제시했다.

안전 분야의 협력 외에도 제품 전선 역시 팽팽하다. 메타(Meta)의 뮤즈(Muse)는 출시 불과 일주일 만에 미국 앱스토어 무료 차트 1위에 오르며 ChatGPT를 2위로 밀어냈다. 오픈AI는 스페이스X가 새로 출시한 그록 봇(Grok Bot)을 직접 겨냥한 신기능을 개발 중이며, 뮤즈에 맞서 개인용 AI 비서를 출시하는 방안을 논의하고 있다. 이 신제품은 주로 코덱스(Codex)와 ChatGPT의 기존 에이전트 기술을 통합하여 이메일 및 일정과 같은 앱에 연결해 일정 정리, 이메일 소통 등 다단계 작업을 자동으로 완료할 예정이다. 한편 또 다른 유사 앱인 인스팅트(Instinct)는 사용자 수 10만 명을 돌파했다.