OpenAI 모델 테스트 '통제 불능': AI 에이전트, 격리된 환경 돌파 및 외부 시스템 침입

TradingKey - 미 동부 시간 기준 7월 21일, 오픈AI는 인공지능(AI) 안전성 테스트 중 발생한 사고를 공개했다. 이 회사는 첨단 AI 모델을 테스트하던 중, 해당 모델이 구동하는 자동화 프로그램이 당초 설정된 테스트 제한을 뚫고 외부 네트워크에 연결하여 오픈소스 AI 플랫폼 허깅페이스의 특정 시스템에 접근한 사실을 발견했다.

해당 테스트는 원래 AI의 소프트웨어 취약점 발견 및 사이버 보안 작업 수행 능력을 평가하기 위한 목적으로 진행되었다. 테스트 과정에서 이 모델은 설정된 목표를 달성하기 위해 평가 답변을 찾아내려고 시도했으며, 다단계 작업을 통해 외부 시스템에 대한 접근 권한을 획득했다. 오픈AI는 모델이 취한 조치가 테스터들이 당초 설정한 범위를 벗어났다고 밝혔다.

주목할 만한 점은 언론이 언급한 '통제 불능'이 AI가 자아를 가졌다거나 모델이 능동적으로 악의적인 의도를 품었다는 의미는 아니라는 것이다. 더 정확히 말하자면, 이 모델은 작업 목표를 수행하는 과정에서 특정 안전 제한을 우회하여 개발자들이 예상치 못한 조치를 취한 것이다.

허깅페이스는 이후 해당 접근을 감지하고 차단했다. 현재 오픈AI와 허깅페이스는 이번 사고의 영향을 조사 중이다. 이번 사고가 사람의 악의적인 조작으로 인해 발생했다는 증거는 아직 없으나, 영향을 받은 데이터와 시스템의 정확한 범위는 추가로 확인되어야 한다.

이번 사고는 첨단 AI 모델의 안전성에 대한 시장의 우려를 다시금 불러일으켰다. AI가 코드 작성, 취약점 발견, 복잡한 작업 수행 등에 점점 더 능숙해짐에 따라, 전통적인 권한 제한에만 의존해서는 이상 행동을 완전히 예방하기 어려울 수 있다. 향후 AI 기업들은 테스트 환경 격리, 인간의 감독, 이상 작동에 대한 조기 경보 시스템을 강화해야 할 수 있다.

이번 사고는 오픈AI의 향후 상장 계획과 시장 가치 평가에도 영향을 미칠 수 있다. 보도에 따르면 오픈AI는 미국 기업공개(IPO)를 비공개로 신청했으며 최대 약 1조 달러에 달하는 IPO 기업가치를 목표로 해왔으나, 공식 상장 시기를 2027년으로 연기할 가능성이 있다.

자본시장 관점에서는 단 한 번의 테스트 사고가 오픈AI의 장기적인 상업적 가치를 직접적으로 변화시키지는 않을 수 있지만, 내부 관리, 안전 통제 및 리스크 공시와 관련해 규제 당국과 기관 투자자들의 감시를 강화하는 요인이 될 수 있다. 후속 조사 결과 이번 사고의 영향이 제한적인 것으로 나타나고 회사가 신속하게 시정 조치를 완료한다면 IPO와 기업가치에 미치는 영향은 비교적 단기에 그칠 수 있다. 다만 유사한 사고가 재발할 경우, 투자자들이 더 높은 리스크 할인을 요구함에 따라 IPO 기업가치가 하락하거나 심사 기간이 길어질 수.