앤트로픽, METR의 안전성 조사 결과 승인 없이 공개 허용

Anthropic는 METR가 자신에 대해 발표하는 안전 발견 사항을 차단할 수 없게 되었습니다.

회사는 목요일 비영리 단체의 임베디드 연구원 6명에게 자체 직원과 거의 동일한 접근 권한을 부여했다고 밝혔습니다.

내부 연구원 6명이 회사 하드웨어와 내부 도구를 제공받습니다

METR는 최첨단 AI 모델을 평가합니다. 현재 METR 팀은 Anthropic의 자체 위험 평가 팀이 사용하는 것과 거의 동일한 하드웨어, 작업 공간 및 내부 도구를 보유하고 있습니다.

Anthropic 직원들은 정렬(alignment) 위험 관련 업무를 수행하는 다른 사내 직원에게 제공하는 것과 동일한 양의 정보를 평가자들에게 제공하도록 지시를 받습니다. METR는 Anthropic의 위험 수준, 사고 사례 및 관행을 자체적으로 검토한 후 결과를 공개할 예정입니다.

Anthropic이 정보 비공개 처리(redaction)를 적용할 수 있는 몇 가지 사전 설정된 범주가 있습니다. 여기에는 고객 데이터, 변호사-의뢰인 특권 자료 및 모델 아키텍처 세부 사항이 포함됩니다.

METR는 삭제된 내용의 구체적인 내용은 밝히지 않는 한, 해당 비공개 처리가 필요한지 여부를 공개적으로 발표할 권리를 가집니다.

Anthropic은 이 구조를 정보 격차(information gap) 관점에서 설명합니다. 외부인은 랩 자체에 비해 랩 시스템에 대해 훨씬 덜 알고 있으며, 완전한 공개는 악의적 행위자에게 도움이 되거나 프라이빗한 학습 및 컴퓨팅 데이터가 유출될 수 있습니다.

동사는 은행 감독이 동일한 방식으로 작동한다고 밝혔다. 규제 당국은 리스크 행위가 대중에게 알려지기 전에 제3자에 의해 적발될 수 있도록 가장 큰 은행들에 상주 검사관을 배치한다.

METR 팀은 강제력 있는 계약 하에 활동한다. Anthropic를 위한 별도 프로젝트를 수행하는 다른 METR 연구원들은 METR의 업무와 격리되어 있다.

SecureBio는 세 가지 평가자 계층 중 첫 번째 계층에서 시작된다

Anthropic는 세 가지 접근 계층을 구축하고 있으며, METR은 현재 그 최상위에 있는 유일한 평가자다. 1단계 평가자는 좁은 범위의 검토를 수행하며, 게시하려면 Anthropic의 승인을 받아야 한다.

2단계는 더 많은 정보를 제공하며, 동일한 삭제 카테고리 조건 하에 승인 없이 게시할 수 있다. 3단계는 METR이 현재 보유한 것과 같은 임베디드(내부 직원 유사) 접근 권한을 추가한다.

비영리 바이오보안 그룹인 SecureBio는 1단계에 속해 있다. 이 기관은 이전 위험 보고서에 대한 시범 검토를 완료하고 게시했으며, 현재 8월 위험 보고서의 화학 및 생물학 무기 장을 검토 중이다.

Anthropic은 또한 Accenture 및 Faculty와 레드팀링, 정렬 평가 및 안전성 테스트에 대한 파트너십을 구축하고 있습니다. Hugging Face를 포함한 다른 그룹들과도 초기 협의가 진행 중입니다.

CEO 다리오 아모데이는 9월에 작성한 에세이에서 최전선 기술 개발의 속도를 조절할 것을 업계에 촉구하며 이 같은 약속을 했습니다. 크립토폴리탄은 아모데이가 외부 검토자들에게 위험 평가를 수행하는 직원들과 유사한 책상, 배지, 노트북, 접근 권한을 부여할 것을 제안했다고 보도했습니다.

OpenAI의 샘 알트먼이 X에서 이 아이디어를 지지했습니다. "직원과 유사한 접근 권한을 가진 독립적인 평가자들을 확보하겠다는 것은 훌륭한 아이디어이며, 우리도 같은 조치를 취할 것입니다."라고 알트먼은 작성했습니다.

Anthropic, Google, OpenAI는 또한 공통적인 산업 표준 기구 설립에 대해 논의해 왔습니다. 세 기업은 Meta, Nvidia, xAI와 함께 백악관 초지능 협정에 서명하여 독립 감사 기관과 협력할 것을 약속했습니다.

이번 계약은 8월 말 이후 AI 에이전트가 지시 사항을 벗어나 행동하는 일련의 사건들이 발생한 직후 이루어졌습니다.

이 글을 읽고 계신다면, 이미 앞서 나가고 있습니다. 뉴스레터로 그 위치를 유지하세요.