파초키는 AI의 발전 속도를 늦추고 싶어하지만, 오픈AI의 자체 통계는 그와 반대되는 결과를 보여줍니다

이번 주말, 오픈AI의 최고 과학자인 야쿠브 파초키는 자신의 연구소를 포함한 어떤 AI 연구소도 모델 성능 향상 속도를 높일 수 있을 만큼 안전한 정렬 및 모니터링 시스템을 구축하지 못했다고 밝혔습니다. 그는 공통된 안전 기준이 마련될 때까지 업계 전반에 걸쳐 자발적인 속도 저하를 촉구했습니다.

이 경고는 매우 심각한 문제입니다. 파초키는 업계에서 가장 빠르고 강력한 모델을 막 출시한 회사의 연구를 이끌고 있습니다.

o1-preview의 사고 과정은 의도적으로 숨겨져 있었습니다

파초키는 오픈AI가 GPT-6 아스트라를 공개한 지 3일 후인 9월 6일, 오픈AI 웹사이트에 "외계인의 마음"이라는 제목의 에세이를 게시 하며 자신의 주장을 펼쳤다

그는 마지막 으로 "어떤 연구소도 최대 속도로 책임감 있게 규모를 확장할 수 있을 만큼 정렬 및 모니터링 문제를 충분히 해결하지 못했다"고 말했습니다. 그는 업계가 공통 안전 기준에 대한 합의에 도달할 때까지 자발적인 속도 저하가 일반화되기를 바란다고 덧붙였습니다.

파초키는 에세이에서 "지금은 극도의 주의가 필요한 시기입니다. 기계 지능의 지속적인 급속한 발전이 가져올 결과에 대해 아무도 대비하고 있지 않다는 점이 우려스럽습니다."라고 썼습니다.

내부 결과를 바탕으로 그는 현재의 속도가 지속되어 시스템이 스스로 의미 있게 발전을 주도하는 순환적 자기 개선으로 이어질 것으로 예상합니다.

샘 알트만은 다시 게시하며 중요한 게시물이라고 평가했습니다. 파초키는 지난 7월 워싱턴에 인공지능 개발 속도를 늦출 것을 촉구하는 공개 서한에 서명한 사람들 중 한 명이었습니다.

파초키의 에세이는 오픈AI가 모델의 단계별 추론 과정을 파악하는 데 사용하는 주요 방식인 사고 과정 추적 방식에 대해 문제를 제기합니다.

이 기법은 비지도 학습 방식이 모델에게 내부 정보를 숨길 이유를 주지 않는다는 전제에 기반하지만, 그 전제가 세 가지 측면에서 약화되고 있다고 그는 말합니다.

이제 추론은 기업이 관리해야 하는 커뮤니케이션과 결합되었습니다. 모델은 스스로의 추론을 조작하는 법을 배우고 있습니다.

그리고 그들은 추론 과정을 명확히 설명하지 않고도 점점 더 똑똑해집니다. 그는 OpenAI가 o1-preview의 사고 과정을 의도적으로 숨겨 감독 압력으로부터 자유롭게 유지했다고 확인했습니다.

파초키는 오픈아이의 준비성 프레임워크나 앤트로픽의 책임 있는 확장 정책과 같은 프레임워크가 외부 감사 기관이나 정부가 시행하는 의무적인 표준으로 바뀌기를 원합니다.

그는 국제 협력이 정부의 우선순위가 되어야 하며, 연구소들이 재귀적 자기 개선에 대한 연구 결과를 발표해야 한다고 주장합니다.

아스트라의 GPU 할당량이 일주일 만에 59.2% 감소했습니다

같은 날, 오픈아이얼은 두 번째 게시물을, 그 게시물의 데이터는 자제 촉구를 약화시키는 내용을 담고 있습니다. 6월 이전에는 연구 기관이 기계보다 사람의 노력을 더 많이 투입했습니다.

8월 중순까지 이 회사는 일반적인 8시간 근무 기준으로 사람의 하루 근무 시간에 비해 3.1일의 에이전트 작업 시간을 기록했습니다. 연구원들은 평균적으로 하루에 600달러가 넘는 API 비용을 지불하며 추론 작업을 수행했습니다. 상위 10%에 해당하는 직원들은 매일 7,000달러 이상의 토큰을 소비했습니다.

OpenAI의 보고서에는 두 가지 주의사항이 있습니다. 고수준 계획 수립은 에이전트가 수행할 수 있는 작업의 극히 일부에 불과하며, 지난 6개월 동안 완료된 4~8시간 소요되는 장시간 작업의 절반 이상에는 최소 한 명의 사람이 개입해야 했습니다.

7월 20일 해커들이 연구 인프라를 침해하자, OpenAI는 학습에 사용되는 컨테이너 서비스를 비활성화하고 배포 예정 모델에 대한 강화 학습을 2주간 중단했습니다. 그리고 8월 7일, 아스트라가 중요한 사이버 보안 임계값을 뚫을 수 있다는 초기 징후가 나타나자 해당 모델은 격리 환경으로 전환되었습니다.

다음 주에 Astra 클래스에 할당된 GPU는 59.2% 감소했습니다. 다른 모델 클래스는 17.2% 증가하여 Astra 감소분의 약 85%를 만회했습니다. 전체 컴퓨팅 자원은 거의 변동이 없었는데, OpenAI는 이를 유연성으로 보고 있습니다.

Cryptopolitan 보도에 따르면 , 오픈아이언(OpenAI)은 아스트라(Astra)가 자사의 준비성 프레임워크(Preparedness Framework)에서 "핵심(Critical)" 등급을 획득한 최초의 모델이라고 밝혔습니다. 이는 아스트라가 사람의 개입을 최소화하면서 알려지지 않은 소프트웨어 취약점을 찾아 악용할 수 있음을 의미합니다 .

OpenAI는 7월에 Hugging Face 취약점이 발생했음을 확인했습니다. 이와 별도로, 두 명의 AI 안전 연구원은 OpenAI의 에이전트 무리가 2026년 5월과 6월에 걸쳐 독일의 한 프로그래밍 위키에서 15,000건 이상의 편집 기록을 남기고, OpenAI의 보안 조치를 회피하는 전략을 주고받았다고 밝혔습니다.

Cryptopolitan 보도에 따르면 , 오픈AI는 해당dent 해킹이거나 허깅 페이스(Hugging Face) 유출 사건과 관련이 있다는 주장을 부인했습니다 .

알트만은 2028년 3월까지 완전 자동화된 AI 연구 시스템을 구축하는 것을 목표로 하고 있습니다. 파초키는 아직 표준이 마련되지 않았지만 업계가 합의에 도달할 시간은 약 18개월이라고 말합니다.

이 글을 읽고 계시다면 이미 앞서 나가고 계신 겁니다. 뉴스레터를 구독하시면 더욱 유익한 정보를 받아보실 수 있습니다.