OpenAI의 719 수학 논문은 반대 입장의 고문들을 테스트하는 과정에서 도출되었습니다

10월 6일, OpenAI는 미공개 내부 모델에서 생성한 수학 논문 719편을 GitHub에 업로드했다.

그로부터 일주일 전, 해당 자문 그룹은 연구소들이 독점 모델에서 고급 수학 문제를 테스트하는 것을 중단할 것을 요청했다.

IAS 패널의 9월 29일 가이드라인은 600개 이상의 설문 응답을 바탕으로 마련되었다.

수학 및 인공지능 자문위원회는 뉴저지주 프린스턴에 위치한 고등연구소(Institute for Advanced Study)에 기반을 두고 있습니다. 9월 29일, 이 위원회는 600개 이상의 설문 응답을 바탕으로 한 권고사항을 발표했습니다.

“시작부터 명확히 밝힙니다: 우리는 이러한 관행을 지지하지 않으며, 독점 모델에서 고급 수학 문제를 테스트하는 것을 중단해 줄 것을 요청합니다.”라고 그룹은 밝혔다.

동일한 문서는 사설 내부 모델이 연구소들이 다른 분야를 앞지르는 이원화 시스템을 초래할 위험이 있다고 경고한다.

모델 개발 과정의 일환으로 OpenAI는 저장소에서 자체 모델을 오픈 리서치 문제에 대해 테스트한다고 밝혔다. 기존 수학 벤치마크가 포화 상태에 도달한 후 테스트 범위를 확대했다.

OpenAI는 그룹과 협의하고 출시 시 그 권고를 반영했다고 밝혔다. 10월 6일 발표된 성명에서 그룹은 자신의 자문 역할이 “OpenAI가 이를 획득한 과정을 승인하는 것이 아님”을 강조했다.

그룹은 준수 여부에 대한 판단을 더 넓은 수학 커뮤니티에 위임했다.

Navier-Stokes Lean 코드는 작성된 논문보다 약한 주장을 입증합니다

OpenAI는 719편의 논문을 372개의 수학 패밀리로 분류했으며, 각 패밀리는 주요 결과와 관련된 증명들을 중심으로 구성되었습니다. OpenAI는 독점 모델에 약 4,000개의 문제를 제공했고, 각 결과는 평균적으로 ChatGPT Pro의 추론 컴퓨팅으로 약 3시간이 소요되었습니다.

그룹은 AI 연구소들에게 각 결과에 대해 모델 이름, 프롬프트, 요약된 사고 과정(chain of thought), 소요 시간 및 컴퓨팅 비용을 게시할 것을 요청했습니다.

OpenAI는 10개의 추론 요약을 게시했으며, 상위 결과 중 약 42%가 Lean 형식화를 포함하고 있습니다.

Lean은 컴퓨터가 증명을 검증하는 데 사용할 수 있는 프로그래밍 언어입니다. 코드가 컴파일된다고 해서 코드와 서면 주장이 동일한 것을 의미하지는 않습니다. 이는 단지 형식화된 진술이 참임을 의미할 뿐입니다.

알렉산더 바스투니스, 파비안 서칠리, 앤더스 C. 한센은 10월 6일에 게시된 논문에서 이러한 격차를 조사했습니다. 그들은 OpenAI의 Navier-Stokes 관련 논문이 Lean 코드로 증명된 내용보다 더 강력한 주장을 펼치고 있으며, 하나의 추정치가 입력 미분값의 순서를 변경한다는 사실을 발견했습니다.

저자들은 OpenAI의 오일러(Euler) 증명에서도 유사한 오역이 발견되었음을 감지했습니다. OpenAI의 서면 증명과 다른 자동 형식화된 Lean 증명들은 "다른 증명들이 겪는 것과 동일한 동료 검토 과정과 신중한 검토를 거치지 않는 한 표면적으로는 신뢰할 수 없다"고 그들은 썼습니다.

Navier-Stokes 결과는 9월 8일 OpenAI가 발표했습니다. 크립토폴리탄에 따르면, NYU 수학자 트리스탄 버크마스터는 해당 작업에 필요한 최소한의 인간 개입에 대한 설명을 이의를 제기했습니다.

회사는 주요 AI 성과에 대한 워크숍, 컨퍼런스 및 특별 프로그램에 현금을 기부하겠다고 약속했습니다.

10월 6일, 테렌스 타오는 AI 프롬프터들이 종종 문제를 해결한 후 해당 분야에 대한 관심을 잃는다고 썼다. 그는 많은 사람들이 그 결과에 대해 질문을 받거나 강연하는 것을 거부한다고 적었다. 그의 글은 오픈AI를 직접 지명하지 않았다.

회사는 자문위원들이 연구 속도에 대해 아무런 권한을 가지고 있지 않다고 밝혔으며, 이는 크립토폴리탄이 9월에 보도한 내용입니다.

암호화폐 뉴스를 단순히 읽는 것을 넘어, 이해하세요. 뉴스레터에 구독하세요. 무료입니다.