OpenAI는 자사의 Jalapeño 칩이 추론 성능에서 Nvidia의 GB300을 능가한다고 밝혔습니다

OpenAI는 브로드컴과 공동 개발한 자체 추론 칩인 Jalapeño의 첫 번째 벤치마크 결과를 발표했습니다.

이 회사는 해당 칩이 전력 효율 측면에서 엔비디아 GB200 및 GB300 랙 시스템보다 더 많은 AI 작업을 수행하고 더 빠른 응답 속도를 제공한다고 주장합니다.

OpenAI의 새로운 칩은 어떤 성능을 보여줄까요?

OpenAI는 벤치마크 결과를 공개했습니다 . 이 칩은 AI 요청 처리의 전체 과정을 측정하는 SemiAnalysis의 공개 벤치마크 도구인 InferenceX를 통해 테스트되었으며, OpenAI의 GPT-OSS 120B, DeepSeek의 R1 670B, 그리고 Moonshot AI의 Kimi K2.5 1T와 비교 검증되었습니다.

OpenAI는 자사의 새로운 칩이 테스트 대상 시스템보다 단위 전력당 1.5~1.9배 더 많은 작업을 처리한다고 밝혔습니다. 또한 요청에 대한 응답 속도도 1.7~3.6배 더 빨랐습니다.

직접적인 소통이 많이 필요한 실무적인 작업의 경우, 그 격차는 2.1배에서 4.1배까지 벌어졌습니다.

오픈AI의 하드웨어dent인 리처드 호는 기자들에게 해당 칩이 한 번에 더 많은 작업을 처리하고 더 빠르게 반응한다고 말했는데, 이는 대부분의 칩이 동시에 할 수 없는 일이라고 덧붙였다.

비교 대상은 당시 InferenceX에서 최고 성능을 기록했던 엔비디아의 GB200 및 GB300 슈퍼칩이었습니다. OpenAI는 테스트한 가장 큰 모델인 Kimi K2.5에서 Jalapeño가 와트당 최대 성능이 약 1.5배 향상되었고, 지연 시간은 3.4배 낮아졌다고 밝혔습니다.

할라페뇨 칩은 임대 시장도 없고, 인스턴스 유형도 없으며, 판매 계획도 없습니다. 오픈아이얼이 이 칩을 다른 회사에 제공할 의향이 있는지 묻는 질문에 호 대표는 자사 수요를 충족할 컴퓨팅 자원도 "충분히 확보하기 위해 고군분투하고 있다"고 답했습니다.

OpenAI는 예산과 사무 공간을 확보하고 있지만, 현재는 예산이나 사무 공간보다는 데이터 센터 전력량에 제약을 받고 있어 메가와트당 토큰 수가 중요한 지표가 되었습니다.

추론은 ChatGPT와 API 전반에 걸쳐 지속적으로 실행되므로, OpenAI가 운영하는 규모에서는 토큰당 소비 전력을 줄이는 것이 빠르게 효과를 발휘합니다. 해당 칩의 정격 소비 전력은 700와트이지만, 테스트된 워크로드에서는 550와트 이하로 유지되었습니다.

이 칩은 OpenAI가 2025년 10월 브로드컴과 체결한 계약에 포함되어 있으며, 해당 계약에 따라 2029년까지 OpenAI가 설계한 10기가와트 규모의 가속기를 구축할 예정입니다. Cryptopolitan 이 파트너십이 처음 구상되었을 때 보도한 바 있습니다.

OpenAI는 자체 칩만 사용하는 방향으로 전환할까요?

Hot Chips에서 Ho는 OpenAI가 128개 칩으로 구성된 랙에 칩을 배포할 것이며, 전체 포드에는 2,048개의 ASIC이 탑재될 것이라고 밝혔습니다. 128개 칩 배포 시 4비트 연산 능력은 1.7엑사플롭스, HBM4 메모리 용량은 27.5테라바이트이며, 각 패키지는 초당 15.4테라바이트의 메모리 대역폭을 제공합니다.

OpenAI는 Jalapeno 개발 속도를 높이기 위해 자체 모델을 활용하여 설계부터 최종 테스트까지 단 9개월 만에 완료했다고 밝혔습니다. 호(Ho)는 2세대 버전이 "개발 중"이며 3세대 버전도 개발에 착수했다고 덧붙였습니다.

하지만 벤치마크 결과에서도 알 수 있듯이, OpenAI는 GPU를 교체할 계획은 없습니다. 호 대표는 할라페뇨 칩이 엔비디아와 세레브라 같은 "매우 훌륭한 파트너"와의 협력을 기반으로 하는 컴퓨팅 전략의 한 부분이라고 설명했습니다. 이 칩은 2026년 말 소량 생산을 시작한 후 2027년까지 생산량을 점차 늘릴 계획입니다.

특히 모든 수치는 OpenAI에서 제공한 것이며, SemiAnalysis는 InferenceX 실행 결과를 직접 검증했지만 전체 테스트 스위트를 실행하거나 AgentX 결과를 확인하지는 않았습니다.

이 글을 읽고 계시다면 이미 앞서 나가고 계신 겁니다. 뉴스레터를 구독하시면 더욱 유익한 정보를 받아보실 수 있습니다.