단독-구글, 메타의 도움으로 엔비디아의 소프트웨어 우위 약화 노력

Krystal HuㆍKenrick CaiㆍStephen Nellis

12월17일 (로이터) - 알파벳의 GOOGL.O 구글이 인공지능 컴퓨팅 시장에서 엔비디아의 오랜 지배력을 약화시키기 위한 움직임으로 세계에서 가장 널리 사용되는 인공지능 소프트웨어 프레임워크인 파이토치를 더 잘 실행할 수 있는 인공지능 칩을 만들기 위한 새로운 이니셔티브를 진행하고 있다고 이 문제에 정통한 사람들이 전했다.

이러한 노력은 구글의 텐서 프로세싱 유닛(link)을 시장을 선도하는 엔비디아의 GPU를 대체할 수 있는 제품으로 만들기 위한 공격적인 계획의 일환이다. 투자자들에게 AI 투자가 수익을 창출하고 있다는 것을 증명하고자 하는 Google의 클라우드 매출에서 TPU 판매는 중요한 성장 동력이 되었다.

하지만 하드웨어만으로는 채택을 촉진하기에 충분하지 않다. 내부적으로 "TorchTPU"로 알려진 이 새로운 이니셔티브는 이미 파이토치 소프트웨어를 사용하여 기술 인프라를 구축한 고객을 위해 TPU 칩을 완벽하게 호환하고 개발자 친화적으로 만들어 TPU 칩의 채택을 늦추는 주요 장벽을 제거하는 것을 목표로 한다고 소식통은 말했다. 구글은 또한 고객들의 채택 속도를 높이기 위해 소프트웨어의 일부를 오픈소스화하는 방안도 고려하고 있다고 일부 관계자들은 말했다.

TPU에서 PyTorch를 지원하려는 이전의 시도와 비교할 때, 칩을 채택하고 싶지만 소프트웨어 스택을 병목 현상으로 보는 기업의 수요가 증가함에 따라 구글은 TorchTPU에 더 많은 조직적 집중, 리소스 및 전략적 중요성을 부여했다고 소식통은 말했다.

메타 플랫폼 META.O의 지원을 많이 받는 오픈소스 프로젝트인 파이토치는 AI 모델을 만드는 개발자들에게 가장 널리 사용되는 도구 중 하나다. 실리콘밸리에서 엔비디아, 어드밴스드 마이크로 디바이스AMD.O, 구글의 칩이 실제로 실행하는 모든 코드를 직접 작성하는 개발자는 극소수에 불과하다.

대신, 이러한 개발자들은 AI 소프트웨어 개발의 많은 일반적인 작업을 자동화하는 미리 작성된 코드 라이브러리 및 프레임워크 모음인 PyTorch와 같은 도구를 사용한다. 2016년에 처음 출시된 PyTorch의 역사는 일부 월스트리트 애널리스트들이 경쟁사에 대한 가장 강력한 방어막으로 간주하는 소프트웨어인 CUDA의 개발과 밀접하게 연관되어 있다.

엔비디아의 엔지니어들은 파이토치로 개발된 소프트웨어가 자사 칩에서 최대한 빠르고 효율적으로 실행되도록 수년간 노력해 왔다. 반면, 구글은 오랫동안 내부 소프트웨어 개발자들이 Jax라는 다른 코드 프레임워크를 사용해 왔으며, TPU 칩은 XLA라는 도구를 사용하여 해당 코드를 효율적으로 실행한다. Google의 자체 AI 소프트웨어 스택과 성능 최적화의 대부분은 Jax를 중심으로 구축되어 Google의 칩 사용 방식과 고객이 원하는 방식 간의 격차가 커졌다.

구글 클라우드 대변인은 프로젝트의 구체적인 내용에 대해서는 언급하지 않았지만, 로이터에 이번 조치가 고객에게 선택권을 제공할 것이라고 확인했다.

대변인은 "우리는 TPU와 GPU 인프라 모두에 대한 수요가 급증하고 있다"고 말했다. "저희는 개발자가 어떤 하드웨어를 선택하든 개발자에게 필요한 유연성과 확장성을 제공하는 데 초점을 맞추고 있다."

고객을 위한 TPU

알파벳은 오랫동안 자체 칩, 즉 TPU의 대부분을 사내용으로만 사용해 왔다. 하지만 2022년에 구글의 클라우드 컴퓨팅 부서가 TPU를 판매하는 그룹을 감독하기 위한 로비에 성공하면서 상황이 바뀌었다. 이 움직임으로 구글 클라우드의 TPU 할당량이 크게 증가했고, AI에 대한 고객의 관심이 높아지면서 구글은 외부 고객에 대한 TPU 생산 및 판매를 늘려 수익을 창출하고자 했다.

그러나 전 세계 대부분의 AI 개발자가 사용하는 PyTorch 프레임워크와 현재 Google의 칩이 실행되도록 가장 정교하게 조정된 Jax 프레임워크 간의 불일치로 인해 대부분의 개발자는 상당한 추가 엔지니어링 작업을 수행하지 않고는 Google의 칩을 쉽게 채택하여 Nvidia만큼의 성능을 발휘하도록 할 수 없다. 이러한 작업은 빠르게 진행되는 AI 경쟁에서 시간과 비용이 많이 소요된다.

구글의 "TorchTPU" 이니셔티브가 성공한다면, 엔비디아의 GPU를 대체하고자 하는 기업의 전환 비용을 크게 줄일 수 있다. 엔비디아의 지배력은 하드웨어뿐만 아니라 파이토치에 깊숙이 내장되어 기업들이 대규모 AI 모델을 훈련하고 실행하는 기본 방법이 된 CUDA 소프트웨어 에코시스템에 의해 더욱 강화되었다.

기업 고객들은 그동안 대부분의 AI 개발자가 이미 사용하고 있는 PyTorch가 아닌 구글 내부에서 선호하는 머신러닝 프레임워크인 Jax로 전환해야 하기 때문에 TPU를 AI 워크로드에 도입하기가 더 어렵다고 구글에 말해왔다고 소식통은 전했다.

메타와의 공동 노력

소식통에 따르면 구글은 파이토치 개발 속도를 높이기 위해 파이토치의 창시자이자 관리자인 Meta와 긴밀히 협력하고 있다. 두 거대 기술 기업은 Meta가 더 많은 TPU에 액세스하기 위한 거래를 논의해 왔으며, 이는 The Information에서 처음 보도한 바 있다.

Meta의 초기 오퍼링은 구글 관리형 서비스로 구성되었으며, Meta와 같은 고객이 구글 소프트웨어 및 모델을 실행하도록 설계된 Google의 칩을 설치하고 구글이 운영 지원을 제공하는 방식이었다. 메타는 추론 비용을 낮추고 협상력을 확보하기 위해 엔비디아의 GPU에서 벗어나 AI 인프라를 다양화하기 위해 TPU를 더 쉽게 실행할 수 있는 소프트웨어 개발에 전략적 관심을 갖고 있다고 관계자들은 말했다.

메타는 논평을 거부했다.

올해 구글은 자체 클라우드에 대한 액세스를 제한하지 않고 고객의 데이터 센터에 직접 TPU를 판매하기 시작했다. 구글의 베테랑인 아민 바닷은 이번 달에 AI 인프라 책임자로 임명되어 최고 경영자 순다르 피차이에게 직접 보고하고 있다.

구글은 Gemini 챗봇과 AI 기반 검색을 비롯한 자체 AI 제품을 실행하고 Anthropic과 같은 회사에 TPU에 대한 액세스를 판매하는 구글 클라우드의 고객에게 서비스를 제공하기 위해 이러한 인프라가 필요하다.