英偉達詳解下一代AI專用Vera CPU 稱速度是其他CPU的兩倍多

金色財經報道，7月22日，英偉達發文稱，DeepInfra的基準測試結果顯示，NVIDIA Vera CPU的速度是其他CPU的兩倍多，並且能夠支持更多併發的AI代理。雲平臺DeepInfra是NVIDIA開放AI生態系統的早期體驗參與者，獨立設計並運行了基於其生產型AI代理基礎設施的基準測試。DeepInfra每週處理近五萬億個代幣，其中約30%由代理系統驅動。其雲平臺專爲高通量AI推理而建。基準測試顯示，在相同服務質量下，支持最多1.6倍的併發AI代理，協同速度高達2.2倍，同時提升基礎設施利用率和成本效益。這些結果表明，NVIDIA Vera CPU 能夠實現生產代理人工智能所需的成本效益、低延遲和吞吐量。 隨着AI代理承擔更復雜的推理、規劃、工具使用和數據流動，CPU性能在圍繞每次模型調用的協調工作中變得越來越重要。作爲英偉達對AI工廠極端聯合設計策略的一部分，Vera CPU專爲代理性工作負載設計。DeepInfra的基準測試強調了NVIDIA Vera CPU如何幫助雲服務提供商提升基礎設施利用率、提高成本效率，並在相同服務質量下支持更多併發的AI代理。