Nvidia 推出 Cosmos WFM，帮助开发人员加速物理 AI

Nvidia 发布了 Cosmos 平台，该平台由物理 AI 开发人员用来训练视频分析 AI 代理、自动驾驶汽车 (AV) 和机器人的世界模型提供支持。该公司声称， Cosmos 世界模型对图像和视频进行结构化推理，从而“像人类一样理解物理世界”。   

这家科技公司表示，它正在帮助开发人员构建基础模型。该公司解释说， Cosmos平台允许开发人员为专用的物理 AI 模型定制开箱即用的预训练模型。Nvidia 宣称， Cosmos利用对物理世界的“时空理解”来整理数据，用于训练机器人和自动驾驶汽车的决策。

该公司还补充说， Cosmos Curator 框架使开发人员能够过滤、注释和删除大量传感器数据。开发人员可以使用这些数据创建满足特定物理 AI 需求的定制数据集。Cosmos Cosmos 基础模型还可以为开发工业视觉系统的下游流程生成数据。

Cosmos 带有预测、转移和推理基础模型 

据 Nvidia 团队介绍， Cosmos 平台拥有 Predict 预测模型，允许开发者生成长达 30 秒的连续视频。这些视频是根据多模态输入生成的，并严格遵循提示。

Transfer 是一个多控制模型，允许开发人员模拟不同的环境和光照条件。该科技公司还表示，Transfer 可以加速来自 CARLA 和 Nvidia Isaac Sim 物理 AI 模拟框架的 3D 输入，从而实现“可控数据增强”。   

Nvidia 表示， Cosmos Reason 使用了完全可定制的 VLM（视觉语言模型），该模型能够像人类一样理解真实的物理世界。Reason 为视频分析代理提供支持，使其能够理解工业和城市空间中的运行情况。它负责整理用于决策的训练数据。

该科技公司透露，开发人员可以利用基础模型生成数据，用于训练工业和机器人应用中的人工智能模型，例如工厂机器人、自动化仓库以及高速公路或崎岖地形上的自动驾驶汽车。

Nvidia 还表示，这些基础模型使用未标记的数据集进行训练，以根据用户输入生成新数据。它补充说，开发人员可以利用这种通用性，使用较小的数据集对预训练模型进行微调，从而构建自定义模型。开发人员还可以训练不同的自主机器来感知并与各种环境交互。

Nvidia 助力“数字孪生”

这家科技公司宣布发布 Omniverse 库。Nvidia 补充说，这些库由其 RTX PRO 服务器和 DGX Cloud 提供支持，使开发人员能够构建物理上精确的数字孪生。通过在模拟中捕捉和重建现实世界，可以生成合成数据，以构建 AI 代理并训练物理 AI 模型。

英伟达 Omniverse 和仿真技术副dent Rev Lebaredian 表示，公司致力于赋能开发者打造未来的机器人和自动驾驶汽车。他解释说，人工智能和计算机图形学正在融合，从而改变机器人技术的基本原理。Lebaredian 相信，这些技术将“改变数万亿美元的产业”。 

Nvidia宣布，Omniverse 库和 SDK（软件开发工具包）现已开放给开发者使用，用于构建和部署机器人仿真和工业 AI 应用程序。这些 SDK 支持 OpenUSD（通用场景描述）和 MJCF（MuJoCo）之间的数据互操作性，从而允许跨平台模拟机器人。“RTX 光线trac3D 高斯溅射”技术还允许开发者利用传感器数据以 3D 形式捕捉、重建和模拟现实世界中的物理环境。

Nvidia 声称，Figure AI、Skild AI、波士顿动力、RAI 研究所、Hexagon 和 Lightwheel 采用了 Omniverse 和 Isaac Suite（Sim 和 Lab）来加速其 AI 驱动的机器人项目。亚马逊设备与服务部门也使用这些 Nvidia 系统来支持其最新的制造解决方案。

2025年DeFi赚取被动收入的新方法。了解更多