Nvidia presentó Cosmos WFM para ayudar a los desarrolladores a acelerar la IA física

Nvidia presentó la plataforma Cosmos , impulsada por modelos del mundo que los desarrolladores de IA física utilizarán para entrenar agentes de IA de análisis de video, vehículos autónomos (AV) y robots. La compañía afirma que los modelos del mundo Cosmos utilizan razonamiento estructurado sobre imágenes y videos para comprender el mundo físico como los humanos.   

La compañía tecnológica afirmó estar ayudando a los desarrolladores a construir modelos fundamentales. Explicó que la Cosmos permitía a los desarrolladores personalizar modelos preentrenados listos para usar para modelos físicos especializados de IA. Nvidia presume de que Cosmos utiliza una comprensión espaciotemporal del mundo físico para procesar datos que facilitan la toma de decisiones en robótica y vehículos autónomos.

La compañía también añadió que el framework Cosmos Curator permitió a los desarrolladores filtrar, anotar y deduplicar grandes cantidades de datos de sensores. Los desarrolladores utilizan estos datos para crear conjuntos de datos personalizados que satisfacen necesidades físicas específicas de IA. Los modelos de base mundial Cosmos también pueden generar datos para las tuberías posteriores en el desarrollo de sistemas de visión industrial.

Cosmos viene con los modelos básicos Predict, Transfer y Reason 

Según el equipo de Nvidia, la plataforma Cosmos cuenta con el modelo de predicción Predict, que permite a los desarrolladores generar vídeos continuos de hasta 30 segundos. Los vídeos se generan a partir de entradas multimodales con un estricto cumplimiento de las indicaciones.

Transfer es un modelo multicontrol que permite a los desarrolladores simular diferentes entornos y condiciones de iluminación. La compañía tecnológica también afirmó que Transfer puede acelerar las entradas 3D de los marcos de simulación de IA física CARLA y Nvidia Isaac Sim para permitir el aumento de datos controlable.   

Nvidia afirmó que Cosmos Reason utilizaba un VLM (Modelo de Lenguaje de Visión) totalmente personalizable que entendía el mundo físico real como los humanos. Reason impulsa agentes de análisis de video que comprenden las operaciones en espacios industriales y urbanos. Cura los datos de entrenamiento utilizados para la toma de decisiones.

La empresa de tecnología reveló que los desarrolladores podrían aprovechar los modelos básicos para generar datos para entrenar modelos de IA en aplicaciones industriales y robóticas, como robots de fábrica, almacenes automatizados y vehículos autónomos en carreteras o terrenos difíciles.

Nvidia también indicó que estos modelos fundamentales se entrenaron utilizando conjuntos de datos sin etiquetar para generar nuevos datos basados en las entradas del usuario. Añadió que los desarrolladores pueden usar esta generalización para perfeccionar los modelos preentrenados utilizando conjuntos de datos más pequeños para crear modelos personalizados. Los desarrolladores también pueden entrenar diferentes máquinas autónomas para detectar e interactuar con diversos entornos.

Nvidia impulsa los 'gemelos digitales'

La compañía tecnológica anunció el lanzamiento de las bibliotecas Omniverse el 11 de agosto. Nvidia añadió que las bibliotecas se basaban en sus servidores RTX PRO y DGX Cloud, lo que permitía a los desarrolladores crear gemelos digitales físicamente precisos. Se pueden generar datos sintéticos capturando y reconstruyendo el mundo real en simulación para crear agentes de IA y entrenar modelos físicos de IA.

El reverendo Lebaredian,dent de Omniverse y Tecnologías de Simulación de Nvidia, afirmó que su empresa está comprometida con facilitar a los desarrolladores la creación de los robots y vehículos autónomos del futuro. Explicó que la IA y los gráficos por computadora están convergiendo para transformar los principios básicos de la robótica. Lebaredian cree que estas tecnologías transformarán billones de dólares en las industrias. 

Nvidia anunció que las bibliotecas y los SDK (kits de desarrollo de software) de Omniverse ya están disponibles para que los desarrolladores creen e implementen aplicaciones de simulación robótica e IA industrial. Los SDK facilitan la interoperabilidad de datos entre OpenUSD (Descripción Universal de Escenas) y MJCF (MuJoCo), lo que permite simular robots en diferentes plataformas. La técnica de « trac » también permite a los desarrolladores capturar, reconstruir y simular entornos físicos del mundo real en 3D utilizando datos de sensores.

Nvidia afirmó que Figure AI, Skild AI, Boston Dynamics, RAI Institute, Hexagon y Lightwheel adoptaron Omniverse e Isaac Suite (Sim y Lab) para acelerar sus proyectos de robótica basados en IA. Amazon Devices & Services también utilizó estos sistemas de Nvidia para impulsar sus soluciones de fabricación más recientes.

Academia Cryptopolitan: Próximamente, una nueva forma de obtener ingresos pasivos con DeFi en 2025. Obtenga más información