LeCun等提出H-JEPA分層世界模型 端到端學習視覺規劃

金色財經報道，10月12日，據arXiv論文，研究者Wancong Zhang、Basile Terver、Michael Rabbat、Yann LeCun、Randall Balestriero提出H-JEPA，一種端到端訓練分層動作條件化JEPA世界模型的方案，各層級在自身學得的潛在空間中預測更遠的未來。規劃自頂向下進行：頂層優化目標推進，各層預測成爲下層的子目標。當數據中的因素以分離的時間尺度演化時，更高層會丟棄快速、不可預測的細節，保留較慢的任務相關狀態。在四個模擬導航與操作環境中，分層規劃的表現在扁平JEPA之上；在Visual AntMaze任務中，三層結構將成功率從18%提升至73%，且規劃算力更少。消融實驗顯示，增益來自時間分解與高層目標表示兩方面。在逆動力學監督下，該方法可擴展至DROID的真實機器人視頻。