LeCun等提出H-JEPA：面向視覺規劃的分層世界模型端到端學習

金色財經報道，10月10日，據arXiv論文，Yann LeCun等研究者提出H-JEPA（分層聯合嵌入預測架構世界模型），實現動作條件化JEPA層級結構的端到端訓練：每一層在自身學習到的潛在空間內預測更遠的未來，規劃自頂向下進行——頂層優化向目標推進，各層的預測成爲其下層規劃器的子目標。當數據中的因素以不同時間尺度演變時，較高層會丟棄快速、不可預測的細節，保留較慢的任務相關狀態。在四個模擬導航與操作環境中，分層規劃優於扁平JEPA；在Visual AntMaze任務上，三層分層將成功率從18%提升至73%，且規劃器算力更少。消融實驗將收益歸因於時間分解與更高層目標表示。在逆動力學監督下，該方法可擴展至DROID真實機器人視頻，分層結構在更低規劃算力下提升離線規劃保真度。論文於10月5日提交。