WarpSAC:讓強化學習依資料量「因材施教」的新演算法
WarpSAC: Towards the Pinnacle of Scalable Off-policy RL by Rethinking Exploration and Exploitation
背景
強化學習(RL)訓練機器人或控制策略時,長期以來都是在「資料稀缺」的假設下發展出各種穩定化技巧。傳統上,RL 智能體只能靠與單一環境互動慢慢累積 replay buffer,樣本非常珍貴,因此像 clipped double-Q(用兩個 critic 網路取最小值來壓低價值高估)、以及對網路權重做 parameter normalization(把權重投影限制在 Frobenius 範數球內,壓低 Lipschitz 常數以避免對訓練資料涵蓋不足的狀態-動作做出過度外推)這類機制,都是為了在資料不足時防止價值函數學壞。
但近年 GPU 大規模平行模擬(例如 IsaacLab、MuJoCo Playground、ManiSkill)讓一台機器可以同時跑成千上萬個環境副本,資料吞吐量暴增好幾個數量級。這篇來自 Zihao Wu、Hongyao Tang、Jianye Hao 等作者(arXiv:2608.24479)的論文提出一個關鍵問題:那些為「資料稀缺」設計的穩定化技巧,搬到「資料氾濫」的高吞吐場景還適用嗎?
作者在 MuJoCo、DeepMind Control Suite hard tasks、HumanoidBench、MyoSuite(CPU-scale,資料相對有限)以及 MuJoCo Playground、IsaacLab、MJLab、ManiSkill(GPU-parallel,資料極為豐沛)共八個 benchmark family 上做了控制實驗,結果發現:parameter normalization 在 replay 覆蓋範圍窄時有幫助,但資料一多反而限制了 value fitting 的能力;clipped double-Q 在高吞吐的操作任務(manipulation)中則可以放寬成單一 Q 網路。換句話說,穩定化手段其實是「資料 regime 依賴」的,沒有一套設定能通吃所有情境。
方法
基於上述發現,作者提出 WarpSAC,一個「regime-aware」(依資料狀態自適應)的 off-policy RL 演算法家族,核心創新是 Sample Weight Decay(SWD)。SWD 的做法是給 replay buffer 裡的樣本依「年齡」加權,公式大致為 max(w_min, 1 − A_t(i)/T_decay),也就是離現在越久的舊 transition,取樣權重就越低,讓 minibatch 更偏向近期、與目前策略相關的資料,同時不改動 actor-critic 的核心目標函數,實作成本很低。
在此基礎上,WarpSAC 提供兩個變體因應不同資料 regime:
- WarpSAC-L(Norm ON,clipped double-Q):針對 CPU-scale、資料有限的訓練場景,保留 parameter normalization 與雙 Q 保守機制,適合傳統單環境或少量平行環境的訓練。
- WarpSAC-A(Norm OFF,single-Q):針對 GPU-parallel、資料豐沛的訓練場景,關掉正規化限制、只用單一 Q 網路,讓價值函數能更充分利用大量資料做擬合,不被保守機制綁手綁腳。
比較基準是 FlashSAC,一個結合高吞吐資料收集、較大網路、降低更新頻率與參數投影正規化的可擴展 off-policy baseline。
實驗結果
WarpSAC 在兩種 regime 下都展現明顯進步。在九個 CPU-scale 環境上,WarpSAC(以 WarpSAC-L 為主)的 normalized score–step AUC 比 FlashSAC 提升 4.5%;在十四個 GPU-parallel 環境上,WarpSAC-A 的同一指標比 FlashSAC 提升高達 23.1%,顯示放寬保守機制在資料充足時收益更大。
在機器人操作任務 UnitreeG1TransportBox-v1 上,成功率從 FlashSAC 的 19.8% 大幅提升到 WarpSAC-A 的 96.4%,是本論文最亮眼的數字之一。在 MuJoCo Playground 上,WarpSAC 的平均 normalized wall-time AUC 比 FlashSAC 提升 19.1%,代表達到同等表現所需的實際訓練時間更短。
在真實機器人 sim-to-real 部署實驗中,WarpSAC 於單張 A800 GPU 上約 35 分鐘就能達到目標表現,比 FlashSAC 快 36.4% 的 wall-clock 時間完成 Unitree G1 人形機器人的行走部署。
論文的消融實驗也支持其核心論點:在 CPU-scale、網路容量較小(single-block 網路)的設定下,SWD 讓 humanoid-run 任務分數從 209.93 大幅提升到 467.39,超過兩倍;而隨著網路容量增加,SWD 的增益雖然縮小但仍然存在,顯示 SWD 特別能彌補「小網路容量」的限制。另一方面,在 GPU-parallel 訓練中,低容量網路下關閉 normalization 對 MuJoCo Playground 任務有顯著提升,證實當 replay 已提供足夠廣的覆蓋範圍時,正規化的保守限制反而變成負擔。
意義
這篇論文最核心的洞見,其實不是某一個新技巧,而是一個方法論層面的提醒:RL 演算法裡許多「看似普適」的穩定化設計,其實隱含了對資料 regime 的假設。當年 clipped double-Q、parameter normalization 這類技巧誕生時,大家預設的場景就是資料稀缺、replay buffer 覆蓋不全,所以要保守行事;但隨著 GPU 大規模平行模擬讓資料收集成本急遽下降,繼續套用這些保守機制反而會「浪費」多出來的資料,拖慢學習效率。
WarpSAC 給出的解法很務實:不追求一套參數打天下,而是明確拆成 CPU-scale 與 GPU-parallel 兩套設定(WarpSAC-L / WarpSAC-A),讓工程師可以依照自己的訓練資源與吞吐量選擇對應版本。而 Sample Weight Decay 作為一個幾乎零成本、可疊加在任何 off-policy 演算法上的通用改進,在兩種 regime 下都持續有效,尤其對網路容量受限的邊緣裝置場景特別友善。
對機器人與具身智能(embodied AI)領域而言,UnitreeG1TransportBox 成功率從 19.8% 衝到 96.4%,以及 sim-to-real 部署時間縮短 36.4%,都直接關係到訓練成本與研發迭代速度——當模擬吞吐量已經不是瓶頸,演算法能否「消化」海量資料才是決定訓練效率的關鍵。這篇工作提醒整個社群,在把 RL 演算法推向大規模平行化訓練時,或許應該重新檢視每一個「經典穩定化技巧」背後的資料規模假設,而不是照搬過去在資料稀缺年代設計出的保守配方。