近日，上海交通大学、百度智能云、地瓜机器人（D-Robotics）联合发布机器人 Foundation Model 最新研究成果 dVLA-RL。
近日，上海交通大学、百度智能云、地瓜机器人（D-Robotics）联合发布机器人 Foundation Model 最新研究成果 dVLA-RL，首次打通经典 PPO 算法与离散扩散 Vision-Language-Action（dVLA）的强化学习训练路径，使离散扩散 VLA 首次具备持续强化学习能力，为机器人 Foundation Model 建立起从预训练、监督微调（SFT）到强化学习（RL）的完整技术链路，推动机器人从依赖人类示范学习，迈向持续自主学习与自主进化。
此次研究全部实验均基于百度百舸 AI 计算平台完成。针对机器人强化学习训练场景，百度百舸团队围绕 RLInf 开展 AI Infra 工程优化，提升了强化学习阶段的训练效率、资源利用率和模型收敛效果，为 dVLA-RL 提供了稳定、高效的训练支撑。
近年来，以 Vision-Language-Action（VLA）为代表的机器人 Foundation Model 正成为具身智能的重要技术路线。通过融合视觉、语言和机器人动作，VLA 模型能够完成抓取、搬运、装配等复杂任务，并不断拓展机器人在制造、物流、服务等场景中的应用能力。
当前，大多数机器人 Foundation Model 主要依赖监督微调（SFT）学习人类示范数据，能够快速掌握基础技能，但面对开放环境和复杂任务时，仅依靠模仿学习容易达到能力瓶颈。强化学习（RL）则通过自主交互、持续试错和奖励反馈不断优化策略，被普遍认为是机器人 Foundation Model 持续演进的重要方向。
然而，离散扩散 VLA 由于采用多轮去噪生成动作，传统 PPO 难以直接适配其完整生成过程，强化学习训练路径长期缺失，也成为制约这一技术路线进一步发展的关键瓶颈。
针对这一挑战，研究团队提出 dVLA-RL 强化学习训练框架，将离散扩散模型完整的去噪过程视为连续决策轨迹，重新定义 PPO 的优化对象，使经典强化学习算法首次能够直接应用于离散扩散 VLA，为这一技术路线建立起完整的强化学习训练体系。同时，团队进一步提出 Hybrid Denoising Steps 动态去噪策略，可根据不同任务复杂度动态调整去噪步数，在保证模型性能的同时兼顾推理效率。
实验结果显示，dVLA-RL 在多个机器人主流基准测试中取得显著提升。在 LIBERO Benchmark 上，模型平均任务成功率达到 99.7%；在 RoboTwin 2.0 基准测试中，模型成功率由监督微调阶段的 61.4% 提升至 92.0%，绝对提升 30.6 个百分点。与此同时，Hybrid Denoising Steps 将平均推理时延由 728.92 ms 降低至 387.24 ms，强化学习训练耗时由 845.95 秒 缩短至 607.89 秒，实现模型性能与运行效率同步提升。
作为本项研究的重要基础设施支撑，百度百舸 AI 计算平台为机器人 Foundation Model 强化学习提供了覆盖训练框架、算力调度和 AI Infra 优化的一体化能力。随着机器人 Foundation Model 加速迈向强化学习阶段，高质量 AI 基础设施正成为支撑模型持续迭代和产业落地的重要底座。依托持续升级的 AI Infra 能力，百度百舸正在为大模型、智能体及机器人 Foundation Model 提供更加稳定、高效的训练支撑。
此次 dVLA-RL 的发布，不仅首次打通了离散扩散 VLA 的强化学习路径，也进一步完善了机器人 Foundation Model 从预训练、监督微调到强化学习的完整技术链路，为机器人持续自主进化奠定了基础。未来，随着强化学习、大模型与具身智能持续融合，机器人将从"学会执行任务"进一步走向"持续自主学习"，加速智能制造、物流、服务机器人等场景规模化落地。百度智能云也将持续携手科研机构和产业伙伴，依托百舸 AI 计算平台和 AI Infra 能力，推动机器人 Foundation Model 技术创新，加速具身智能产业发展。
来源：互联网
