清北团队领航:具身智能新势力的最新进展

摘要

清北团队领航,银河通用、灵初智能、星海图的最新进展

具身智能创业如火如荼,技术路线是否收敛、以及数据来源的选择,都是大家一直关心的问题。最近清华北大的团队密集发布了很多研究成果,我们可以从中分析出一些趋势。

 

 

23年初成立的银河通用背后是前如布科技联创尹方鸣和姚腾洲、科学家是北大助理教授王鹤。银河通用是低成本仿真路线的拥护者,经过2年努力于近期重磅发布了GraspVLA,思路与RoboCasa、RoboGen等类似,在海量合成的仿真环境中合成机器人数据。但GraspVLA只关注抓取任务,将预训练的AnyGrasp模型部署到仿真中采集大量数据来训练一个VLA。在仿真中可以加入很多随机化、以提升VLA的泛化性。

(AnyGrasp、GraspVLA、OpenVLA demo视频对比)

2024年9月成立的灵初智能,CEO是前京东机器人总裁王启斌、以及机器人算法负责人柴晓杰、李飞飞学生陈源培,背后科学家包括北大助理教授杨耀东和梁一韬。

(以上是Psi R0的demo视频)

与银河通用类似,灵初智能也是在仿真环境中大规模预训练模型,但在模仿学习中加入了强化学习技术、以及真机数据对齐微调训练,使得即使只用少量仿真和真机数据也能做到很泛化的复杂任务,实现不同技能顺滑串联操作。2024年12月底发布的Psi R0模型完成了双手协作长程的泛化打包任务,已展现出了该模型能实现真正商业化的强大潜力。

灵初智能此前的其他成果,比如lego组装也是长程的灵巧手任务,可以突破过去强力抓取的能力边界、完成更灵活的抓取和灵巧动作。根据之前的公开信息,灵初智能将于3月份发布自研本体以及更泛化的具身大模型。

(以上为Lego组装视频)

在数据选择方面,23年9月成立的清华系星海图持完全不同的观点,他们认为数据价值上,真机数据 > 互联网数据 > 仿真数据。星海图CEO是Momenta前执行董事高继扬,科学家包括清华助理教授赵行和许华哲。他们计划今年发布100万条真机数据、明年发布1000万条真机数据。星海图计划采用真机数据为主来预训练具身大模型、而不是灵初和银河那种大规模仿真数据预训练。但以大规模真机数据为主存在diverse不足的问题,无法涌现泛化。

(以上为星海图real2sim2real视频demo)

在仿真数据方面,星海图强调Real2Sim2Real后训练。仿真数据只作为后训练的一个强化剂,将真实数据在仿真中加入随机化来扩充1000倍,以实现更高的成功率和更好的落地效果。

今天分析的三家清北团队在算法和数据选择上略有不同。灵初智能在算法上强调强化学习、银河在数据上强调仿真、星海图强调真实数据。不过各家都采用了仿真和真实数据结合的方法,只是在预训练和后训练上强调不同的数据比例。

期待这几家准独角兽公司在未来带来更多的惊喜。清华北大是具身智能创新的先锋,近期还有很多有意思的成果。比如清华星动纪元ERA-42、北大与国地共建具身智能中心RoboMind、北大与智元OmniManip、清华千寻智能CoPa和Data Scaling Law等工作都很值得分析。

最新文章

极客公园

用极客视角,追踪你不可错过的科技圈.

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

张鹏科技商业观察

聊科技,谈商业。