“使用大模型的方式驱动机器人绝对是正确的方向。” 达闼机器人股份有限公司副总裁王斌。
12月3日，达闼机器人与中国计算机学会、AITISA联盟、OpenI 启智、CCF 开源发展委员会、北京大学、复旦大学、北京航空航天大学、中山大学、北京邮电大学、北京智谱联合共同举办的“达闼杯”机器人大模型与具身智能挑战赛成功闭幕。
大赛吸引了国防科技大学、复旦大学、西安理工大学、中国科学院、澳大利亚阿德莱德大学等全国和国际60多支队伍参加，此次比赛紧跟科技潮流，旨在探索大语言模型（LLMs）与机器人系统的整合。参赛者们通过达闼构建的高度逼真的咖啡厅数字孪生场景与机器人开发套件（HARIX RDK），使用达闼海睿AGI平台、RobotGPT多模态大模型或引入其他大模型，将机器人变成咖啡厅服务员，在仿真场景中自主完成多轮对话、自主探索和环境感知、生成语义地图、迎宾领位、制作咖啡、送餐倒水、提供点心果盘、打扫卫生、调节空调等各种任务。
经过激烈角逐，共有11支队伍获奖，其中复旦大学、国防科技大学两支队伍凭借出色的作品和答辩脱颖而出，荣获一等奖。鹏城实验室、中国科学院软件研究所摘得二等奖；阿德莱德大学、北京航空航天大学、同济大学、文山学院、西安理工大学、西北工业大学、中山大学的7支队伍斩获三等奖。
人形机器人与大模型技术结合充满潜力 选手八仙过海各显神通
此次“达闼杯”机器人大模型与具身智能挑战赛重点鼓励开发者利用大模型技术和具身智能技术，通过无代码编程，实现机器人跨模态人机交互、场景任务感知和认知，并能自主完成各种复杂任务的应用。选手需要完成四个规定任务和两个开放性任务。规定任务包括环境主动探索和记忆、视觉语言导航、具身多轮对话、视觉语言操作四项。达闼机器人股份有限公司副总裁王斌接受采访时表示：此次比赛中难度较大的是环境主动探索和记忆、视觉语言操作两个任务。
而在开放任务中，比赛封装了丰富的原子技能供参赛者调用，难点是机器人要根据环境感知的信息自主做一些类似开关灯、清扫地面等任务。
王斌表示：“让人惊喜的是，进入决赛的全部队伍都完成了四个规定任务，同时70%的队伍完成了两个开放性任务。并且大部分队伍都配合使用大模型完成任务，效果很棒，超出预期。”此次大赛充分体现了大模型的潜力，不管是大语言模型驱动的多模态对话，开放域检测模型还是大模型的思维链能力，都有非常惊喜的表现。其中，获得并列第一名的国防科技大学和复旦大学的作品尤其让人印象深刻。国防科技大学的亮点在于实现了基于⼤模型和⾏为树的⽣成式具⾝智能体系统框架。将⼤模型作为智能体的“⼤脑”，利⽤⼤模型的意图理解能⼒与内容⽣成能⼒，实现智能交互与决策； 将⾏为树作为智能体的“中枢”，利⽤⾏为树的层次化、模块化、可解释、可规划等性质，将人工智能联接学派技术与符号学派技术有机结合，最终实现灵活、安全、可控的⽣成式具⾝智能体。
而复旦大学的亮点在于完全使⽤预训练的⼤模型，不使⽤任何训练数据的情况下，以多智能体代理（Multi-LLM Agent）的⽅法让咖啡厅机器⼈完成服务任务，实现具⾝能⼒。并且在人为注⼊异常错误的情况下，这种多智能体代理的⽅法依然可以检测到错误并尝试继续完成任务，方法鲁棒性强。
中国科学院软件所在机器人环境探索和记忆的研发中，实现了陌生环境零样本的场景感知和认知，场景中物品、位置、实时变化情况，以及对环境、物品、人等的认知。
“从结果来看，目前使用大模型的方式驱动机器人绝对是正确的方向。” 王斌表示。“而现在主要的难点是提升物理机器人的物品操作能力。只要物理机器人的各种原子技能丰富和提升上来，未来的具身智能能力一定能大大超过人们的预期。”
云端机器人建设企业达闼 与创新者共探智能机器人发展之路
此次比赛全程采用了仿真环境，选手可以用仿真环境来训练机器⼈并部署代码。达闼提供了基于海睿系统的机器人开发套件海睿RDK，让选手们可以直接基于一个数字孪生场景进行机器人能力开发，并且可以直接虚实同步，在真机上实现在仿真端所开发的功能。
比赛中，达闼也提供了场景地图以及对应的接口，方便学生们基于这些接口来实现赛题的任务。即使没有参加比赛，学生或者团队也仍然可以基于RDK软件来进行机器人能力开发。比赛使用了达闼的Ginger⼈形机器⼈作为基本的智能体Agent，同时提供了多种传感器模拟，这些都为选手们提供了很大的助益。
王斌表示：“为了面对非常复杂的场景，达闼将 Ginger ⼈形机器⼈真机完成了数字孪生建模，导入场景中。Ginger拥有34个关节自由度和多种传感器，参赛队伍能够在面对复杂场景时，拥有更多的发挥空间，将更多、更复杂的人工智能算法，特别是大模型和具身智能技术应用到比赛中。”
此外，很多参赛选手表示，达闼杯提供的咖啡厅场景非常细致，同时也提供了丰富的场景物体种类，并且参赛选手可以自定义在场景中生成的物体数量，比起国外同类平台更加先进和友好。
在WAIC 2023上，达闼机器人发布了业界首个基于海睿云脑的机器人多模态大模型RobotGPT，拥抱通用人工智能（AGI）大发展时代。大模型与机器人的结合，尤其在人机协作的场景下，具身智能需要在安全可控的范围内完成任务，达闼提出的云端大脑正是解决这一问题的最终解决方案。目前，达闼机器人正在努力与创新者共探智能机器人发展之路。
随着2023 中国软件大会落下帷幕，“达闼杯”机器人大模型与具身智能挑战赛也圆满结束。但其影响力远远没有停止。参赛各方纷纷表示，将继续在达闼海睿平台上展开科研和教学工作，发表高水平的论文，孵化出更多切实可行并有发展前景的项目。
达闼作为“云端机器人国家新一代人工智能开放创新平台”建设企业，将持续以开源开放、共建共享的方式，推动通用人工智能新生态发展，加速实现大模型在机器人具身智能产业的应用落地，赋能千行百业和千家万户。
