智元发布终身具身智能框架 LIFE,让机器人无指令也能持续感知世界

摘要

近日,智元 AGIBOT 发布终身具身智能框架 LIFE。

近日,智元 AGIBOT 发布终身具身智能框架 LIFE(Learning to Live: A Step Toward Lifelong Embodied Intelligence),该框架将持续感知、长期记忆与能力复用结合,用于支持机器人在任务执行期间及任务间隔期获取环境信息,并将历史观察用于后续决策。相关论文、项目主页、RoboBeats 系列模型(0.8B / 2B / 4B)推理代码与权重,以及 SSS-Bench 评测资源已开放。

所谓「终身」,与传统具身智能框架的差别在调度单位:传统具身智能系统以单个任务为中心,接收指令、感知、规划、执行,任务结束即重置状态。但在任务执行期间及任务之间,物理环境仍在持续变化。LIFE 通过持续监测环境、选择性保存观察并复用任务解决方法,探索机器人如何积累和利用跨任务的方法。

在「理解指令—调用工具—等待结果」的流程中,工具执行期间的环境变化可能影响后续行动。LIFE 在此基础上增加了持续运行的感知与记忆链路,使系统能够在工具运行时跟踪相关条件,并将值得记录的变化保存为可检索的历史信息。

框架由三部分协同构成:轻量决策模型「RoboBeats」负责条件跟踪与事件发现,判断何时需要触发响应或记忆写入;可塑性记忆模块「Plastic Memory」保存选中的原始画面及结构化记录;能力复用机制「EDM」(Explore–Distill–Mount,探索—提炼—挂载)将问题求解过程中形成的方法转化为经过验证的工具与技能。三个模块与多模态大模型驱动的智能体协同运行。

据智元远征 Research Team 介绍,LIFE 旨在使机器人在未接收到指令时保持环境感知,积累历史记录,并在新的问题出现时调用已有经验。

图 1|LIFE 整体架构:持续观察、主动感知、可塑性记忆与自主学习四部分围绕智能体协同工作。来源:论文。

01/ 三项能力协同,让机器人持续在线

单次任务完成度反映机器人在特定指令下的执行表现。LLIFE 则进一步研究跨任务的信息积累与调用,关注系统在未接收到新指令时的环境监测,以及相关观察在后续问答和行动中的应用。

这一转向的工程前提在端侧。RoboBeats 通过轻量判断筛选需要进一步处理的画面,减少大模型逐帧完整分析的需求;同时复用历史计算缓存,降低连续观察中的重复计算开销。单张 RTX 5090 上,RoboBeats-2B 处理一帧新画面的延迟约为 75 毫秒;同时检测 16 个条件时,延迟约为 77 毫秒。在该测试设置下,增加检测条件数量未显著增加延迟,为系统持续运行提供了性能支持。

心跳:RoboBeats,未接收指令时持续感知

RoboBeats 是一个轻量决策模型(Decision Model),支持 0.8B、2B 和 4B 三种参数规模。模型不逐帧生成文本回答,而是读取 true / false 标签的得分,判断自然语言描述的条件是否成立。多个条件共享视觉输入和历史计算缓存,各自维护预测状态。

执行任务时,智能体可设置持续监测的条件,例如「电梯门是否打开」「抓取动作是否完成」。在没有新任务指令时,系统仍可检测新事件,筛选值得记录的观察,再由写入模型生成描述并保存相应画面。团队将这种持续感知机制称为「心跳」。

在 StreamingBench 的主动输出任务(PO)上,以参考时刻前后 2 秒内首次触发的准确率为指标,RoboBeats-4B 从 21.2% 提升至 64.0%;在 SPOT-Bench 上,动作边界检测的 F1 分数(百分制)从 26.4 提升至 45.8。

图 2|RoboBeats 复用同一条视频流,同时对多个条件输出成立概率。来源:论文图 4。

图 3|条件成立即行动:大图为第三人称视角,小窗为机器人第一视角。来源:智元远征 Research Team 实拍。

记忆:可塑性记忆,将观察过程保存为可检索记录

由于采集时难以预判哪些细节将用于后续任务,可塑性记忆分别保存原始画面和当前解析结果:原图保留现场信息,结构化记录(JSON)保存时间、位置、人物与物品等线索。执行智能体通过工具快速检索已有记录;具备文件读取和编程能力的编程智能体,则可回看原图、提取新信息,并补充字段与索引。

这一机制使记忆既支持历史信息检索,也可根据后续需求更新。例如,系统最初保存的门口画面未记录房间号,后续需要按房间号检索时,可重新分析原图,提取门牌文字并补充索引。

在基于 24 小时真机录像的案例研究中,远征 A3 Ultra 连续采集一天的第一视角视频,团队随后通过离线回放构建记忆,并开展历史信息问答。以 12 时 30 分为提问时点,在被问及外套最后出现的位置时,系统检索到 12 时 18 分外套位于茶水间椅背上的记录,并展示对应历史画面及拍摄位置。在判断会议室两只杯子的归属时,系统结合人物到场和杯子使用记录,找到绿色杯子的归属依据;由于黑色杯子在参会者到场前已出现,系统未将其归属于某位参会者。

团队围绕当天记录设置了 6 个问题,每题测试 3 次。在使用相同的 GPT-6.1-sol 问答模型的条件下,LIFE 得分为 29.5/30 分,平均回答用时 80.6 秒;同样获得已构建记忆的 Codex B 对照组得分为 28.5/30 分,平均回答用时 554.7 秒。

图 4|可塑性记忆:保留画面、时间与位置,日后可回看并提取新线索。来源:论文。

图 5|一天的录像构建为记忆后,回答人物、物品与活动相关问题。来源:论文。

自进化:探索形成的方法,转化为可复用工具

EDM(探索—提炼—挂载)沿用前作 ReSight 的机制。当现有工具无法解决问题时,编程智能体查看历史记录、编写程序,探索检索与去重方法;验证有效后,将相关方法提炼并挂载至系统工具库,供后续任务直接调用。这一能力扩展发生在程序、工具接口与技能层面,不要求基础模型在每次任务后更新参数。

在 FindingDory 实验中,挂载 EDM 构建的能力后,系统在 597 个未参与能力构建的查询上,成功率从 37.5% 提升至 65.8%,提升 28.3 个百分点、相对提升约 75%。其中,37.5% 为未挂载 EDM 时在同一批查询上的结果。

图 7|EDM:探索—提炼—挂载,把摸索出的办法沉淀成可复用的能力。来源:论文图 12。

02/ 六组基准测试与全天实验,验证持续在线

论文分别评估了条件跟踪、历史记忆问答和能力复用。不同测试采用各自的指标与比较设置,主要结果如下:

● 端侧运行性能:RoboBeats-2B 在单张 RTX 5090 上处理一帧新画面的延迟约为 75 毫秒,同时检测 16 个条件时约为 77 毫秒。

● 主动感知:在 StreamingBench 主动输出任务(PO)中,以参考时刻前后 2 秒内首次触发的准确率为指标,RoboBeats-4B 的结果从 21.2% 提升至 64.0%。

● 动作边界检测:在 SPOT-Bench 中,动作边界检测的 F1 分数(百分制)从 26.4% 提升至 45.8%。

● 记忆有效性:在 SSS-Bench(171 段视频 / 618 个问题)中,仅凭文本记忆作答,且写入画面数量、写入模型和问答模型相同的条件下(论文表 15),采用 RoboBeats-2B 的方案问答准确率从 40.9% 提升至 60.5%,提高 19.6 个百分点。

● 回溯问答:在 OVO-Bench 回溯问答子集中,仅使用文本记忆时,情景记忆和动作序列识别相关指标分别提升 6.2 和 6.1 个百分点;写入端输入 token 数量减少约 45%。

● 长时记忆与能力复用:在 FindingDory 的 597 个未参与能力构建的查询上,成功率从 37.5% 提升至 65.8%。

● 24 小时真机实验:设置 6 个问题,每题测试 3 次。在使用相同的 GPT-6.1-sol 问答模型的条件下,LIFE 得分为 29.5/30 分,平均用时 80.6 秒;对照组 Codex 得分为 28.5/30 分,平均用时 554.7 秒。

注:SSS-Bench 的 60.5% 为仅凭文本记忆作答、写入画面数量相同、使用相同写入与问答模型条件下的问答准确率,不等同于「记忆准确率」。

图 6|从持续感知到记忆问答的六组基准结果。来源:论文图 1。

图 8|SSS-Bench 各类问题的问答准确率。来源:论文图 10。

03/ 论文、代码与模型同步开源,开发者当天可复现

LIFE 论文、项目主页、代码与 RoboBeats 三种参数规模的模型已同步开放,供开发者开展研究与复现。

● 论文:Learning to Live: A Step Toward Lifelong Embodied Intelligence

● 项目主页:agibotgeneral.github.io/life-site

● 代码:GitHub · AgibotTech/LIFE

● 模型:RoboBeats-0.8B、RoboBeats-2B、RoboBeats-4B

此次发布是智元面向机器人持续运行与经验利用的一项技术探索。LIFE 将持续感知、历史记忆与工具复用纳入同一框架,将研究范围从单次任务执行延伸至跨任务的信息积累与调用。论文提出,后续研究需进一步结合长期目标与自主行动,并通过多日在线部署和动态仿真,评估系统在持续变化环境中的记忆更新、决策与运行可靠性。

来源:互联网

最新文章

极客公园

用极客视角,追踪你不可错过的科技圈.

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

张鹏科技商业观察

聊科技,谈商业。