机器人越练越熟，就是在自我进化吗？93 页综述讲透 Physical AI 的递归自我改进

设想一个实验室里最常见的场景：一只机械臂在桌面上反复抓不稳同一个物体。

如果让你去排查原因，问题可能出在四个完全不同的地方：是控制策略里缺少失败后的恢复动作？是世界模型对物理接触做出了误判？是上一次验证有效的修复方案没有被保存下来？还是系统每次遇到抓取失败，都选错了修复的方式？

这四个问题，其实指向了同一个核心区分：「机器人在变好」，不等于「机器人越来越会变好」。

前者只是单次任务表现的提升，而后者要求系统改进它获取和利用经验的方式。

在当下的 AI 社区，「自我改进」「自进化」正在成为高频热词。它们有时指策略参数的在线微调，有时指技能库或记忆的沉淀，有时又被直接归入递归自我改进（Recursive Self-Improvement，简称 RSI）。问题在于，这些术语描述的变化层级并不相同，却长期缺少一套统一的坐标系。

为了厘清这条边界，我们来自新加坡国立大学（NUS）、华中科技大学（HUST）、上海交通大学（SJTU）、南洋理工大学（NTU）和香港浸会大学（HKBU）的 12 人研究团队，联合发布了最新综述《Toward Recursive Self-Improvement in Physical AI》（arXiv:2610.29677）。

全文共 93 页，包含 15 张图、21 张表，配套 GitHub 仓库整理了 379 条相关文献记录。我们试图把 RSI 放进物理世界（Physical AI）的语境下做一次系统梳理，重点回答两个底层问题：

1物理交互经验究竟在系统的哪个部分留下了改变？

2需要什么样的实验证据，才能证明一个物理系统真的在「递归地」自我改进？

从代码到真机，数字 RSI 撞上四道物理墙

什么是递归自我改进（RSI）？简单来说，就是一个系统不仅改进自己的行为，还改进「它用来改进的过程」本身。

在数字世界里，已经有一批系统在实践 RSI。比如一个代码智能体可以直接改写自己的代码，再用可执行测试给每个版本打分。在这个过程中，自我修改成本很低、可以大规模并行探索，改错了随时回滚，甚至负责改进的程序本身也可以直接重写它自己。

但如果我们想把这套机制搬进物理世界，让真实机器人也实现 RSI，系统就会立刻撞上四道数字世界里不存在的「物理墙」：

•只能从部分可观测的信息里学习：传感器看不到完整的物理状态，许多关键接触信息是被遮挡或缺失的。

•试错代价高昂：每次尝试都要消耗真实世界的时间，一旦失败还需要人工或机械重置，无法像跑代码测试那样低成本并行。

•运行条件会动态变化：物体位置会移动、夹爪会磨损、标定会漂移，环境不是静态沙箱。

•后果可能不可逆，且检查会出错：机械硬件的磨损无法靠一行 git reset 撤销；更麻烦的是，结果检查本身也会出错——自动的抓取成功检查，可能漏掉它感知不到的接触信息。

正是这四项约束，决定了数字世界那套低成本、可回滚的自我修改方式无法直接搬到真机上。

图：从数字 RSI 到物理 RSI 的机制迁移与约束对比（左侧展示数字世界基于测试打分、低成本、可回滚的代码自我修改循环；中间列出可以带过来的核心机制；右侧展示物理场景中改变落地的四个去处，即 Policy、World model、External knowledge、Learning procedure，加上负责修订流程的 Improver 回环，底部标出结果检查会出错、试错耗时、磨损不可逆三项物理约束）

既然不能照搬，物理 AI 的自我改进该怎么拆解？我们在综述中提出了一条清晰的主线：先看物理经验到底在哪里留下了被保留下来的改变。

物理经验留存的四个去处：从改动作到改流程

当机器人在真实世界里摔了一跤、或者抓空了一次，这次经验如果被系统消化并保留下来，它会落在四个不同的位置。我们在综述中将其梳理为四类被保留下来的改变，每一类都对应着不同层级的研究主张：

第一处是策略（Policy），负责改进行为。
机器人从专家纠正或在线交互中，学到新的动作和失败恢复方式。这类工作的主张最直接：机器人在当前任务上的执行表现变好了。

第二处是世界模型（World Model），负责改进预测与练习。
系统利用真实的接触和交互数据去修正内部模型。模型变准之后，机器人就可以在模型里做动作预演（用于规划），或者生成合成经验（用于提供训练数据）。它对应的主张是：修正后的模型能提供更准确的预测或更有用的练习环境。

第三处是外部知识（External Knowledge，即 Memory · Skills · Code），负责改进复用与恢复。
系统把交互中验证有效的修复方案沉淀成记忆、技能库或可执行代码，留给下一次遇到类似情况时检索、恢复或合成使用。它的主张是：沉淀下来的知识能帮机器人在后续任务中更快恢复，避免在同一个坑里反复跌倒。

第四处是学习流程（Learning Procedure），负责改进「怎么学」。
一个完整的学习流程包含四个核心角色：负责收集数据的 collector、负责给结果打分的 evaluator、负责修改配置或代码的 editor，以及负责更新参数的 updater。改进学习流程，就是去修订数据收集、评估、编辑和更新的方式，甚至直接修订背后那个负责统筹改进的「改进者（improver）」本身。它的主张是：一次流程修订，能让系统在之后的学习中学得更好。

打个比方，修改策略、世界模型或外部知识，就像是备考时多刷了几道题、整理了错题本，争取把眼前的题目做对；而修改学习流程，则是直接调整了复习方法和做题习惯，让以后的学习效率变得更高。两者都能提高分数，但改掉的东西处于完全不同的系统层级。

图：综述的核心框架全景（区块 a 展示物理经验留存的四个去处：策略、世界模型、外部知识、学习流程；区块 b 列出收益持续累积的四个条件：反馈有信息量、改变能被使用、跨分布保持、安全且可负担的持续练习；区块 c 展示从行为改进到递归自我改进的四级主张阶梯，以及验证递归所需的 R1 和 R2 两个环节）

什么才算真正的「递归」？四级阶梯与 R1/R2 检验

有了上面这套分类法，我们在审视现有文献时发现了一个普遍痛点：很多工作都在使用「自我改进」这类表述，但它们拿出的实验证据根本不在同一个层面上。

如果实验只展示了机器人最终的任务成功率变高了，我们其实无法分辨：这到底是因为策略参数得到了微调，还是因为学习流程本身进化了？

为了解决「怎么证明」的问题，我们在综述里构建了一条四级主张阶梯。四级层层递进，每一级的主张都比前一级更间接，需要的对照实验也更严格：

1第一级：行为改进：机器人在当前任务上执行得更好。

2第二级：后续学习收益：当前积累的经验（如修正后的世界模型或技能库）能教会后面的学习者，让后续训练变得更快或更好。

3第三级：学习流程改进：对 collector、evaluator、editor 或 updater 的一次修订，让系统在之后的学习任务中表现更好。

4第四级：递归自我改进（RSI）：负责修改流程的「改进者（improver）」改进了它自己。

图：改进机器人「做什么」与改进它「怎么学」的区分（左侧展示固定学习配方的常规循环：行动练习产生物理结果，经学习修复后保留为策略、模型或知识层面的改变，再指导后续练习；右侧展示当修复知识被保留下来并用于改进者修订时，如何产出修订后的流程，并标出检验递归所需的 R1 与 R2 两个问题；底部列出物理限制：感知不完整、身体接口受限、硬件与任务会变化、练习可能不安全或代价高）

这里有一个非常关键的逻辑断层：为什么第四级不能直接从第三级自然推出？

因为一个改进者完全可以在自身能力毫无变化的情况下，仅仅依靠多轮试错，搜索出一个更好的学习流程。这就好比一位教练通过不断尝试新教案，把这一届运动员带出了好成绩；但这并不自动等于教练本人的执教能力发生了自我迭代。

要证明第四级「递归」真的在物理系统里发生了，必须在第三级之上，单独检验两个核心环节——我们在论文中将其定义为 R1 和 R2：

•R1 检验：修复知识能否让改进者变得更好？
怎么测？在完全相同的新故障、相同的工具和预算下，让吸收了修复知识的改进者与未吸收的改进者各自产出一套学习流程，再把产出的流程分别用到起点完全匹配的学习者身上，直接对比最终结果。

•R2 检验：变好的改进者，能否推动它自己的下一次改进？
怎么测？当改进者完成一次自我修订后，让它去生成下一版改进者。这一版必须同时胜过两个对照基线：一是持有同样习得知识、但没有做这次自我修订的改进者本身，二是同一改进者在知识被冻结的条件下提出的对照修订。

为什么要设这么严苛的双重对照？目的就是为了剥离干扰项，排除掉「性能提升其实来自累积的经验或更强的起点」这种替代解释。只有同时跨过 R1 和 R2，我们才能严谨地把收益归因于「递归」本身。

此外，如果希望这些改进收益在真实物理世界里能够持续累积、而不是练着练着就退化，综述总结了系统必须同时满足的四个持续条件：

1反馈有信息量（informative feedback）：物理交互经验必须能暴露出系统还没学会的短板；

2改变能被使用（usability）：接收方组件能够表示、优化并执行这个改变；

3跨任务和硬件保持（robustness to distribution shift）：当策略、模型、任务或硬件发生变化后，保留下来的改变依然有效；

4持续练习安全且可负担（continued practice）：物理探索必须在硬件安全和资源预算允许的边界内持续运行。

诚实审视现状：物理研究走到哪一级了？

带着这套「四去处分类法」和「四级主张阶梯」，我们把现有的 Physical AI 文献重新过了一遍筛子。

我们在论文中系统梳理了 SILVR、RISE、PlayWorld、VLAW 等代表性系统，以及 Eureka、PRACTICE 等自动化改进流程。综述最终给出的判断非常明确，甚至有些冷静：

目前现有研究高度集中在机械臂操控（manipulation）方向，这些工作已经为阶梯的前三级（行为改进、后续学习收益、学习流程改进）提供了实验证据。同时，确实也已经有一些系统开始尝试修改改进者的知识或工具。

但是，在本综述梳理的物理研究中，还没有一项工作真正分离出「递归」本身带来的增益。

原因就在于，分离出这部分增益需要一个「冻结知识的改进者」作为严格对照，而现有的物理机器人实验还没有提供这组对照。换句话说，在真机物理世界里，R1 和 R2 的严格验证目前仍然是空白。

为了帮后续研究补上这块拼图，我们在综述中专门给出了一套可以直接拿来套用的**「匹配学习者对照实验设计」**：

•第一步：固定改动组件。准备好要考察组件的「修订前」与「修订后」两个版本；

•第二步：接入匹配的学习者。把两个版本分别作用于完全匹配的学习者（保持相同起点、相同配方、相同预算）；

•第三步：引入独立的结果检查。评估必须与学习流程内部的评估者（evaluator）分离，防止系统既当运动员又当裁判、自己给自己判高分；

•第四步：分开记录并全面对比。除了对比主任务表现，还要同时测量新任务迁移能力、旧任务保持能力，以及把修订过程本身消耗也算进去的总成本。

图：用于分离流程修订与递归增益的匹配学习者对照实验设计（左侧输入修订前与修订后的组件版本；中间作用于相同起点、相同配方、相同预算的匹配学习者；右侧通过独立的结果检查分开记录并对比两类学习者的结果，底部要求补充测量新任务迁移、旧任务保持与含修订在内的总成本）

迈向物理 RSI 的六个开放问题

如果我们要沿着这条路继续往前走，让物理系统真正跑通递归自我改进，接下来该攻克什么？我们在综述最后提炼了六个核心开放问题，并为每个问题都配套了建议的入门基准（benchmark）：

1评审者（judge）如何保持对齐：当物理世界的结果检查本身会出错时，如何防止错误的打分信号污染整条自我改进链路？

2系统变化后改进如何存活：当底层策略、模型、任务或硬件更新换代后，之前好不容易攒下的技能、记忆和流程修订如何不失效？

3物理资源如何预算：真机的时间、磨损和重置成本都是硬约束，该如何为持续的改进活动做预算？

4瓶颈如何定位：当一次物理任务失败时，系统怎么知道问题到底出在策略、世界模型、外部知识，还是学习流程上？

5下一个实验如何选择：面对高昂的真机试错成本，改进者如何挑出信息量最大、最值得在物理世界里去做的那一次实验？

6修复知识如何跨任务迁移：在一个任务上总结出的修复经验，如何安全、有效地迁移到新任务上？

写在最后：为什么这篇综述值得放进收藏夹？

无论你是做机器人学习、世界模型，还是做代码与自我改进智能体（Self-Improving Agents），这篇 93 页的综述和配套开源库都可以直接当作日常科研的工具书来用：

一方面，它把机器人学习、世界模型和自我改进智能体拉到了同一张桌子上。你可以直接用「四类保留改变」和「collector / evaluator / editor / updater + improver」的框架，去定位自己的新工作到底改了系统的哪个部分；在设计实验时，也可以直接对照四级主张阶梯和匹配学习者设计，检查还需要补哪一组 baseline。

另一方面，我们在 GitHub 上开源了按 MIT 协议发布的配套文献库，目前已收录 379 条文献记录（涵盖 153 篇会议论文、27 篇期刊论文、194 篇预印本、4 本专著和 1 项其他工作），全部按时间从新到旧排列，并在项目主页提供了可检索、筛选的文献库界面。我们在仓库中也明确声明：「收录不等于该论文证明了 RSI」——我们做的是把这些分散在不同社区的探索放进统一的坐标系里，为大家提供一张清晰的检索地图。

从「机器人会从经验中学习」，到「机器人学会改进自己的学习方式」，中间还有大量扎实的机制设计与对照实验等待完成。

以下是本次综述的三个官方传送门：

•项目主页：https://physical2rsi.github.io/

•GitHub 仓库：https://github.com/Physical2RSI/Awesome-Physical2RSI

•Hugging Face 论文页：https://huggingface.co/papers/2610.29677

非常欢迎对具身智能、世界模型和自我改进智能体感兴趣的朋友阅读原文、与我们交流讨论！如果觉得这篇综述和文献库对你的研究有帮助，也欢迎去 GitHub 给我们点一颗 Star，并在 Hugging Face 论文页点一个 Upvote，感谢大家的支持！

参考资料

•论文 arXiv 页：Toward Recursive Self-Improvement in Physical AI，arXiv:2610.29677，2026 年 10 月 21 日提交 v1（cs.RO 主分类 + cs.AI），93 页、15 张图、21 张表：https://arxiv.org/abs/2610.29677

•作者与机构：Meng Luo、Zechen Bai、Shanqing Xu、Yanlin Li、Kaixin Li、Mengchen Qian、Weifeng Lu、Ran Zhang、Yingtian Zou、Ziyang Luo、Wei Chen、Hongzhan Lin（通讯作者：Hongzhan Lin），来自新加坡国立大学（NUS）、华中科技大学（HUST）、上海交通大学（SJTU）、南洋理工大学（NTU）、香港浸会大学（HKBU）

•项目主页：https://physical2rsi.github.io/

•GitHub 仓库（MIT 协议，共 379 条文献记录：153 篇会议 / 27 篇期刊 / 194 篇预印本 / 4 本专著 / 1 项其他）：https://github.com/Physical2RSI/Awesome-Physical2RSI

•Hugging Face 论文页：https://huggingface.co/papers/2610.29677