可扩展交互式监督：让非专家也能驾驭强大的AI系统

论文链接: https://arxiv.org/abs/2602.04210

引言

大语言模型能够帮助人类运行自动运行越来越多的复杂长程任务。这种能力的跃迁催生了"Vibe Coding"这样的新范式：用户只需用自然语言描述需求，AI 就能自动生成、修改和维护代码。这大大降低了软件开发的门槛，让非专业人士也能构建复杂的系统。

然而，这种便利也带来了新的挑战。作为在系统运行过程中的监督者的人类，往往由于领域知识不足、难以用自然语言表达复杂意图以及无法可靠地验证复杂的输出等问题，难以有效地指导模型运行。

事实上，这不仅仅是技术问题，而是一个可扩展监督挑战：人类监督能力的增长速度，已经跟不上 AI 系统复杂度的增长。 如何增强人类的监督能力，使人类能够负责任地引导人工智能系统完成超出自身能力范围的任务？

为此，我们提出了 可扩展交互式监督（Scalable Interactive Oversight） 这一框架，通过将复杂意图分解为由递归结构组成的、可管理的决策树，从而放大人类监督能力。不同于依赖开放式提示的方法，我们的系统在每个节点上主动获取低负担的人类反馈，并将这些局部信号递归地聚合为精确的全局指导。在网页开发任务中的实验验证表明，该框架能够帮助非专家用户生成达到专家水准的产品需求文档（PRD），在对齐指标上取得了 54% 的提升。更为关键的是，我们证明该框架可以仅依赖在线用户反馈，通过强化学习进行优化，为在 AI 能力持续扩展的过程中维持有效的人类控制提供了一条切实可行的路径。

背景：vibe coding 时代的可扩展监督困难

在 vibe coding 的时候，用户可以用一句话描述需求，AI 就能生成完整的网站或应用。但这种便利背后隐藏着两个关键瓶颈：

1. 表达瓶颈：用户很难一次性给出清晰、完备的需求描述。他们可能不知道需要指定哪些约束，或者没有足够的时间和精力详尽地表达所有细节。

2. 验证瓶颈：当 AI 自主执行长程任务时，其输出的复杂性往往超出用户的验证能力。用户常常只能通过观察最终结果来判断，导致了低效的试错循环。

这两个瓶颈分别发生在模型执行之前和模型执行之后，共同反映出一种更深层的人机不平衡： 模型逐渐成为强大的执行者，而人类则退化为能力受限的弱监督者。

从 vibe coding 到可扩展监督

这种“弱监督者—强执行者”的不对称关系，并非 vibe coding 所独有，而是随着模型能力提升普遍出现的现象。

早在 2023 年，OpenAI 就提出了“超级对齐（Superalignment）”这一研究挑战，提前指出了这样的潜在风险：随着模型能力逼近甚至超过人类，人类将逐渐失去直接监督、评估和纠正模型行为的能力。核心难点在于：我们需要在监督者能力受限的前提下，仍然确保比人类更强的模型持续符合人类意图与价值。

可扩展监督（Scalable Oversight）是其中一个重要的研究思路，其核心思想是：当直接监督变得困难时，降低监督任务的难度，放大人类的监督能力。

早期的研究提出了多种方法，例如：

• AI Critique：引入另一个模型来辅助反馈，帮助评估或验证输出的正确性
• 迭代放大：将复杂任务递归分解为更简单的子问题，人类只需监督简单问题
• 辩论：引入两个模型的对抗来帮助人类发现漏洞，通过竞争性论证暴露错误

但这些方法大多聚焦于事后评估——在模型产生输出之后进行验证。对于需要长链条生成的任务，这种方式效率很低，因为歧义需要在早期就被解决，以避免错误的累积和放大。更关键的是，现有方法缺少一个执行前的交互层，因此无法帮助用户在模型执行之前明确和结构化其意图，无法将模糊的需求转化为精确、可验证的规范。

我们的工作：弥合执行前的交互空白

本文提出的 Scalable Interactive Oversight 框架，正是要填补这一空白。我们的核心思路是：在模型执行之前，通过结构化的交互过程，帮助非专家用户逐步明确和细化其意图。这种"执行前交互"不仅能够减少歧义，还能将用户的模糊想法转化为可以有效指导模型的精确规范。

然而，如何评估这种交互式监督方法的有效性？特别是在"弱监督者—强执行者"的场景下，如何衡量非专家用户的监督是否真正被放大了？为了回答这些问题，我们需要建立一个严格的评估框架。

实验设置和问题定义

先验知识：可扩展监督的三明治原则

图 1：三明治结构，图片来源：Measuring Progress on Scalable Oversight for Large Language Models

"三明治"（Sandwich）协议是一个专门用于测试可扩展监督技术对齐能力的实验设置。其为可扩展监督技术的对齐能力提供了一个实证检验框架。顾名思义，这个设置将模型"夹在"非专家和专家之间，形成一个三层结构，包括三个角色：

1. 非专家用户（弱监督者）：他们有真实意图，但既无法独立完成任务，也无法在没有辅助的情况下有效监督模型。

2. 待对齐的模型（夹在中间）：这是一个能力强大的模型，具备足够的能力来执行非专家用户所不能完成的任务任务，但在缺少监督的情况下容易失对齐。

3. 专家评估者：专家具备所有必要的能力来可靠地评估输出质量。关键的是，专家不参与生成过程，而是在事后提供客观的评估信号。专家的评估代表了在正确监督下可达到的对齐效果的近似上界。

这个协议的核心洞察在于：可扩展监督方法的效果，可以通过非专家-模型协作产出与专家评估之间的对齐差距来衡量。在没有可扩展监督的情况下，非专家用户难以有效指导模型，产出的结果质量低下。而有了可扩展监督方法后，非专家的弱监督信号被放大，使得模型输出能够接近专家级别的质量标准。

本文中的实验设置

在 vibe coding 的语境下，直接评估完整软件系统的对齐度既昂贵又复杂——大型代码库的审查需要大量专业知识，且容易被代码层面的实现问题混淆，而非需求层面的失对齐。而 产品需求文档（PRD） 是软件开发中的关键中间表示：它捕获了系统的需求和规范，同时比最终代码实现更容易评估和理解。按照软件工程的标准实践，PRD 通常包含产品概述、核心功能、非功能需求、业务规则和用户体验设计等模块。

我们基于三明治原则在我们的场景下设置了下面的三个角色：

1. 非专家用户 $\mathcal{H}$：想要构建网站但缺乏软件开发专业知识的用户。他们有潜在的意图 $\mathcal{I}$（想要什么样的网站），但只能提供简单的初始查询 $q$（如"我想建一个食谱分享平台"），无法直接生成完整的 PRD。

2. 待对齐的模型：能力强大的语言模型（如 GPT-5、Claude-Sonnet-4.5），能够生成 PRD ${\mathcal{D}}^{\ast }$，但在没有有效监督的情况下，输出可能偏离用户的真实意图 $\mathcal{I}$。

3. 专家评估者：不参与 PRD 生成过程，但在事后评估生成的 PRD ${\mathcal{D}}^{\ast }$ 与用户真实意图 $\mathcal{I}$ 的对齐度。按照 Sandwich Protocol 的设定，在将用户意图视为可观测的“黄金标准”的前提下，这一评估可被视为正确监督所能达到的一个近似上界。

基于这样的设计，我们的研究目标是开发可扩展监督方法，使得在非专家用户弱监督下生成的 PRD ${\mathcal{D}}^{\ast }$，其对齐分数能够接近专家级监督下可达到的效果。通过量化生成文档与目标意图之间的对齐差距，我们可以直接测量弱人类监督被放大的程度。

对齐度衡量的具体方法：

我们将每个真实意图 $\mathcal{I}$ 分解为原子性的需求点 $\mathcal{R}=\{r_1,r_2,\dots ,r_m\}$（例如"用户认证方法"、"响应式设计支持"），然后计算对齐分数：

$$\text{对齐分数}({\mathcal{D}}^{\ast })=\frac{1}{|\mathcal{R}|}\sum _{r_i\in \mathcal{R}}\mathbb{I}[r_i\text{ 在 }{\mathcal{D}}^{\ast }\text{ 中被满足}]$$

其中，每个需求点根据是否被满足评分为 1（明确提到）、0.5（提及但不充分）或 0（完全未提及）。

方法：Scalable Interactive Oversight

图 2：Scalable Interactive Oversight 框架概览

我们提出的 Scalable Interactive Oversight 框架，是一个交互式智能体，通过"分解-交互"循环来放大人类监督能力。

1. 任务分解初始化：给定用户的自然语言指令 $q$，智能体首先将长链条任务分解为树状结构的交互计划 ${\mathcal{T}}^0$。以网站开发需求为例，叶子节点对应具体的开发模块（如"UI设计" → "显示规则"）。

2. 节点级交互：这是用户提供监督的部分。对于每个叶子节点 $v^t$，智能体通过低负担的方式与用户交互。提问主要采用封闭式问题（选择题或排序题）。用户还可以回答 DontCare（不关心）或 DontKnow（超出理解范围）来引导交互过程。

3. 更新任务分解树：完成一个节点的交互后，智能体将收集到的反馈总结为当前的节点偏好 ${\mathcal{P}}^t$，然后将其添加到累积偏好状态中。基于累积偏好更新交互计划（${\mathcal{T}}^t\to {\mathcal{T}}^{t+1}$）

这个循环持续进行，直到所有节点都被访问完毕。此时，智能体已经完整地积累了用户的偏好，可以生成最终的全局规范。

基于以上的设计，Scalable Interactive Oversight 框架有以下三个机制：

1. 简化监督：用户只需选择或排序，而非完整描述需求。比较判断的认知负担远低于生成任务，这是可扩展监督中的基本假设。此外，任务被树状分解，用户不再需要管理整个全局范围，管理全局完整偏好的任务被交互智能体接管，用户每次只关注当前的子任务。

2. 放大监督信号： 灵感来自递归奖励建模等方法，我们的框架通过交互树递归地积累和放大弱监督信号。随着交互的推进，人类反馈被转化为越来越强的监督信号，实现更有效的对齐。

3. 可扩展的交互：树状架构天然支持任意深度的交互。只要用户的认知负荷允许，树的细节可以无限扩展，支持对越来越复杂系统的对齐。

实验验证：非专家也能产出专家级文档

任务和数据集：我们爬取了真实的生产网站，收集其完整的 UI 组件和功能描述，然后用 LLM 生成结构化的产品需求文档（PRD）作为"真实意图" $\mathcal{I}$。PRD 包含五个模块：

• 产品概述（Product Overview）
• 核心功能（Core Function）
• 非功能需求（Non-functional Requirements）
• 业务规则（Business Rules）
• 用户体验设计（User Experience Design）

我们合成了非专家用户可能提供的初始请求 $q$（如"我想建一个食谱分享平台"），然后评估通过不同方法生成的 PRD 与真实意图 $\mathcal{I}$ 的对齐度。

基线方法：

• 直接生成：流行的 vibe coding 框架（如 codex、claude-code、gemini-cli）无交互直接生成 PRD
• 普通交互：标准的多轮自由对话生成 PRD

我们使用了 GPT-5、Claude-Sonnet-4.5 和 Gemini-2.5-Pro 作为文档生成模型（即"三明治"设置中待对齐的强模型）。

主要结果

表格展示了在模拟用户上的实验结果：

关键发现：

1. 显著的对齐提升：我们的方法在所有模型上都显著优于基线。在 GPT-5 上，相比普通交互和 Codex 分别提升了 33% 和 39%。在 Gemini-2.5-Pro 上，提升更是达到了惊人的 54%（从 0.359 提升到 0.554）。

2. 性能随交互扩展：我们每隔 5 个交互节点生成中间 PRD 并评估对齐度。结果显示，随着交互轮次增加，对齐分数持续上升，证明了框架的可扩展性。

3. 在交付物中的效果：除了评估在需求文档中的对齐效果，我们也基于生成的 PRD 实际开发了网站，评估最终的交付物。我们使用 claude-opus-4.5在claude code框架下分别对 baseline 和我们的方法产出了 prd，对交付的项目文件继续使用 opus 进行评判，并对部署成功的网站进行了人类评估。LLM 评判和人类评判都显示，我们方法生成的 PRD 指导下的网站实现，对齐度显著高于基线（LLM评判：0.338 → 0.656；人类评判：0.453 → 0.520）。

从在线反馈中进行强化学习

我们进一步地验证了，这个交互框架不仅可以用于推理，还可以通过强化学习从用户反馈中持续优化。来自非专家用户的弱监督信号，也可以使得系统的对齐程度上升，而来自专家评估的奖励，可以进一步增加收益。

训练设置

我们冷启动了一个 Qwen3-30B-A3B 模型作为交互策略。下图展示了一条 trace 是如何产生的，由于多轮交互的存在，单条 query 可以产生多个 trace，下图展示了这一过程和奖励分配的方法，帮助后文的理解：

图 4：强化学习训练设置示意图

我们使用 gemini-2.5-pro 作为文档生成器，并使用 o4-mini 更新需求树。

在强化学习中，我们设计了两种奖励信号：

1. 来自弱监督者的在线奖励（Online Reward from Weak Supervisor）

我们首先关注一个核心问题：是否可以完全依赖来自用户的弱监督信号来对齐模型。为此，我们设计了一种用户奖励（User Reward, UR）：对于每一条可训练的交互序列 $S_{j,i}$，我们将该序列中用户给出 DontCare 响应的比例作为一种惩罚性奖励。形式化地表示为： $$UR(S_{j,i})=-\frac{{\sum }_{t=1}^{|S_{j,i}|}\mathbb{I}[f^t=\text{DontCare}]}{|S_{j,i}|}$$ 该奖励鼓励模型尽可能减少 DontCare 响应的出现频率，从而促进更有效、更具参与感的交互，以更好地捕捉用户意图。值得注意的是，该奖励信号可以完全通过在线交互过程获得。

2. 结合来自专家评估者的奖励（Combining Reward from Expert Evaluator）

在此基础上，我们进一步引入基于生成 PRD 评估的专家奖励（Expert Reward）。一种直接的奖励形式是结果奖励（Outcome Reward, OR），其定义为生成的 PRD $D_j^{\ast }$ 与定向意图 $\mathcal{I}$ 之间的对齐得分。对于同一个样本 $j$，不同的交互序列 $S_{j,\_}$ 可以共享相同的结果奖励。

鉴于最终结果奖励较为稀疏，我们还设计了进展奖励（Progress Reward, PR），用于评估节点级别的交互增益。在每一个节点 $v^i$ 处，系统已经累积了一组偏好结论 $\{{\mathcal{P}}_j^1,\dots ,{\mathcal{P}}_j^{i-1}\}$，并在该节点产生一个新的结论 ${\mathcal{P}}_j^i$。$P{R}_{j,i}$ 用于评估 ${\mathcal{P}}_j^i$ 的引入是否推动了累积偏好与定向意图 ${\mathcal{I}}_j$ 之间的对齐进展。在优化过程中，我们将这些奖励进行组合，作为批次中第 $j$ 个样本的训练信号。

训练结果

图 5：不同奖励模式下强化学习训练曲线，使用训练配置评估

†模块3-5未在训练中使用，测试配置指的是用于树结构更新的模型与接收偏好生成文档的模型

关键发现：

1. 仅用户反馈即可优化：单纯使用非专家用户的在线反馈（用户奖励），就能提升对齐效果。这证明了"弱到强"的优化效果——非专家的交互时反馈足以引导更强的模型。

2. 专家奖励进一步增强：结合专家评估的奖励信号，可以进一步提升性能，在训练设置下达到 0.559 的平均分数。

3. 泛化到未见模块：尽管模块 3-5 未在训练中使用，RL 模型在这些模块上也有提升（训练设置下从 0.500 → 0.518；GPT-5测试下从 0.606 → 0.640）。

4. 交互效率提升：随着 RL 训练的进行，每个节点的平均交互轮次和总交互轮次都在下降，说明模型学会了更高效地进行交互。

未来方向：vibe coding 时代的瀑布模型

在前面的章节中，我们扩展了人类对需求生成的监督，使非专业用户能够与人工智能系统协作生成复杂的规范。作为未来的工作，我们建议通过交互层将这种监督扩展到代码层面。在共同开发需求文档之后，交互层作为用户意图的代理，监督下游的代码生成代理。图xxx展示了这种模式。

与人类相比，交互层能够更好地监督代码。如果生成的代码不正确或违反需求，它将启动开发循环；如果代码超出指定需求，它将返回需求循环。这样，交互层就充当了用户和代码代理之间的粘合层，使得非专业用户也能对代码生成进行可扩展的监督，这类似于在 Vibe coding时代采用的瀑布式流程。

结语

随着 AI 系统能力的不断提升，"弱人类 × 强AI"的协作模式已经成为现实。本文提出的 Scalable Interactive Oversight 框架，通过树状任务分解、低负担交互和递归偏好放大，让非专家用户也能有效地引导和监督强大的 AI 系统。

在 AI 能力持续扩展的今天，如何让人类保持对 AI 的有效控制，是我们面临的核心挑战。Scalable Interactive Oversight 提供了一条实践路径：不是让人类变得更强，而是让监督变得更智能。