如何根据业务目标设计强化学习奖励？

核心回答

奖励设计要先把业务目标变成可观察、可验证的成功条件，再决定哪些信号适合用来训练。比如业务要的是“提取信息正确并可供系统使用”，就应检查字段含义、必要信息和输出结构，而不是只奖励回答长、步骤多或模型自称完成。

具体可以分三层：先明确越权操作、无效输出等约束；再用独立答案、测试用例或环境最终状态评价任务是否成功；最后在成功的基础上优化调用成本、耗时等次要目标。语义质量难以用规则判断时，可以引入人工偏好或奖励模型，但要校准评分误差。

最终结果奖励通常更贴近目标，却可能反馈稀疏；中间奖励能帮助探索，但需要对应真实进展，否则模型容易寻找得分捷径。权重应结合量纲、分值范围和业务错误代价确定，并通过留出集、奖励项消融和高分失败案例检查，验证奖励增长是否带来了真实效果提升。

先定义任务和成功条件

设计奖励前，需要说明一次任务从哪里开始、到哪里结束、模型能采取什么动作，以及最终结果由谁检查。

以信息抽取为例，输入是业务材料，输出是结构化字段；正确性由独立标注和业务规则判断。材料缺少必要信息时，正确行为可能是返回“信息不足”并列出缺失项，而不是补出一个看似完整的答案。把这类样本纳入训练和评估，才能避免模型为了完成率而猜测。

不同信号的作用也不同：

• 可验证的结果：代码在隔离环境中的测试结果、字段与标注是否一致、模拟环境中是否达到目标状态，适合构造规则奖励。
• 难以直接验证的质量：解释是否有帮助、表达是否符合业务偏好，可以用人工比较或奖励模型提供信号；评分标准要有正反例，并检查与人工判断的一致性。
• 执行约束：权限、资源预算、允许访问的数据范围，应由工具和环境实际限制。负奖励可以反馈违规行为，但不能代替执行层的限制。

训练奖励是业务目标的近似。像转化率、用户留存这样的延迟指标，还会受到流量、价格等因素影响，需要另设业务评估，不能直接把短期代理分数当作最终收益。

稀疏奖励与稠密奖励怎样选择

稀疏奖励通常在任务结束时给出，例如答案正确得分、错误不得分。它与最终目标关系清楚，但长任务里很难知道前面的哪一步有贡献；如果模型几乎从不成功，训练信号也会不足。

稠密奖励在中间状态提供反馈，例如完成一个经环境验证的必要子目标。它可以帮助模型探索，但“看起来像进展”未必真的有用：按出现多少次“步骤一”“验证完成”给分，可能只训练出更多标记；按工具调用次数给分，也可能鼓励无效调用。

因此，中间奖励要检查实际状态变化，防止重复领取，并保留最终结果评估。增加中间奖励还可能改变模型偏好的策略，不能默认加得越多越好。对于初始成功率很低的任务，可以先改善示范数据、任务难度分布或可验证的子任务，再比较是否需要奖励塑形。

一个可复算的奖励示例

下面是教学用的信息抽取奖励，系数仅用于说明优先级。

定义 F 为输出是否满足必要结构，V 为是否违反任务约束，A 为结果是否符合独立参考答案，三者取 0 或 1；C 是固定预算内归一化后的成本，范围为 0 到 1。V 来自环境检查，A 包括“材料不足时正确返回信息不足”的情况。

• 若 V＝1 或 F＝0，R＝−1。
• 否则，R＝A × (1 − 0.1 × C)。

于是，结构合格且答案正确、C＝0.5 时得 0.95；结构合格但答案错误时，即使成本为零也只得 0；答案正确且 C＝1 时仍得 0.9。这样，节省成本不会把错误答案排到正确答案前面。

真实任务可以有部分正确的连续评分、多种错误等级或多项成本，但需要重新检查排序。例如某项严重错误不应被其他小项加分抵消时，可以采用前置条件或按优先级比较，而不是仅调整一个很大的负权重。不同分项的尺度与方差也要核对，否则名义权重相同，实际影响可能差很多。

怎样发现奖励投机，证明设计有效

评估应同时看训练奖励和独立业务指标，并保留没有参与奖励调参的样本。至少要比较原模型或 SFT 基线与 RL 后模型，在相同任务、工具和推理预算下的正确率、关键错误率及成本；再通过去掉某个奖励项的消融，判断改善来自哪里。

还要抽查“高奖励但业务失败”的轨迹：是否只满足格式、利用判分器漏洞、重复领取中间分，或者只对常见题型有效。若总奖励持续增长而留出集正确率不变，应先检查奖励和评分器，不能只继续加大训练。

使用 GRPO 时，还要看同一输入的多条回答是否有有效的奖励差异。一组回答全错、全对或得到同样分数，都可能缺少组内相对学习信号；应结合样本难度和奖励分布处理，不能为了制造差异随意加分。KL 约束在启用时用于限制策略偏离参考模型，它与业务成功奖励承担不同职责；是否启用、如何归一化和组合奖励，要以所用训练实现为准。

常见追问

为什么不直接让模型评价自己的答案？

生成模型可能重复自己的判断偏差。优先用独立标注、规则和可执行验证；确实需要模型评分时，要用明确的评价维度与人工样本校准，并持续检查评分器是否偏爱特定措辞、长度或格式。

多个奖励项的权重怎么调？

先确定哪些目标可以互相补偿，哪些属于前置约束，再统一分值范围。用真实或构造的候选结果成对检查排序，确认“正确但稍贵”“便宜但错误”等取舍符合业务要求，最后在验证集上做消融和敏感性分析。

离线奖励提升，线上效果却变差，先查什么？

先查训练与业务数据分布是否不同、代理指标是否偏离目标，以及工具环境和推理预算是否一致；再检查高分失败样本和评分器误判。奖励本身就是需要验证的设计，不是天然正确的业务指标。

对应教程

参考资料