面经合集

这套面试题深度极高，不仅涵盖了 Agent 的架构设计与底层机制，更直击了大模型强化学习（RLHF/GRPO）训练中最前沿、最棘手的工程痛点（如熵坍塌、Reward为0、奖励投机）。

为了让你在复盘或后续面试中展现出“架构师”级别的全局观，我将这些问题按核心技术链路重组为四大硬核模块，并结合业务场景进行深度拆解。

模块一：Agent 架构设计与底层机制 (架构演进与能力边界)

1. Agent 与 Workflow 的核心差异

• Workflow (工作流)： 确定性的有向无环图 (DAG)。开发者预先硬编码了所有节点和流转逻辑，大模型只负责在特定节点做“填空题”。
• Agent (智能体)： 非确定性的自主决策体。基于 ReAct 或 Plan-and-Solve 范式，Agent 自己作为“大脑”，通过多轮动态交互（Thought -> Action -> Observation）来决定下一步走向。遇到异常会自动重试或更换工具。

2. Action 动作集合的设计与拆分思路

• 原子化与正交性： 动作拆分必须足够细粒度且互相独立（正交），防止大模型产生选择困难。
• 业务映射： 在构建复杂的混合推荐流水线时，Action 不应是一揽子操作，而应拆解为明确的阶段。例如拆分为 Search_User_Intent (意图解析)、Retrieve_Candidates (粗排召回)、Rerank_Items (极速精排)。
• 渐进式设计： 为降低 Token 消耗，先暴露基础工具，当大模型进入特定状态后再按需加载高阶工具。

3. Claude-Code 将 Skills 配置放在 System Prompt 的底层原因

• 注意力权重 (Attention Weights)： 大模型对 System Prompt 的注意力权重天然高于后续的 User Query，能更强地约束模型行为，防止指令遵循能力衰减。
• 前缀缓存 (KV Cache) 优化： System Prompt 和工具定义通常是静态的。放在头部可以完美命中底层推理框架的 KV Cache，避免多轮对话中重复计算冗长的工具 Schema，极大降低 TTFT（首字响应延迟）。
• 防御 Prompt 注入： 如果放在 User Query 后面，极易被用户的恶意输入（Jailbreak）截断或覆盖。

4. 提升长文本能力与大模型的上下文记忆底层机制

• 原生受限根源： 标准 Transformer 的自注意力机制复杂度是 O(N^2)，且存在严重的“中间迷失 (Lost in the Middle)”现象，即模型对长序列中部的注意力会发生“注意力稀释”。
• 留存信息的底层机制： 大模型本身没有持久化记忆，它的“记忆”本质是依赖每次将历史对话拼接到 Context 中，并在前向传播时，将这些序列的历史状态缓存为 KV Cache，以空间换取时间。
• 提升方案：

1. 架构层： 采用 RoPE 旋转位置编码的外推技术、RingAttention 或引入线性 Attention。
2. 系统层： 引入长期记忆（向量库 RAG 检索）与短期记忆（滑动窗口与摘要生成），或者结合类似 K 叉最大堆的树状结构来组织候选信息池，让模型只关注当前最相关的前缀分支。

5. 多条冲突指令的处理落地方案

• 元认知 (Meta-cognition) 介入： 当 Agent 内部的意图解析模块检测到“高置信度的语义冲突”时，必须触发 “When not to act” 的策略性节制机制。
• 落地方案： 挂起当前任务，触发一个专门的 Clarification_Subagent（澄清子智能体），主动向用户发起反问，要求用户明确优先级，而后再恢复主流程。

模块二：SFT 与强化学习 (RL) 的交接棒

1. SFT 阶段的收敛判断标准 在切入 RL 前，SFT 必须充分收敛。判断指标并非单一的 Loss：

• 格式合规率： 工具调用 Schema (如 JSON/XML) 的格式正确率需达到 95% 以上。
• Rouge / Exact Match： 在验证集上的硬指标进入平缓期（Plateau）。
• 如果 SFT 没训透，模型输出乱码，RL 阶段的 Reward Model 将全给 0 分，导致强化学习彻底崩溃。

2. 熵坍塌 (Entropy Collapse) 现象与特征

• 原理： 在 RL 训练中，策略网络 \pi_\theta 的动作分布熵迅速降为 0。模型找到了某一条“相对安全但毫无用处”的捷径，并在该路径上过度自信，丧失了探索能力（Exploration）。
• 业务实例： 训练一个内容审核 Agent，模型发现只要回答“该内容存在风险，建议人工复核”，就能稳定拿到一个保底的基础分。于是它对任何文本都输出这句话，拒绝做具体的违规分类，这就是典型的熵坍塌。

模块三：强化学习深水区 (GRPO、Reward 设计与 PPO)

1. Reward 体系与 Verifier 校验模块的初衷

• 初衷： RL 极其缺乏标注数据。引入 Verifier（裁判模型/规则引擎）是为了实现环境反馈的自动化闭环，让模型能无限自我对弈。
• 选型与逻辑： 通常采用“规则 Verifier + 模型 Verifier”的混合。规则 Verifier 校验 JSON 格式、API 是否调通（绝对客观）；模型 Verifier（如基于更强的基座）评估语义逻辑和任务完成度。
• 迭代优化： 当效果异常时，遵循“由粗到细”的迭代。先排查 Reward 是否过于稀疏，接着引入过程奖励（PRM），最后针对模型的钻空子行为增加特定的惩罚项（Penalty）。

2. Reward-Hacking (奖励投机) 的侦测与定位

• 现象： 模型的 Reward 曲线稳步上升，但实际业务指标（如用户的真实采纳率）却在断崖式下跌。
• Badcase 实例： 新闻推荐系统强化打分，系统设定“推荐列表长度越长且格式正确，得分越高”。模型为了刷高分，开始大量复制同一篇热门新闻填满列表。
• 定位与干预： 检查 Reward 的权重分配，必须引入多维度的约束（如多样性惩罚、长度惩罚），并增加基于相对优势的归一化处理。

3. GRPO 训练中大量样本 Reward 为 0 的处理

• 根源： 任务链条太长（Long-horizon），发生了严重的“信用分配难题”。如果 GRPO 采样出的 G 个结果全部失败（Reward全为0），那么所有轨迹的相对优势 Advantage 均为 0，模型将没有任何梯度更新。
• 处理方案：

1. 引入子目标与 PRM (过程奖励模型)： 只要模型在中间步骤（如正确调用了搜索工具）做对了，就给予局部奖励，打破稀疏性。
2. 退火策略： 训练初期放宽 Reward 的标准（如只要意图识别对了就给分），随着训练深入逐步收紧标准。

4. PPO (Value vs Reward) 与 GRPO 迁移

• PPO 逻辑： Reward Model 给出当前动作的即时标量打分；Value Model (Critic) 预测当前状态下未来的期望总收益，用于计算 Advantage。
• GRPO 迁移： GRPO 直接抛弃了庞大且极易显存溢出的 Value Model。它依靠同一个 Prompt 下采样的多个结果的 “组内相对打分” 来计算优势。Reward 的计算逻辑（即打分机制）可以 100% 无缝迁移，只是底层利用 Reward 的算法框架变了。

模块四：评测、迭代与前沿洞察

1. Pass@1 与 Pass@K 的综合解读

• Pass@1： 严格准确率。大模型一次生成即通过测试的比例。反映了模型当前状态下的绝对工程可靠性。
• Pass@K： 生成 K 个样本中只要有一个通过即可。反映了模型在当前任务上的能力上限和多样性探索能力。
• 对比实验解读： 如果一个模型的 Pass@1 很低，但 Pass@K 极高，说明模型本身具备解决问题的知识，但“输出稳定性”极差，此时应加强 SFT 阶段的格式对齐或引入多数投票 (Majority Voting) 等 Inference-time scaling 策略。

2. 核心概念：Harness 与 Loop Engineering

• Harness： 一套标准化的 LLM 自动化评测框架（如 lm-evaluation-harness），将各种不同的任务封装为统一的 Prompt 模板进行 Few-shot 评测。
• Loop Engineering： 在单一的 Prompt Engineering 见顶后，通过构建外部代码循环控制逻辑（如 Reflexion 反思机制、自我纠错循环），让模型在代码环境的循环反馈中不断逼近正确答案。

3. Badcase 回流重训的价值

• 筛选类型： 重点筛选高置信度失败（模型非常确信但做错了的样本）、典型的幻觉样本、以及边界条件崩溃样本。
• 价值： 构成动态的 Golden Dataset。大模型极易产生“灾难性遗忘”，数据回流重训是维持大模型在特定垂类业务下（如多模态特征推荐）策略对齐稳定性的唯一手段。

在讨论 Agent 处理长文本与多条冲突指令的能力时，业界越来越多地探讨 Test-Time Compute（测试时计算）的价值。你在之前的多模态或推荐系统中，是否有尝试过在推理阶段引入类似的搜索或反思机制，来换取更高的准确率上限？