模型训练与对齐

本分类共 9 个专题 · 761 道题

3439

如何从线上真实对话构造 Expert Agent 的 SFT 数据？

模型训练与对齐训练数据构建与治理

方案设计

进阶

1 篇面经 1 个题集来源

3461

如何解释 PPO Loss 中没有 KL 散度这一说法？

模型训练与对齐强化学习与奖励

原理机制

进阶

1 篇面经 1 个题集来源

3469

项目双维度奖励包含什么，各自解决哪些问题？

模型训练与对齐强化学习与奖励

项目深挖

进阶

3470

一致性奖励与完整性奖励如何定义和评分？

模型训练与对齐强化学习与奖励

项目深挖

进阶

3472

为什么使用二值奖励，而不采用连续或阶梯式奖励？

模型训练与对齐强化学习与奖励

比较选型

进阶

3473

用 Qwen-3 等大模型奖励打分时是否需要微调？

模型训练与对齐强化学习与奖励

比较选型

进阶

3474

RAG 项目具体做过哪些微调？

模型训练与对齐预训练、续训与 SFT

项目深挖

进阶

3475

RAG 项目为什么没有采用强化学习？

模型训练与对齐强化学习与奖励

比较选型

进阶

3480

如何设计困难样本挖掘，使项目中的 8B 模型效果超过 14B 模型？

模型训练与对齐训练数据构建与治理

项目深挖

进阶

3482

PPO 的 Critic 如何计算，公式是什么？

模型训练与对齐强化学习与奖励

原理机制

进阶