同步与异步 Rollout 如何权衡强化学习吞吐和稳定性？

• 【Agentic RL训练效率与长尾轨迹优化】Agentic RL中影响训练效率的因素有哪些？工具调用、API请求、沙箱执行成为瓶颈时，可以怎么优化？多轮Agentic RL是否遇到过推理耗时和长尾轨迹？有哪些优化方法？ 「字节跳动」

• 【PPO与GRPO对比与细节】GRPO与PPO在RLHF中的核心区别、优化思想、奖励迁移、优势计算、重要性采样、技术选型、框架改动、异步rollout、样本效率、GRPO问题、监控指标、奖励来源与超参调整、数据构造、算法消融。 「字节跳动、百度、美团、腾讯、腾讯混元、蚂蚁集团、阿里巴巴、阿里通义」

• 什么是staleness？Staleness-Aware Decoupled PPO如何兜住？ 「蚂蚁集团」

GRPO GRPO相关问题： 「京东、字节Seed、字节跳动、百度、美团、腾讯」

• 在训练GRPO时是否应该更新rollout的mllm？

PPO原理与细节 详细介绍PPO的原理，包括整体训练流程、数据、如何训练奖励模型、每个模型的损失函数、在几张卡上训练？

• 轨迹新旧混杂情况怎么解决的？