快手
大模型应用算法实习生一面、二面面经
完整信息
本篇目录
一面
- 说明项目要解决的核心痛点，分析引入大模型解决该问题的合理性
- 讲讲基座模型的选型逻辑，模型参数量规模是如何权衡确定
- 项目采用GRPO算法的考量，是否评估过PPO、DPO等其他对齐算法
- 介绍奖励函数的设计思路，如果只依靠结果型奖励会产生哪些风险
- 说明个人在项目里负责的模块，介绍整体训练量级
- 在GRPO实操训练过程遇到过哪些典型问题，描述问题定位、排查的完整思路
- 面对开放式任务，不存在非0即1的明确奖励信号，该如何设计对齐方案
- 当规则式奖励无法满足需求，奖励模型的训练该如何落地
- 业务真实指标和模型输出结果脱节，这种情况下奖励该如何调整设计
10.手撕编程：四川麻将胡牌条件判断，重点考察数据结构与逻辑处理
二面
- 项目实际落地解决了什么业务难题，区分模型实验指标和真实业务指标二者差异
- 整个项目推进过程，最大技术难点是什么
- 搭建离线仿真环境的目的与价值
- 方案设计阶段对比过哪些备选技术路线，最终方案选择的理由
- 如果重新设计整套后训练体系，会考虑哪些要素；Offline RL与Online RL如何做取舍
- 长轨迹Agent任务中，rollout环节开销居高不下的原因，列举可行的训练优化手段
本篇目录
当前问题0115
- 01
说明项目要解决的核心痛点，分析引入大模型解决该问题的合理性
- 02
讲讲基座模型的选型逻辑，模型参数量规模是如何权衡确定
- 03
项目采用GRPO算法的考量，是否评估过PPO、DPO等其他对齐算法
- 04
介绍奖励函数的设计思路，如果只依靠结果型奖励会产生哪些风险
- 05
说明个人在项目里负责的模块，介绍整体训练量级
- 06
在GRPO实操训练过程遇到过哪些典型问题，描述问题定位、排查的完整思路
- 07
面对开放式任务，不存在非0即1的明确奖励信号，该如何设计对齐方案
- 08
当规则式奖励无法满足需求，奖励模型的训练该如何落地
- 09
业务真实指标和模型输出结果脱节，这种情况下奖励该如何调整设计
- 10
项目实际落地解决了什么业务难题，区分模型实验指标和真实业务指标二者差异
- 11
整个项目推进过程，最大技术难点是什么
- 12
搭建离线仿真环境的目的与价值
- 13
方案设计阶段对比过哪些备选技术路线，最终方案选择的理由
- 14
如果重新设计整套后训练体系，会考虑哪些要素；Offline RL与Online RL如何做取舍
- 15
长轨迹Agent任务中，rollout环节开销居高不下的原因，列举可行的训练优化手段