大模型算法一面面经

发一下问题给大家参考，攒攒人品！ 1.实习拷打 2.项目拷打 3你能详细的说一下他们在数据构建流程上的区别吗 4.RL 阶段的数据筛选你具体是怎么做的 5.比如说这个图文对的话，就是它的标签是怎么来的呢 6.在训练这个模型中存在哪些问题你遇到哪些问题，是怎么去解决的 7.就是你刚才说的那个把那些序列拼接成8192的长度，是不是就是Sequence Packing 的做法 8.那你们在处理 VLM 视觉特征时的具体 Packing 细节是怎么样的？因为视觉 Tokens 的处理逻辑肯定比纯文本要更复杂一些 9.怎么去评估，他那个推理过程是否正确呢 10.介绍一下GSPO 在处理这种多维奖励时的具体收敛策略是什么样的 11.你说的这个结果奖励打分模型。大概是用的啥模型？它准确率大概是多少 12.比如说你这个 Thinking 和No-thinking的数据就是它的比例是三比一,你是基于什么得出来的 13.说一下GSPO和GRPO的区别 14.为什么你在在xx公司选 GSPO，在xx公司实习的时候选 GRPO 15.Self-Attention中Q/K/V各自作用？为什么要分开？ 16.把K换成Q（QQV）可行吗？为什么？ 15.手撕：按指定概率采样（如[(1,0.5),(2,0.1),(3,0.4)]）