大模型工程面试题
什么是大语言模型？和传统 NLP 模型有什么区别？
原题讲讲 Transformer 架构基本原理？Encoder 和 Decoder 是什么？
原题多头注意力（MHA）有哪些局限？MQA、GQA、Flash Attention 怎么解决？
原题大模型的位置编码是干什么用的？sin/cos、RoPE、ALiBi 有什么区别？
原题什么是大模型项目的分词器？原理是什么？
原题大模型是怎么训练出来的？
原题什么是 Scaling Law？大模型的「涌现能力」是怎么回事？
原题大模型微调的方案有哪些？
原题请讲一下 LoRA 技术，除了减少参数量，它还有哪些优点？
原题SFT 之后还有哪些 Post-Training？RLHF、DPO、GRPO、拒绝采样什么关系？
原题
暂无题目