大模型算法一面面经

1. 数据集相关：项目训练数据的来源渠道、完整的数据清洗流程与处理标准； 2. 基础架构：Transformer完整核心架构拆解、当下主流大模型的架构设计差异； 3. 核心模块细节：GQA机制原理、RMSNorm归一化的作用与实现逻辑； 4. 位置编码：RoPE旋转位置编码的完整原理、市面上主流的位置编码类型，以及大模型普遍选用RoPE的核心原因； 5. 注意力机制：MHA、MQA、GQA三种注意力机制的区别、优劣及适用场景； 6. 进阶技术：MoE混合专家模型的负载均衡实现方案；LoRA微调原理、视觉编码器的应用逻辑，以及多模态场景下的表征对齐思路。