LoRA 效果不好时如何定位和改进？

LoRA效果不好，先确认“评测有效、Adapter确实生效、训练数据和损失正确”，再调整学习率、轮数、插入模块与秩。不要一开始就增大rank；如果是模板不一致、标签被截断、训练参数未进入优化器，增加容量也解决不了。

用相同样本和生成预算对比基座、LoRA以及优化后的提示基线，把错误分为格式、知识、推理、漏答、重复和旧能力退化，按现象定位。

1. 检查推理是否用了正确模型。 核对基座revision、tokenizer、聊天模板和Adapter配置，确认加载到目标层并处于预期推理模式。用同一输入比较加载前后的输出或logits；行为相同不一定证明没加载，但应进一步检查可训练参数、权重变化和加载日志。合并或量化后也应重新回归。

2. 看实际训练样本，而不只看原始JSON。 检查模板处理后的token、有效标签与损失掩码；关键指令或答案是否被截断，结束标记是否正确，工具消息是否对应。抽查事实、重复、冲突标注及训练/验证泄漏，确保数据覆盖真实输入分布。

3. 做小数据拟合检查。 暂时选少量已核对样本，验证模型能否学习它们。若训练Loss不动，查学习率、梯度、优化器参数组和冻结设置；若小集合都拟合不了，先排除流程问题。这个检查不能代替泛化评估。

4. 根据训练与验证的分歧调整。 两者都差，考虑训练不足、数据目标冲突或适配范围不够；训练好而验证差，优先查过拟合和分布差异，减少重复与轮数、改善数据或正则化。训练Loss降低但业务不变，可能目标、评测或错误类型没有对齐。

5. 最后做有对照的容量与优化实验。 在固定数据下分别调整学习率、有效batch、轮数，再比较rank和目标模块。只给q/v加LoRA与覆盖更多注意力投影、FFN可能有不同效果和成本；rank增大也会改变参数量和缩放关系，不能只改一个数字就当公平比较。

例如格式改善但专业实体仍漏提，先看实体标注、长样本和领域覆盖，而非把所有问题归因于rank。如果QLoRA明显弱于非量化LoRA，再检查量化与计算配置；若多组合理PEFT设置都受限，比较更强基座、扩大适配范围或全参数微调。经常变化的外部知识也可交给检索。

最终用独立留出集和旧任务回归集验证，记录每次只改变了什么。只有真实实验才能给出适合该任务的rank、训练量和提升幅度。

国内：zero2Agent：训练、数据与模型部署：参考 LoRA 的可训练范围与资源条件，说明正文中排查训练配置和适配范围的依据。
国内：wdndev：高效微调方法总结：借鉴不同 PEFT 形式的比较，解释正文中合理设置仍受限时如何评估扩大适配范围或更换方法。
国内：WeThinkIn：后训练：微调与对齐：采用数据、模板、掩码、长度与超参数的排查顺序，组织正文先验证评测和适配器生效、再调训练参数的步骤。
国外：Hu等 / Microsoft：LoRA：依据低秩矩阵初始化、可训练位置与合并的说明，解释正文中如何核对 LoRA 分支是否真正训练并正确加载。
国外：Dettmers等 / University of Washington等：QLoRA：借鉴 QLoRA 量化与普通 LoRA 的区别，解释正文中量化版本明显变差时应单独检查量化和计算配置。

参考答案