LoRA、QLoRA 与全量微调如何选择？
未标记
考查重点：更新参数范围与资源、效果取舍。全量微调更新全部参数且资源高，LoRA训练低秩增量，QLoRA再量化冻结基座；按资源、能力差距、合并部署与任务评测选择
本题目录
参考答案
核心回答
先看任务与基座的差距、可用训练资源和部署方式，再选更新范围。全量微调更新大部分或全部基座参数；LoRA 冻结基座、训练低秩增量；QLoRA 在此基础上主要用4位存储冻结基座，进一步降低权重显存。 SFT 描述监督训练目标，可以配合这三种参数更新方式，不等同于全量微调。
如果合适的基座已有主要能力，只需适配格式、风格或特定任务，通常可以先评估 LoRA。普通 LoRA 的基座权重仍放不下时，可考虑 QLoRA。如果低秩更新在可靠数据和足够调试后仍达不到要求，且资源允许，再比较全量微调或其他更合适的基座；不能预设全参一定更准。
选择时具体比较什么
资源。 全量微调要为大量参数保存梯度与优化器状态；LoRA 主要减少这两部分，QLoRA 再压缩基座存储。激活、序列长度和微批量仍可能成为瓶颈，不能只比较适配器文件大小。
效果。 用同一份留出任务和旧任务回归，比较目标能力、稳定性和退化。低秩容量、目标模块、数据质量和训练预算都会影响结果，单个失败配置不能证明整类方法不适合。
部署。 多任务共享基座时，独立适配器便于切换和分发；合并适配器可简化部分推理路径，但要管理版本及量化兼容性。全量微调通常得到独立完整权重，多模型维护成本也应计入。
一个条件化的选择过程
假设要让已有指令模型输出稳定的领域字段，可以先检查提示词、样本和业务口径，建立不训练的基线，再试 LoRA。如果模型加载与训练峰值超出单卡预算，比较缩短序列、检查点、QLoRA 或多卡方案；若任务需要显著改变底层能力，则扩大数据和更新范围的对照更有意义。
最终选择依据是同预算或同质量目标下的结果，而不是“显卡够就全参”“数据少就一定量化”这样的固定口诀。
对应教程
- 《模型训练原理与高效微调》：回看第6节的冻结权重、低秩分支与参数设置；本文补充计算条件和工程取舍。
参考资料
- 国内：wdndev：LoRA技术原理：采用低秩增量和冻结基座的原理，说明
LoRA的更新范围。 - 国内：WeThinkIn：后训练：微调与对齐：采用全参、
LoRA与QLoRA的资源构成和能力取舍，组织选型维度。 - 国内：adongwanai：SFT实战经验分享：采用训练前建立基线、训练后用留出数据验证收益的流程，组织方案对照。
- 国内：ModelScope：预训练与微调：参考全参、适配器及量化训练的实际配置与部署路径，说明部署成本应纳入选择。
- 国外：Microsoft：LoRA: Low-Rank Adaptation of Large Language Models：采用冻结基座与低秩更新的定义，并据其资源分析组织选型维度。
- 国外：University of Washington等：QLoRA: Efficient Finetuning of Quantized LLMs：采用量化基座的资源与质量取舍，区分权重存储节省和整体训练成本。
相关面经
6 篇
小红书
大模型算法LoRA 讲讲，和全量微调你怎么选？
京东
大模型算法工程师大模型有哪些微调方案，解释LoRA微调底层原理。
小鹏
智驾 VLA 算法工程师为什么要用Lora微调，为什么不用全量？有什么限制？
阿里巴巴
Agent 算法工程师你做SFT时为什么选择全量微调而不是LoRA或QLoRA？
阿里巴巴
Agent 算法工程师你做SFT时为什么选择全量微调而不是LoRA或QLoRA？
展开剩余 1 篇面经
腾讯
大模型算法工程师为什么用 LoRA，而不用全量微调
收录题集
展开剩余 7 份题集
预训练与架构
预测与微调 大模型预测是怎么做的，为什么大模型和标准模型的准确率有什么区别？微调是怎么做的，基座是什么，有用过更高级的模型吗？输入的特征是什么？大模型在场景上的优势？
Qwen与DeepSeek对比 同时，涉及Qwen系列如何选型、LoRA与全参微调、后训练模型评价与价值衡量。
SFT与指令微调
LoRA与PEFT 「京东、字节跳动、百度、美团、腾讯、蚂蚁集团」
展开其余 6 条原题
微调方法对比与选型 在京东业务场景（如智能客服）中，如何选择适合的微调策略（如LoRA、全参数微调）？在什么场景下选择LoRA？原理 & 为什么它能高效微调大模型？
