是否独立做过模型训练或微调？

核心回答

以下以文章关键词抽取为经历示例，可结合个人项目调整。

我做过基于预训练模型的任务微调，重点是让模型稳定抽取文章关键词，并按英文分号分隔输出。技术上使用 Qwen3-0.6B、LLaMA-Factory 和 LoRA，不是从零预训练模型。

我负责的流程包括样本整理与去重、训练/验证/测试划分、对话模板与训练配置，以及微调前后的对照评估。先用固定提示词建立基线，再用监督微调让模型学习目标输出；训练时冻结底座权重，主要更新低秩适配参数。

验证时把格式和内容分开：既检查是否只输出关键词、分隔符是否正确，也检查关键词是否覆盖主题、有无编造。验证集用于选择配置与检查点，测试集留到方案确定后比较最终效果。交付时同时保存模型版本、适配器、模板和评测记录，保证推理时能加载同一套配置。

从一条样本讲清训练目标

输入文章：“市图书馆周末开设儿童阅读课，读者可通过公众号预约。”目标输出：“市图书馆;儿童阅读课;公众号预约”。

这项任务有两个要求：内容选得对，输出形式稳定。只学会分号分隔却漏掉“公众号预约”，不算完全解决问题；主题正确却额外输出一段解释，也可能使下游解析失败。

样本要包含指令、文章和审核后的答案。JSONL 只是逐行存储方式；训练工具还需知道哪些字段对应用户输入和助手答案，并用目标模型匹配的聊天模板转换。应检查实际编码后的样本与损失掩码，确认模型学习的是预期回答，而不是把用户输入也当作目标。

训练过程重点说明哪些工作

环节	具体处理	需要留下的产物
任务与基线	固定关键词规则、提示词和生成参数，检查原模型的错误	基线预测、错误分类与样本标识
数据准备	清洗重复、空内容和错误标注；相近文章按来源或内容组划分	数据版本、划分清单、质量记录
训练配置	选择底座与模板，设置序列长度、批量、学习率及LoRA目标模块	配置文件、可训练参数信息、训练日志
选择检查点	观察训练/验证损失，并检查真实预测；不反复用测试集调参	检查点选择依据与验证预测
最终对照	同一测试集、提示词与生成设置比较基线和微调模型	格式指标、关键词质量、失败案例
推理交付	核对底座与适配器匹配；合并后再做预测一致性检查	适配器或合并模型、分词器、模板与运行说明

SFT 描述学习目标，LoRA 描述参数更新方式，两者可以同时使用。LLaMA-Factory 中的 stage: sft 与 finetuning_type: lora 就分别表达这两个维度；具体训练参数应由样本长度、硬件和验证结果决定。

数据量不大时，最容易忽略的是近重复泄漏。把同一篇文章的改写版分别放进训练和测试，会让结果看起来更好，却不能说明模型能处理新文章。

面试官追问时

训练损失下降，为什么输出仍可能不好？

损失衡量预测训练目标的拟合程度，与业务验收并不完全等价。标注本身可能不一致，长文章可能被截断，模板或推理参数也可能不匹配。因此要看固定样本的预测，并分别归因于数据、输入转换、训练或生成设置。

为什么不直接改提示词或用更强的模型？

先比较这些基线。若主要问题是资料缺失，应考虑检索；若规则可稳定解析，可直接用程序处理。任务稳定、标注可靠，而且基线仍反复违反输出要求时，再评估微调收益与维护成本。

LoRA适配器能脱离原模型直接运行吗？

通常不能。它保存的是相对于指定底座的增量参数，推理需加载匹配底座；支持合并的配置可以导出合并模型。合并、量化或更换推理后端后，仍要复查格式和任务质量。

对应教程

参考资料