项目使用什么大模型或哪类模型？

核心回答

可以围绕项目中“谁完成什么任务”说明模型，而不是只列厂商品牌。下面给出两个可选的项目答法示例。

运维知识助手

“生成模型接的是百炼的 qwen-plus API，负责根据检索片段解释错误码；向量模型用 text-embedding-v3，负责把文档与查询编码成可比较的向量；Redis 保存索引，LangChain 连接检索与生成。

qwen-plus 是调用时的服务标识，不等于冻结的底层权重版本，所以我会同时保留调用日期、区域、模型标识和生成参数。选型看中文业务问答、根据证据回答的稳定性、输出长度、延迟与成本；向量模型则看错误码和同义问法的召回表现。两者分别评估，再检查最终回答。”

文章关键词抽取

“这条路线采用 Qwen/Qwen3-0.6B，是约 0.6B 参数的因果语言模型，承担从中文文章生成关键词的任务。使用同一个基础模型比较原始状态和本次 LoRA Adapter，验收格式与内容后再决定是否合并导出，由 vLLM 提供服务；keywords-clean 是服务别名，不是另一款基础模型。

选择小模型作为起点，是因为任务范围较集中，希望控制实验和部署成本，不是认定小模型效果必然最好。我会在同输入、模板和生成设置下比较基线与微调状态，检查分隔符、前缀和选词质量，再与其他候选比较。”

展开说明

模型名称要落到能定位的配置

云服务记录调用的模型 ID，以及供应商提供的快照版本信息；如果只使用可变别名，就保留该边界。自部署记录模型仓库与实际权重修订、分词器、精度、是否量化、Adapter 和合并产物，避免同一个展示名称指向不同文件。

对话模板也属于实际输入。相同文本换了模板或思考模式，最终 token 序列和生成行为可能不同，不能只记录温度就声称比较条件一致。

生成、向量与重排分别怎样选？

生成模型看能否理解任务、利用证据、遵守输出约定；向量模型看相关材料有没有进入候选；重排模型若实际接入，才评价候选排序是否改善。图像理解、语音等模型也按实际任务单列，不把所有模型都称为“回答用户的大模型”。

在 RAG 中，先保存问题与正确证据，再比较召回、排序和答案。若正确文档根本没召回，换生成模型未必有效；更换向量模型后，要检查旧索引是否需要重新编码，不能把不同向量空间直接混用。

选型依据怎样说得可信？

用业务样例而非排行榜代替测试：既有常见问题，也有精确编号、长文本、缺证据与格式约束。分别记录质量、端到端时间、调用成本和部署限制。小规模验证可以帮助筛选，但一次成功回答不能证明整体稳定。

可能的追问

为什么不全部使用最强的模型？

不同阶段承担不同任务。固定字段处理可以用程序，向量化需要相应的嵌入模型；更大的生成模型还会带来成本和部署压力。满足业务质量之后，再比较总体代价。

微调后模型就一定更适合项目吗？

不一定。格式改善可能伴随内容变差，提示词或模板变化也可能解释差异。需要在独立测试样例上比较任务质量，并检查其他原有能力是否退化，再决定是否采用。

对应教程

参考资料