如何评测大模型，有哪些基本测试思路？

核心回答

评测大模型，先明确要验证的任务，再准备有代表性的测试集和可执行的判分标准，在固定版本与调用条件下运行，最后分析质量、稳定性、成本和失败类型。公开基准适合了解通用能力，业务测试集用来判断具体场景能否使用；单看排行榜或挑几条回答，不能替代业务验证。

评分通常由三种方法配合：有确定标准的格式、分类、数值和程序结果优先用规则或执行验证；开放式回答用明确维度的模型裁判辅助评估；专业判断、争议样本与裁判校准由人工完成。测试既要覆盖正常输入，也要覆盖边界、扰动、异常和多轮场景。比较新旧模型时保持相同任务、评分器和预算，逐题看改善与退化，而非只看一个平均分。

先划清评测对象

模型能力与应用效果需要分开测。

测模型时，可以固定输入、上下文、Prompt 和生成设置，判断模型在知识、推理、指令遵循、结构化输出或代码等目标任务上的表现。测完整应用时，再接入检索、工具、记忆和业务状态，验证整条链路是否完成任务。RAG 答错可能是证据没有召回，工具任务失败可能是权限或接口异常，不能把所有失败都归到模型能力。

公开基准可用于筛选候选和观察能力短板，但要读清版本、任务语言、提示方式与评分口径。Base 模型的续写或选择题评估，与对话模型按指令生成的评估条件也可能不同。进入项目后，应以实际输入分布、业务约束和成本预算补充测试。

测试集怎样覆盖真实问题

每条样本至少包含输入、必要上下文、预期行为或评分规则、场景标签。标准不一定是一段唯一答案：可以是准确标签、允许误差的数值、应覆盖的事实、程序测试、可接受的状态，以及需要追问或拒答的条件。

样本可以来自脱敏后的真实任务、经过确认的历史失败、人工设计的边界案例，以及经审核的合成变体。按来源或相关任务分组划分开发集与留出集，减少同源改写泄漏。参考答案也要审核，尤其是专业知识、时效信息和存在多种合法解法的任务。

测试思路可以从常规软件测试迁移，但要明确模型行为的预期：

• 等价类与边界：常见任务、空输入、缺少字段、极短或长上下文、数值与格式边界。
• 扰动与蜕变：同义改写、错别字、无关材料和顺序变化后，关键结论应否保持；变化会改变语义时，则重新定义预期。
• 多轮与冲突：信息逐步补齐、用户纠正前提、历史内容冲突，检查模型是否使用有效信息，而非沿用已失效结论。
• 对抗与异常：误导材料、越权请求、工具超时或空结果，检查模型是否按业务约定澄清、拒绝、恢复或结束。

总体质量估计按实际场景分布汇总，困难与高风险场景另看结果。专门加大难例比例有助于发现问题，但该集合的平均分不能直接当作线上总体准确率。

人工评估与机器评估怎样分工

规则和执行验证适合可判定的条件。例如分类看准确率及各类别的 Precision、Recall、F1，避免大类掩盖小类问题；结构化输出分别检查 JSON 语法、Schema 和字段语义；数学看结果及必要条件，代码在隔离环境中运行独立测试。程序能够运行不等于符合需求，输出格式正确也不等于内容正确。

BLEU、ROUGE 等可以反映与参考文本的特定重合关系，但词句相似不直接证明事实正确；同义表达也可能被低估。指标应与任务匹配，并说明具体口径，不用一个相似度分数代替所有生成质量。

模型裁判适合相关性、完整性、证据支持、表达质量等语义维度。给出问题、必要资料、参考或判分细则，并为每个分档提供可观察的标准。要求保留简短依据和不确定情况，便于回查。两答案对比可隐藏模型身份、随机或交换顺序，检查位置和冗长偏好；复杂数学、代码和 SQL 尽量提供可验证证据。

人工评估负责标注标准、领域判断、争议仲裁和裁判校准。可由多人独立标注一部分样本，分析分歧后调整规则；持续评测再按风险和裁判不确定性抽检。人工也会存在口径差异，不能仅因为由人打分就默认结果可靠。

执行时保留哪些条件

固定并记录模型真实版本、Prompt、对话模板、生成参数、输入截断和输出预算，以及测试集、评分器与必要工具版本。保存逐条原始输出、停止原因、评分依据和失败信息。模型调用失败、输出截断和评分器报错应分别记录，避免静默丢掉失败样本或混成同一种错误。

对随机性明显的任务重复运行，报告结果波动；固定种子或 temperature 设置有助于控制部分变化，但不保证所有后端都逐字一致。比较方案时使用同一批任务配对分析，检查从错到对和从对到错的样本；调参留在开发集，最终方案用未参与选择的数据检查。

非功能测试还要看首 token 延迟、端到端耗时、吞吐、并发下的错误率、token 与调用成本。性能比较需要说明输入输出长度、并发或批次、缓存和重试条件。质量更高但成本或时延不符合目标，也可能不适合当前业务。

结果怎样推动下一轮改进

把失败按可解释的原因分组：知识缺失、推理错误、指令未遵循、格式或参数问题、上下文遗漏、工具与环境失败、评分器误判等。回看具体输入和轨迹后，选择改 Prompt、补数据、调检索、修工具或换模型，并用针对性实验确认作用。

对比报告应包含任务范围、样本与判分口径、主要结果、关键场景退化和成本变化。模型或业务更新后，保留固定回归集，同时补充新场景；若评测标准被修订，旧版和新版都按同一标准重新评分。

常见追问

没有唯一标准答案，怎么评？

把“好”拆成能判断的条件，例如是否覆盖指定事实、是否有证据、是否回答问题、是否符合风格与长度要求。客观部分先验证，主观部分用分档标准和成对偏好辅助，再用人工校准；不必强行要求与参考逐字相同。

模型裁判给高分，就能说明模型变好了吗？

还需确认裁判与领域人员一致，且没有偏爱长度、格式或特定措辞。保留正常与错误反例，检查其是否能区分真正的改进；必要时用执行结果和独立留出任务补证，而非只优化裁判分数。

对应教程

参考资料