返回全部题目← 上一题129 / 267下一题 →题库/AI 应用工程与治理/Q-3793Benchmark 过拟合问题（Benchmark contamination / Goodhart's Law）在 Agent eval 中如何规避？知识专题：评测体系与实验设计题目类型：方案设计技术难度：深入相关面经：4 篇题集来源：4 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录相关面经收录题集相关题目相关面经4 篇小红书Agent 开发工程师2026-10-21日常实习一面查看原面经 →现在有 100 道题，换一批题这个机制还有效吗？字节跳动Agent2026-10-20日常实习一面查看原面经 →benchmark 怎么评成功率、隐藏测试是不是固定 case、最终结果怎么测公司未注明测试开发岗2026-10-12一面、二面、三面查看原面经 →评测集构建的原则，怎么避免评测集数据泄露，评测抖动问题如何处理。查看该问上下文 →36道评测集，6种题型，怎么保证评测集样本分布合理，会不会存在过拟合评测集的风险。查看该问上下文 →腾讯元宝2026-07-03面经合集社招查看原面经 →顺便吐槽了一下把benckmark当成优化目标简直就是违背goodhart Law！收录题集4 个来源，共10 份题集模型与应用评测AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →What is benchmark contamination, and how do you guard against it?Agent开发面试题摸鱼酱mio · 个人整理 · 1 条原题查看题集 →Benchmark 过拟合问题（Benchmark contamination / Goodhart's Law）在 Agent eval 中如何规避？数据与评测面试指南阿东玩 AI · AgentGuide · 2 条原题查看题集 →Benchmark 已被广泛训练，继续使用它还有什么价值？指标涨了但用户价值不变，如何检查代理指标是否失真？后训练章节追问阿东玩 AI · AgentGuide · 1 条原题查看题集 →去污染为什么不能只做字符串去重？后训练综合问答阿东玩 AI · AgentGuide · 3 条原题查看题集 →Benchmark Contamination 怎么防？为什么 RL 阶段的污染比训练数据污染更严重？私有 benchmark 为什么要每季度更新 30%？展开剩余 5 份题集数据与评测阿东玩 AI · AgentGuide · 1 条原题查看题集 →请详细描述数据处理到训练的pipeline，重点包括：去重（文本、图像去重）、过滤、去污（Decontamination）的完整流程；腾讯问答汇编Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →benchmark 有模型在上面刷榜吗，关联推理能力是否需要关注预训练：训练与数据处理Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →如何避免评测集污染（benchmark contamination）？模型评估：多维评估大语言模型Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Benchmark 评估有哪些局限？如何避免评测集污染和刷榜误导？多模态大模型主干Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →多模态大模型的评估指标有哪些？如何避免过拟合基准数据集？相关题目4 题0046简历评分应该从哪些维度进行？同一知识专题题目类型：方案设计技术难度：进阶相关面经：1 篇0056如何量化评估 Agent 输出质量或任务成功率？同一知识专题题目类型：方案设计技术难度：进阶相关面经：63 篇0080GDPval 评测链路在项目中如何实现？同一知识专题题目类型：项目深挖技术难度：深入相关面经：1 篇0150AI 如何从需求或用例生成正确的接口测试脚本，并评估生成效果？同一知识专题题目类型：方案设计技术难度：进阶相关面经：6 篇♥♥♥♥♥← 上一题已到最后一题← 上一题如何设计 regression test suite，确保每次 Prompt 修改或模型升级不引入退化？下一题 →使用 AI 生成评测数据时，如何保证数据集质量和覆盖度？
