Agent开发面试题
如何防止 Agent 被用于生成有害内容或被恶意用户滥用?
数据隐私保护(如用户对话数据不出境、PII 脱敏)在 Agent 系统中如何落地?
Braintrust / LangSmith / Weave / PromptFoo 这类 eval 平台解决了什么核心问题?选型时如何权衡?
如何设计 LLM-as-Judge 评测?Judge Prompt 如何防止位置偏差(position bias)和自我偏好(self-preference)?
Eval dataset 的构建策略有哪些?如何从生产流量中自动挖掘高价值测试用例?
如何为 Agent 的多步执行设计 trajectory-level eval(不只评估最终输出,而是评估整条执行路径)?
如何设计 regression test suite,确保每次 Prompt 修改或模型升级不引入退化?
Benchmark 过拟合问题(Benchmark contamination / Goodhart's Law)在 Agent eval 中如何规避?
暂无题目