Agentic端侧推理优化一面面经
完整信息
本篇目录
#Agent面经# 一、端侧 RAG / 函数 token 项目
具体 system prompt 有多长?里面包含哪些场景类型?单轮工具调用大概涉及多少条工具选择?
你提到“模型底子不足影响参数填充准确率”,具体卡在参数传递、上下文推导还是数值记忆?目前是谁在测、怎么测的?
用户体感上有什么影响?有没有真实用户数据,还是只用线程数模拟不同手机性能?
8 秒级响应对体验影响很大,你们做了哪些真实端侧优化?
schema 是怎么设计的?是否包含名称、描述、参数定义、类型、枚举值、使用示例?参数约束为什么偏宽松?
参数类型/枚举值错误怎么解决?是否考虑通过函数内部调用做兼容?
Agent 任务规划是怎么做的?生产场景是不是先识别意图,再推导工具依赖?函数执行报错后如何多步推理和重新规划?主流模式了解吗?
你说的 “IG” 具体指什么?应用场景是什么?
检索为什么用父子索引?父块 1024、子块 256 的设计逻辑是什么?
二、医疗智能问答 RAG
口语化 query 的改写/扩写/分解怎么做?如何避免重复生成?HyDE 具体怎么用?
重排模型为什么选 BGE / bge-rank 这一路?有没有做过准确率对比测试?
TOP K 截断依据是什么?相关性分数和上下文长度怎么权衡?低分文档怎么处理?
上下文太长怎么压?预设文档数限制和模型压缩分别怎么做?压缩模型为什么强调 encoder-decoder、强理解能力?
RAG 提升到底是多少?HIT@5、MRR@5、Recall@20 各提升多少?5076 条自合成样本会不会影响可信度?
三、楔形文字翻译项目
为什么不用传统 token-based / BPE 模型?字节流相比 BPE 解决了什么?
高分样本怎么筛?评价指标为什么是 blur 和 chrF1 的几何平均?
伪标签噪声怎么控制?冠军方案用 10 个模型集成、110 个答案筛最优,你们有没有类似验证?模型集成和伪标签自蒸馏的验证边界是什么?
分数从 30 到 32,有没有做消融实验?提升来自随机掩码、双向互译还是随机编码?
为什么随机编码对效果重要?
四、微调与训练判断
SFT 数据量怎么判断?风格对齐、高难度任务分别要多少数据?“数据质量比数量重要”怎么落地?
怎么判断过拟合?看测试集 loss 还是任务指标?任务指标停滞/下降说明什么?
全参数微调和 LoRA 怎么选?全参数适合什么场景,代价是什么?
五、动机、匹配度与实习
为什么从地理信息/智慧城市转向 AI?
目前有没有其他 offer 流程?是否只有个人项目、缺业务实习?
对小红书场景怎么看?购物领域为什么适合接入大模型?端侧模型能怎么切入?
端侧模型核心价值除了降本,还有什么?隐私和低延迟分别对应什么场景?
为什么关注苹果 Foundation Models、阿里 MNN 这类端侧框架?你评价的“60 多分”具体指什么指标?
本篇目录
当前问题0130
- 01
具体 system prompt 有多长?里面包含哪些场景类型?单轮工具调用大概涉及多少条工具选择?
- 02
你提到“模型底子不足影响参数填充准确率”,具体卡在参数传递、上下文推导还是数值记忆?目前是谁在测、怎么测的?
- 03
用户体感上有什么影响?有没有真实用户数据,还是只用线程数模拟不同手机性能?
- 04
8 秒级响应对体验影响很大,你们做了哪些真实端侧优化?
- 05
schema 是怎么设计的?是否包含名称、描述、参数定义、类型、枚举值、使用示例?参数约束为什么偏宽松?
- 06
参数类型/枚举值错误怎么解决?是否考虑通过函数内部调用做兼容?
- 07
Agent 任务规划是怎么做的?生产场景是不是先识别意图,再推导工具依赖?函数执行报错后如何多步推理和重新规划?主流模式了解吗?
- 08
Agent 任务规划是怎么做的?生产场景是不是先识别意图,再推导工具依赖?函数执行报错后如何多步推理和重新规划?主流模式了解吗?
- 09
检索为什么用父子索引?父块 1024、子块 256 的设计逻辑是什么?
- 10
口语化 query 的改写/扩写/分解怎么做?如何避免重复生成?HyDE 具体怎么用?
- 11
口语化 query 的改写/扩写/分解怎么做?如何避免重复生成?HyDE 具体怎么用?
- 12
重排模型为什么选 BGE / bge-rank 这一路?有没有做过准确率对比测试?
- 13
TOP K 截断依据是什么?相关性分数和上下文长度怎么权衡?低分文档怎么处理?
- 14
上下文太长怎么压?预设文档数限制和模型压缩分别怎么做?压缩模型为什么强调 encoder-decoder、强理解能力?
- 15
RAG 提升到底是多少?HIT@5、MRR@5、Recall[@20](/users/9833585) 各提升多少?5076 条自合成样本会不会影响可信度?
- 16
RAG 提升到底是多少?HIT@5、MRR@5、Recall[@20](/users/9833585) 各提升多少?5076 条自合成样本会不会影响可信度?
- 17
为什么不用传统 token-based / BPE 模型?字节流相比 BPE 解决了什么?
- 18
高分样本怎么筛?评价指标为什么是 blur 和 chrF1 的几何平均?
- 19
伪标签噪声怎么控制?冠军方案用 10 个模型集成、110 个答案筛最优,你们有没有类似验证?模型集成和伪标签自蒸馏的验证边界是什么?
- 20
分数从 30 到 32,有没有做消融实验?提升来自随机掩码、双向互译还是随机编码?
- 21
为什么随机编码对效果重要?
- 22
SFT 数据量怎么判断?风格对齐、高难度任务分别要多少数据?“数据质量比数量重要”怎么落地?
- 23
怎么判断过拟合?看测试集 loss 还是任务指标?任务指标停滞/下降说明什么?
- 24
全参数微调和 LoRA 怎么选?全参数适合什么场景,代价是什么?
- 25
为什么从地理信息/智慧城市转向 AI?
- 26
目前有没有其他 offer 流程?是否只有个人项目、缺业务实习?
- 27
目前有没有其他 offer 流程?是否只有个人项目、缺业务实习?
- 28
对小红书场景怎么看?购物领域为什么适合接入大模型?端侧模型能怎么切入?
- 29
端侧模型核心价值除了降本,还有什么?隐私和低延迟分别对应什么场景?
- 30
为什么关注苹果 Foundation Models、阿里 MNN 这类端侧框架?你评价的“60 多分”具体指什么指标?
