阿里巴巴
AI Agent应用研发面经
完整信息
本篇目录
1.RAG Agent 项目深挖
介绍一下这个项目整体架构
你说的"结构感知切块"是什么？具体怎么切的？
支持哪些文档格式？
markdown/pdf 里的表格怎么处理？怎么判断一个块是表格？
追问：表格超过 chunk size了怎么办？
markdown/pdf 里的图片怎么处理？
图片和文本为什么不用同一个 embedding？
连环追问：那我用文本搜图片怎么搜到？你这样文本索引和图片索引是分开的吧？为什么不能文本图片共用一个 embedding？业内是怎么实现"文本搜图片"的（比如手机相册）？
CLIP/VLM 出来之前业内怎么做的？
OCR 提取出来的文本怎么处理？要不要向量化入库？会被搜索吗？
原始文本和向量存在什么库里？怎么实现的？
这个库能支撑多大数据量？如果线上服务要支撑百万千万级怎么办？
ANN 的原理是什么？
追问：为什么说 ANN 牺牲精度？
你用的库能直接做"文本+向量"混合搜索吗？混合召回具体怎么做的？
连环追问：数据库既然两种都能存，为什么不能一个条件直接融合搜出来，还要你自己做 RRF 融合？BM25 检索具体怎么实现的？是全量取出来一个个匹配吗？
召回文档片段之后，怎么完成最终问答？
记忆模块怎么做的？
记忆怎么提取/读取的？具体链路说一遍
记忆存的内容是什么？举个例子
你凭什么说这个比一般 RAG 好？长期记忆对 RAG 起了什么作用？
连环追问：这些用户偏好要对 RAG 有作用才行，作用体现在哪？举例子？
支持视频吗？视频怎么处理的？
记忆提取的提示词怎么写的？筛选记忆的标准是什么？
2.情感分析项目
这个项目做了什么？简单说一下
三分类具体分什么类？
输入只有评论文本吗？星级给不给模型？
用了什么模型？
微调怎么做的？
模型输出是什么？
3.手撕
对接口函数handLe（）做限流，要求外部使用者无论怎样调用，qps严格不超过1000（超出话函数返回错误）
本篇目录
当前问题0131
- 01
介绍一下这个项目整体架构
- 02
你说的"结构感知切块"是什么？具体怎么切的？
- 03
支持哪些文档格式？
- 04
markdown/pdf 里的表格怎么处理？怎么判断一个块是表格？
- 05
追问：表格超过 chunk size了怎么办？
- 06
markdown/pdf 里的图片怎么处理？
- 07
图片和文本为什么不用同一个 embedding？
- 08
连环追问：那我用文本搜图片怎么搜到？你这样文本索引和图片索引是分开的吧？为什么不能文本图片共用一个 embedding？业内是怎么实现"文本搜图片"的（比如手机相册）？
- 09
CLIP/VLM 出来之前业内怎么做的？
- 10
OCR 提取出来的文本怎么处理？要不要向量化入库？会被搜索吗？
- 11
原始文本和向量存在什么库里？怎么实现的？
- 12
这个库能支撑多大数据量？如果线上服务要支撑百万千万级怎么办？
- 13
ANN 的原理是什么？
- 14
追问：为什么说 ANN 牺牲精度？
- 15
你用的库能直接做"文本+向量"混合搜索吗？混合召回具体怎么做的？
- 16
连环追问：数据库既然两种都能存，为什么不能一个条件直接融合搜出来，还要你自己做 RRF 融合？BM25 检索具体怎么实现的？是全量取出来一个个匹配吗？
- 17
召回文档片段之后，怎么完成最终问答？
- 18
记忆模块怎么做的？
- 19
记忆怎么提取/读取的？具体链路说一遍
- 20
记忆存的内容是什么？举个例子
- 21
你凭什么说这个比一般 RAG 好？长期记忆对 RAG 起了什么作用？
- 22
连环追问：这些用户偏好要对 RAG 有作用才行，作用体现在哪？举例子？
- 23
支持视频吗？视频怎么处理的？
- 24
记忆提取的提示词怎么写的？筛选记忆的标准是什么？
- 25
这个项目做了什么？简单说一下
- 26
三分类具体分什么类？
- 27
输入只有评论文本吗？星级给不给模型？
- 28
用了什么模型？
- 29
微调怎么做的？
- 30
模型输出是什么？
- 31
对接口函数handLe（）做限流，要求外部使用者无论怎样调用，qps严格不超过1000（超出话函数返回错误）