文档被切分为多少块?

考查重点:切片规模与统计口径。报当前有效去重片段数,并关联文档数、切分长度分布与版本;片段数、向量点数和召回数分别统计

本题目录

参考答案

核心回答

项目里的分块数量应以当前有效版本、去重后的可检索片段数为准,再说明原始文档数、切分策略和长度分布。文档数、片段ID数、向量点数和召回条数不是同一个指标;多表示、历史版本或副本都会让它们不同。

回答时可以按“多少份文档、经过怎样解析与切分、生成多少有效片段、哪些类型特别大”组织,具体数字来自处理记录与索引核对,不用凭平均每篇几块猜一个总数。

数量怎样产生

它取决于有效文本量、段落和标题结构、chunk预算、overlap、表格代码处理、父子层级及去重规则。相同文件大小的PDF,可能是扫描图、长表格或纯文字,不能直接按字节推算片段数。

例如一段1000 token文本,窗口400、重叠100,采用末块覆盖尾部的固定窗口切法,可得到[0,400)、[300,700)、[600,1000)三个片段。这里是限定算法的算例;真实递归或结构化切分会按边界调整,不应据此声称每1000 token固定产生三块。

统计口径怎样落地

处理清单记录doc_id、文档版本、解析与切分版本、成功/失败、chunk_id和长度,按有效版本汇总片段数、每篇分布、空块及异常大块。再与向量或全文索引中实际可查询的唯一ID核对,发现重复写、漏写和删除残留。

父子索引要区分可召回子块与用于补上下文的父块;同一片段产生稠密、稀疏或多向量表示时,记录对应关系,不把多个向量点都算作独立正文。副本属于部署容量,不增加知识片段数。

面试为什么继续追问规模

规模会影响Embedding计算、索引构建、存储、更新与检索预算。裸向量容量可按点数×维度×元素字节估计,但还需图连接、元数据、副本和运行开销。数量增加也可能只是overlap过高或重复内容变多,不能据此证明知识覆盖提高。

常见追问

最终回答会用全部片段吗? 不会。索引规模是知识库总量,每次检索只取有限候选,再重排和按上下文预算选择;两者应分开说明。

参考资料

  • 国内:JavaGuide:RAG文档处理与切分:结构化切分与重叠的讨论说明片段数受正文结构和预算影响,不能只按文件大小估计。
  • 国内:RAG优化:候选、重排与上下文:候选去重与上下文预算说明知识库总片段数、召回候选和生成证据是不同数量。
  • 国内:阿里云:文档切片:文档切片参数和结果说明切分配置怎样改变片段及其位置,需要记录配置版本。
  • 国外:Docling:Chunking:依据结构元素到分块的关系,说明正文中文件格式、标题、表格与正文会产生不同片段数量的原因。
  • 国外:Unstructured:Chunking:按元素组合与超长元素处理说明结构化切分不等同固定步长窗口,也帮助检查异常大块。

相关面经

2 篇

联影

Agent 开发工程师
一面
查看原面经 →
文档分块数量大概有多少?

蚂蚁集团

Agent 开发工程师(金融)
暑期
查看原面经 →
文档chunk完有多少id

相关题目

4 题