文档被切分为多少块?
未标记
考查重点:切片规模与统计口径。报当前有效去重片段数,并关联文档数、切分长度分布与版本;片段数、向量点数和召回数分别统计
本题目录
参考答案
核心回答
项目里的分块数量应以当前有效版本、去重后的可检索片段数为准,再说明原始文档数、切分策略和长度分布。文档数、片段ID数、向量点数和召回条数不是同一个指标;多表示、历史版本或副本都会让它们不同。
回答时可以按“多少份文档、经过怎样解析与切分、生成多少有效片段、哪些类型特别大”组织,具体数字来自处理记录与索引核对,不用凭平均每篇几块猜一个总数。
数量怎样产生
它取决于有效文本量、段落和标题结构、chunk预算、overlap、表格代码处理、父子层级及去重规则。相同文件大小的PDF,可能是扫描图、长表格或纯文字,不能直接按字节推算片段数。
例如一段1000 token文本,窗口400、重叠100,采用末块覆盖尾部的固定窗口切法,可得到[0,400)、[300,700)、[600,1000)三个片段。这里是限定算法的算例;真实递归或结构化切分会按边界调整,不应据此声称每1000 token固定产生三块。
统计口径怎样落地
处理清单记录doc_id、文档版本、解析与切分版本、成功/失败、chunk_id和长度,按有效版本汇总片段数、每篇分布、空块及异常大块。再与向量或全文索引中实际可查询的唯一ID核对,发现重复写、漏写和删除残留。
父子索引要区分可召回子块与用于补上下文的父块;同一片段产生稠密、稀疏或多向量表示时,记录对应关系,不把多个向量点都算作独立正文。副本属于部署容量,不增加知识片段数。
面试为什么继续追问规模
规模会影响Embedding计算、索引构建、存储、更新与检索预算。裸向量容量可按点数×维度×元素字节估计,但还需图连接、元数据、副本和运行开销。数量增加也可能只是overlap过高或重复内容变多,不能据此证明知识覆盖提高。
常见追问
最终回答会用全部片段吗? 不会。索引规模是知识库总量,每次检索只取有限候选,再重排和按上下文预算选择;两者应分开说明。
参考资料
- 国内:JavaGuide:RAG文档处理与切分:结构化切分与重叠的讨论说明片段数受正文结构和预算影响,不能只按文件大小估计。
- 国内:RAG优化:候选、重排与上下文:候选去重与上下文预算说明知识库总片段数、召回候选和生成证据是不同数量。
- 国内:阿里云:文档切片:文档切片参数和结果说明切分配置怎样改变片段及其位置,需要记录配置版本。
- 国外:Docling:Chunking:依据结构元素到分块的关系,说明正文中文件格式、标题、表格与正文会产生不同片段数量的原因。
- 国外:Unstructured:Chunking:按元素组合与超长元素处理说明结构化切分不等同固定步长窗口,也帮助检查异常大块。

