有哪些大模型推理加速技术？

核心回答

大模型推理加速可以从模型、算子、显存和服务调度四层入手：量化、蒸馏或剪枝减少模型成本；FlashAttention、融合算子等减少访存与启动开销；KV Cache、分页管理和前缀复用避免重复计算并提高缓存利用率；连续批处理、并行与合理路由改善服务吞吐。具体选哪种，要先分清瓶颈和目标，不能把“省显存”“首字快”“总吞吐高”当成同一指标。

先区分两个推理阶段

Prefill一次处理输入并建立KV缓存。长输入时，注意力计算、算子效率和队列等待会影响首token延迟TTFT。可以评估FlashAttention、前缀缓存、输入压缩和分块Prefill；分块主要缓解长输入阻塞其他请求，也可能改变单请求延迟。

Decode依赖已生成前缀，逐步产生新token。KV缓存避免每步重新计算历史K/V，但每步仍需读取权重和历史缓存；小批量时常受带宽限制。低比特权重、适当批量、KV优化和推测解码更值得评估。推测解码让小模型提案、大模型并行验证，收益受接受率、提案开销和负载影响。

各类技术解决什么

• 量化、蒸馏、剪枝：量化降低权重或激活位宽；蒸馏训练更小模型；剪枝移除权重或结构。必须检查质量和内核支持，稀疏权重没有配套执行实现时不一定更快。
• FlashAttention与算子融合：减少中间结果落入显存及多次启动，标准FlashAttention保持精确注意力语义，并不把一般全注意力的计算复杂度变成线性。
• KV与内存管理：分页分配减少碎片，前缀缓存复用相同前缀；GQA/MQA从模型结构减少KV头数，需要模型本身支持，不是任意模型可随意切换的运行参数。
• 连续批处理：生成完成的请求退出，新请求按调度预算进入，减少短请求等待长请求的浪费。并发增大也会增加排队和缓存压力。
• 并行与副本：张量、流水线等方式使模型适配多卡，数据并行副本承载更多请求；通信与分片开销可能使小负载的单请求更慢。

怎样证明优化有效

固定模型、输入输出长度、采样、并发和质量门槛，分别测TTFT、每输出token耗时或token间隔、端到端P50/P95、吞吐、峰值显存和每个成功任务成本。预热后区分冷缓存与热缓存，统计超时和失败。

例如瓶颈是长提示的首字等待，可以先验证前缀命中和Prefill调度；如果输出很长且逐token慢，则优先看Decode带宽、批量与量化内核。流式输出能让用户提前看到内容，但本身不会减少模型总计算量。

对应教程

参考资料