大模型推理中的 Prefix Cache 如何工作？
Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~
问 AI
本题目录
相关面经
5 篇厦门光辰智能、广州省心购科技
面经合集校招
最后是好像懂技术但实际只是背他自己的八股，在面试时聊到prompt cache追问如何给部署大模型的显卡kv cache具体做优化，在我答不上来之后就用埋怨的语气反复说我应该更关注大模型底层原理。（我面的是agent又不是ai infra，不应该关注如何去做prompt cache吗）
凌脉
AI应用开发实习生实习
什么是 KV Cache 或前缀缓存？它为什么能够降低重复计算成本？
寒武纪
AIGC 推理框架研发工程师校招春招一面、二面
prefix cache介绍
字节跳动
AI Infra 后端校招
了解prefix cache吗
公司未注明
AI Infra日常实习
vllm相关（pagedattention、连续批处理、v0/v1架构、chunked prefill、prifix caching等）