Decoder-only 的 KV Cache 为什么缓存 K、V 而通常不缓存 Q?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

2 篇

百度

面经合集
查看原面经 →
是否了解 KV Cache,为什么只缓存 K、V 而不缓存 Q?

百度

大模型算法工程师
一面
查看原面经 →
为什么 Decoder-only 模型的 KV Cache 缓存 K 和 V,而通常不缓存 Q?

收录题集

2 个来源,共2 份题集

预训练与架构

阿东玩 AI · AgentGuide · 2 条原题

查看题集 →

八股集锦(高频问题)

小熊饼干_ · 个人整理 · 1 条原题

查看题集 →

相关题目

4 题