使用 FP8 时,KV Cache 的大小如何计算?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

1 篇

科大讯飞

AI Infra
校招
查看原面经 →
计算FP8的kvcache大小

相关题目

4 题