Prefill 和 Decode 阶段分别有哪些推理优化方法,如何选择?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

4 篇

OPPO

面经合集
查看原面经 →
推理阶段逐层计算访存开销高,有哪些对应的优化手段?

京东

AI Infra
校招春招一面
查看原面经 →
讲一下大模型推理优化有些方法? ——(这个问的很宽泛,可以从各方面回答)

公司未注明

面经合集
查看原面经 →
Prefill和Decode阶段各有什么优化技术?

快手

大模型算法
实习二面
查看原面经 →
除了 LoRA ,还了解哪些可以进行训练推理优化的技术

相关题目

4 题