荣耀
AI Infra二面面经
完整信息
本篇目录
祝大家都能拿到满意的Offer！发面经攒攒人品
- 大模型推理瓶颈：LLM在NPU上的最大瓶颈在哪？
- Prefill vs Decoding的Matmul优化方法
- 分块策略：如何保证数据在缓存中的连续性？
- 昇腾NPU架构对Transformer友好吗？
- 场景题：一个量化后的大模型（如INT8/4）运行时内存占用大概多少
本篇目录
当前问题0105
- 01
大模型推理瓶颈：LLM在NPU上的最大瓶颈在哪？
- 02
Prefill vs Decoding的Matmul优化方法
- 03
分块策略：如何保证数据在缓存中的连续性？
- 04
昇腾NPU架构对Transformer友好吗？
- 05
一个量化后的大模型（如INT8/4）运行时内存占用大概多少