公司未注明
AI Infra面经
完整信息
本篇目录
给我面没招了，感觉自己好菜、面试很难，还是要多多练习，感觉自己说不明白业务逻辑
1.说一下vllm里schedule的过程；
2.说一下vllm请求被抢占后续会怎么样；
3.说一下投机采样推理时草稿模型和主模型交互流程，vllm和sglang中的实现有什么区别；
4.说一下gptq量化、smooth quant原理；
5.介绍一下DeepSeek V3 eplb推理；
6.mla在prefill和decode时的计算复杂度区别，听说过mla矩阵吸收优化吗；
7.dsv3.2有什么创新点；
8.sglang里多模态如果开了tp，vit的image embedding在多个进程里是怎么高效复用的
本篇目录
当前问题0108
- 01
说一下vllm里schedule的过程；
- 02
说一下vllm请求被抢占后续会怎么样；
- 03
说一下投机采样推理时草稿模型和主模型交互流程，vllm和sglang中的实现有什么区别；
- 04
说一下gptq量化、smooth quant原理；
- 05
介绍一下DeepSeek V3 eplb推理；
- 06
mla在prefill和decode时的计算复杂度区别，听说过mla矩阵吸收优化吗；
- 07
dsv3.2有什么创新点；
- 08
sglang里多模态如果开了tp，vit的image embedding在多个进程里是怎么高效复用的