爱奇艺

2 篇面经21 道面试题

已筛选

共 21 道题

排序:

4978
什么是 Chunked Prefill,它如何影响混合请求下的尾延迟?
模型基础与推理推理优化与模型压缩
原理机制
进阶
2788
介绍论文背景、方法、创新点和输入输出。
项目与综合面试能力成长与学习方法
项目深挖
进阶
5606
CUDA Graph 如何降低推理提交开销,对形状和显存有什么要求?
模型基础与推理推理优化与模型压缩
原理机制
进阶
6522
Python 引用计数与循环垃圾回收如何协作,怎样定位对象未释放?
软件工程基础Python 与服务框架
原理机制
进阶
10563
线性层、Attention 和 FFN 如何实施张量并行,列并行与行并行怎样组合?
模型训练与对齐分布式训练与计算硬件
原理机制
进阶
14149
是否阅读过 DeepSpeed 或 Megatron 的源码,有哪些实现认识?
模型训练与对齐训练框架、调参与排障
经历介绍
—
14150
为什么量化在 Prefill 阶段可能变慢,应如何验证原因?
模型基础与推理推理优化与模型压缩
故障排查
进阶
14151
Python 常见容器的底层结构如何影响操作复杂度与内存使用?
软件工程基础Python 与服务框架
原理机制
进阶
14152
MoE 推理如何组合专家并行与数据并行进行部署?
模型基础与推理推理优化与模型压缩
方案设计
进阶
15968
MHA、MQA、GQA 与 MLA 如何影响 KV Cache 的存储开销?
模型基础与推理推理优化与模型压缩
比较选型
进阶

另有 1 篇多公司合集,可在面经记录中查看。