模型基础与推理

本分类共 8 个专题 · 1155 道题

已筛选

共 1155 道题

排序:

3618
vLLM 的 PagedAttention 如何工作?
模型基础与推理推理优化与模型压缩
原理机制
进阶
3646
Attention 的 Q、K、V 如何由输入变换得到?
模型基础与推理Transformer 与注意力
原理机制
基础
3647
Attention 为什么除以根号 d_k,不这样缩放还有什么替代方案?
模型基础与推理Transformer 与注意力
原理机制
进阶
4583
模型量化如何影响推理速度与内存占用?
模型基础与推理推理优化与模型压缩
原理机制
进阶
4606
什么是上下文窗口,它如何约束提示设计与模型效果?
模型基础与推理推理与解码
概念解释
基础
4803
MoE 混合专家模型如何组织路由与专家计算?
模型基础与推理模型架构与表示
原理机制
进阶
1267
是否亲自部署过大模型?
模型基础与推理模型选型与能力边界
经历介绍已有答案
—
2836
模型量化为什么能够发挥作用?
模型基础与推理推理优化与模型压缩
原理机制
进阶
2952
残差连接解决什么问题,如何理解其作用?
模型基础与推理模型架构与表示
原理机制已有答案
进阶
3365
MLA 的原理是什么?
模型基础与推理模型架构与表示
原理机制
进阶