模型基础与推理

本分类共 8 个专题 · 1155 道题

已筛选

共 1155 道题

排序:

4108
如何提高大模型 Prefix/KV Cache 的命中率?
模型基础与推理推理优化与模型压缩
方案设计
进阶
4151
项目为什么选择阿里系大模型,如何完成模型选型?
模型基础与推理模型选型与能力边界
技术决策
进阶
4163
MLA 做权重吸收时可能遇到哪些问题,如何处理?
模型基础与推理推理优化与模型压缩
故障排查
深入
4345
长上下文推理中如何缓解 KV Cache 的内存碎片问题?
模型基础与推理推理优化与模型压缩
方案设计
进阶
4368
传统残差连接有什么局限,有哪些改进方向?
模型基础与推理模型架构与表示
原理机制
进阶
4369
模型参数量中的 B 是什么,如何根据业务选择参数规模?
模型基础与推理模型选型与能力边界
比较选型
进阶
4375
介绍实习中推理框架优化的背景、方案与收益。
模型基础与推理推理优化与模型压缩
项目深挖
进阶
4419
Attention 与 Self-Attention 有什么关系和区别?
模型基础与推理Transformer 与注意力
比较选型
进阶
4533
如何看待开源与闭源大模型生态的竞争、共存及未来演进?
模型基础与推理模型选型与能力边界
开放讨论
—
4534
如何理解 LLM 的世界模型或内在模拟能力,它对推理和规划有何意义?
模型基础与推理模型选型与能力边界
开放讨论
—