模型基础与推理

本分类共 8 个专题 · 1155 道题

已筛选

共 1155 道题

排序:

0508
位置编码的原理。
模型基础与推理Tokenizer 与位置编码
原理机制已有答案
进阶
0511
熟悉哪些大模型,它们的结构有何不同?
模型基础与推理模型架构与表示
比较选型已有答案
进阶
0575
手写 Multi-Head Attention。
模型基础与推理Transformer 与注意力
代码题已有答案
进阶
0502
有哪些大模型推理加速技术?
模型基础与推理推理优化与模型压缩
方案设计已有答案
进阶
2143
多模态 Agent 中视觉编码器的信息如何与语言模型连接和融合?
模型基础与推理多模态与生成模型
原理机制
进阶
2176
模型的 Prompt Cache 如何工作?
模型基础与推理推理优化与模型压缩
原理机制
进阶
3657
GQA 的原理是什么,如何在效果、速度和显存之间折中?
模型基础与推理Transformer 与注意力
原理机制已有答案
进阶
0277
FlashAttention 为什么能节省显存并提速,是否改变注意力结果?
模型基础与推理推理优化与模型压缩
原理机制已有答案
进阶
0346
模型、GPU 和参数规模如何选择,是否考虑更大参数模型加量化?
模型基础与推理模型选型与能力边界
比较选型已有答案
进阶
2965
为什么使用多头注意力而不换成单头?
模型基础与推理Transformer 与注意力
比较选型
基础