模型基础与推理

本分类共 8 个专题 · 1155 道题

已筛选

共 1155 道题

排序:

4684
vLLM 通过哪些机制提高大模型推理效率?
模型基础与推理推理优化与模型压缩
原理机制
进阶
4685
模型量化后理解能力下降,应如何定位并补偿精度损失?
模型基础与推理推理优化与模型压缩
故障排查
进阶
4687
Transformer 为什么通常使用 LayerNorm 而不是 BatchNorm?
模型基础与推理Transformer 与注意力
比较选型
进阶
4694
SwiGLU 的门控前馈结构如何工作?
模型基础与推理模型架构与表示
原理机制
进阶
4711
BERT 的整体结构是什么,如何形成双向上下文表示?
模型基础与推理模型架构与表示
原理机制
基础
4738
用 Python 从零实现 BPE 的训练与编码。
模型基础与推理Tokenizer 与位置编码
代码题
进阶
4796
大语言模型的上下文窗口为什么有限?
模型基础与推理推理优化与模型压缩
原理机制
进阶
4978
什么是 Chunked Prefill,它如何影响混合请求下的尾延迟?
模型基础与推理推理优化与模型压缩
原理机制
进阶
5208
Token Embedding、上下文化表示与句向量有什么区别?
模型基础与推理模型架构与表示
比较选型
基础
5235
CNN 的感受野是什么,如何计算和调整?
模型基础与推理多模态与生成模型
原理机制
进阶