模型架构与工作原理

题集来源:Rocky Ding(WeThinkIn)收录项目:AIGC-Interview-Book查看原题集 反馈(在 GitHub 新标签页打开)

题目目录

28 道原题
  1. 分词器 (Tokenizer)、词元(Token)、词元编号(Token ID)和词表(Vocabulary)是什么关系?

    原题
  2. 字节对编码(BPE)、词片(WordPiece)、一元文法(Unigram)分词算法有什么区别?

    原题
  3. 词表大小、分词粒度和多语言能力如何相互影响?

    原题
  4. 词元嵌入(Token Embedding)、上下文化表示和句向量有什么区别?

    原题
  5. 位置编码为什么不可缺少?绝对位置编码、旋转位置编码(RoPE)和 线性偏置注意力(ALiBi)有什么区别?

    原题
  6. 一批文本进入变换器架构(Transformer)前,张量形状如何变化?

    原题
  7. 仅编码器(Encoder-only)、编码器-解码器(Encoder-Decoder)和 仅解码器(Decoder-only)的本质区别是什么?

    原题
  8. 为什么 Decoder-only 成为通用生成式大模型的主流架构?

    原题
  9. 一个 Decoder-only 模型的完整前向过程是什么?

    原题
  10. 大语言模型怎么使用注意力机制?

    原题