手写 Self-Attention。
Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~
问 AI
本题目录
相关面经
1 篇三一树根
机器人强化学习算法实习
请手写一个简单的 Attention（注意力机制）代码/公式。
收录题集
展开剩余 3 份题集
编码题专题汇编
Transformer、Attention、MHA、手撕、NumPy、Mask、Self-Attention、Token Mixing、contiguous、Positional Encoding｜L4
- Attention机制包含哪些核心算子？请用PyTorch简单搭建一个Self-Attention模块的伪代码，并解释每个算子的作用。
- 手写自注意力，然后追问在Attention is all you need一文中，除了Q/K/V的注意力计算，还有一个关键步骤是什么？
其余 4 条问法
- 实现多头自注意力（Multi-Head Attention）机制的核心代码。；另一场次补充：手撕两道，第一道是自注意力机制，我直接写了mha，然后就不用写第二道了。
- 手写attention，解释scale为什么除以√dk而不是dk。
- 手撕selfattention(用矩阵乘法)。；另一场次补充：手撕multi-head attention。；另一场次补充：手撕multi-head attention；另一场次补充：手撕代码：self-attention；另一场次补充：手撕MHAtokenmixing；另一场次补充：Attention算子的实现。；另一场次补充：手撕多头注意力机制（MHA）。
- 手撕:多头注意力机制；另一场次补充：实现多头注意力机制；另一场次补充：手撕MHA和场景题；另一场次补充：实现多头自注意力。；另一场次补充：手撕自注意力机制；另一场次补充：实现多头自注意力；另一场次补充：手撕多头注意力。；另一场次补充：手撕：MHA。；另一场次补充：手撕MHA代码；另一场次补充：手撕多头注意力；另一场次补充：手撕是mha。；另一场次补充：手撕自注意力。；另一场次补充：手撕MHA。；另一场次补充：手撕MHA
大模型手写代码练习路线
深度学习基础汇编
Scaled Dot-Product Attention
Self-Attention实现