Sequence Packing 是什么,训练时怎样拼接样本并设置掩码?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

1 篇

字节跳动

大模型算法
实习一面
查看原面经 →
就是你刚才说的那个把那些序列拼接成8192的长度,是不是就是Sequence Packing 的做法

相关题目

4 题