MoE 专家是在 Batch 维度还是 Token 维度激活,如何判断?
Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~
问 AI
本题目录
相关面经
1 篇美团
大模型算法实习生实习暑期二面
了解过moe吗,原理是什么,讲讲如何做负载均衡的。moe是bacth维度还是token维度还是什么维度的激活?
Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~
了解过moe吗,原理是什么,讲讲如何做负载均衡的。moe是bacth维度还是token维度还是什么维度的激活?