为什么选择 Megatron 而非 PyTorch FSDP,训练框架怎样选型?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

1 篇

蚂蚁集团

AI Agent 算法实习生
实习二面
查看原面经 →
你刚才提到了 Megatron,你们试过 PyTorch 原生的 FSDP 吗?
追问
既然试过 FSDP,为什么最终还是选用了 Megatron?,你们当时的选型考量是什么?

相关题目

4 题