FSDP 与 ZeRO 各阶段的训练状态分片有什么对应关系？
Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~
问 AI
本题目录
相关面经
1 篇
蚂蚁集团
AI Agent 算法实习生实习二面
既然提到 FSDP 和 DeepSpeed ZeRO 的区别，FSDP 实现了 ZeRO 的哪几个阶段？ZeRO-1, 2 还是 3？
Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~
既然提到 FSDP 和 DeepSpeed ZeRO 的区别，FSDP 实现了 ZeRO 的哪几个阶段？ZeRO-1, 2 还是 3？