返回全部题目← 上一题7 / 126下一题 →题库/模型训练与对齐/Q-0170ZeRO-1、ZeRO-2 和 ZeRO-3 有何区别？知识专题：分布式训练与计算硬件题目类型：比较选型技术难度：进阶相关面经：5 篇题集来源：3 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录相关面经收录题集相关题目相关面经5 篇百度多模态大模型2026-10-22一面查看原面经 →deepspeed的三个阶段滴滴AI Infra 算法岗2026-10-01一面、二面查看原面经 →DeepSpeed Zero2/Zero3 的通信开销来源、显存降幅分别是多少？商汤大模型应用算法工程师2026-07-18实习一面、二面查看原面经 →有没有做过分布式训练，常见模型并行方式有哪些，ZeRO-1/2/3 区别。腾讯大模型算法工程师2026-05-18暑期查看原面经 →讲一下 ZeRO-1、ZeRO-2、ZeRO-3腾讯大模型算法工程师2026-05-05暑期实习一面查看原面经 →讲一下 ZeRO-1、ZeRO-2、ZeRO-3收录题集3 个来源，共7 份题集AI Infra：训练、推理与 GPU 平台工程Onefly · zero2Agent · 1 条原题查看题集 →DeepSpeed ZeRO 的三个阶段分别做什么？AI系统与训练推理工程阿东玩 AI · AgentGuide · 6 条原题查看题集 →【FSDP与ZeRO】FSDP实现了ZeRO哪几个阶段？FSDP介绍？讲一下ZeRO。 「腾讯、蚂蚁集团、阿里巴巴」【ZeRO三个阶段】论文用DeepSpeed，三个Stage(ZeRO-1/2/3)分别是什么？ 「字节跳动」【ZeRO优化器阶段】DeepSpeed ZeRO的三个阶段（ZeRO-1、ZeRO-2、ZeRO-3）分别是什么？请说明各阶段的显存优化原理、通信开销，并分析在单机8卡和双机16卡场景下，每张卡上分配的参数量是否相同及原因。 「京东、字节Seed、百度、美团、腾讯、腾讯混元、阿里巴巴、阿里通义」展开其余 3 条原题ZeRO优化技术： 「京东、字节跳动、腾讯、腾讯混元、蚂蚁集团、阿里巴巴、阿里通义」ZeRO-1、ZeRO-2、ZeRO-3三种优化模式的核心区别是什么？分别切分什么参数？如何减少内存占用？在显存有限时选择哪个方案？ZeRO-2和ZeRO-3分别做了哪些优化？它们是什么并行策略方式？其余 2 条问法ZeRO机制中Stage1/2/3分别优化什么参数？ZeRO阶段有哪些？介绍DeepSpeed原理及使用，包括ZeRO-1、ZeRO-2和ZeRO-3的区别，以及何时使用FSDP更好？ZeRO优化策略描述DeepSpeed的ZeRO优化策略，各阶段的区别？ZeRO-1、ZeRO-2、ZeRO-3分别优化了什么？怎么设置zero-stage的？【并行策略与算法】解释数据并行(DDP)、张量并行(TP)、流水线并行(PP)和序列并行(SP)的区别及应用场景。讲讲并行训练的一些算法，数据并行、流水线并行、张量并行，ZeRO算法等。（追问）显卡使用分布和并行处理是怎样的？除了3D并行有没有其他方式大规模训练？额外加哪些并行训练？ 「字节Seed、字节跳动、腾讯、腾讯混元」大模型基础面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →DeepSpeed中ZeRO系列的原理理论基础面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →DeepSpeed ZeRO Stage 1-3的区别是什么？什么时候用FSDP会更好？百度高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →deepspeed的三个阶段展开剩余 2 份题集腾讯问答汇编Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →讲一下 ZeRO-1、ZeRO-2、ZeRO-3边云端部署知识点Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →什么是ZeRO？相关题目4 题0030DCU 与 GPU 有什么区别？同一知识专题题目类型：比较选型技术难度：进阶相关面经：4 篇0031SIMT 有什么特点，遇到分支会发生什么？同一知识专题题目类型：原理机制技术难度：进阶相关面经：3 篇0032GPU 的存储层次和计算单元如何组织？同一知识专题题目类型：原理机制技术难度：进阶相关面经：6 篇0033DCU 如何把数据传入寄存器，并在芯片上共享？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇♥♥♥♥♥← 上一题已到最后一题← 上一题大模型计算中的流水线并行和张量并行如何工作？下一题 →轨迹模型训练使用多少计算资源？
