大模型计算中的流水线并行和张量并行如何工作?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

6 篇

阿里巴巴

后端开发 / Agent 开发
秋招二面
查看原面经 →
张量并行和流水线并行有什么区别?

腾讯混元

AI Infra
一面
查看原面经 →
流水线并行对模型的切分思路,为什么落地实现难度很高?

快手

AI Infra 算法工程师
二面
查看原面经 →
请简述流水线并行(PP)的实现逻辑、核心作用与存在的短板

百度

AI Infra 工程师
秋招一面
查看原面经 →
大模型里的大矩阵乘比如流水线并行或张量并行你了解吗

英伟达

Deep Learning Performance Architect
一面
查看原面经 →
dp/tp
展开剩余 1 篇面经

寒武纪

AI Infra 实习生
日常实习一面
查看原面经 →
tp,tp通信原语

收录题集

4 个来源,共5 份题集

相关题目

4 题