部署超大模型需要多机多卡时,除了单卡规格,还需关注哪些互联指标?
Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~
问 AI
本题目录
相关面经
1 篇字节跳动
后端工程师(AI Infra)校招秋招一面
除了这些硬件 spec 之外,还有哪些比较关键?比如部署 2.6T 级别的大模型需要多张卡或多台机器,这种情况下还有哪些 spec 需要关心?
Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~
除了这些硬件 spec 之外,还有哪些比较关键?比如部署 2.6T 级别的大模型需要多张卡或多台机器,这种情况下还有哪些 spec 需要关心?