如何用 Roofline 模型估算 70B 模型在单张 H100 上、批量为 1 时的解码吞吐?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

收录题集

1 个来源,共1 份题集

AI 基础设施

AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题

查看题集 →

相关题目

4 题