GPU 有限时，如何调度共存的推理与微调任务以保障时延和吞吐？

知识专题：模型服务、部署与交付题目类型：系统设计技术难度：深入

题集来源：1 个

未标记

Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~

问 AI

Kimi 千问 ChatGPT

本题目录

收录题集

1 个来源，共1 份题集

Agent 核心面试题

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 如果你要在 GPU 资源有限的条件下同时提供推理和微调服务，如何做资源分配和任务调度以保证时延和吞吐？