返回全部题目← 上一题70 / 126下一题 →题库/AI 应用工程与治理/Q-5524如何设计兼顾吞吐、首 Token 延迟与租户公平性的推理调度器？知识专题：模型服务、部署与交付题目类型：系统设计技术难度：进阶相关面经：1 篇题集来源：2 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录相关面经收录题集相关题目相关面经1 篇滴滴AI Infra 算法岗2026-10-01一面、二面查看原面经 →流水线调度（Pipeline）具体做了哪些优化？还有什么优化空间？查看该问上下文 →流水线调度优化的动机、具体做法、解决的核心问题？查看该问上下文 →是否改过调度层逻辑？多用户不等长序列如何统一处理？查看该问上下文 →收录题集2 个来源，共3 份题集工程化踩坑：死循环、状态丢失与成本控制Onefly · zero2Agent · 1 条原题查看题集 →如何设计同时兼顾吞吐、首 Token 延迟和租户公平性的推理调度器？AI Infra 面试指南阿东玩 AI · AgentGuide · 1 条原题查看题集 →如何为长短请求混合的在线服务设计调度器？AI系统与训练推理工程阿东玩 AI · AgentGuide · 3 条原题查看题集 →【Prefill与Decode阶段】一个prefill和decode的配额控制策略，在负载高峰时给decode预留百分之三十的算力预算，P99延迟从三秒二降到八百毫秒。请解释该策略的原理和效果。 「阿里巴巴」【推理服务设计】模态感知负载均衡？ 「百度」【Router机制】router以什么方式存在？其启动方式及数据流到来时的具体处理流程（包括函数名）是什么？router的策略是什么？ 「字节Seed」相关题目4 题0079GUI Agent 或 Browser Use 在项目中如何部署？同一知识专题题目类型：项目深挖技术难度：深入相关面经：1 篇0107项目如何从本地部署到云端并完成上线？同一知识专题题目类型：系统设计技术难度：进阶相关面经：19 篇0285如何提升模型回答的性能？同一知识专题题目类型：方案设计技术难度：进阶相关面经：1 篇0448Redis、RabbitMQ 在 Windows 和 Linux 如何部署并验证配置加载？同一知识专题题目类型：操作实践技术难度：进阶相关面经：1 篇♥♥♥♥♥← 上一题已到最后一题← 上一题AgentOps、LLMOps 与 MLOps 的运维对象和职责有什么区别？下一题 →端侧大模型如何比较模型与运行环境的适用性？
