多租户模型服务如何按需加载并快速切换大量 LoRA 适配器？

知识专题：模型服务、部署与交付题目类型：系统设计技术难度：深入

题集来源：1 个

未标记

Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~

问 AI

Kimi 千问 ChatGPT

本题目录

收录题集

1 个来源，共1 份题集

AI系统与训练推理工程

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 【LoRA权重快速切换】假设要在腾讯云上提供一个支持企业用户高度自定义微调(如LoRA)的多模态API集群服务，如何设计底层的模型加载架构，以支持数万个不同客户的LoRA权重实现毫秒级快速切换，且不会造成服务器显存瓶颈？「腾讯」