如何优化大模型在边缘设备与移动端的推理？

知识专题：模型服务、部署与交付题目类型：方案设计技术难度：进阶

题集来源：3 个

未标记

Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~

问 AI

Kimi 千问 ChatGPT

本题目录

收录题集

3 个来源，共6 份题集

AI 基础设施

AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题

查看题集 →

- How do you optimize inference for edge and mobile deployment?

公司案例问答汇编

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 有没有做过模型压缩?比如在车载端或低端设备上的推理加速?

LLM推理系统问答

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

原文作者: Lamhot Siagian / AI Engineering Insider

- You are asked to deploy a competitive language model on a smartphone with 6 GB RAM. What is your approach?

多模态与计算机视觉

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 【边缘设备BackBone选择】如果要在边缘计算设备上运行一个多模态分类模型，你会选择哪种BackBone？「腾讯」

模型部署基础概念

Rocky Ding · AIGC-Interview-Book · 1 条原题

查看题集 →

- AI模型在端侧部署时有哪些维度需要考虑？

展开剩余 1 份题集

边云端部署知识点

Rocky Ding · AIGC-Interview-Book · 2 条原题

查看题集 →