返回全部题目← 上一题28 / 103下一题 →题库/模型基础与推理/Q-4168模型量化如何实施，为什么选择 GPTQ、QAT 或 W8A16？知识专题：推理优化与模型压缩题目类型：比较选型技术难度：深入相关面经：1 篇题集来源：4 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录相关面经收录题集相关题目相关面经1 篇蚂蚁集团2026-09-23面经合集查看原面经 →模型量化如何做的。gptq，qat等等，并说明为什么选择了w8a16的量化?收录题集4 个来源，共13 份题集LLMOps 与生产应用AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →Explain post-training quantization (PTQ) vs quantization-aware training (QAT). What breaks when you push weights to 2-4 bits?训练、数据与模型优化：从数据清洗到 LoRAOnefly · zero2Agent · 2 条原题查看题集 →训练后量化的完整流程是什么？粒度、校准方法和离群值如何共同影响精度？GPTQ、AWQ、SmoothQuant 与 AdaQuant 的核心思路有什么不同？公司案例问答汇编阿东玩 AI · AgentGuide · 1 条原题查看题集 →项目:常见的量化方式有哪些,AI Infra 面试指南阿东玩 AI · AgentGuide · 1 条原题查看题集 →量化怎样影响吞吐、显存和质量？LLM推理系统问答阿东玩 AI · AgentGuide · 4 条原题查看题集 →原文作者Lamhot Siagian / AI Engineering Insider You need to deploy a 70B LLM on 2 A100 80GB GPUs. What quantization strategy would you choose and why?Explain the difference between weight-only quantization and weight-and-activation quantization. When does each apply?How does SmoothQuant address the activation outlier problem? What are its limitations?展开其余 1 条原题Explain KV cache quantization. Can you quantize the KV cache more aggressively than model weights? Why or why not?展开剩余 8 份题集后训练章节追问阿东玩 AI · AgentGuide · 1 条原题查看题集 →量化后推理速度一定更快吗？AI系统与训练推理工程阿东玩 AI · AgentGuide · 14 条原题查看题集 →【动态量化与静态量化】动态量化与静态量化。 「百度」量化技术概览压缩量化方法有哪些？量化的优点有哪些？权重量化、激活值量化、KV cache量化都有什么好处？大模型推理中的量化技术了解吗？大模型量化的特点。有考虑过量化？大模型的量化？【量化策略选择】量化策略的选择。 「百度」展开其余 11 条原题【量化训练】只做了SFT，没做后续训练是吧，最后有对模型做量化吗？ 「腾讯混元」【量化部署】量化部署：对模型量化部署有了解吗？是否应用过量化或动态批处理等技术？ 「京东、腾讯混元」【KVCache量化】如何进行KVCache的INT8量化？ 「字节跳动」【PTQ与QAT对比】后量化(Post-Training Quantization)与量化感知训练(Quantization-Aware Training)的区别？ 「百度」【激活值量化】W4A16、W8A8等量化方案中，激活值（Activation）如何量化？请结合Weight-only量化（如W8A16）说明激活值的处理方法。 「字节跳动、阿里通义」量化实践不同模型在本地部署和量化时会不会有明显差异？去除了什么冗余权重，int8量化Embedding？如果给你一个还没有量化的模型，要怎么推进量化？【量化策略选择】为什么权重和激活在很多场景下会采用不一样的精度策略？在量化方案选择（如INT8、INT4、GPTQ、AWQ）时，你根据什么标准选？ 「百度、阿里巴巴」量化算法对比常见的量化方式有哪些，并解释不同量化方式的权衡？【SmoothQuant】SmoothQuant的核心思想是什么？它如何通过解决激活值难量化的问题来确保INT8 LLM的精度正确？ 「京东、字节跳动、腾讯」【模型压缩部署】多模态模型在移动端部署时，常见的量化(Quantization)和剪枝策略有哪些？ 「腾讯」【量化算法对比】比较GPTQ、AWQ、TurboQuant等量化算法的核心区别、适用场景及数学/工程技巧。另问：W8A8、FP8、AWQ/W4A16这些方案到底差在哪？ 「百度、腾讯、阿里巴巴」深度学习基础汇编阿东玩 AI · AgentGuide · 1 条原题查看题集 →【Attention理解与量化】attention本身怎么理解、为什么attention往往比权重更难量化。 「蚂蚁集团」腾讯问答汇编Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →了解哪些量化技术模型压缩知识点Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →模型量化有哪些主流的方法？模型部署精华 · 推理部署综述Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →PTQ和QAT有什么区别？（进阶）权重量化、激活量化和KV Cache量化分别解决什么问题？模型部署精华 · 大模型部署技术Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →PTQ和QAT有什么区别？各自适用于什么场景？（进阶）KV Cache量化和权重量化有什么不同？为什么要单独量化KV Cache？深度网络架构Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →工业界中，Transformer模型的量化、剪枝优化思路是什么？能带来什么收益？相关题目4 题0274Decoder-only 的 KV Cache 为什么缓存 K、V 而通常不缓存 Q？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0277FlashAttention 为什么能节省显存并提速，是否改变注意力结果？同一知识专题题目类型：原理机制技术难度：进阶相关面经：4 篇0502有哪些大模型推理加速技术？同一知识专题题目类型：方案设计技术难度：进阶相关面经：6 篇0503模型剪枝、GPTQ 与 AWQ 量化方法。同一知识专题题目类型：比较选型技术难度：进阶相关面经：5 篇♥♥♥♥♥← 上一题已到最后一题← 上一题KV Cache 还有哪些常见优化技巧？下一题 →长上下文推理中如何缓解 KV Cache 的内存碎片问题？
