量化推理运行时如何设计权重表示、算子接口与正确性验证？

知识专题：模型服务、部署与交付题目类型：方案设计技术难度：深入

题集来源：1 个

未标记

Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~

问 AI

Kimi 千问 ChatGPT

本题目录

收录题集

1 个来源，共1 份题集

AI系统与训练推理工程

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 【量化推理实现】展开讲自己做的量化推理runtime：做了哪些改动、量化落在哪部分、精度掉了多少、用什么数据集测的；Linear层怎么改、数据结构怎么设计、内存布局怎么处理、正确性怎么验证？「蚂蚁集团、阿里巴巴」