模型剪枝、GPTQ 与 AWQ 量化方法。

核心回答

剪枝减少参与计算的权重或模型结构；GPTQ和AWQ主要把已有权重压到低比特，两者都是常见的训练后权重量化方法。GPTQ利用校准输入和近似二阶信息，逐步量化并补偿尚未量化权重的误差；AWQ利用激活统计识别敏感通道，通过等价缩放减小量化后的输出误差。它们解决的问题不同，实际选型还要结合模型、校准数据、量化格式及目标设备内核。

剪枝如何影响速度

非结构化剪枝把分散权重置零，可能有较高稀疏率，但普通稠密矩阵乘仍会处理这些零，需稀疏存储和相应内核才能获得实际收益。

结构化剪枝移除通道、头、FFN维度或整层，使矩阵尺寸真正变小，更容易用普通硬件加速；但要保持维度、残差与模型结构一致，剪后通常需要恢复训练或蒸馏。不能只凭权重绝对值小就认定对输出无影响。

GPTQ：量化后补偿误差

对线性层写成Y=WX，用少量代表性输入X寻找低比特权重，使重建误差尽量小：

min ||WX - W_quant X||²

算法利用输入对应的二阶信息，量化一部分权重后，调整同一输出行内尚未量化的权重，尽量补偿输出误差。原论文通过统一列处理顺序、分块延迟更新及Cholesky形式改善效率和数值稳定性。这里W的列对应输入维度，不能把列统一叫输出通道；补偿也不是保证误差为零。

AWQ：量化前做激活感知缩放

只看权重大小不够，因为同样的权重误差乘上不同激活，输出误差不同。AWQ根据校准激活寻找重要通道，并搜索缩放，保护敏感部分。列向量记法下：

WX = (WS)(S⁻¹X)，S是输入通道的可逆对角缩放矩阵
量化后近似为 Q(WS)(S⁻¹X)

缩放前是数学等价，量化后则希望近似误差更小。实际实现可将缩放合并到相邻运算中。论文先用保留少量高精度权重解释敏感性，最终AWQ重点是缩放方案，不能把它概括成“固定保留1%的FP16权重”。

一个容量估算与选择方法

假设70亿个权重全部按FP16保存，裸权重约14GB；理想4bit存储约3.5GB，比例为4倍。这只是权重位数估算，还需量化比例/零点、未量化层、KV缓存、工作区和运行时开销；显存或速度不会自动改善4倍。

先比较原始模型、GPTQ和AWQ在相同任务、序列长度与生成配置下的质量，再测实际内核的延迟与吞吐。校准数据应覆盖真实输入分布。若主要问题是KV随上下文增长，单独压缩权重并不能解决全部显存问题。

参考资料