端侧能跑多大模型，取决于压缩能做到什么程度。2026 年行业里比较一致的答案是两步：**先知识蒸馏，再做量化感知训练（QAT）**。这两步各自解决什么、边界在哪，值得拆开讲。 ## 一、蒸馏：迁移的是「暗知识」 知识蒸馏的做法是让小模型（学生）模仿大模型（教师）的输出分布。它的关键不在「学正确答案」，而在学**教师输出里那些非最高概率类别的分布**——教师对相似选项的模糊判断里，带着比硬标签更丰富的信息，这就是所谓的暗知识。 按软标签（logits 分布）对齐或按中间特征对齐，是两条常见路径，DistilBERT、TinyBERT 等都属于这一族。 公开评测里常见的说法是：蒸馏能在多项推理 benchmark 上带来 10–20% 的提升。但要清醒的是，**它无法完整复制大模型的深度推理链**——有评测称小模型在数学、多步推理类任务上与大模型仍有 30–50% 的准确率差距（该数字来自单一来源，建议在自己的任务集上复测）。 ## 二、量化：PTQ 与 QAT 的分水岭在 4bit 量化是把权重和激活从 FP16 降到 INT8、INT4，直接削减显存与计算量。 - **后训练量化（PTQ）**：训完再压，成本低，但在低比特下精度损失明显； - **量化感知训练（QAT）**：训练过程中就模拟量化误差，让模型适应低精度表示，**在 4bit 以下优势显著**。 混合位宽是当前的工程共识：4bit 作为端侧默认，但对精度敏感的层（嵌入层、输出层）保留高精度。 ## 三、为什么是「先蒸馏后 QAT」 两步叠加的效果明显优于单步激进压缩：蒸馏先把能力面收窄到目标任务，QAT 再在这个更窄的能力面上压缩体积。反过来先压再蒸，或者一步压到 4bit，能力损失要大得多。 一个能被感知的例子是三值量化：面壁智能的 BitCPM-CANN 在推理阶段节省约 6 倍显存。 ## 四、边界：什么时候别这么干 **适用**：任务明确、推理链短、数据充足——分类、抽取、简单问答、固定格式的文案处理。 **不适用**：需要长链推理或创造性生成的任务。这类场景下，更务实的是让云端大模型负责思考、轻量模型负责高频执行，用动态路由把成本压下来。 还有两个副作用值得提前防： - 蒸馏可能让小模型**把教师的错误模式一起学过来**，包括坏习惯和系统性偏差； - QAT 增加训练时间与算力开销，低比特还可能引入输出不稳定。 替代路径包括神经网络架构搜索（NAS）、MoE 稀疏激活，以及用 3B–7B 中等模型配合剪枝。 ## 五、实操清单 1. **顺序固定**：先蒸馏，再 QAT； 2. **用目标任务的 benchmark 验证**，不要用通用基准代替——通用分数好看但线上退化，是最常见的事故； 3. **记录位宽和硬件环境**，同一模型在不同 NPU 上的表现可能差很多； 4. **每一步压缩配一套评估集**，让每一步都可回测； 5. **硬件支持 8bit 就优先 8bit**，除非体积是硬约束，否则不要轻易上 4bit。 ## 小结 蒸馏 + QAT 是当下最有效的组合，但它消除不了容量差距——尤其在高难度推理上。把这条管线的适用边界写清楚，比追求压到更低比特更有价值：**选对场景的 8bit 模型，通常好过选错场景的 4bit 模型。** --- **说明**：本文为公开技术资料的整理与评述，参考了关于端侧小模型压缩的公开技术文章与厂商发布材料；文中百分比为特定评测口径，请在自己的数据集上验证。本文由 AI 辅助整理，不构成技术选型建议。