把模型塞进设备：蒸馏 + 量化这条流水线能走到哪

先蒸馏再量化感知训练是当前端侧模型的标准管线，但它在长链推理上仍有明确天花板，用错场景的代价不小。

端侧 AI 2026：小模型越级、NPU 普及与端云协同

30B 级模型开始逼近更大模型的表现，NPU 成为标配，端侧算力占比首次过半。但内存涨价与终端碎片化仍是现实约束。

算力租赁怎么选：按卡时、按 token 还是包月

三种计费方式对应三种负载形态，选错就是白烧钱。附一份包含隐藏成本的选型清单——存储、出网流量和闲置才是大头。

本地跑大模型：显存怎么估，Ollama 怎么上手

先算清楚显存够不够，再决定要不要本地部署。附一份估算公式和现实的能力预期——本地模型适合干什么，不适合干什么。

大模型 API 的账怎么算：token、上下文与缓存

很多人第一笔 API 账单都比预期高，原因通常不是单价贵，而是没意识到多轮对话的上下文是累计计费的。

AI 进实验室：算力成为新底座

从第23届中国计算机大会看一个转向：AI 的重心正从“生成内容”移向“参与科研”。而挡在第一位的不是算法，是数据。

2026 年 10 月，AI 与算力这个月发生了什么

旗舰模型密集发布、Vera Rubin 投产、AMD 82 亿美元收购、数据中心扩张——一个月里算力与模型同时提速，我按时间线梳理了一遍。