云端 API 方便，但数据出域、按 token 计费、供应商说停就停，总有人想把这些拿回自己手里。好消息是，2026 年的自托管工具链已经相当成熟：一台 Linux 主机，加一组 Docker 容器，就能拼出一条可用的私有 AI 链路。

一、最小可行栈

按从下往上拼，大约是这几层：

• 推理层：Ollama 或 llama.cpp 起步最省心，模型拉下来就能跑；追求吞吐再上 vLLM。显存不够就跑量化版，4-bit 量化让 7B~14B 级模型进入消费级显卡的射程。
• 存储与检索层：PostgreSQL 加 pgvector 一个容器搞定向量存储，顺手把元数据和业务表也放了；全文检索交给它自带的 FTS，混合检索就有了。
• 编排层：你自己写的服务，或者 Dify、n8n 这类自托管编排工具，负责 RAG 流程和智能体逻辑。
• 接入层：Caddy 或 Nginx 做反代和 HTTPS，再加一层简单的 key 校验——这一层不能省，本地裸奔的服务一旦反代上公网，等于把模型白送。

二、能撑住什么量级

把期望校准一下。一台单卡（24G 显存）机器的现实成绩单：7B 量化模型支撑十来个内部用户的日常问答没问题；向量化一个几万篇文档的知识库，几十分钟的事；RAG 问答的首字延迟在一两秒量级，可用但不惊艳。它适合内部工具、个人知识库、隐私敏感的小团队，不适合对外高并发产品——那是另一套预算。

三、真正的成本是运维

机器钱是整条账里最便宜的一行。真正的开销在：

1. 模型升级的重复劳动：新模型出来，量化、跑分、换版本、回归测试，云端用户点一下切换的事，自托管是一下午；
2. 监控与备份：GPU 温度、显存泄漏、容器重启、向量库备份——没有 dashboard 的自托管活不过三个月；
3. 安全补丁：自己暴露的服务自己负责，这个责任没有供应商分担。

四、混合是常态

实践中活得最久的方案往往是混合：隐私数据走本地小模型，公开任务走云端大模型，网关按数据分级路由。自托管那部分的价值不只是省钱，而是保留了一条随时可以退回去的路——谈判桌上最好的筹码，是「我可以不用你」。

小结

一台 Linux 机器能跑多远？跑到「内部工具完全够用、生产产品差口气」的地方。把它当成隐私兜底和能力实验场，而不是云的替代品，这笔投入的账就算对了。

说明：本文为公开资料的整理与评述，信息来源包括 Ollama、vLLM、PostgreSQL pgvector 等开源项目文档与社区实践，数据以各官方原文为准。本文由 AI 辅助整理，不构成技术选型或投资建议。