一文讲透 15 个大模型部署工具

摘要：本文系统梳理了 2026 年主流的本地大模型推理引擎，提出一套「主战场 × 垂直能力」的两层分类框架，将 15 个常用工具按本地/消费级、企业级生产环境、信创国产硬件三大战场归类，并为每个引擎给出版本、协议、格式、显存、吞吐与适用边界等事实信息。文章还提供场景决策矩阵，帮助读者根据自身硬件条件与业务负载快速选型，并强调 benchmark 数字需结合真实流量验证，避免脱离场景盲目比较。

大厂 API 持续涨价，AI 应用的使用成本越走越高。如果你具备本地部署条件——有一张显卡、一台纯 CPU 的机器，甚至家里闲置的 NAS、小主机都算——可以试试本地部署：自己跑一些小尺寸模型，或者 MoE 模型（混合专家模型），处理些简单任务，隐私数据不出本机、完全自主可控，除了电费几乎是零成本。

但工具选型这件事，让很多人头疼。隔三差五就有新的本地部署工具冒出来，到底哪个才适合日常用？本文把 15 个常用工具过一遍，把各自的能力、优缺点摊开摆给你看，帮你判断到底该用哪个。

我本人没什么偏好，纯粹是喜欢折腾，所以不替任何工具站台，尽量客观。各位读者背景不同：有人是桌上一张消费级显卡，有人是公司机房的集群——无论你是在自己电脑上玩，还是在企业里做私有化落地，希望都能对得上你的场景。

0. 为什么推理引擎比模型更值得你研究

先统一下词：下文说的「推理引擎」「部署工具」是一回事——就是把模型真正跑起来、吐出 token 的那一层软件。叫法不同，东西一样。

很多人花两周挑模型，却用默认配置跑推理。结果：同样的 70B 模型，在 vLLM 上能扛 100 个并发，在裸 PyTorch 上第 5 个请求就 OOM；同样一张 8G 显卡，用对引擎能跑 27B，用错引擎连 7B 都卡。

推理引擎决定了三件事：你能不能跑（显存够不够）、跑得快不快（吞吐/延迟）、能不能规模化（并发/多租户）。模型决定天花板，引擎决定你能摸多高。

这篇文章做两件事：

1. 用一套两层分类框架（主战场 × 垂直能力）把所有主流引擎摆到同一张地图上；
2. 给每个引擎一张事实卡（版本/协议/格式/显存/吞吐/适用边界），并附一张场景决策矩阵。

1. 分类方法论：两层框架

第一层：按"主战场"（部署形态）

第二层：按"垂直能力"（跨战场的能力标签）

同一个引擎往往同时具备多个标签，但有一个突出的长板：

• 低显存瘦身（MoE 卸载到内存/CPU）：FreeToken、AirLLM、KTransformers
• 微调+推理一体：Unsloth Studio
• 编译跨端（浏览器/iOS/Android）：MLC-LLM / WebLLM
• 单卡 CUDA 高吞吐：ExLlamaV2
• 长上下文/高吞吐：vLLM、SGLang
• 国产模型特化（Qwen/DeepSeek/ChatGLM）：LMDeploy、MindIE

2. 战场 A：本地/消费级

2.1 llama.cpp —— 整个本地生态的地基

• 事实：纯 C/C++，零运行时依赖，MIT 协议。发明了 GGUF 格式（2023 年 8 月），现在是本地量化模型的事实标准。2026 年约 12.5 万 GitHub stars，1450+ 贡献者。
• 能跑的硬件：Metal（Apple Silicon）、CUDA、ROCm（AMD）、Vulkan、SYCL（Intel）、OpenCL、WebAssembly——几乎覆盖所有常见硬件后端。
• 核心机制：GGUF 用 mmap() 内存映射，操作系统按需分页加载权重；超显存时 --ngl 把层切到 GPU、其余走 CPU+RAM。量化从 1.5bit 到 8bit（Q4_K_M 约 4.5 bit/weight，是默认甜点）。
• 吞吐参考：Llama-3-70B Q4_K_M 在 RTX 4090 上约 25–30 tok/s；纯 CPU（i9-13900K）跑 8B Q8_0 约 12–15 tok/s。
• 边界：单主机为主，分布式推理要外部框架；推理-only，不含训练。
• 一句话：想嵌进自己的二进制、想折腾新量化格式、想跑奇怪硬件——绕不开它。

2.2 ollama —— llama.cpp 的"一键体验"封装

• 事实：Go 语言，MIT 协议，约 17.8 万 stars。本质就是 llama.cpp + 模型仓库 + 常驻服务 + OpenAI 兼容 API。
• 取舍：ollama run llama3 一条命令拉模型开聊；代价是大部分推理参数被藏起来（自动 GPU offload、默认 context/batch）。需要精细调参时得回到底层 llama.cpp。
• 实测差距：同硬件同模型，裸 llama.cpp 比 ollama 快约 3–9%（主要来自 --ngl 999 和显式 --flash-attn）。日常聊天几乎无感。
• 边界：多用户并发能力有限；模型受限于官方仓库（自定义 GGUF 可绕开）。
• 一句话：新手、桌面后端、个人日用——直接 ollama；要抠参数、要嵌库——上 llama.cpp。

2.3 ExLlamaV2 —— N 卡单卡吞吐标杆

• 事实：CUDA-first，仅支持 NVIDIA（Ampere 及以上）。用自研 EXL2 变比特率格式（2–8 bpw，按层/按张量分配不同精度）。
• 强项：单张 N 卡上 INT4 吞吐领先。Llama-3.2-8B 4.0bpw 在 RTX 4090 上约 110–140 tok/s。
• 边界：不支持 CPU/AMD/Apple 兜底；必须与 TabbyAPI 配合做 OpenAI 兼容服务。
• 一句话：你只有一张 N 卡、只跑 N 卡、要榨干每一分显存——它是本地速度领先的纯推理选择。

2.4 MLC-LLM —— 把模型"编译"到任何设备

• 事实：基于 Apache TVM。核心思路不是"加载权重"，而是把模型编译成目标设备的原生 kernel：Metal（iOS）、Vulkan（Android）、WebGPU（浏览器）、CUDA。
• 强项：跨端一致性——同一套逻辑部署到服务端、iOS、Android、浏览器（WebLLM）。编译期 INT4/INT8 量化。
• 边界：每个目标平台要先走一步编译；生态比 llama.cpp 小。
• 一句话：你的场景是"浏览器里跑模型""手机原生推理""一套代码多端"——它是再合适不过的正解。

2.5 AirLLM —— 层流式内存卸载，4G 显存跑 70B

• 事实：Apache 2.0，约 2.8 万 stars。机制是逐层流式加载：同一时刻显存里只有一层权重，算完换下一层。
• 惊人数字：4G 显卡可跑 70B；DeepSeek-V3 671B 约需 12G 显存；Qwen3-235B 约 3G。v3.0 起支持 FP8，2026 年 7 月新增 Kimi K3（2.8T）。
• 取舍：靠 PCIe 带宽在显存和内存间搬层，吞吐不如常驻显存的引擎；可选 block-wise 4bit/8bit 量化（可达 3x 提速）。也能跑 CPU + Apple Silicon（mlx/torch）。
• 一句话：显存很小、模型很大、能接受"慢但能跑"——它是显存不够时的救命绳。

2.6 FreeToken —— MoE 显存缓存，把专家池塞进内存

• 事实：Apache-2.0，FlashML（UC Berkeley / MIT / UT Austin）出品，v0.1.2（PyPI），arXiv 2608.16157（2026-08-17）。
• 核心架构：GPU 显存当 LRU 专家缓存，完整专家池放在系统内存；缓存未命中时，一部分走 PCIe 传输、一部分由 CPU 直接算。
• 实测：Qwen3.6-35B-A3B 在 8G RTX 4060 上约 39.3 tok/s；DeepSeek-V4-Flash 284B 在 RTX 5090 上约 22–25 tok/s；GLM-5.2 753B 在 RTX PRO 6000 上约 14.9 tok/s。
• 硬件门槛：Linux x86_64 + NVIDIA GPU + 驱动 r580+/CUDA 13/Python 3.10+。提供 OpenAI/Anthropic 兼容 API。
• 边界：新项目、MoE 特化、Linux+N 卡；Windows/AMD/Apple 暂不在列。
• 一句话：你跑的是 MoE 大模型、显存不够常驻所有专家、想要"缓存命中就快、未命中也不崩"——这是为这个精准痛点设计的。

2.7 KTransformers —— 异构 CPU/GPU，热专家上卡冷专家留 CPU

• 事实：清华 MADSys Lab / kvcache-ai，v0.6.2（2026-05-03），Apache 2.0。
• 核心架构：热专家（高频）放 GPU，冷专家（低频）留 CPU；CPU 侧用 AMX/AVX-512/AVX2 内核，支持 INT4/INT8/FP8。v0.6.1 起支持昇腾 NPU。单张 RTX 4090 + 足够内存即可跑 671B。
• 强项：与 SGLang、LLaMA-Factory 集成；官方称 3–28x 提速。
• 边界：调优门槛高，配置复杂；更适合"想用消费级硬件啃超大模型"的硬核玩家。
• 一句话：和 FreeToken/AirLLM 同属"内存/CPU 兜底"赛道，区别在于它用"冷热专家分离"而非"逐层流式"或"LRU 缓存"。

A 战场 trio 对比（低显存跑大模型）：

• AirLLM：逐层流式，简单直接，显存占用低；
• FreeToken：MoE 专家缓存，Linux+N 卡、MoE 特化、有兼容 API；
• KTransformers：冷热专家异构，可调性强，配置复杂。
  三者都靠"内存/CPU 当后备"，代价是 PCIe 带宽瓶颈下的吞吐损失。没有"又快又省"的免费午餐。

3. 战场 B：企业级 / 生产环境本地化部署

这一层跑在你自己的机房 / 私有云上，不是调用别人按 token 收费的 API。核心是 KV Cache 管理策略 和 连续批处理（continuous batching），所有主流引擎都暴露 OpenAI 兼容 API，互相切换基本只改启动命令。

3.1 vLLM —— 吞吐默认答案

• 事实：发明了 PagedAttention（把 KV cache 当操作系统虚拟内存分页管理），大幅减少内存碎片，单卡能塞下 10–50 个并发请求。
• 强项：模型支持最广（100+ 架构），社区庞大（5.5 万+ stars），部署文档完备。Llama-70B 在 A100 上约 3500 tok/s（FP8）。
• 取舍：大 batch 吞吐领先；小 batch / 低延迟场景不如 SGLang。结构化生成靠 Outlines，会吃 15–30% 吞吐。
• 一句话：你只选一个、追求稳定与通用、负载是独立请求——默认 vLLM。

3.2 SGLang —— 前缀复用 + 低延迟，Agent 工作负载标杆

• 事实：在 PagedAttention 之上加 RadixAttention（基数树缓存所有算过的 KV 段，自动匹配任意深度的共享前缀）。
• 强项：多轮对话、共享系统提示词、RAG、Agent——这些"前缀高度重叠"的场景，SGLang 自动复用已算部分，p95 延迟显著低于 vLLM（小 batch 流式约 48ms vs vLLM 85ms）。结构化生成是一等公民（自带语法引擎，比 vLLM 快）。
• 实测（公开 benchmark，随负载波动）：共享前缀场景 SGLang 比 vLLM 高约 24–29% 吞吐；提示词互不相同的场景两者基本持平（差 2% 内）。
• 边界：社区小于 vLLM，部分小众架构滞后；亦可用作 RL 训练后端。
• 一句话：你的流量是 Agent/多轮/共享系统提示词/大量 JSON 工具调用——SGLang 是更优解。很多生产栈两者都跑，网关按请求类型分流。

3.3 TensorRT-LLM —— N 卡性能天花板

• 事实：NVIDIA 第一方引擎。先把模型编译成特定 GPU 的 execution graph（融合 kernel、删去冗余算子），再跑。
• 强项：H100/H200/B200 上峰值吞吐领先（Llama-70B 在 H100 上约 4500 tok/s），FP8/FP4 原生优化。
• 代价：编译绑定 GPU 型号和 CUDA 版本，换模型要重编（30–60 分钟）；仅 NVIDIA；生态集成复杂。
• 2026 新变化：默认提供 PyTorch 后端，可直接加载 HF 权重，冷启动降到约 60–90 秒（代价是峰值吞吐略降）。想要性能又不想编译，可看 NVIDIA NIM（预编译引擎容器化）。
• 一句话：你只跑 N 卡、单一模型长期不变、追高吞吐——它值得那 1–2 周调优成本。

3.4 LMDeploy —— 国产模型特化、C++ 原生低摩擦

• 事实：纯 C++（TurboMind）推理引擎，pip 即装。中文开源模型（Qwen/InternLM/DeepSeek）优化出色。
• 强项：接近 SGLang 的吞吐，安装几乎零依赖；国产 GPU 支持较好（特性矩阵里"国产 GPU"标注突出）。
• 边界：中文圈外生态小、英文文档少。
• 一句话：你主要服务 Qwen/DeepSeek/ChatGLM 这类国产权重——它是比 vLLM 更贴身的选项。

3.5 TGI —— 维护模式，新项目不推荐

• 事实：HuggingFace 官方服务引擎，Rust 实现，曾把 continuous batching / FlashAttention 带给大众。
• 2026 状态：官方进入维护模式——只收小修小补的 PR，新项目推荐迁 vLLM/SGLang。
• 一句话：已经在跑且稳，就规划迁移；新开项目别选它。

4. 战场 C：信创 / 国产硬件

4.1 MindIE（昇腾）—— 国产化落地核心选择

• 事实：华为昇腾自研推理引擎，深度适配 CANN 与昇腾 NPU（Atlas 300I/800I A2，910B 等）。四层架构：高性能算子库 → 图编译优化 → 运行时管理 → 服务化组件。
• 核心能力：原生支持 PD 分离（Prefill/Decode 解耦，跨节点 KV Cache 高速传输）、Continuous Batching、PagedAttention、FlashDecoding；支持稠密与 MoE，上限 128K 上下文；多卡 TP/PP 并行（1–8 卡）。
• 垂直套件：MindIE LLM（语言模型）/ Motor（商用服务化）/ SD（多模态）/ Turbo（硬件加速），配 MindIE MS 做弹性调度与容灾。
• 实测（Atlas 800I A2 8 卡，昇腾官方公开资料）：对比 vLLM-Ascend，峰值吞吐约 1200 → 2800 tok/s（+133%），P99 延迟 850ms → 320ms（-62%），故障恢复 10 分钟 → 30 秒。Kimi-K2-Thinking 200 万上下文可部署（CP 并行 + 分层 KV 管理）。
• 边界：绑昇腾硬件；其余国产芯片配套方案成熟度仍在追赶。
• 一句话：信创/国产化场景，MindIE 是当前全链路覆盖领先的选项；LMDeploy 在国产 GPU 上也有支持，可作为对照。

5. 垂直能力交叉（不归单一战场）

6. 场景决策矩阵（不替你站台，只给边界）

7. 结语：硬核但不迷信 benchmark

三个必须记牢的真相：

1. benchmark 数字都是"在某个负载下"。本文引用的吞吐/延迟来自 2026 年公开测试，受模型、量化、batch、上下文长度、硬件 SKU 影响很大。SGLang 在共享前缀下比 vLLM 快 29%，在独立提示词下只快 2%——脱离你的真实流量谈"谁快"没有意义。上生产前，用你自己的流量 profile 跑一遍。

2. 没有"最好"，只有"最贴合"。本地战场拼的是"能不能跑 + 跑得省"；企业级 / 生产战场拼的是"吞吐 + 并发 + SLA"；信创战场拼的是"国产化全链路"。把 ExLlamaV2 拿去扛 100 并发、把 vLLM 塞进树莓派，都是选错战场。

3. 生态粘性也是成本。ollama 背后是 llama.cpp，vLLM/SGLang 都讲 OpenAI 协议可互换，但 TensorRT-LLM 绑定 N 卡、MindIE 绑定昇腾——选型时把"未来换硬件/换模型的迁移成本"算进去。

推理引擎是 2026 年 AI 落地迭代格外活跃的一层。卷是好事：它意味着你几乎总能找到一款"刚好贴合你那张显卡、你那个场景"的工具。本文的地图到此为止，下一步是——挑一个，在你的真实负载上 benchmark 一下。

更多免费API资讯、实测信息、AI教程等请关注同名GZH。

免责声明：文中版本号、协议、benchmark 数字均整理自 2026 年公开资料（GitHub、官方文档、第三方评测），随版本迭代可能变化。量化格式支持、硬件门槛请以各项目官方当前文档为准。