
本篇为《LLM 技术全景:从 Token 到部署》系列第 44 篇。
摘要
- 核心问题:工程实践篇(第 33–44 篇)讲了大量"点"——量化、蒸馏、vLLM、TensorRT-LLM、服务化、多卡、边缘、多模态、生态。但真要上线一个模型时,缺的是一份"照着打勾就能少踩坑"的全局清单。
- 主要贡献:把 12 篇文章凝练成三件可直接使用的工具——部署检查清单(部署前 / 中 / 后)、性能调优手册(瓶颈导向)、常见故障排查表;并附一段真实可跑的部署选型决策脚本。
- 阅读收获:① 拿到一张工程实践篇知识地图,知道每篇解决哪类问题;② 掌握"先定位瓶颈再谈优化"的调优心法;③ 拥有可落地执行的部署自检流程。
一、工程实践篇知识地图(第 33–44 篇)
先把这 12 篇按"解决哪类问题"归类,你就能在需要时快速翻回对应篇章:
| 主题簇 | 篇目< |
|---|
本文凝练LLM工程实践篇12篇文章,提供可落地的部署检查清单(部署前/中/后)、性能调优手册(聚焦KV缓存瓶颈)和常见故障排查表,并附真实Python部署选型决策脚本。强调显存精算、量化选型、引擎匹配、服务化防护、可观测性三支柱及版本成本管理,覆盖vLLM、TensorRT-LLM、SGLang、llama.cpp等主流训推引擎。
订阅专栏 解锁全文

357

被折叠的 条评论
为什么被折叠?



