1. 端侧大模型部署工程师到底在做什么
1.1 这个岗位的真实工作画像
先把这个岗位从招聘JD的黑话里拽出来，说人话。端侧大模型部署工程师，核心任务就一句话：把在服务器上跑得好好的大模型，塞进手机、PC、车机、开发板、眼镜这类算力和内存都紧巴巴的设备里，还得让它跑得动、跑得快、不发烫、不掉电。
听起来简单，做起来是另一回事。云端部署你面对的是A100、H100这种卡，显存80G起步，想怎么堆就怎么堆。端侧你面对的是手机上的NPU只有几TOPS算力、内存被系统和其他App瓜分、功耗墙卡得死死的。同一个7B模型，云端一张卡轻松跑，端侧你得量化到4bit、切分算子、改推理图、调内存复用，最后可能还要接受首token延迟几百毫秒的现实。
这个岗位的日常大概长这样：拿到一个训练好的模型权重，先做格式转换，把PyTorch的pth或者safetensors转成目标推理框架认的格式；然后做量化，FP16降到INT8甚至INT4，精度掉多少要评估；接着用AI编译器把计算图编译成NPU能执行的指令序列；再然后写端侧推理代码，管理内存、调度算子、处理KV Cache；最后在真机上跑benchmark，看延迟、吞吐、内存占用、功耗曲线。中间任何一环出问题，模型要么跑不起来，要么跑起来慢得没法用。
1.2 为什么这个岗位突然被疯抢
三个字：落地潮。2023年到2024年，大模型从"能聊天"往"能干活"走，厂商发现把所有推理都放云端有三个绕不过去的坎。第一是成本，每次推理都要烧GPU，用户量一大账单就爆炸。第二是延迟，网络往返加上云端排队，交互体验做不过本地。第三是隐私和离线，很多场景比如车机、工业设备、个人助理，数据不能出设备，或者根本没网。
于是端侧大模型成了必选项。手机厂商要在旗舰机上跑本地大模型做通话摘要、文档问答；PC厂商要在笔记本上跑本地助手；车厂要在座舱里跑语音大模型；连做玩具和眼镜的都在往里塞小模型。需求爆发，但能干活的人极少。这个岗位的稀缺性不在于会调API，而在于同时懂模型、懂硬件、懂编译、懂系统，四个领域的交叉地带，能站住的人本来就少。
1.3 适合谁来切入这个方向
如果你是从云端推理转过来的，你的优势是懂模型结构和推理流程，缺的是对端侧硬件特性和编译工具链的理解。如果你是从嵌入式或者移动端开发转过来的，你懂系统懂内存懂功耗，缺的是对大模型结构和量化的认知。如果你是做AI编译器的，你懂图优化和算子映射，缺的是端到端部署的工程经验。
我的建议是，不管你从哪个方向切入，都要先把一条完整的链路走通一遍。不要只做其中一环，因为端侧部署的问题往往出在环节之间的衔接上——量化后的模型编译器不认、编译器生成的算子NPU不支持、NPU支持的算子内存布局和框架预期不一致，这些坑只有走通全链路才能踩到。
2. 硬功夫拆解：四个核心能力域
2.1 模型侧：量化与结构改造
端侧部署的第一道关是模型太大。一个FP16的7B模型权重占14GB，手机内存总共才12到16GB，根本放不下。所以量化是必修课。
量化的本质是用更低的数值精度表示权重和激活值。FP16是16位，INT8是8位，INT4是4位。位宽越低，模型越小，但精度损失越大。常见的做法是权重量化到INT4，激活值保持INT8或FP16，这叫weight-only量化，对精度影响相对可控。
具体操作上，你至少要掌握这几种量化方案：
- GPTQ ：训练后量化，逐层做，适合LLM，4bit下精度保持不错，但量化过程需要校准数据。
- AWQ ：激活感知的权重量化，核心思路是保护那些对激活值影响大的权重通道，实测在4bit下比GPTQ略好。
- GGUF ：llama.cpp生态用的格式，支持多种量化等级，从Q2到Q8，部署方便，适合CPU和混合推理。
- SmoothQuant ：把激活值的量化难度迁移到权重上，让激活值更容易量化，适合INT8全量化。
量化不是无脑降位宽就完事。你得评估精度损失。我的做法是准备一个评测集，涵盖目标任务的关键场景，量化前后各跑一遍，看指标掉多少。如果掉超过可接受阈值，就得调整量化策略——可能是某些层保持高精度，可能是换量化方法，可能是做量化感知微调。
注意：量化后的模型一定要在目标硬件上实测，不要只看理论精度。有些NPU对INT4的支持不完整，或者反量化开销很大，实际跑起来可能还不如INT8。
2.2 编译侧：AI编译器与图优化
AI编译器是端侧部署的核心工具，作用是把高层框架的计算图，编译成目标硬件能执行的低层指令。你可以把它理解成一个翻译官，一边是PyTorch、ONNX这些框架语言，一边是NPU、GPU、DSP的机器语言。
主流的AI编译器有这些：
| 编译器 | 所属生态 | 主要目标硬件 | 特点 |
|---|---|---|---|
| TVM | Apache | 多后端 | 开源，灵活，学习曲线陡 |
| TensorRT | NVIDIA | GPU | 性能强，绑定N卡 |
| Op |
257
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
