语音算法工程师学习路线：KWS、ASR、TTS、语音增强与端侧部署

原创 已于 2026-08-12 17:40:16 修改 · 342 阅读 · 6 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
于 2026-08-12 17:39:24 首次发布

文章目录

语音算法工程师学习路线

语音算法是一个明显具有“系统工程”属性的方向。

一个完整的语音系统通常不仅包含神经网络模型，还涉及：

  • 音频采集与预处理
  • 声学特征提取
  • 训练数据构建
  • 模型训练与解码
  • 阈值和后处理
  • 离线与场景化评测
  • 流式状态管理
  • 模型转换和端侧部署
  • 延迟、内存及功耗优化

如果只是运行开源模型，很容易停留在Demo阶段。

更合理的学习方式，是按照“基础知识—可运行模型—可评测系统—可部署项目”的顺序逐步推进。

下面给出一条六阶段学习路线。

一、音频与特征基础

需要掌握的内容

  • 采样率、采样位宽、声道
  • PCM与WAV
  • 分帧与加窗
  • STFT、频谱和功率谱
  • Mel滤波器组
  • Log-Mel Fbank与MFCC
  • 归一化、增益、截幅和信噪比

推荐实践任务

  1. 使用Python读取WAV音频；
  2. 输出采样率、声道数、位宽和音频时长；
  3. 绘制时域波形和频谱；
  4. 绘制Log-Mel频谱；
  5. 独立实现或调用接口计算Fbank；
  6. 检查不同参数下的特征维度。

验收标准

完成这一阶段后，至少应该能够解释：

  • PCM与WAV有什么区别；
  • 为什么语音信号通常需要分帧；
  • 窗函数解决了什么问题；
  • Fbank与MFCC有什么区别；
  • 采样率不一致为什么可能导致模型精度下降。

端侧部署时，经常会遇到训练端与推理端特征不一致的问题。因此，音频前处理不是可以跳过的基础知识，而是语音工程中需要长期排查的模块。

二、语音唤醒KWS

KWS（Keyword Spotting）是关键词检测或关键词唤醒任务，常见于智能音箱、耳机、车载设备和离线语音交互。

需要掌握的内容

  • KWS整体处理链路
  • FSMN、LSTM、CNN等常见结构
  • CTC建模与解码
  • 正样本、普通负样本与困难负样本
  • 滑窗与流式推理
  • 触发阈值和后处理
  • 误唤醒、漏唤醒和延迟

推荐实践任务

  1. 准备一个或多个目标关键词；
  2. 构建正负样本；
  3. 运行或训练一个小型KWS模型；
  4. 编写流式音频输入和滑窗推理；
  5. 在验证集上扫描不同阈值；
  6. 构建近音词、常用短词和场景噪声测试集。

推荐评测指标

KWS不能只报告分类准确率。

至少应该记录：

  • 目标关键词召回率
  • 漏唤醒率
  • 单位时间误唤醒次数
  • 触发延迟
  • 模型大小
  • 平均与P95推理延迟
  • 测试设备和线程配置

阈值越低，通常越容易召回目标词，但误唤醒也可能增加；阈值越高，误唤醒可能减少，但漏唤醒会变多。

因此，阈值需要根据真实业务目标进行权衡。

三、ASR语音识别

ASR（Automatic Speech Recognition）的目标是将语音转换为文本。

需要掌握的内容

  • CTC
  • Attention Encoder-Decoder
  • Transducer
  • 流式与非流式识别
  • VAD与端点检测
  • CER与WER
  • RTF
  • 首包延迟和尾包延迟
  • 热词、语言模型和领域适配

推荐实践任务

  1. 使用开源模型完成中文语音识别；
  2. 构建一个小型测试集；
  3. 对参考文本和识别结果进行规范化；
  4. 计算CER；
  5. 对比流式与非流式模型；
  6. 记录准确率、实时率和端到端延迟；
  7. 尝试热词或领域词优化。

CER计算

字符错误率通常表示为：

CER = (S + D + I) / N

其中：

  • S：替换字符数
  • D：删除字符数
  • I：插入字符数
  • N：参考文本字符总数

中文ASR通常报告CER，英文ASR通常报告WER。

需要注意，文本规范化规则会显著影响结果。例如数字、标点、空格、英文大小写是否统一，都可能改变最终CER。

流式与非流式的取舍

流式模型能够边接收音频边输出结果，适合实时交互，但能够使用的未来上下文有限。

非流式模型可以使用完整语句，通常更容易获得较好的准确率，但需要等待更多音频输入。

工程评测中不应只比较字错率，还需要同时报告：

  • 首包输出时间
  • 最终结果时间
  • RTF
  • 设备配置
  • 并发条件

四、TTS语音合成

TTS（Text-to-Speech）负责将文本转换为语音。

需要掌握的内容

  • 文本规范化
  • G2P与音素序列
  • 多音字和场景词典
  • 声学模型与声码器
  • VITS与FastSpeech系列
  • 音色和韵律
  • 数据切分与清洗
  • 长文本生成
  • 主观与客观评测

推荐实践任务

  1. 运行一个VITS或FastSpeech相关模型；
  2. 准备20～50条测试文本；
  3. 覆盖中文、数字、英文、多音字和业务词；
  4. 记录人工试听结果；
  5. 测试长文本稳定性；
  6. 统计推理耗时和内存占用。

工程评测重点

除了自然度，TTS项目还应该关注：

  • 发音正确率
  • 音色稳定性
  • 韵律与停顿
  • 漏字和重复
  • 长文本稳定性
  • 推理耗时
  • 峰值内存
  • 业务场景适配

在医院叫号、公共播报等场景中，姓名、数字、科室和序号的正确发音通常比情感表现更重要。

五、语音增强与AI降噪

语音增强包含多个容易混淆的任务。

常见模块

  • VAD：检测当前是否存在语音
  • ANS：抑制环境背景噪声
  • AEC：消除声学回声
  • AGC：自动增益控制
  • Beamforming：利用多麦克风空间信息增强目标方向语音
  • 双讲检测：处理近端与远端同时说话
  • 流式状态管理：在实时音频处理中维护上下文

推荐实践任务

  1. 运行一个开源语音降噪模型；
  2. 准备多种噪声类型；
  3. 对比干净、带噪和增强后的音频；
  4. 记录客观指标；
  5. 进行人工试听；
  6. 测试模型实时性。

评测注意事项

常见指标包括PESQ、STOI和SI-SDR等，但指标与真实听感不一定完全一致。

例如某个模型可能提高客观分数，却同时造成：

  • 语音被过度抑制
  • 高频细节丢失
  • 音色失真
  • 音乐噪声
  • 非平稳噪声下效果退化

因此，语音增强需要结合客观指标、主观试听与真实业务场景共同评估。

六、端侧部署

端侧部署是语音算法从模型走向产品的重要环节。

建议掌握的工具和知识

  • PyTorch导出ONNX
  • ONNX Runtime
  • ncnn
  • MNN
  • TFLite-C
  • FP16与INT8量化
  • 动态形状
  • 不支持算子处理
  • 前处理和后处理对齐
  • 多线程和CPU亲和性
  • 内存与延迟分析

推荐实践任务

  1. 将一个语音模型导出为ONNX；
  2. 固定输入，对齐PyTorch与ONNX输出；
  3. 转换到一个端侧推理后端；
  4. 对齐前处理、模型输出和后处理；
  5. 测试不同线程数；
  6. 输出性能报告。

性能报告至少应包含

  • 设备型号
  • CPU和系统环境
  • 线程配置
  • 模型文件大小
  • 初始化耗时
  • 平均延迟
  • P95延迟
  • 实时因子
  • 峰值内存
  • CPU占用或功耗
  • 部署前后的精度差异

不能仅使用“运行很快”或“满足实时要求”这样的描述。

所有性能结论都必须与设备、线程、输入长度和模型版本绑定。

七、推荐的开源框架与工具

FunASR

适用于中文ASR、VAD、标点、时间戳和推理实践。

项目地址：

https://github.com/modelscope/FunASR

SenseVoice

适用于多语种识别、情感识别和音频事件理解等任务。

项目地址：

https://github.com/FunAudioLLM/SenseVoice

icefall

提供基于k2的ASR训练配方和Zipformer相关实践。

项目地址：

https://github.com/k2-fsa/icefall

sherpa-onnx

适合进行流式与非流式语音模型的ONNX跨平台部署。

项目地址：

https://github.com/k2-fsa/sherpa-onnx

ncnn

适合移动端和嵌入式设备上的高性能神经网络推理。

项目地址：

https://github.com/Tencent/ncnn

注意：开源项目的代码、模型和数据许可证可能变化。使用前应重新检查对应版本的许可证与商业使用范围。

八、两个适合实践的项目

项目一：FSMN-CTC多关键词唤醒

目标是完成一套适合资源受限设备的流式关键词识别系统。

处理链路：

16 kHz音频
    ↓
音频前处理
    ↓
Fbank特征
    ↓
FSMN
    ↓
CTC解码
    ↓
关键词得分
    ↓
阈值与后处理
    ↓
动作触发

建议实现：

  • 16 kHz流式音频输入
  • Fbank特征
  • FSMN-CTC模型
  • CTC解码
  • 阈值扫描
  • 困难负样本测试
  • ONNX或端侧后端推理

建议报告：

  • 模型大小
  • 目标设备
  • 线程配置
  • 平均与P95延迟
  • 关键词召回率
  • 漏唤醒率
  • 单位时间误唤醒次数

项目二：语音模型多后端部署评测

选择同一个小型语音模型，部署到以下后端中的至少两个：

  • ONNX Runtime
  • ncnn
  • MNN
  • TFLite-C

建议实现：

  • 统一音频前处理
  • 模型转换
  • 固定输入数值对齐
  • 性能测试
  • 精度差异分析

建议报告：

  • 模型转换问题
  • 不支持算子
  • 文件大小
  • 平均与P95延迟
  • 峰值内存
  • 与原模型的任务指标差异

相比只运行一个训练Demo，这类项目更容易体现工程排错、性能评测和部署能力。

九、推荐学习方式

不要把学习目标设置成“看完所有语音算法知识”。

更有效的方式是给每个阶段设置可验收产出：

  • 一个可以运行的Demo
  • 一份测试数据
  • 一张指标对比表
  • 一次失败原因分析
  • 一套部署结果
  • 一份完整项目报告

真正适合写进简历的项目，至少应该能够回答：

  1. 项目要解决什么业务问题？
  2. 为什么选择这个模型？
  3. 数据如何构建？
  4. 使用了哪些评测指标？
  5. 遇到了什么失败？
  6. 如何定位问题？
  7. 部署到什么设备？
  8. 最终效果和局限是什么？
  9. 你个人完成了哪些工作？

能把这些问题解释清楚，往往比简单列出几个模型名称更有价值。

十、学习资料领取

我将这条路线整理成了《语音算法工程师学习路线》公开免费版，包含：

  • 一页语音算法学习路线
  • 10道面试题与回答要点
  • 5个开源框架和工具入口
  • 2个可实践的项目方向
  • FSMN-CTC端侧唤醒案例节选

领取方式：

微信搜索并关注公众号「AI算法学习社」
回复关键词「语音路线」

如果这篇文章对你有帮助，欢迎收藏。后续将继续更新语音唤醒、ASR、TTS、AI降噪、模型评测、端侧部署和语音算法面试相关内容。

标签
#语音识别 #人工智能 #深度学习 #ASR #语音算法
kaldi-关键词识别kws
qq_44944990的博客
04-22 1730
kaldi-关键词识别kws
ARM kws识别算法代码
04-08
ARM公司提供的KWS代码
语音认别---唤醒技术KWS介绍
宁静以致墨的专栏
02-22 1万+
语音认别---唤醒技术KWS介绍 　　由于目前终端（如手机）上的CPU还不足够强劲，不能让语音识别的各种算法跑在终端上，尤其现在语音识别都是基于深度学习来做了，更加不能跑在终端上，所以目前主流的语音识别方案是声音采集和前处理在终端上做，语音识别算法则放在服务器（即云端）上跑。虽然这种方案有泄漏隐私（把终端上的语音数据发给服务器）和没有网络不能使用等缺点，但也是不得已而为之的，相信在不久的将来等终端上的CPU足够强劲了会把语音识别的所有实现都放在终端上的。 　　是不是意味着终端上做不了语音识别相关的算法.
关键词唤醒卷积神经网络算法
08-07
TensorFlow中关键词识别技术主要是通过卷积神经网络实现，通过小样本的训练就可以实现关键词唤醒。
KWS语音识别技术简介
weixin_47569031的博客
10-22 1864
KWS语音识别技术简介
语音关键词唤醒低功耗监听
weixin_34374684的博客
11-13 707
本文深入解析语音关键词唤醒（KWS）技术，揭示智能设备如何在极低功耗（<140μW）下实现“永远在线”的语音监听。从麦克风选型、专用协处理器、TinyML算法到电源管理，全面剖析边缘AI的关键设计原理与工程优化策略。
用MindStudio完成基于CTC算法的语音热词唤醒
qq_59700461的博客
12-16 2055
昇腾全流程开发工具链（MindStudio）在线课程，提供了系统的、全面的MindStudio使用，可为初学者、一线工程师、经验丰富的开发者提供参考和帮助。本课程主要介绍MindStudio在昇腾AI开发中的使用，作为昇腾AI全栈中的全流程开发工具链，提供覆盖训练模型、推理应用和自定义算子开发三个场景下端到端工具，极大地提高开发效率。介绍MindStudio 提供您在AI开发所需的一站式开发环境，支持模型开发、算子开发以及应用开发三个主流程中的开发任务。
音频 AI 模型开源方案与音频 3A / ASR / TTS 全链路解析
Dada_ping的博客
05-20 1029
内容覆盖音频 AI 的核心版图、开源方案选型、音频 3A 原理、ASR 语音识别、TTS 语音合成、训练与部署流程、工程落地要点、应用产品形态与学习路线。这不是单纯介绍几个模型或几个算法库，而是从“真实产品如何落地”的角度，把采集、前处理、模型推理、训练优化、端侧部署、指标评估和应用场景串成一条完整链路。WebRTC Audio Processing 是非常经典的实时音频前处理库，常用于会议、通话、对讲等场景。音频 3A 是音频前端处理的核心，尤其在通话、会议、对讲和语音交互中非常重要。
探索KWS：一款强大的关键词搜索工具
gitblog_00014的博客
04-27 774
探索KWS：一款强大的关键词搜索工具 kwsAn End-to-End Architecture for Keyword Spotting and Voice Activity Detection项目地址:https://gitcode.com/gh_mirrors/kw/kws 项目简介 是一个由Mindorii开发的开源项目，它提供了一个简洁而高效的命令行界面，用于从大量文本数据中快速查找和...
论文笔记：Attention-based End-to-End Models for Small-Footprint Keyword Spotting
1024+1的博客
07-07 1795
《Attention-based End-to-End Models for Small-Footprint Keyword Spotting》 小米团队+西北工业大学，Interspeech2018 1.Abstract we propose an attention-based end-to-end neural approach for small-footprint keyword spotting (KWS) 作者主要提出了一个基于attention的端到端模型以应用于低资源占用的K.
小智AI音箱嵌入式AI实践分享
weixin_33562004的博客
10-30 473
小智AI音箱通过嵌入式AI实现本地语音唤醒与语义理解，采用轻量化模型、推理加速和资源优化技术，在低功耗下完成端侧智能处理，支持离线交互与隐私保护。
AI系列：智能音箱技术简析
qq_28576837的博客
05-07 4680
它的核心目标是区分语音段（有声部分）和非语音段（无声或噪声部分），广泛应用于语音通信、音频处理、语音识别等领域。进过基本的信号处理（静音检测、降噪等），唤醒模块会判断是否出现唤醒词，是的话就进行更复杂的语音信号处理，开始真正的语音交互流程。小爱同学是小米公司自主研发的人工智能助手，其核心技术（如语音识别、自然语言处理、语音合成等）属于小米的知识产权，并未对外公开源代码。它的核心目标是从原始声音信号中提取有用的信息（如语音内容、情感、方向等），并将其转化为可分析或可处理的形式。
（KWS-HMM）
Pandade
03-24 949
会议：ICASSP-90 论文：A HIDDEN MARKOV MODEL BASED KEYWORD RECOGNITION SYSTEM 作者：Richard C Rose，Douglas B Paul
VAD、KWS、ASR
sinat_33705291的博客
05-17 2977
语音活性检测(Voice activity detection，VAD)，检测信号中语音成分和非语音成分 关键词检测 (Keyword Spotting, KWS)，检测语音信号中的关键词与非关键词部分 自动语音识别 (automatic speech recognition, ASR), 使得机器能够识别出人的语音 目前采用ASIC的方案，直接实现VAD，KWS，ASR的超低低功耗电路设计成为主流的趋势，本文总结了关于上述内容的最新论文。 KWS 1.会议：ISSCC...
kWS
坚持,淡定
08-30 872
kWS is a lightweight and fast Web Server especially designed for android mobile devices. It can be used to host websites and to serve files over HTTP.   https://play.google.com/store/apps/detai...
KMP算法—终于全部弄懂了
热门推荐
dark_cy的博客
03-22 43万+
详细讲解KMP算法，并对难点 k=next[k] 这条语句重点描述
基于Kaldi下babel项目的语音关键词检索（KWS）
Python_rookie1的博客
09-27 2485
前言 一般来说，一个kws系统包括两个部分：lvcsr 模块解码检索集合并且产生相应的网格，一个kws模块生成网格索引并从索引中查找关键词。 在Kaldi中，关键词识别(KWS)和大词汇量连续识别(LVCSR)都是基于权重有限状态转换(WFST)，因此关键词识别不光能对词进行识别，也能对音节、音素等进行识别。 文章目录前言一、KWS系统组成二、字典以外的关键词处理（OOV）1.问题描述2.解决办法三、Babel scripts引用 一、KWS系统组成 LVCSR：对待查询的关键词集合进行解码，并生成相应的l
（Interspeech 15）Convolutional neural networks for small-footprint keyword spotting
Pandade
03-24 720
会议：Sixteenth Annual Conference of the International Speech Communication Association, 2015. 论文：“Convolutional neural networks for small-footprint keyword spotting”, 作者：Tara N Sainath, Carolina Parada ...
语音识别的“幻觉“：听不清的时候，AI 为什么开始编
最新发布
weixin_48827824的博客
09-01 342
很多人第一次遇到语音识别的"幻觉"，是在一段几乎没有人声的录音里。会议散场后忘了关录音，最后十分钟只有空调声和收拾东西的动静。没有人说过这句话。模型也不是听错了某个字，而是凭空写出了一整句完全通顺、完全不存在的话。这类错误和我们熟悉的"听错"不一样。听错，是听清了但写错了词，而幻觉则是音频里没有对应内容，模型却依然生成了文字。随着越来越多的语音识别系统引入生成式模型，这类问题也值得被单独拿出来讨论。真实系统里的幻觉，大致有三种面孔。无中生有：输入是静音、纯噪声、音乐或者一声咳嗽，输出却是一句完整的话。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YEGE学AI算法

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值