打破传统降噪技术 看 易云信在语音降噪的实践应用

导读

什么是语音降噪

我们先来看看什么是语音降噪。语音降噪（或语音增强）是指当语音信号被各种各样的背景噪声干扰、甚至淹没后，尽可能地从带噪语音信号中提取有用语音信号（或纯净语音信号），抑制或降低噪声干扰的技术。语音降噪有两个主要作用：

语音降噪分类

语音降噪可以从不同的维度进行划分，一般可以从录音的通道数或者降噪方法有无监督进行划分，下面我们主要分析一下这两种划分情况。

【1】按通道数划分

依据采集语音时麦克风数量的不同，划分为单通道方法和麦克风阵列方法。

单通道方法的语音降噪对单个麦克风录制的语音信号进行处理，只利用了时域与频域的信息，其对硬件成本要求较低，但是由于缺少空间信息，降噪更为困难。

麦克风阵列语音降噪对麦克风阵列采集的语音信号进行处理，不仅利用了时域与频域信息，还利用了空间信息，因此在抑制特定方向的干扰和对不同声源进行分离等方面具有优势，可以在更复杂声学环境和远场环境中实现语音增强。

在音视频会议、直播等场景中，多使用 PC 端、手机设备，是典型的单通道语音降噪场景，云信目前也主要提供单通道的语音降噪能力。

【2】按研究思路不同划分

从研究思路不同进行划分，音频降噪算法可以分为传统信号处理方法与深度学习方法。这两种方法各有优劣，主要区别有以下几点：

原理上的区别

假设上的区别

使用环境的区别

接下来我们将对这两类降噪方法进行介绍与分析。

传统信号处理方法

传统单通道降噪方法类别

传统单通道降噪经过几十年的发展，种类繁多，主要有谱减法、维纳滤波、子空间法、基于最小均方误差的语音幅度谱估计方法等。

谱减法基于一个假设：噪声是加性噪声且具有平稳性，因此在初始的非语音段音频中估计出噪声谱，再从带噪语音谱中减去估计的噪声谱就可以得到干净的语音谱。然而，该减法处理的代价在于过多减去噪声谱则会去掉部分语音信号；过少减去则会残留噪声，将产生令人反感的音乐噪声。

维纳滤波方法对语音信号复频谱生成了一个线性估计器，该估计值在均方意义上性能最优。维纳滤波方法不会产生音乐噪声，使处理后语音信号听起来更为舒适，但是它是对信号平稳条件下的最小均方误差估计，因此对于非平稳噪声抑制效果不佳，而且容易造成语音失真。

子空间算法将带噪语音信号的向量空间分解为信号子空间与噪声子空间，尽可能保留信号子空间分量且去除噪声子空间的分量，能够在一定程度上抑制噪声，但是子空间法需要对每一帧语音进行奇异值分解或特征值分解，计算代价高，不适用于实时语音降噪。

基于最小均方误差的语音幅度谱估计算法是传统语音降噪算法中具有革命意义的方法，于1984年 由Ephraim 和 Malah 提出。随后，考虑到人耳对语音频率的非线性感知，他们推导出基于最小均方误差的对数谱估计方法。2001 年，Cohen 提出最优改进对数谱幅度估计方法，它的设计准则是最小化干净对数谱与估计对数谱的误差，首先利用最小值控制递归平均方法估计噪声，再依次估计先验、后验信噪比、语音存在概率，最后计算频谱增益函数估计出干净语音。此后，改进的最小值控制递归平均方法估计噪声被提出，具有估计误差更小且对非平稳噪声跟踪更快的特点，此方法得到了广泛应用。

传统降噪的实现

目前业界常用的开源算法之一是 WebRTC 中噪声抑制模块算法，其核心思想是采用维纳滤波器抑制估计出来的噪声。

其算法流程图如图所示：

WebRTC 降噪算法对于平稳背景噪声（如风扇、家用电器等噪声）具有良好的抑制效果，但对于低信噪比和瞬变噪声场景效果不佳。

易云信在 WebRTC 噪声抑制模块基础上自研了活动检测(VAD)算法，区分语音与噪声，并且以此调整噪声估计方法，优化了噪声收敛时间与降噪力度。

深度学习方法

传统信号处理方法具有计算量小、可实时降噪处理的优势，但是难以处理非平稳噪声场景，而实际会议中，嘈杂噪声、键盘敲击声等非平稳噪声是用户痛点，极大的影响听感舒适度。近年来，深度学习方法显著提升了有监督任务性能，在语音降噪任务中开始出现一些数据驱动类算法(即 AI 算法)。相较于传统信号处理方法难以处理多样性、突发性非平稳噪声的弊端，深度学习方法在大量训练数据和较好模型设计的前提下能够取得更好的降噪性能。

深度学习方法类别

基于深度学习方法大致可分为三类，基于频谱映射的方法、基于时频掩码的方法、端到端方法。

基于深度学习的降噪方法（AI 降噪）能够取得更好的降噪性能，但是其模型较大、计算复杂度高。对于运行在移动终端的实时算法来说，计算复杂度需要满足实时性、CPU 占用率、内存占用率等必须比较小。一般而言，模型的性能消耗与其输出效果，综合来看是一种均衡的关系。然而在降噪场景下，算法既需要长时间实时运行，又需要保证算法效果能够应对复杂多变噪声场景，这对现有降噪技术提出了一定的挑战。

易云信自研 AI 降噪算法

易云信自研 AI 降噪算法将传统信号处理方法与深度学习类方法相结合，利用私有化大数据集训练模型，并且采用了轻量级模型设计与模型裁剪等手段, 节省计算资源，支持移动端实时增强。它可以有效抑制传统降噪算法解决不了的嘈杂噪声、键盘声、鼠标声等突发噪声，同时也能够提升对于平稳噪声抑制，提取更清晰的人声。

下面是一个案例展示 易云信自研 AI 降噪算法效果，左图为是办公室场景下带噪语音波形图与语谱图，右图为降噪后波形图与语谱图：

以下为使用 易云信前后的降噪文件对比，也可以更直观感受到使用 易云信自研 AI 降噪算法后的降噪效果。

总结

易云信提出自研 AI 降噪算法，充分利用深度学习 络对语音和噪声特征的学习能力，有效抑制环境中的各种噪音。今后， 易云信将在 AI+实时音频处理上持续推进研究，致力于为用户提供更好的音频通话体验。

飒飒， 易云信音视频算法工程师，主要从事噪声抑制、回声消除、音视频语音增强等相关工作，目前负责 易云信音频前处理噪声抑制算法开发与优化。