非线性声学回声消除技术,非线性的声学回声消除问题，在实际声学系统里面非常普遍也非常棘手，到目前为止还没有特别有效的办法来解决。目前介绍非线性声学回声消除的公开文献也少之又少。如何处理非线性声学回声消除的，效果又如何？将从非线性声学回声消除产生的原因、研究现状、技术难点出发，详细介绍双耦合的声学回声消除算法以及实验检验结果。我要讲的内容是《非线性声学回声消除技术》，之所以选择这样的方向，主要是基于两个方面的原因：非线性的声学回声消除问题是一个困扰了行业很多年的技术难题，这个问题在实际的声学系统里非常普遍，同时又很棘手，到目前为止，还没有特别有效的办法。我猜测大家应该会对这个课题感兴趣...

可以准确快速的进行底噪测试。下图TWS耳机中的左耳，在喇叭播放空声源时，喇叭端有略微的电流声底噪，右耳无此不良现场，通过指南测控的标准声学测试系统进行左右耳TWS声学测试，可以在底噪测试步骤中检测到，有底噪异常的左耳的一些频段能量值偏高，无底噪问题的右耳的表现就“平顺”很多。再结合与更多正常品的对比和设定合理的limits，可以快速准确的检查出耳机在各种状态下的底噪不良。耳机回声回声来自于非预期的泄露，一般分为电学回声和声学回声。前者一般由于麦克风和扬声器线路布局不合理的电路耦合造成，后者则是由于麦克风和扬声器的声学泄露耦合而成。对于回声不良的耳机来说，在通话时，耳机喇叭播放的声音信号通过麦克...

他的是线性回声传递函数。基于这样的数学假设，我们收到的信号y就可以表示成发射的信号x分别跟这样两个传递函数进行卷积之后的结果。接下来我们对这个模型进行了适当的简化，简化主要是基于数学分解，我们假设非线性的传递函数，可以分解成线性跟非线性这样两个系统函数的组合形式，就会得到中间的方程。接下来对中间的方程进行变量替换，就得到这个表达式，这个表达式它的物理意义很清晰，我们从可以看到，整个回声路径是可以表示成线性回声路径跟非线性回声路径二者之和的形式，这是它的物理意义。2.双耦合自适应滤波器,基于这样一个数学模型，接下来我们就构建了一种新的滤波器结构，称之为双耦合自适应滤波器。这个滤波器跟...

他的是线性回声传递函数。基于这样的数学假设，我们收到的信号y就可以表示成发射的信号x分别跟这样两个传递函数进行卷积之后的结果。接下来我们对这个模型进行了适当的简化，简化主要是基于数学分解，我们假设非线性的传递函数，可以分解成线性跟非线性这样两个系统函数的组合形式，就会得到中间的方程。接下来对中间的方程进行变量替换，就得到这个表达式，这个表达式它的物理意义很清晰，我们从可以看到，整个回声路径是可以表示成线性回声路径跟非线性回声路径二者之和的形式，这是它的物理意义。2.双耦合自适应滤波器,基于这样一个数学模型，接下来我们就构建了一种新的滤波器结构，称之为双耦合自适应滤波器。这个滤波器跟...

直达声总是较早到达人耳，这是因为直达声比反射声的声程短。除了直达声以外，反射的声音形成了混响声，使室内声压级增加。15.比较大声压级厅内空场稳态时的比较大声压级。16.传输频率特性厅内各测点处稳态声压级的平均值相对于扩声系统传声器处声压或扩声设备输入端电压的幅频响应。17.传声增益扩声系统达比较高可用增益时，厅内各测点处稳态声压级平均值与扩声系统传声器处声压级的差值。18.比较高可用增益maximumavailablegain歌舞厅扩声系统在声反馈自激临界状态的增益减去6dB时的增益。扩声系统中使用单指向性传声器、频率均衡器能提高扩声系统的传声增益。19.声场不均匀度有扩声时，厅内...

为什么声学器件的小型化容易产生非线性的失真呢？这个需要从喇叭发声的基本原理说起，我们都知道声波的本质是一种物理振动，而喇叭发声的基本原理就是通过电流来驱动喇叭的振膜发生振动之后，这个振膜会带动周围的空气分子相应发生振动，这样就产生了声音。如果我们要发出一个大的声音的话，那么就需要在单位时间内用更多的电流去驱动更多的空气分子发生振动。假设有大小不同的两个喇叭，他们用同样的功率去驱动，对于大喇叭而言，由于它跟空气接触的面积要大一些，所以他在单位时间内能够带动更多的空气分子振动，所以它发出来的声音也会大一些。而小喇叭如果想发出跟大喇叭一样大的声音，就需要加大驱动功率，这样会带来一个问题：...

我们还希望它在一个短时的观测时间窗的尺度里面也是比较好的，即局部比较好，所以在数学期望内部，我们又对误差进行了短时积分。这个优化准则跟传统的线性自适应滤波器是有本质区别的，因为传统的线性自适应滤波器基于小均方误差准则，它只是在统计意义上比较好，没有局部比较好约束。首先来求解这里的Wl，就是线性滤波器。主要求解方法是，假设Wn就是非线性滤波器是比较好解，把这个比较好解代入到前面的优化方程里，就会得到上面简化之后的优化目标函数。在这个地方，我们又做了一些先验假设，假设非线性的滤波器的一阶统计量和二阶统计量都等于0，我们就可以把上面的优化问题进一步简化，就得到我们非常熟悉的方程，就是Wi...

这样有助于扩散或展开室内的声音，如图3所示。不要过多地填满泡沫材料，因为填满了的、“死寂”的房间对演奏来说是很不合适的，而保留一些反射声后能给声音加上“空间”和活泼的感觉。其他高频吸声体有睡袋、活动毯子、地毡毛毯、窗帘以及用细薄的棉布或粗麻布罩住的玻璃纤维等。如有可能，把这些材料与墙面之间留有数英寸的空间。这种间距会有助于吸收中低频率成分。有一种宽频段的吸声体，它是罩有细薄棉布或粗麻布的已压制好的（Owens-CorningType703,3lb/ft3）。首先在要进行录音的演奏者的前方或上方只安置一小部分吸声材料，每次只增加一些吸声体，直到所录得的声音满意时为止——通常覆盖总表面...

噪声抑制和声源分离同属于语音增强的范畴，如果把噪声理解为广义的噪声三者之间的关系,噪声抑制需要准确估计出噪声信号，其中平稳噪声可以通过语音检测判别有话端与无话端的状态来动态更新噪声信号，进而参与降噪，常用的手段是基于谱减法(即在原始信号的基础上减去估计出来的噪声所占的成分)的一系列改进方法，其效果依赖于对噪声信号估计的准确性。对于非平稳噪声，目前用的较多的就是基于递归神经网络的深度学习方法，很多Windows设备上都内置了基于多麦克风阵列的降噪的算法。效果上，为了保证音质，噪声抑制允许噪声残留，只要比原始信号信噪比高，噪且听觉上失真无感知即可。单声道的声源分离技术起源于传说中的鸡尾...

WebRTCAEC算法中开辟了可存储250个block大缓冲区，每个block的长度PART_LEN=64个样本点，能够保存的1s的数据，这也是理论上的大延时能够估计的范围，够用了。我们用610ms延时的数据测试(启用大延时调整需要设置delay_agnostic_enabled=1)：我们还是设置默认延时为240ms，刚开始还是调整了-60个block，随后大延时调整接入之后有调整了-88个block，一共调整(60+88)*4=592ms，之后线性滤波器固定index=4，表示剩余延时剩余16ms，符合预期。③线性滤波器延时估计是固定延时调整和大延时调整之后，滤波器对当前远近端延时的直接反...

什么是非线性声学回声？，什么是非线性的声学回声？这里我给出了一张图，的是声学回声的路径图，图的左边对应的是发射端，右边对应的是接收端。我们发出的信号首先要经过D/A变换，从数字域变换到模拟域，然后再经过功率放大器，放大之后驱动喇叭，这样就会发出声音。发出来的声音经过空气信道传播之后，到了接收端被麦克风采集到，然后再次经过功率放大器，再通过A/D变换，从模拟域又变回到数字域。那么这里的y[k]就是我们收到的回声信号。，我们接收到的回声y[k]到底是线性回声还是非线性回声呢？或者说我们应该怎么去判断它？我觉得要解决这个问题，就是要认识清楚这里面的每一个环节，看看它们到底是线性系统还是非...

直达声总是较早到达人耳，这是因为直达声比反射声的声程短。除了直达声以外，反射的声音形成了混响声，使室内声压级增加。15.比较大声压级厅内空场稳态时的比较大声压级。16.传输频率特性厅内各测点处稳态声压级的平均值相对于扩声系统传声器处声压或扩声设备输入端电压的幅频响应。17.传声增益扩声系统达比较高可用增益时，厅内各测点处稳态声压级平均值与扩声系统传声器处声压级的差值。18.比较高可用增益maximumavailablegain歌舞厅扩声系统在声反馈自激临界状态的增益减去6dB时的增益。扩声系统中使用单指向性传声器、频率均衡器能提高扩声系统的传声增益。19.声场不均匀度有扩声时，厅内...

再次回授、无限循环而产生反馈现象，而系统在均衡声场后，该现象其实是可以得到明显改观的。但话筒的拾音灵敏度是不是可以无限大呢？不是，在足够电平条件下，它始终会因拾取到具有相干性频率相位关系的输入信号而建立起回授。该图片源于网络上述啸叫现象并不是本文重点，但它为我们讨论接下来的话题提供了一个前提，那就是（同一个声场环境中）话筒和音箱无论怎么摆都无法做到完全的隔离，更别说空间声场条件有限的小中型会议室了。在一套有扩声、有拾音的远程会议系统中，为了防止信号回授，我们通常会有意识地将远端输入信号不再路由给远端输出。然而无法抗拒的是，本地话筒因拾取到远端传送至本地扩声的信号，仍可将声音重新传送...

男人说话的声频为～150Hz，女人说话声频为～230Hz,发动机声频为～250Hz，绝大部分机器的噪音也是以低频为主的中低频噪音）,9.声音频率(声频)声波在单位时间内的振动次数称为频率(frequency)，单位赫(Hz)。人耳能够听到的声音的整个范围是20~20000Hz，一般把声音频率分为低频（500Hz以下）、中频（500-1000Hz）和高频(1000Hz以上)三个频带。听觉好的成年人能听到的声音频率常在30~16000Hz之间，老年人则常在50~10000Hz之间。10.混响声源停止发音后，产生的声音延续现象。11.混响时间当声场达到稳定的状态后，突然关掉声源使其停止发...

再次回授、无限循环而产生反馈现象，而系统在均衡声场后，该现象其实是可以得到明显改观的。但话筒的拾音灵敏度是不是可以无限大呢？不是，在足够电平条件下，它始终会因拾取到具有相干性频率相位关系的输入信号而建立起回授。上述啸叫现象并不是本文重点，但它为我们讨论接下来的话题提供了一个前提，那就是（同一个声场环境中）话筒和音箱无论怎么摆都无法做到完全的隔离，更别说空间声场条件有限的小中型会议室了。在一套有扩声、有拾音的远程会议系统中，为了防止信号回授，我们通常会有意识地将远端输入信号不再路由给远端输出。然而无法抗拒的是，本地话筒因拾取到远端传送至本地扩声的信号，仍可将声音重新传送至远端。这也是...

第三个部分是通过实验来检验这个算法的性能；再做一些简单的总结。非线性声学回声1什么是非线性声学回声？，什么是非线性的声学回声？的是声学回声的路径，左边对应的是发射端，右边对应的是接收端。我们发出的信号首先要经过D/A变换，从数字域变换到模拟域，然后再经过功率放大器，放大之后驱动喇叭，这样就会发出声音。发出来的声音经过空气信道传播之后，到了接收端被麦克风采集到，然后再次经过功率放大器，再通过A/D变换，从模拟域又变回到数字域。那么这里的y[k]就是我们收到的回声信号。，我们接收到的回声y[k]到底是线性回声还是非线性回声呢？或者说我们应该怎么去判断它？我觉得要解决这个问题，就是要认识...

可以准确快速的进行底噪测试。下图TWS耳机中的左耳，在喇叭播放空声源时，喇叭端有略微的电流声底噪，右耳无此不良现场，通过指南测控的标准声学测试系统进行左右耳TWS声学测试，可以在底噪测试步骤中检测到，有底噪异常的左耳的一些频段能量值偏高，无底噪问题的右耳的表现就“平顺”很多。再结合与更多正常品的对比和设定合理的limits，可以快速准确的检查出耳机在各种状态下的底噪不良。耳机回声回声来自于非预期的泄露，一般分为电学回声和声学回声。前者一般由于麦克风和扬声器线路布局不合理的电路耦合造成，后者则是由于麦克风和扬声器的声学泄露耦合而成。对于回声不良的耳机来说，在通话时，耳机喇叭播放的声音信号通过麦克...

噪声抑制和声源分离同属于语音增强的范畴，如果把噪声理解为广义的噪声三者之间的关系,噪声抑制需要准确估计出噪声信号，其中平稳噪声可以通过语音检测判别有话端与无话端的状态来动态更新噪声信号，进而参与降噪，常用的手段是基于谱减法(即在原始信号的基础上减去估计出来的噪声所占的成分)的一系列改进方法，其效果依赖于对噪声信号估计的准确性。对于非平稳噪声，目前用的较多的就是基于递归神经网络的深度学习方法，很多Windows设备上都内置了基于多麦克风阵列的降噪的算法。效果上，为了保证音质，噪声抑制允许噪声残留，只要比原始信号信噪比高，噪且听觉上失真无感知即可。单声道的声源分离技术起源于传说中的鸡尾...

直达声总是较早到达人耳，这是因为直达声比反射声的声程短。除了直达声以外，反射的声音形成了混响声，使室内声压级增加。15.比较大声压级厅内空场稳态时的比较大声压级。16.传输频率特性厅内各测点处稳态声压级的平均值相对于扩声系统传声器处声压或扩声设备输入端电压的幅频响应。17.传声增益扩声系统达比较高可用增益时，厅内各测点处稳态声压级平均值与扩声系统传声器处声压级的差值。18.比较高可用增益maximumavailablegain歌舞厅扩声系统在声反馈自激临界状态的增益减去6dB时的增益。扩声系统中使用单指向性传声器、频率均衡器能提高扩声系统的传声增益。19.声场不均匀度有扩声时，厅内...

首先这里的A和D比较好判断，他们都属于线性时不变系统。比较难判断的是C，因为在一些比较复杂的场景下，声学回声往往会经过多个不同路径的多次反射之后到达接收端，同时会带有很强的混响，甚至在更极端情况下，喇叭与麦克风之间还会产生相对位移变化，导致回声路径也会随时间快速变化。这么多因素叠加在一起，往往会导致回声消除算法的性能急剧退化，甚至完全失效。有同学可能会问，难道这么复杂的情况，不是非线性的吗？我认为C应该是一个线性时变的声学系统，因为我们区分线性跟非线性的主要依据是叠加原理，前面提到的这些复杂场景，它们依然是满足叠加原理的，所以C是线性系统。这里还要再补充一点，细心的朋友会发现B里面...

n)中的回声是扬声器播放远端参考x(n)，又被麦克风采集到的形成的，也就意味着在近端数据还未采集进来之前，远端数据缓冲区中已经躺着N帧x(n)了，这个天然的延时可以约等于音频信号从准备渲染到被麦克风采集到的时间，不同设备这个延时是不等的。苹果设备延时较小，基本在120ms左右，Android设备普遍在200ms左右，低端机型上会有300ms左右甚至以上。（2）远近端非因果为什么会导致回声？从（1）中可以认为，正常情况下当前帧近端信号为了找到与之对齐的远端信号，必须在远端缓冲区沿着写指针向前查找。如果此时设备采集丢数据，远端数据会迅速消耗，导致新来的近端帧在向前查找时，已经找不到与之...

在线性的回声场景里，双耦合的非线性滤波器是处于休眠的状态，所以它的值是趋于0的，这个时候起主导作用的是线性滤波器。接下来我们再看一下右边的非线性声学回声场景。我们假设非线性的失要出现在t1到t2这个时间段内，大家可以看到黄色线在这个时间里，出现了一次突变，对于NLMS算法，当出现非线性失真之后，它的线性滤波器会去逼近非线性失真。但是由于学习的速度跟不上滤波器变化的速度，所以它跟真实的值之间总是存在一个比较大的gap。同时当非线性失真消失之后，它还需要一段时间恢复到正常状态，因此在整个时间段里，都会出现回声泄露的问题。接下来我们再看双耦合算法，在非线性失真出现之后，线性滤波器会进入到...

直达声总是较早到达人耳，这是因为直达声比反射声的声程短。除了直达声以外，反射的声音形成了混响声，使室内声压级增加。15.比较大声压级厅内空场稳态时的比较大声压级。16.传输频率特性厅内各测点处稳态声压级的平均值相对于扩声系统传声器处声压或扩声设备输入端电压的幅频响应。17.传声增益扩声系统达比较高可用增益时，厅内各测点处稳态声压级平均值与扩声系统传声器处声压级的差值。18.比较高可用增益maximumavailablegain歌舞厅扩声系统在声反馈自激临界状态的增益减去6dB时的增益。扩声系统中使用单指向性传声器、频率均衡器能提高扩声系统的传声增益。19.声场不均匀度有扩声时，厅内...

如果设置nlp_mode=kAecNlpAggressive，α大约会在30左右。如果当前帧为近端帧（即echo_state=false），假设第k个频带hNl(k)=，hNl(k)=hNl(k)^α=，即使滤波后的损失听感上几乎无感知。如图8(a)，hNl经过α调制之后，幅值依然很接近。如果当前帧为远端帧（即echo_state=true），假设第k个频带hNl(k)=，hNl(k)=hNl(k)^α=，滤波后远端能量小到基本听不到了。如图8(b)，hNl经过α调制之后，基本接近0。经过如上对比，为了保证经过调制之后近端期望信号失真小，远端回声可以被抑制到不可听，WebRTCAE...

WebRtcAec_Process接口如上，参数reported_delay_ms为当前设备需要调整延时的目标值。如某Android设备固定延时为400ms左右，400ms已经超出滤波器覆盖的延时范围，至少需要调整300ms延时，才能满足回声消除没有回声的要求。固定延时调整在WebRTCAEC算法开始之初作用一次,为什么target_delay是这么计算？inttarget_delay=startup_size_ms*self->rate_factor*8;startup_size_ms其实就是设置下去的reported_delay_ms，这一步将计算时间毫秒转化为样本点数。160...

需要注意的是，如果index在滤波器阶数两端疯狂试探，只能说明当前给到线性部分的远近端延时较小或过大，此时滤波器效果是不稳定的，需要借助固定延时调整或大延时调整使index处于一个比较理想的位置。线性部分算法是可以看作是一个固定步长的NLMS算法，具体细节大家可以结合源码走读，本节重点讲解线型滤波在整个框架中的作用。从个人理解来看，线性部分的目的就是很大程度的消除线性回声，为远近端帧判别的时候，很大程度地保证了信号之间的相干值(0~1之间，值越大相干性越大)的可靠性。我们记消除线性回声之后的信号为估计的回声信号e(n)，e(n)=s(n)+y''(n)+v(n)，其中y''(n)为...

首先是优化准则。NLMS算法是基于小均方误差准则，而双耦合算法是基于小平均短时累计误差准则，所以他们的优化准则是不一样的。第二个就是理论的比较好解，NLMS算法具有Wiener-Hopf方程解，而双耦合算法的线性滤波器也具有Wiener-Hopf方程解，非线性滤波器具有小二乘解。第三个维度就是运算量，NLMS运算量是O（M），M是滤波器的阶数，而双耦合算法运算量后面会多一个O（N2），因为他有两个滤波器，N是非线性滤波器的阶数，这里的平方是因为小二乘需要对矩阵进行求逆运算，所以它的运算量比线性的NLMS运算量要大很多。第三个就是控制机制，NLMS算法只有一个滤波器，它的控制主要是通...

喇叭发声单元跟麦克接收单元之间，通常是需要做隔振处理的，如果没有隔振处理的话，那么在喇叭发声的过程中，他所产生的振动会通过物理方式传递到麦克接收端。对麦克接收到的声学信号进行调制，而这种振动本质上是一种随机的、非线性的振动，所以它必然会带来非线性失真。手机声学特性调研我们之前针对市面上主要的手机机型做过一次调研，主要调查声学特性。结果我们很惊讶地发现，市面上超过半数的手机机型，声学特性不够理想，对应这里面的“较差”和“极差”这两档。我们平时用手机开外音玩游戏，或者语音通话时，经常会出现漏回声问题和双讲剪切问题，就与手机声学特性不佳有直接联系。当然这组数据只是针对手机这种电子产品，市...

黑色这条线是标准NLMS算法的回声抑制比。我们可以看到，NLMS算法在收敛之后，回声抑制比只能到10个分贝左右，相对比较低。而双耦合算法在收敛之后，可以达到25个分贝以上，也就是说它比NLMS算法多15个分贝，这个优势是很明显的。接下来我们再看第二个示例，针对弱非线性失真的情况，左边是语谱，右边是回声抑制比。我们评估单讲性能的主要指标是回声抑制比和收敛速度。首先看一下NLMS算法，它在收敛之后，大概可以抑制22~25个分贝。这个算法的收敛速度很慢，大概经过100多帧之后才会进入到相对收敛的状态。再来看一下双耦合算法，在稳定之后，可以抑制35~40个分贝，比NLMS算法大概提升15~...

这样会带来一个新的问题：按照Widrow的自适应滤波理论，滤波器的长度越长，其收敛速度越慢，同时权噪声越大，进而导致强混响下回声消除不够理想。第二个问题是延时跳变问题。在实时音视频通话领域，延时跳变是一个比较普遍的问题。主要现象是麦克端采集的信号和回声参考信号之间的时延关系会发生跳变，每次跳变之后就需要重新对齐信号，就会漏一些回声出来。第三个问题是啸叫问题。啸叫的检测和啸叫的抑制是公认的在回声领域的经典难题。还有双讲问题。双讲是评估回声消除算法性能的一个重要指标，当然也是很难处理的一个问题，因为双讲很容易导致滤波器系数发散。综合以上这些维度我们可以看到，非线性的声学回声消除是一个很...