广东电脑声学回声降噪算法

    n)后，被麦克风采集到的信号，此时经过房间混响以及麦克风采集的信号y(n)已经不能等同于信号x(n)了,我们记线性叠加的部分为y'(n),非线性叠加的部分为y''(n),y(n)=y'(n)+y''(n)；s(n):麦克风采集的近端说话人的语音信号，即我们真正想提取并发送到远端的信号；v(n)：环境噪音，这部分信号会在ANS中被削弱；d(n):近端信号，即麦克风采集之后，3A之前的原始信号，可以表示为：d(n)=s(n)+y(n)+v(n)；s'(n):3A之后的音频信号，即准备经过编码发送到对端的信号。WebRTC音频引擎能够拿到的已知信号只有近端信号d(n)和远端参考信号x(n)。如果信号经过A端音频引擎得到s'(n)信号中依然残留信号y(n)，那么B端就能听到自己回声或残留的尾音（回声抑制不彻底留下的残留）。AEC效果评估在实际情况中可以粗略分为如下几种情况（专业人员可根据应用场景、设备以及单双讲进一步细分）：回声消除的本质在解析WebRTCAEC架构之前，我们需要了解回声消除的本质是什么。音视频通话过程中，声音是传达信息的主要途径，因此从复杂的录音信号中，通过信号处理的手段使得我们要传递的信息：高保真、低延时、清晰可懂是一直以来追求的目标。在我看来，回声消除。

     非线性声学回声消除技术在整个声学回声消除领域是一个相对比较冷的研究方向。广东电脑声学回声降噪算法

    首先是优化准则。NLMS算法是基于小均方误差准则，而双耦合算法是基于小平均短时累计误差准则，所以他们的优化准则是不一样的。第二个就是理论的比较好解，NLMS算法具有Wiener-Hopf方程解，而双耦合算法的线性滤波器也具有Wiener-Hopf方程解，非线性滤波器具有小二乘解。第三个维度就是运算量，NLMS运算量是O（M），M是滤波器的阶数，而双耦合算法运算量后面会多一个O（N2），因为他有两个滤波器，N是非线性滤波器的阶数，这里的平方是因为小二乘需要对矩阵进行求逆运算，所以它的运算量比线性的NLMS运算量要大很多。第三个就是控制机制，NLMS算法只有一个滤波器，它的控制主要是通过调整步长来实现的，控制起来要相对简单。而双耦合算法需要对两套滤波器进行耦合控制，控制的复杂度要高很多。实验结果分析,这里我主要是分了两个实验场景比较双耦合算法和NLMS算法的性能，个是单讲测试场景，第二个就是双讲测试场景。首先看一下单讲测试场景，个示例是针对强非线性失真的情况，左边分别原信号的语谱，NLMS算法进行回声消除之后的语谱、双耦合算法的语谱。颜色越深，能量越大。右边这个的是回声抑制比，值越大越好，红色的曲线是双耦合算法的回声抑制比。

    广东电脑声学回声降噪算法实现对整个声学回声路径的变化进行有效跟进。

    至于双讲恢复能力WebRTCAEC算法提供了{kAecNlpConservative,kAecNlpModerate,kAecNlpAggressive}3个模式，由低到高依次不同的抑制程度，远近端信号处理流程,NLMS自适应算法（上图中橙色部分）的运用旨在尽可能地消除信号d(n)中的线性部分回声，而残留的非线性回声信号会在非线性滤波（上图中紫色部分）部分中被消除，这两个模块是WebrtcAEC的模块。模块前后依赖，现实场景中远端信号x(n)由扬声器播放出来在被麦克风采集的过程中，同时包含了回声y(n)与近端信号x(n)的线性叠加和非线性叠加：需要消除线性回声的目的是为了增大近端信号X(ω)与滤波结果E(ω)之间的差异，计算相干性时差异就越大（近端信号接近1，而远端信号部分越接近0），更容易通过门限直接区分近端帧与远端帧。非线性滤波部分中只需要根据检测的帧类型，调节抑制系数，滤波消除回声即可。下面我们结合实例分析这套架构中的线性部分与非线性分。线性滤波线性回声y'(n)可以理解为是远端参考信号x(n)经过房间冲击响应之后的结果，线性滤波的本质也就是在估计一组滤波器使得y'(n)尽可能的等于x(n)，通过统计滤波器组的比较大幅值位置index找到与之对齐远端信号帧，该帧数据会参与相干性计算等后续模块。

我们比较这两个之后就会发现，双讲段主要出现在中间这一段。我们评估双讲性能的主要指标是回声抑制比和近端语音失真度。上面这是经过回声消除之后的语谱，中间的是NLMS算法的结果。我们可以看到它的回声抑制不是很理想，不管在单讲段还是在双讲段，都有比较多的回声残留。而下面这个是采用双耦合算法得到的语谱，可以看到在单讲和双讲里面回声抑制得都比较干净，并且在双讲里，对近端语音的损伤也很小。这个数据对应视频会议场景，因此还需要做一步NLP的处理。上面这个就是基于双耦合算法，做了NLP之后的输出结果。我们可以看到处理完之后，整个语谱很清晰，回声去得很干净，而且语谱没有太大损伤，双讲很通透。我再来简单总结一下，主要是介绍了三个方面的内容，个就是认识了非线性声学回声、产生的原因、研究现状以及技术难点。接下来重点介绍了华为云音视频的双耦合声学回声消除算法，我们的主要贡献体现在两个方面，个方面就是构建一种双耦合自适应滤波器结构；第二个就是提出了小平均短时累计误差准则并进行求解。通过求解之后，我们会得到双耦合滤波器的线性滤波器是具有Wiener-Hopf方程解的比较好解这种形式，然后非线性滤波器具有小二乘解。右边的非线性声学回声场景。

    TWS耳机异音，底噪，回声测试难点,TWS耳机市场一直在迅猛发展和壮大，逐步提升在整个耳机市场中的份额，无论是坐公交，乘地铁，漫步，还是居家娱乐，都能看到TWS耳机的魅影。换个角度讲，TWS耳机正在融入人们的生活。与此同时，习惯了TWS的用户对于TWS耳机也有着更高的要求，比如音质，降噪，更好的无线连接，防水，续航，轻便，舒适等。近期市场调查反馈得知，消费者普遍把音质作为选购TWS耳机的首要指标。其中消费者直观感受到的几项指标，在生产环节又容易忽略及不易测试出来的。测试员在听音时因工厂环境原因也难以分辨出来，但在实际使用过程中又很容易发现的不良，造成客户投诉及批量退货。这就是异（常）音，底噪和回声问题。下面我们基于这三者的表象，原因以及测量方法做些介绍。一、耳机异（常）音异（常）音泛指耳机喇叭漏气、杂音、振音等非正常音。其产生原因大概有以下几项：1、喇叭音圈问题，如变形、散线、未对齐、尾部卷起大振幅时音圈碰擦到T铁或华司等。2、喇叭磁隙问题，有摩擦或松散微粒。3、喇叭振膜问题，脱胶，喇叭振膜边缘与钢架胶粘处分离，或振膜表面破损。4、耳机电气及悬挂系统的缺陷，导致干扰附加音。异常音之所以难测试。

     回声消除AEC（AcousticEchoCancellation）一般指的是声学回声消除，其主要用于抑制产品本身发出的声音。广东电脑声学回声降噪算法

双耦合声学回声消除算法的主要贡献体现在两个方面。广东电脑声学回声降噪算法

    也就是说吸声可提高音质,但对降噪能力效果不好。3.吸声系数在一定面积上被吸收的声能与射入声能之比称之为该界面的吸声系数（α）。当入射声能被完全反射时，α=0，表示无吸声作用；当入射声波完全没有被反射时，α=1，表示完全被吸收。一般材料或结构的吸声系数α=0~1，α值越大，表示吸声能越好，它是目前表征吸声性能常用的参数。4.吸声量又称等效吸声面积,等于吸声材料面积与其吸声系数的乘积。单位为平方米。5.吸声材料吸声系数大于(acousticalabsorptionmaterials)。吸声材料是多孔、疏散的材质,常用的吸声材料有玻璃棉、岩棉、聚酯纤维吸音板、羊毛毡、矿渣棉、卡普隆纤维、棉麻等植物纤维、泡沫微孔吸声砖等。雪也能吸声。6.隔声隔声是指声波在空气中传播时，一般用各种易吸收能量的物质消耗声波的能量使声能在传播途径中受到阻挡而不能直接通过的措施，这种措施称为隔声。7.隔声量声波从一空间向另一空间透射，被中间界面阻隔的声能。8.吸声降噪指采用吸声的材料吸收噪声、降低噪声强度的方法。一般利用吸声装置（吸声饰面、空间吸声体等）吸收室内的声能以降低噪声。在室内建筑厅堂和工厂降噪的声学设计中，主要是解决低频吸声降噪的问题。。

     广东电脑声学回声降噪算法