经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 程序设计 » Python3 » 查看文章
语音信号处理中的“窗函数”
来源:cnblogs  作者:凌逆战  时间:2024/5/6 16:15:26  对本文有异议

文章代码仓库:https://github.com/LXP-Never/window_fun

窗函数贯穿整个语音信号处理,语音信号是一个非平稳的时变信号,但“**短时间内可以认为语音信号是平稳时不变的,一般 10~30ms**。

对连续的语音分帧做STFT处理,等价于截取一段时间信号,对其进行周期性延拓,从而变成无限长序列,并对该无限长序列做FFT变换,这一截断并不符合傅里叶变换的定义。因此,会导致频谱泄漏和混叠

  • 频谱泄漏:如果不加窗,默认就是矩形窗,时域的乘积就是频域的卷积,使得频谱以实际频率值为中心, 以窗函数频谱波形的形状向两侧扩散,指某一频点能量扩散到相邻频点的现象,会导致幅度较小的频点淹没在幅度较大的频点泄漏分量中
  • 频谱混叠:会在分段拼接处引入虚假的峰值,进而不能获得准确的频谱情况

加窗的目的让一帧信号的幅度在两端渐变到 0,渐变对傅里叶变换有好处,可以让频谱上的各个峰更细,不容易糊在一起,从而减轻频谱泄漏和混叠的影响

加窗的代价一帧信号两端的部分被削弱了,没有像中央的部分那样得到重视。弥补的办法就是相互重叠。相邻两帧的起始位置的时间差叫做帧移,常见的取法是取为帧长的一半

对于语音,窗函数常选汉宁窗(Hanning)、汉明窗(Hamming)、sqrthann及其改进窗,他们的时域波形和幅频响应如下所示:

1、汉宁窗(Hann)

$$w(n) = 0.5 - 0.5 \cos\left(\frac{2\pi{n}}{M-1}\right) \qquad 0 \leq n \leq M-1$$

2、汉明窗(Hamming)

$$w(n) = 0.54 - 0.46 \cos\left(\frac{2\pi{n}}{M-1}\right) \qquad 0 \leq n \leq M-1$$

  1. # -*- coding:utf-8 -*-
  2. # Author:凌逆战 | Never
  3. # Date: 2023/1/1
  4. """
  5. 绘制 窗函数和对应的频率响应
  6. """
  7. import numpy as np
  8. from numpy.fft import rfft
  9. import matplotlib.pyplot as plt
  10. window_len = 60
  11.  
  12.  
  13. # frequency response
  14. def frequency_response(window, window_len=window_len, NFFT=2048):
  15. A = rfft(window, NFFT) / (window_len / 2) # (513,)
  16. mag = np.abs(A)
  17. freq = np.linspace(0, 0.5, len(A))
  18. # 忽略警告
  19. with np.errstate(divide='ignore', invalid='ignore'):
  20. response = 20 * np.log10(mag)
  21. response = np.clip(response, -150, 150)
  22. return freq, response
  23. def Rectangle_windows(win_length):
  24. # 矩形窗
  25. return np.ones((win_length))
  26. def Voibis_windows(win_length):
  27. """ Voibis_windows窗函数,RNNoise使用的是它,它满足Princen-Bradley准则。
  28. :param x:
  29. :param win_length: 窗长
  30. :return:
  31. """
  32. x = np.arange(0, win_length)
  33. return np.sin((np.pi / 2) * np.sin((np.pi * x) / win_length) ** 2)
  34. def sqrt_hanning_windows(win_length, mode="periodic"):
  35. # symmetric: 对称窗,主要用于滤波器的设计
  36. # periodic: 周期窗,常用于频谱分析
  37. if mode == "symmetric":
  38. haning_window = np.hanning(win_length)
  39. sqrt_haning_window = np.sqrt(haning_window)
  40. elif mode == "periodic":
  41. haning_window = np.hanning(win_length+1)
  42. sqrt_haning_window = np.sqrt(haning_window)
  43. sqrt_haning_window = sqrt_haning_window[0:-1].astype('float32')
  44. return sqrt_haning_window
  45. Rectangle_windows = Rectangle_windows(window_len)
  46. hanning_window = np.hanning(M=window_len)
  47. print(np.argmax(hanning_window))
  48. sqrt_hanning_windows = sqrt_hanning_windows(window_len)
  49. hamming_window = np.hamming(M=window_len)
  50. Voibis_windows = Voibis_windows(window_len)
  51. blackman_window = np.blackman(M=window_len)
  52. bartlett_window = np.bartlett(M=window_len)
  53. kaiser_window = np.kaiser(M=window_len, beta=14)
  54. plt.figure()
  55. plt.plot(Rectangle_windows, label="Rectangle")
  56. plt.plot(hanning_window, label="hanning")
  57. plt.plot(sqrt_hanning_windows, label="sqrt_hanning")
  58. plt.plot(hamming_window, label="hamming")
  59. plt.plot(Voibis_windows, label="Voibis")
  60. plt.plot(blackman_window, label="blackman")
  61. plt.plot(bartlett_window, label="bartlett")
  62. plt.plot(kaiser_window, label="kaiser")
  63. plt.legend()
  64. plt.tight_layout()
  65. plt.show()
  66. freq, Rectangle_FreqResp = frequency_response(Rectangle_windows, window_len)
  67. freq, hanning_FreqResp = frequency_response(hanning_window, window_len)
  68. freq, sqrt_hanning_FreqResp = frequency_response(sqrt_hanning_windows, window_len)
  69. freq, hamming_FreqResp = frequency_response(hamming_window, window_len)
  70. freq, Voibis_FreqResp = frequency_response(Voibis_windows, window_len)
  71. freq, blackman_FreqResp = frequency_response(blackman_window, window_len)
  72. freq, bartlett_FreqResp = frequency_response(bartlett_window, window_len)
  73. freq, kaiser_FreqRespw = frequency_response(kaiser_window, window_len)
  74. plt.figure()
  75. plt.title("Frequency response")
  76. plt.plot(freq, Rectangle_FreqResp, label="Rectangle")
  77. plt.plot(freq, hanning_FreqResp, label="hanning")
  78. plt.plot(freq, sqrt_hanning_FreqResp, label="sqrt_hanning")
  79. plt.plot(freq, hamming_FreqResp, label="hamming")
  80. plt.plot(freq, Voibis_FreqResp, label="Voibis")
  81. plt.plot(freq, blackman_FreqResp, label="blackman")
  82. plt.plot(freq, bartlett_FreqResp, label="bartlett")
  83. plt.plot(freq, kaiser_FreqRespw, label="kaiser")
  84. plt.ylabel("Magnitude [dB]")
  85. plt.xlabel("Normalized frequency [cycles per sample]")
  86. plt.legend()
  87. plt.tight_layout()
  88. plt.show()
绘制 窗函数和对应的频率响应

1 如何选择窗函数

  1. 窗函数频谱的主瓣尽量窄,能量尽可能集中在主瓣内,在频谱分析时能获得较高的频率分辨率
  2. 旁瓣增益小且随衰减快,以减小频谱分析时的泄漏失真

 但主瓣既窄,旁辨又小衰减又快的窗函数是不容易找到的,比如矩形窗的主瓣宽度最窄,但旁瓣很大,因此在分析处理对应数据时,需要做综合考虑。

 下图为针对特定的一段语音信号,加矩形窗与汉宁窗的时域波形及频谱图,Fs=8kHz,窗长取256。可以看出,采用矩形窗时,基音谐波的各个峰都比较尖锐,且整个频谱图显得比较破碎,这是因为矩形窗的主瓣较窄,具有较高的频率分辨率,但是其旁瓣增益较高,因而使基音的相邻皆波之间的干扰比较严重。在相邻谐波间隔内有时叠加,有时抵消,出现了一种随机变化的现象,相邻谐波之间发生频率泄露和混叠,而相对来说,Hamming窗会好多。

2 周期窗和对称窗

在 MATLAB 中,每一个窗函数都可以选择 ‘symmetric’ 或 ‘periodic’ 类型。

  • symmetric’ 类型表示窗函数是对称的,主要用于滤波器的设计
  • periodic’ 类型表示窗函数是周期性的,主要用于频谱分析

下图分别画出了周期窗和对称窗,蓝色的是周期窗(periodic),红色的是对称窗(symmetric)。在图形上最大的区别是 对称窗有两个最大值,周期窗的最大值在中间。注意如果做stft的时候使用对称的窗函数是不能完美重建的,会有一个比较小的误差。

下图是8个点的频率响应漏,从图中可以看出, periodic拥有稍微窄一点的主瓣,稍微高一点的旁瓣,和稍微低一点的噪声带宽。

窗长的选择

上面已经说过,帧长一般为10~30ms之间,接下来就具体验证帧长会产生什么影响,为了验证该问题,我们人工造一段很简单的数据进行观察,假设overlap为窗长一半,FFT点数与窗长一致,避免引入补零等情况,即为:

通过上图可以验证:长窗具有较高的频率分辨率,较低的时间分辨率。长窗起到了时间上的平均作用。窗宽的选择需折中考虑。短窗具有较好的时间分辨率,能够提取出语音信号中的短时变化(这常常是分析的目的),损失了频率分辨率。

在python中有很多库都可以创建窗函数,我们一起来探索一下他们是对称窗还是周期窗(非对称)

  • numpy的hanning函数是对称的
  • scipy有hanning函数有sym参数设置,默认是对称的
  • torch的hanning函数有periodic参数设置,默认是非对称的
  1. # -*- coding:utf-8 -*-
  2. # Author:凌逆战 | Never# Date: 2024/3/8
  3. """
  4. 对比不同库中hann窗函数的实现
  5. 如果对称(sym=True)的话,有两个最大值,如果不对称(sym=False)的话,有一个最大值
  6. - numpy的hanning函数是对称的 - scipy有hanning函数有sym参数设置,默认是对称的
  7. - torch的hanning函数有periodic参数设置,默认是非对称的
  8. """
  9. import numpy as np
  10. import torch
  11. import scipy.signal as signal
  12. window_len = 512
  13. def hann_sym(window_len):
  14. """对称hann窗"""
  15. win = np.zeros(window_len)
  16. for i in range(window_len):
  17. win[i] = 0.5 - 0.5 * np.cos(2 * np.pi * i / (window_len - 1))
  18. return win
  19. def hann_asym(window_len):
  20. """非对称hann"""
  21. p_win = np.zeros(window_len)
  22. for i in range(window_len):
  23. p_win[i] = np.sin(np.pi * i / window_len)
  24. p_win[i] = p_win[i] * p_win[i]
  25. return p_win
  26. def my_hann_aysm(win_len):
  27. haning_window = np.hanning(win_len + 1) # 对称的hann窗
  28. out = haning_window[0:-1].astype('float32') # 舍弃最后一个元素
  29. return out
  30. scipy_sym = signal.windows.hann(window_len, sym=True) # 对称的hann窗
  31. scipy_Asym = signal.windows.hann(window_len, sym=False) # 非对称的hann窗
  32. hann_sym_c = hann_sym(window_len)
  33. hann_asym_c = hann_asym(window_len)
  34. my_hann= my_hann_aysm(window_len)
  35. print(np.allclose(scipy_sym, hann_sym_c)) # True
  36. print(np.allclose(scipy_Asym, hann_asym_c)) # True
  37. print(np.allclose(my_hann, hann_asym_c)) # True
  38. numpy_window = np.hanning(window_len) # 说明numpy的hanning函数是对称的
  39. print(np.allclose(numpy_window, scipy_sym)) # True
  40. torch_window = torch.hann_window(window_len) # 非对称
  41. torch_window_periodic = torch.hann_window(window_len, periodic=False) # 非周期=对称
  42. # print(torch.argmax(window_torch))
  43. # 判断两个窗函数是否相等
  44. print(np.allclose(scipy_Asym, torch_window.numpy(), rtol=1e-3)) # True
  45. print(np.allclose(scipy_sym, torch_window_periodic.numpy(), rtol=1e-3)) # True
对比不同库中hann窗函数的实现

3 低延迟非对称窗

这里讲的低延迟非对称窗并不是上文的非对称窗(周期窗),而是真正图形上的非对称窗。

在STFT中,通常会使用重叠的窗来处理信号,以提高频谱分辨率和减少频谱泄漏。重叠的窗会导致相邻窗之间存在重叠部分,这就需要使用OLA技术来将这些重叠部分合并起来,以恢复原始信号。

在进行重叠相加的过程中,会引入一定的延迟,这是因为在重叠部分的处理过程中,需要考虑到前一个窗口和后一个窗口之间的重叠,以确保信号能够完美重建。因此,延迟的产生主要是由于重叠窗口的处理过程中所引入的时间偏移。因此延迟产生的主要因素就有窗长、重叠比例、以及窗的形状。

算法处理延迟一般是由于OLA决定的,比如一个窗长为512,帧移为256的hann窗,一般在做OLA的时候,在256个点之后,第一个完美重建的点才会出来,因此延迟等于帧移。如果我们想要将算法延迟压缩到32个点(2ms),第一种方法是使用窗长为64,帧移为32个点的窗,这样我们NFFT=64,会导致频率分辨率很低。第二种方法就是使用低延迟非对称窗。在助听器研究中常使用非对称窗函数。

下面举个例子,sqrthann非对称窗,窗长为512

图2:具有高时间(窗口1)和高频谱分辨率(窗口2)的分析和合成窗,用于窗长为K = 512,M = 64和d=64

延迟等于2M-hop_size,如果M=hop_size,如果延迟等于hop_size。

目前非对称窗窗形状有:Orka窗、Tukey 窗、Asqrt hann 窗

  1. def Orka_forward_window(N1=64, N2=448, hop_size=64, NFFT=512):
  2. analysisWindow = np.zeros(NFFT)
  3. for n in range(NFFT):
  4. if n < N1:
  5. analysisWindow[n] = np.sin(n * np.pi / (2 * N1)) ** 2
  6. elif N1 <= n <= N2:
  7. analysisWindow[n] = 1
  8. elif N2 < n <= N2 + hop_size:
  9. analysisWindow[n] = np.sin(np.pi * (N2 + hop_size - n) / (2 * hop_size))
  10. return analysisWindow
  11. def Orka_backward_window(N1=64, N2=448, hop_size=64, NFFT=512):
  12. synthesisWindow = np.zeros(NFFT)
  13. for n in range(NFFT):
  14. if n < N2 - hop_size:
  15. synthesisWindow[n] = 0
  16. elif N2 - hop_size <= n <= N2:
  17. synthesisWindow[n] = np.cos(np.pi * (n - N2) / (2 * hop_size)) ** 2
  18. elif N2 < n <= N2 + hop_size:
  19. synthesisWindow[n] = np.sin(np.pi * (N2 + hop_size - n) / (2 * hop_size))
  20. return synthesisWindow
Orka窗
  1. def TukeyAW(n, N, alpha):
  2. # assert n >= 0
  3. if n < alpha * N:
  4. return 0.5 * (1 - np.cos(np.pi * n / (alpha * N)))
  5. elif n <= N - alpha * N:
  6. return 1
  7. elif n <= N:
  8. return 0.5 * (1 - np.cos(np.pi * (N - n) / (alpha * N)))
  9. def getTukeyAnalysisWindow(filter_length, alpha):
  10. analysisWindow = np.zeros(filter_length)
  11. for i in range(filter_length):
  12. analysisWindow[i] = TukeyAW(i, filter_length, alpha)
  13. return analysisWindow
  14. def getTukeySynthesisWindow(N, A, B, alpha):
  15. synthesisWindow = np.zeros(A)
  16. for i in range(A):
  17. x = N - A + i
  18. numerator = TukeyAW(x, N, alpha)
  19. denonminator = 0
  20. for k in range(int(A / B)):
  21. y = N - A + i % B + k * B
  22. denonminator += TukeyAW(y, N, alpha) ** 2
  23. synthesisWindow[i] = numerator / denonminator
  24. synthesisWindow = np.pad(synthesisWindow, (N - A, 0), 'constant', constant_values=0)
  25. return synthesisWindow
Tukey窗
  1. def getAsqrtAnalysisWindow(N, M, d):
  2. # filter_length, hop_length, d
  3. risingSqrtHann = np.sqrt(np.hanning(2 * (N - M - d) + 1)[:(N - M - d)])
  4. fallingSqrtHann = np.sqrt(np.hanning(2 * M + 1)[:2 * M]) # 下降
  5. window = np.zeros(N)
  6. window[:d] = 0
  7. window[d:N - M] = risingSqrtHann[:N - M - d]
  8. window[N - M:] = fallingSqrtHann[-M:]
  9. return window
  10. def getAsqrtSynthesisWindow(N, M, d):
  11. risingSqrtHannAnalysis = np.sqrt(np.hanning(2 * (N - M - d) + 1)[:(N - M - d)])
  12. fallingSqrtHann = np.sqrt(np.hanning(2 * M + 1)[:2 * M])
  13. risingNoramlizedHann = np.hanning(2 * M + 1)[:M] / risingSqrtHannAnalysis[N - 2 * M - d:N - M - d]
  14. window = np.zeros(N)
  15. window[:-2 * M] = 0
  16. window[-2 * M:-M] = risingNoramlizedHann
  17. window[-M:] = fallingSqrtHann[-M:]
  18. return window
Asqrthann窗

通过OLA过程发现,使用非对称窗确实是在hop_size处信号完美重建,代码见仓库。

 

参考

【论文】CEC2 E008 Technical Pape
【论文】Wang Z Q, Wichern G, Watanabe S, et al. STFT-domain neural speech enhancement with very low algorithmic latency[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2022, 31: 397-410.
【论文】Mauler D, Martin R. A low delay, variable resolution, perfect reconstruction spectral analysis-synthesis system for speech enhancement[C]//2007 15th European Signal Processing Conference. IEEE, 2007: 222-226.

 

原文链接:https://www.cnblogs.com/LXP-Never/p/18175066

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号