什么是语谱图

什么是语谱图？最通常的，就是语音短时傅里叶变换STFT的幅度画出的2D图。之所以是通常的，是因为可以不是傅里叶变换。STFT时横轴时间，纵轴频率，每格颜色深浅代表信号能量功率大小。

窄带语谱图

“窄带”，顾名思义，频率带宽小，短时窗长，窄带语谱图就是长窗条件下画出的语谱图。
窄带语谱图的带宽窄，那么在频率上就“分得开，更细致”，即能将语音各次谐波“看得很清楚”，即表现为“横线”。“横”就体现出了频率分辨率高。分辨率可以直观的看做“分开能力”。“频率分辨率”高就是在频率上将各次谐波分开的能力高，表现为能分辨出各次谐波的能力高，频率分辨率越高，越容易分辨各次谐波。

基频和共振峰分析
基音周期表示声带的震动周期，每隔这么长时间（震动周期），有一个气流通过，“每隔”就体现了周期性，这就是基音周期，那么谱图上就应该有这个频率的信号分量，而且这个频率的幅度（能量）不应该很小，因为每隔一段时间“就有”一团能量通过声带。所以基音频率所在的成分在窄带语谱图上应该是所有横条纹中频率范围最低的那条。
在上图中，用虚线框框住的部分就表示基音频率成分，与其在同一水平线上的条纹都表示该时刻的基音频率成分，这条条纹对应的纵轴刻度值就表示基音频率。从放大小图可估计基音频率大约在250Hz左右，基音频率略有波动，0.5s处大约是240Hz。
其他横条纹就是各次谐波，这些谐波中有些地方颜色比同时刻其附近其他横条纹颜色要深，这些颜色深的条纹表示共振峰。有些时刻，颜色较局部附近深的条纹不止一条，这些深色条纹组成了各次共振峰，如第一、第二、第三共振峰。
窄带语谱图上基本上可以发现，低频部分，横条纹比较直，而高频部分，条纹变“弯”了，这表示什么？放大小图可明显看到，基音频率也不是不变的，其也具有波动，我们可以人为的将基频线连接起来为一条曲线，这称为基音跟踪。
共振峰表示“谐振”，频谱上表示为频谱包络（其实是上包络）的峰值，那么频谱下包络的谷值点就表示“反谐振”。每个峰之点就代表一个系统极点，谷值点就是零点。

宽带语谱图

“宽带”，正好相反。至于“横竖条纹”，类似的，宽带语谱图的时宽窄，那么在时间上就“分得开”，即能将语音在时间上重复的部分“看得很清楚”，即表现为“竖线”。“竖”就体现出了时间分辨率高。时间分辨率越高，谱图上的竖线看得越清楚。

基频和共振峰分析
宽带语谱图的基音频率和共振峰就不清晰了。但是其仍可以看出基音周期，图2小图具有明显的竖线，两条竖线之间的时间就表示基音周期。在0.44s到0.54s时间段内大约有25条竖线，即24个间隔，则基音周期可估计为（0.54-0.44）/24=4.17ms，则基音频率估计为240Hz。

时域、频域图

选取0.5s处的一段语音片段，长度为20ms。其时域波形和频谱如图。

基频和共振峰分析
图3左图，用红圈圈示的尖峰用于估计基音周期，双向箭头表示时间范围内5个圈共4个相似的波段，这4段就表示4个基音周期，则可估计基音周期约为4.25ms，则基音频率约为1s/4.25ms=235.2941Hz。
图3右图，频谱具有明显小尖峰，这些尖峰在低频部分（可认为语音频率3400Hz内）比较有规律且平滑，这些尖峰就是各次谐波，从左往右一次是1次、2次、3次……谐波。其中最左边的尖峰对应基音频率，其横坐标对应的值表示基音频率，从小图可看到大约为234.83Hz。利用各次谐波可以得到更精确的估计，图中用红圈表示用于估计基频的谐波，共选取了15个，估计出基频为234.8337Hz。高频出现小幅度的“杂乱”，这些“杂乱”表示噪声，来源有录音设备及量化噪声等（虽然幅度很小，甚至根本就“听”不出来）。

基音频率体现的是声源的信息，而共振峰体现的是声道的信息。为便于比较和观察，根据源滤波模型将图3这个语音片段的源和系统分离，分别展示源的频谱和声道的频谱，观察一致性。

粉红线是声源信息的频谱
红线是语音的频谱
黑色虚线是语音频谱的包络
蓝线是声道频谱

蓝色圈圈标示出声道频谱的峰值点，粉红虚竖线显示这些峰值点的位置。根据语音产生的源-滤波器模型及源、系统的卷积解释，语音频谱的包络显示的是声道的信息，而小尖峰显示源的信息，如谐波。可看到粉红线和红线二者的峰值的位置正好一一对应，体现了源的信息，而且粉红线（源）明显没有包络峰值，说明声道的信息被滤除，只剩声源。
同样，蓝线没有了小尖峰，即滤掉了源的信息，只剩声道信息。并且声道的峰值点位置与语音频谱包络的峰值位置也正好一一对应。蓝圈圈的个数表示共振峰的个数，共有4个，从左至右分别称为F1、F2、F3、F4，（F0是基音频率）。它们横轴值表示共振峰频率值，某共振峰带宽就表示该共振峰所占频带宽度。
这个图还暗示了另一个有趣的事实，源所占的频率范围和声道所占的频率范围是一样的，在频域利用高通或低通或带通的方法分离源和系统是行不通的。在频域是ab，倒谱域就是log ab=log a +log b，即实现分离。

总结：
共振峰表示“谐振”，频谱上表示为频谱包络（其实是上包络）的峰值（对应极点），那么频谱下包络的谷值点就表示“反谐振”（对应零点）。频谱的“尖峰”显示的是源的信息，小尖包突起是周期性的，是有用的，那么“杂乱”的源头是非周期性的，这在语音转换中是一种很重要的信息。

宽带语谱图时间分辨率高，反映了频谱的快速时变过程；窄带语谱图频率分辨率高，反映了频谱的精细结构，二者结合可提供大量与语音特性相关信息。

1、源-系统信息分离和提取参考论文：
“Glottal wave analysis with pitchsynchronous iterative adaptive inverse filtering” Paavo Alku. SpeechCommunication 11(2-3): 109-118 (1992)
2、源-系统分离代码链接：http://users.tkk.fi/~traitio/research.html