Matlab基于VQ的语者识别系统(含所有代码)

Summary

Abstract: 语者识别即为判断说话的人是不是他的使用者。本组用基于VQ的语者识别系统系统模型，通过提取Mel 倒谱系数，制作模板码本与测试者相应参数进行对比，根据阈值判断，差别最小的则认为匹配原训练模板，即测试者与训练者为同一人，否则认为不是同一人。通过此过程实现语者识别功能。在功能上分为两大部分，语者判定以及实施辨别。

Contents

1.Introduction……………………………………………………..3 1.1语者识别的概念…………………………………………….3 1.2特征参数的提取…………………………………………….4 1.3用矢量量化聚类法生成码本……………………………….4 1.4VQ的说话人识别 ……………………………………….....5 2.The Program…………………………………………………….6

1

2.1函数关系…………………………………………………….6 2.2代码说明…………………………………………………….6 2.2.1函数mfcc……………………………………………….6 2.2.2函数disteu……………………………………………...6 2.2.3函数vqlbg……………………………………………....7

2.2.4函数test…………………………………………………8 2.2.5函数testDB……………………………………………...8 2.2.6 函数train……………………………………………….9 2.2.7函数melfb……………………………………………….9 3.Results & Discussion …………………………………………….10 4.Further Work……………………………………………………..12

1.Introduction

关于语者识别：在生物辨识技术中，语者辨识是利用人类最自然的口语表达作为辨识身分的依据。语者辨识一般分为语者识别及语者确认，前者是要辨识说话者是谁，后者则是判断说话的人是不是他所宣称的使用者，本项目的研究主题是后者。语者确认常被视为一个假说测定问题，利用似然比例测试方法来解：空假说表示说话者为真正的使用者，替代假说表示其为冒充者。我们可以收集特定使用者的语音数据来训练空假说模型，但替代假说牵涉未知的冒充者，较难模型化。针对此点，传统的作法是收集很多人的语音，训练一个通用背景模型，或是几位与目标使用者声音相似的人的语音，训练数个背景模型，再利用取极大值、取极小值、算数平均或几何平均等方法来结合个别的模型分数。

基于VQ的语者识别系统系统模型

基于VQ的说话人识别系统，矢量量化起着双重作用。在训练阶段，把每一个说话者所提取的特征参数进行分类，产生不同码字所组成的码本。在识别(匹配)阶段，我们用VQ方法计算平均失真测度(本系统在计算距离d时，采用欧氏距离测度)，从而判断说话人是谁。

语音识别系统结构框图如图1所示。

图1 语音识别系统结构框图

2

1.1语者识别的概念

语者识别就是根据说话人的语音信号来判别说话人的身份。语音是人的自然属性之一，由于说话人发音器官的生理差异以及后天形成的行为差异，每个人的语音都带有强烈的个人色彩，这就使得通过分析语音信号来识别说话人成为可能。用语音来鉴别说话人的身份有着许多独特的优点，如语音是人的固有的特征，不会丢失或遗忘；语音信号的采集方便，系统设备成本低；利用电话网络还可实现远程客户服务等。因此，近几年来，说话人识别越来越多的受到人们的重视。与其他生物识别技术如指纹识别、手形识别等相比较，说话人识别不仅使用方便，而且属于非接触性，容易被用户接受，并且在已有的各种生物特征识别技术中，是唯一可以用作远程验证的识别技术。因此，说话人识别的应用前景非常广泛：今天，说话人识别技术已经关系到多学科的研究领域，不同领域中的进步都对说话人识别的发展做出了贡献。说话人识别技术是集声学、语言学、计算机、信息处理和人工智能等诸多领域的一项综合技术，应用需求将十分广阔。在吃力语音信号的时候如何提取信号中关键的成分尤为重要。语音信号的特征参数的好坏直接导致了辨别的准确性。

1.2特征参数的提取

对于特征参数的选取，我们使用mfcc的方法来提取。MFCC参数是基于人的听觉特性利用人听觉的屏蔽效应，在Mel标度频率域提取出来的倒谱特征参数。

MFCC参数的提取过程如下：

1. 对输入的语音信号进行分帧、加窗，然后作离散傅立叶变换，获得频谱分布信息。

设语音信号的DFT为：

Xa(k)??x(n)en?1N?1?j2?nkN,0?k?N?1（1）

其中式中x(n)为输入的语音信号，N表示傅立叶变换的点数。 2. 再求频谱幅度的平方，得到能量谱。

3. 将能量谱通过一组Mel尺度的三角形滤波器组。

我们定义一个有M个滤波器的滤波器组（滤波器的个数和临界带的个数相近），采用的滤波器为三角滤波器，中心频率为f(m),m=1,2,3,···，M 本系统取M=100。

4. 计算每个滤波器组输出的对数能量。

S(m)?ln(?|Xa(k)|2Hm(k)),k?1N?1 （2）

0?m?M?1其中Hm(k)为三角滤波器的频率响应。

5. 经过离散弦变换（DCT）得到MFCC系数。

3

C(n)??S(m)cos(?n(m?0.5/m)),(3)m?0M?1

0?n?N?1 MFCC系数个数通常取20—30，常常不用0阶倒谱系数，因为它反映的是频谱能量，故在一般识别系统中，将称为能量系数，并不作为倒谱系数，本系统选取20阶倒谱系数。

1.3用矢量量化聚类法生成码本

我们将每个待识的说话人看作是一个信源，用一个码本来表征。码本是从该说话人的训练序列中提取的MFCC特征矢量聚类而生成。只要训练的序列足够长，可认为这个码本有效地包含了说话人的个人特征，而与讲话的内容无关。

本系统采用基于分裂的LBG的算法设计VQ码本，Xk(k?1,2,???,K)为训练序列，B为码本。

具体实现过程如下：

1. 取提取出来的所有帧的特征矢量的型心(均值)作为第一个码字矢量B1。 2. 将当前的码本Bm根据以下规则分裂，形成2m个码字。

?Bm?Bm(1??) {? （4） Bm?Bm(1??)其中m从1变化到当前的码本的码字数，ε是分裂时的参数，本文ε=0.01。 3. 根据得到的码本把所有的训练序列(特征矢量)进行分类，然后按照下面两个公式计算训练矢量量化失真量的总和D[n]以及相对失真(n为迭代次数，初始n=0，D[?1]=∞，B为当前的码书)，若相对失真小于某一阈值ε，迭代结束，当前的码书就是设计好的2m个码字的码书，转５。否则，转下一步。

量化失真量和：

D(n)??mind(Xk,B) （5）

k?1K相对失真：

D(n?1)?Dn|| （6）

Dn 4. 重新计算各个区域的新型心，得到新的码书，转3。

5. 重复２ ，３ 和４步，直到形成有M个码字的码书(M是所要求的码字数)，其中D0=10000。

1.4 VQ的说话人识别

4

设是未知的说话人的特征矢量{X1,?,XT}，共有T帧是训练阶段形成的码书，表示码书第m个码字，每一个码书有M个码字。再计算测试者的平均量化失真D，并设置一个阈值，若D小于此阈值，则是原训练者，反之则认为不是原训练者。

D?1/T?min[d(xj?1] （7）

j,Bm)1?m?M

2.The Program

在具体的实现过程当中，采用了matlab软件来帮助完成这个项目。在matlab中主要由采集，分析，特征提取，比对几个重要部分。以下为在实际的操作中，具体用到得函数关系和作用一一列举在下面。 2.1函数关系

主要有两类函数文件Train.m和Test.m

在Train.m调用Vqlbg.m获取训练录音的vq码本，而Vqlbg.m调用mfcc.m获取单个录音的mel倒谱系数，接着mfcc.m调用Melfb.m---将能量谱通过一组Mel尺度的三角形滤波器组。

在Test.m函数文件中调用Disteu.m计算训练录音（提供vq码本）与测试录音（提供mfcc）mel倒谱系数的距离，即判断两声音是否为同一录音者提供。Disteu.m调用mfcc.m获取单个录音的mel倒谱系数。mfcc.m调用Melfb.m---将能量谱通过一组Mel尺度的三角形滤波器组。 2.2具体代码说明 2.2.1函数mffc:

function r = mfcc(s, fs) ---

m = 100; n = 256;

l = length(s);

nbFrame = floor((l - n) / m) + 1; %沿-∞方向取整 for i = 1:n

for j = 1:nbFrame

M(i, j) = s(((j - 1) * m) + i); %对矩阵M赋值 end end

h = hamming(n); %加 hamming 窗，以增加音框左端和右端的连续性 M2 = diag(h) * M; for i = 1:nbFrame

frame(:,i) = fft(M2(:, i)); %对信号进行快速傅里叶变换FFT

5

end

t = n / 2; tmax = l / fs; m = melfb(20, n, fs); %将上述线性频谱通过Mel 频率滤波器组得到Mel 频谱,下面在将其转化成对数频谱

n2 = 1 + floor(n / 2);

z = m * abs(frame(1:n2, :)).^2;

r = dct(log(z)); %将上述对数频谱，经过离散余弦变换(DCT)变换到倒谱域，即可得到Mel 倒谱系数(MFCC参数) 2.2.2函数disteu

---计算测试者和模板码本的距离 function d = disteu(x, y)

[M, N] = size(x); %音频x赋值给【M，N】 [M2, P] = size(y); %音频y赋值给【M2，P】 if (M ~= M2)

error('不匹配！') %两个音频时间长度不相等 end

d = zeros(N, P);

if (N < P)%在两个音频时间长度相等的前提下 copies = zeros(1,P); for n = 1:N

d(n,:) = sum((x(:, n+copies) - y) .^2, 1); end else

copies = zeros(1,N); for p = 1:P

d(:,p) = sum((x - y(:, p+copies)) .^2, 1)'; end%%成对欧氏距离的两个矩阵的列之间的距离 end

d = d.^0.5; 2.2.3函数vqlbg

---该函数利用矢量量化提取了音频的vq码本 function r = vqlbg(d,k) e = .01;

r = mean(d, 2); dpr = 10000;

for i = 1:log2(k)

r = [r*(1+e), r*(1-e)]; while (1 == 1)

z = disteu(d, r);

[m,ind] = min(z, [], 2); t = 0;

for j = 1:2^i

6

r(:, j) = mean(d(:, find(ind == j)), 2); x = disteu(d(:, find(ind == j)), r(:, j)); for q = 1:length(x) t = t + x(q); end end

if (((dpr - t)/t) < e) break; else

dpr = t; end end end

2.2.4函数test ---

function finalmsg = test(testdir, n, code)

for k = 1:n % read test sound file of each speaker file = sprintf('%ss%d.wav', testdir, k); [s, fs] = wavread(file);

v = mfcc(s, fs); % 得到测试人语音的mel倒谱系数

distmin = 4; %阈值设置处

% 就判断一次，因为模板里面只有一个文件 d = disteu(v, code{1}); %计算得到模板和要判断的声音之间的“距离”

dist = sum(min(d,[],2)) / size(d,1); %变换得到一个距离的量

%测试阈值数量级

msgc = sprintf('与模板语音信号的差值为:f ', dist); disp(msgc); %此人匹配

if dist <= distmin %一个阈值，小于阈值，则就是这个人。

msg = sprintf('第%d位说话者与模板语音信号匹配,符合要求!\\n', k);

finalmsg = '此位说话者符合要求!'; %界面显示语句，可随意设定

disp(msg); end %此人不匹配

if dist > distmin

msg = sprintf('第%d位说话者与模板语音信号不匹配,不符合要

7

求!\\n', k);

finalmsg = '此位说话者不符合要求!'; %界面显示语句，可随意设定

disp(msg); end end

2.2.5函数testDB

这个函数实际上是对数据库一个查询,根据测试者的声音,找相应的文件,并且给出是谁的提示

function testmsg = testDB(testdir, n, code)

nameList={'童星程','张亦波','郭嘉','刘满','严岔娟','赵超','孝大宇','郝力男' }; %这个是我们组的成员和导师的名单.以便在识别时给出人民

for k = 1:n % 数据库中每一个说话人的特征 file = sprintf('%ss%d.wav', testdir, k); %找出文件的路径 [s, fs] = wavread(file);

v = mfcc(s, fs); % 对找到的文件取mfcc变换

distmin = inf; k1 = 0;

for l = 1:length(code) d = disteu(v, code{l});

dist = sum(min(d,[],2)) / size(d,1);

if dist < distmin

distmin = dist;%%这里和test函数里面一样 但多了一个具体语者的识别

k1 = l; end end

msg=nameList{k1} msgbox(msg); end

8

2.2.6 函数train

---该函数就是对音频进行训练，也就是提取特征参数 function code = train(traindir, n)

k = 16; % number of centroids required

for i = 1:n % 对数据库中的代码形成码本 file = sprintf('%ss%d.wav', traindir, i); disp(file);

[s, fs] = wavread(file);

v = mfcc(s, fs); % 计算 MFCC's 提取特征特征，返回值是

Mel倒谱系数，是一个log的dct得到的

code{i} = vqlbg(v, k); % 训练VQ码本 通过矢量量化，得到原说话人的VQ码本 end

2.2.7 函数melfb ---确定矩阵的滤波器

function m = melfb(p, n, fs)

f0 = 700 / fs; fn2 = floor(n/2);

lr = log(1 + 0.5/f0) / (p+1);

% convert to fft bin numbers with 0 for DC term bl = n * (f0 * (exp([0 1 p p+1] * lr) - 1)); 直接转换为FFT的数字模型 b1 = floor(bl(1)) + 1; b2 = ceil(bl(2)); b3 = floor(bl(3));

b4 = min(fn2, ceil(bl(4))) - 1; pf = log(1 + (b1:b4)/n/f0) / lr; fp = floor(pf); pm = pf - fp;

r = [fp(b2:b4) 1+fp(1:b3)]; c = [b2:b4 1:b3] + 1;

v = 2 * [1-pm(b2:b4) pm(1:b3)]; m = sparse(r, c, v, p, 1+fn2)；

3.Results & Discussion

3.1实验过程

我们的功能分为两部分:对已经保存的语音进行辨别和实时的判断说话人

9

是否为同一个人.在前者的实验过程中,先把我们小组成员和tutor的声音保存成wav的格式,放在一个文件夹中,作为一个检测的数据库.然后对检测者实行识别,系统给出提示是谁.这一部我们测得的准确率是87.5%.

在第二个功能中,实时的录取一段说话人的声音作为模板,提取mfcc特征参数,随后紧接着进行遇着识别,也就是让其他人再说相同的话,看是否是原说话者.

本系统唯一的不足之处是没有实现对数据库的跟新,相信在以后不久的将来会实现的.

实验过程及具体功能如下：

先打开Matlab 使Current Directory为录音及程序所所在的文件夹 再打开文件“enter.m”，点run运行，打开enter界面，点击“打开”按钮进入系统。（注：文件包未封装完毕，目前只能通过此方式打开运行。）（如下图figure1）

在对数据库中已有的语者进行识别模块:

点击按钮“录音-train”，在4秒内录音训练。4秒后，可以点击按钮“播放-train”，播放刚刚录入的声音。录音被自动保存在程序文件夹子文件夹“测试”中，命名为“s1.wav”。随后点击”语音库录制模板”,这一步就是对语音库里的声音提取特征值.然后再点击”语者判定”,这一步是把”测试”文件夹中刚录制的声音提取特征值值与数据库中声音的特征值进行对比,告知谁是语者.

在实时语者识别模块:

点击实时录制模板上的“录音-train”按钮,是把新语者的声音以wav格式存放在”实时模板”文件夹中, 接着点击实时录制模板，把新的模板提取特征值。随后点击实时语者识别模板上的“录音-train”按钮,是把语者的声音以wav格式存放在”测试”文件夹中,再点击“实时语者识别”，在对测得的声音提取特征值的同时，和实时模板进行比对，然后得出是否是实时模板中的语者。另外面板上的播放按钮都是播放相对应左边录取的声音。

想要测量多次，只要接着录音，自动保存，然后程序比对音频就可以。 退出只要点击菜单File/Exit，退出程序。

10

程序运行截图：

（fig.1）登入界面

（fig.2）系统界面（运行前）

11

（Fig.3）系统界面（运行后） 3.2 讨论

经过组内运行结果表明，成员7个人加上tutor8个人的识别当中，识别正确的有7个，识别率为87.5%! 而在实时辨别中，识别率略有下降，但也有89.76%的准确率。系统的不足之处是不能对数据库进行更新，但相信今后加以改进一定可以完成。

经过计算得出：

识别率：所有人各测试一次的准确率为87.50% 识别精度：个人多次测试的准确率为80.0%

4.Further work

实验表明，该系统能较好地进行语音的识别，同时，基于矢量量化技术 （ＶＱ）的语音识别系统具有分类准确，存储数据少，实时响应速度快等综合性能好的特点．

矢量量化技术在语音识别的应用方面，尤其是在孤立词语音识别系统中得到很好的应用，特别是有限状态矢量量化技术，对于语音识别更为有效。

目前程序主体已经完成，核心功能也已实现。后期工作主要集中在程序封装及优化调整。界面的设计更加美观和人性化；程序功能方面计划增加多人密码登入功能，以实现具有现实应用意义的语者识别系统可做为安全门出入登入系统。

但也有其他的地方还需要值得完善的。

1. 口音问题：各地方都有各自的方言，用现有的提取特征的方法是否能

有效地取到特征，这是一个问题。

2. 系统自适应：系统在各种环境中能否达到一定的准确判定

3. 测试者受限：由于在数据库中没有更新这一项，所以对语者辨别存在

一定的局限性，日后加上数据库更新功能。

4. 话音特征与说话人个性特征的分离：在特征分离上是否还有更有效地

方法

12

13