不同学习速率下NMF盲源分离算法
Blind Source Separation Algorithms Based on Nonnegative Matrix Factorization Using Different Learning Rates
DOI: 10.12677/HJWC.2015.55013, PDF, HTML, XML,  被引量 下载: 2,451  浏览: 5,622 
作者: 毛翊君, 赵知劲, 尚俊娜:杭州电子科技大学通信工程学院,浙江 杭州
关键词: 非负矩阵分解盲分离学习速率误差函数Non-Negative Matrix Factorization (NMF) Blind Source Separation (BSS) Learning Rates Error Function
摘要: 基于非负矩阵分解(NMF)的盲源分离算法采用乘性更新规则,但如何选择学习速率以及其对算法性能影响没有详细研究。对此,本文推导给出了选择不同学习速率时各种迭代更新公式,并对各种组合进行了大量计算机仿真实验,通过比较分析发现,有效的迭代更新公式的分母必须包含误差函数信息,分子分母的项数应尽可能平衡。
Abstract: The iterative multipliable update formulas are used in blind source separation algorithms based on non-negative matrix factorization (NMF). However, the methods to select the learning rates and affect algorithms’ performance remain to be researched. This paper gives a derivation of different learning rates when selecting various iterative update formulas. A lot of computer simulations about these combinations are carried, and they show that a denominator of the effective iterative update formulas must contain information of the error function. In addition, its terms of denomi-nator and numerator should be balanced.
文章引用:毛翊君, 赵知劲, 尚俊娜. 不同学习速率下NMF盲源分离算法[J]. 无线通信, 2015, 5(5): 91-97. http://dx.doi.org/10.12677/HJWC.2015.55013

1. 引言

非负矩阵分解[1] [2] (Nonnegative Matrix Factorization, NMF)是盲源信号[3] 分离主要理论工具之一,已引起学术界广泛关注和研究 [4] [5] 。为了保证分离唯一性和分离性能,需要在误差函数中添加各种约束条件 [6] - [9] ,如:行列式约束、稀疏性约束、正交性约束等。为保证分解矩阵的非负性,一般采用乘性更新规则。由于施加了多种约束条件,利用自然梯度下降法时,可以选择多种不同的学习速率,如何选择合适的学习速率,现有文献没有给出说明。对此本文进行了理论推导和大量实验研究,为基于NMF盲源分离算法的深入研究提供了理论基础。

2. NMF盲分离基本理论

表示采样信号矩阵,代表混合矩阵,代表源信号矩阵,且。盲源信号分离是指在源信号和混合过程未知的情况下,从观察到的多个混合信号中重建出源信号的方法。利用NMF进行盲源信号分离,就是要将分解成两个矩阵的乘积,并使分解误

差尽可能小,采用2范数衡量NMF,其误差函数为。为了提高盲源分离算法性

能,对误差函数施加行列式、稀疏性和正交性约束,设计NMF的优化目标函数如式(1)所示:

(1)

其中,分别由式(2)、(3)和(4)给出;是平衡参数,为了保证NMF算法收敛,取比较小的正数。对于超定盲源分离,即情况,有

(2)

(3)

(4)

利用自然梯度下降法,求矩阵W和矩阵H的更新规则分别如式(5)和(6)所示。

(5)

(6)

目标函数对W和H的偏导分别如式(7)和(8)所示:

(7)

(8)

3. 迭代更新公式

3.1. W迭代公式推导

由于非负矩阵分解要求得到的分解结果W和H是非负的,所以采用乘性迭代更新公式。为了得到W的乘性迭代更新公式,由式(7)可见,理论上可以选择三种不同的学习速率,从而应该有三种不同的W迭代更新公式。现以第一种学习速率选择为例,具体推导如下。

W的第一种学习速率可选择为

(9)

将式(7)代入式(5)右边,可得

(10)

将式(12)代入上式可得

(11)

因此可得关于W的第一种迭代更新公式为:

(12)

其中,是一个很小的正数,是为了防止分母为零。下文其他处不再说明。

W的第二种学习速率可选择为

(13)

类似上述推导可得W的第二种迭代更新公式为:

(14)

W的第三种学习速率可选择为

(15)

类似上述推导可得W的第三种迭代更新公式为:

(16)

从式(12)、(14)和(16)可以发现,式(12)和(16)分母中包含有误差函数信息项,可以有效实现对W的更新。

3.2. H迭代公式推导

为了得到H的乘性迭代更新公式,由式(8)可见,理论上有7种不同的学习速率选择,从而应该有7种不同的H迭代更新公式。类似W迭代更新公式推导,分别可得7种不同的学习速率选择和H迭代更新公式如下。

H的第一种学习速率选择为:

(17)

对应的H第一种乘性迭代更新公式为:

(18)

H的第二种学习速率选择为:

(19)

对应的H第二种乘性迭代更新公式为:

(20)

H的第三种学习速率选择为:

(21)

对应的H的第三种乘性迭代更新公式为:

(22)

H的第四种学习速率选择为:

(23)

对应的H的第四种乘性迭代更新公式为:

(24)

H的第五种学习速率选择为:

(25)

对应的H的第五种乘性迭代更新公式为:

(26)

H的第六种学习速率选择为:

(27)

对应的H的第六种乘性迭代更新公式为:

(28)

H的第七种学习速率选择为:

(29)

对应的H第七种乘性迭代更新公式为:

(30)

从上述迭代更新公式可以发现,只有式(18)、(24)、(26)和(30)含有误差函数信息项。所以W和H的乘性迭代更新公式可行组合形式如表1所示。

4. 算法仿真与性能分析

源信号图像如图1所示,随机产生非负混合矩阵,经过混合得到混合的图像信号。经过大量的仿真实验得到平衡参数的合适取值分别为:,利用迭代公式更新W和H,迭代30,000次,更新迭代终止,最终得到由混合信号矩阵分离出的混合矩阵W和源信号H。

4.1. 迭代公式组合的有效性分析

大量的实验表明,分母中不包含有误差函数信息的迭代公式无法有效更新W和H,分离不出源信号,与我们前文判断一致。

现通过实验验证八种不同的迭代公式组合是否有效。应用上述八种迭代更新公式组合分离上述混合信号,算法能正常运行的用√表示,不能正常运行的用×表示,结果如表1所示。由表可见,即使八种组合分母中都包含了误差函数信息,但也只有三种组合方式是有效的,即组合3、组合4和组合7,所以可以得到三种算法,分别称为算法1、算法2和算法3。分析这三组迭代公式可见,迭代公式的分子分母项数基本平衡。

4.2. 三种算法性能分析

三种算法分离得到的图像信号分别如图2至图4所示。三种算法10次分离得到的源信号重构平均信噪比SNR如表2所示。由表2可见,算法2性能最好,算法1次之,算法3略差;三种算法性能在同一数量级,都能够较好地分离出源信号。

Table 1. Probability analysis of different iterative formulas

表1. 不同迭代公式组合的可行性分析

Table 2. SNR of three algorithms

表2. 三种算法的重构平均信噪比(单位:dB)

Figure 1. Source image signal

图1. 源图像信号

Figure 2. Picture of Algorithm 1

图2. 算法1分离的图像信号

Figure 3. Picture of Algorithm 2

图3. 算法2分离的图像信号

Figure 4. Picture of Algorithm 3

图4. 算法3分离的图像信号

5. 结束语

本文研究了学习速率选择对NMF的盲源分离算法性能影响。首先推导给出了选择不同学习速率时各种迭代更新公式,然后进行了大量计算机仿真实验,最后通过比较分析发现,有效的迭代更新公式的分母必须包含误差函数信息,分子分母的项数应尽可能平衡。

致谢

首先,我要感谢我的导 师赵知劲 教授。如果不是 老师的悉心指导,无私地提出宝贵的修改意见,就不会呈现出这样一篇内容详实、推导严谨的论文。紧接着,我要感谢我的家人。在我专注于论文写作的过程中,是他们的鼓励与理解,让我得以全身心地投入我的写作,同时也激励着我去不断完善我的论文。最后,我要感谢所有帮助过我的老师和同学,这篇论文是大家共同智慧的结晶。再次感谢。

参考文献

[1] Lee, D.D. and Seung, H.S. (1999) Learning the parts of objects by non-negative matrix factorization. Nature, 401, 788-791.
[2] 李乐, 章毓晋 (2008) 非负矩阵分解算法综述. 电子学报, 36, 737-743.
[3] 马建仓, 牛奕龙, 陈海洋 (2006) 盲信号处理. 国防工业出版社, 北京.
[4] 殷海青, 刘红卫 (2010) 一种基于L1稀疏正则化和非负矩阵分解的盲源信号分离新算法. 西安电子科技大学学报, 37, 835-841.
[5] Zdunek, R. and Cichocki, A. (2007) Nonnegative matrix factorization with constrained second-order optimization. Signal Processing, 87, 1904-1916.
http://dx.doi.org/10.1016/j.sigpro.2007.01.024
[6] 张倩 (2013) 水声信号盲源分离方法研究. 硕士论文, 哈尔滨工业大学, 哈尔滨.
[7] 卢宏, 赵知劲, 杨小牛 (2011) 基于行列式和稀疏性约束的NMF的欠定盲分离方法. 计算机应用, 31, 553-555+558.
[8] Wang, S., et al. (2014) A K-L divergence constrained sparse NMF for hyperspectral unmixing signal. Proceedings of 2014 IEEE International Conference on Security, Pattern Analysis, and Cybernetics, Wuhan, 18-19 October 2014, 223-228.
http://dx.doi.org/10.1109/SPAC.2014.6982689
[9] 张宇飞 (2010) 加稀疏约束的非负矩阵分解. 硕士论文, 大连理工大学, 大连.