ICA算法

ICA算法（精选六篇）

ICA算法 篇1

独立分量分析[1]是近年来从盲源分离(Blind Source Separation,BSS)发展起来的一种新的信号分析与处理方法。这种方法通过计算分离变量非高斯性大小,判断分离变量是否相互独立。典型的算法有扩展Infomax算法、FastICA算法等[2]。这些算法对隐含在数据中的独立分量的提取都具有很好的效果。但是,这些算法普遍存在一个问题,就是目标函数中非线性函数选取的好坏对分离结果有很大影响。蚁群算法由意大利学者Colorni A,Dorigo M和Maniezzo V于1992年首先提出来。这种算法对复杂的优化问题具有很强的解决能力,对问题定义要求相对较低,发现较好解的能力很强,稳健性好,易于计算机实现且易于与其他算法结合[3,4]。所以,针对独立分量分析典型算法存在依赖非线性函数选取的缺陷,本文提出了一种应用蚁群算法对其目标函数进行优化的方法。通过仿真实验及结果比较,验证了基于蚁群算法的改进ICA的有效性和优越性。

1 独立分量分析的基本原理

标准独立分量分析的基本原理如图1所示。s为源信号,A为混合矩阵,将s中的各个分量进行混合,x是测得的混合信号,B是独立分量分析算法中的分离矩阵,y是对x经过独立分量分析所分离的独立信号。写成数学表达式即为:x=As,y=Bx。ICA所解决的主要问题就是在源信号s和混合矩阵A未知的情况下,仅根据测得的混合信号x,求出一个分离矩阵B,使x经过分离后所得输出y是s的最优估计。因此,独立分量分析实质上是一个优化问题,即根据一个判断独立性最优的判据寻找B,使y中各分量尽可能地相互独立。所以,ICA的问题包括2个部分,首先是选择一个判断分离的信号是否相互独立的判据,其次是采用一定的算法来实现这个目标。判断独立性最优的判据有很多种,其中主要有互信息极小化判据、信息极大化判据、极大似然判据、直接用高阶统计量作独立性判据、负熵最大化判据等[5,6]。

2 FastICA算法

FastICA算法是由芬兰学者Hyvarinen等人首先提出,由于这种算法具有收敛速度快、收敛有保证、简单方便等优点而被广泛应用。在这种算法中,又以采用负熵作为衡量分量独立性判据最为常用。

2.1 FastICA预处理

为了方便后续独立分量的提取过程,提高算法的收敛性,简化算法的计算,在运行FastICA算法之前,需要对测试信号进行预处理,即去均值和白化过程。去均值是使观测信号成为零均值变量,以简化ICA算法。其处理过程可通过式(1)来实现

undefined

对测试信号进行白化处理,就是使白化后的分量不相关,且方差为1。信号经过白化处理后,使得ICA算法收敛更快,并能获得更好的稳定性和减少需要估计的参数个数。对测试信号进行白化处理,即寻找一个变换矩阵W,对测试到的信号x进行线性变换,表达式如

z=Wx (2)

经过变换后的信号z要满足其协方差矩阵E{ zzT }等于1。变换矩阵W可以通过对混合信号x的协方差进行特征值分解来得到。

2.2 基于负熵的Fast ICA算法

根据中心极限定理,独立随机变量分量的和比原来随机变量中的任何一个分量更接近于服从高斯分布,只要各独立的随机分量具有有限的均值和方差,不论为何种分布,该随机分量之和都近似服从高斯分布。因此,可以在分离过程中测量分离量的非高斯性,非高斯性越大的信号分离得越完全。

由信息论理论可知:在所有等方差的随机变量中,高斯分布的随机变量具有最大的信息熵,因而可以利用熵来度量非高斯性大小。设随机变量y的密度函数为Py(x),熵的定义为

H(y)=-Py(x)log Py(x)dx (3)

为了获得非高斯性的一个非负数度量,常采用熵的修正形式——负熵。把任意概率密度函数和具有相同协方差阵的高斯分布随机变量间的散度作为该函数的非高斯程度度量,称为负熵,用公式表示为

J(y)=H(ygauss)-H(y) (4)

式中:ygauss为与y具有相同方差的高斯分布随机变量。当y的非高斯性越强,J(y)的值就越大,所以J(y)可以作为非高斯性的测度。但在计算时需要知道y的概率密度,这在实际中是很难办到的。为此,Hyvarinen A提出了一种如下式的近似负熵的方法来进行非高斯性度量

J(y)∝[E{G(y)}-E{G(ygauss)}]2 (5)

式中:E{ }为期望;G{ }为非线性函数。将y=bTx代入式(5),并对其进行一系列处理,由于x经过白化后变成z,所以最后得到该算法的迭代公式

bk+1=E{z(G(bTkz))}-E{g(bTkz)}bk (6)

式中:g( )为G( )的导数。 FastICA算法的优点在于:采用牛顿法,收敛性好,而且迭代过程中无须引入调节步长等人为设置的参数。但是,FastICA算法存在着依赖于非线性函数选取的问题,分离效果很大程度上取决于非线性函数G{ }的选取是否恰当。然而在实际应用中,源信号的性质在信号被分离前是无从得知的,选择一个恰当的非线性函数比较困难。为了降低分离效果对非线性函数选取的依赖性,引入对函数没有特殊要求的蚁群算法,替代牛顿法,以式(5)为目标函数,对其进行优化求解。

3 基于蚁群算法的改进ICA

20世纪50年代中期,人们从生物进化的机理中受到启发,提出了许多用来解决复杂优化问题的新方法。其中,蚁群算法就是对蚂蚁群落食物采集过程的模拟[7]。该方法已经用来求解TSP问题、指派问题、车间调度问题等,并取得了一系列较好的实验结果。相比于基于梯度应用的优化算法,蚁群算法对非线性目标函数没有特殊要求,易与其他算法结合,稳健性强且易于并行实现

3.1 改进ICA的算法分析

3.1.1 确定目标函数

以负熵的近似表达式(5)式为目标函数。由于ygauss是与y具有相同均值和协方差矩阵的高斯变量,这项可以忽略不计,式(5)的优化问题可以转化对E{G(y)}进行优化。将经过预处理的y=bTz带入其中,最终的目标函数为undefined。由y = Bx可知,分离信号间的独立性不受分离矩阵B中各行元素的大小、行向量的次序符号的影响。因此,可以将分离矩阵各元素的取值范围限定在[-1,1]间。

3.1.2 优化目标函数

蚁群算法是通过路径上留下的信息素和城市距离来寻找最优路径。在离散空间中,蚁群算法的信息留存、增减和最优解的选取,都是以离散的点状分布求解方式进行。而在连续空间中的寻优问题求解中,则以区域性方式表示。每个区域内蚂蚁的信息量分布函数对整个解空间所在区域皆有影响,影响程度随其距离的增加而递减。为了避免产生由初始分布不均造成早熟停滞的现象,将蚁群在解空间内作均匀分布。蚁群向各单蚁所在子区域总信息量最大的方向运动。

把分离矩阵B的元素b看成蚂蚁,在解空间内作初始分布。将b在[-1,1]范围内分成N等份,在N个子区间的中部各放置一个单蚁,每个单蚁拥有随自己位置变化的移动子区间。蚂蚁从第i个区域转移到第j个区域的概率Pij为

undefined

更新方程为

τnewij=ρτoldij+Q/f (8)

式中:τij为第j个区域的吸引强度;undefined为第i区域与j区域目标函数的差值;α,β分别表达τij和undefined的重要性,为非负数;ρ表示强度的持久性系数,一般取0.5～0.9;Q为一正常数;f为目标函数值。

通过蚂蚁的转移,求取各区域的目标函数值,比较其大小,从中选取最优的作为一次迭代结果,并带入更新方程和转移概率方程。当所有蚂蚁选择完一遍后,在求出的最优区域附近重新定义解空间,缩小取值范围,并重复上面的计算并比较,直至预先给定的精度。

3.2 改进ICA的算法步骤

采用基于蚁群算法的改进ICA算法步骤如下:

1) 对混合信号进行预处理,去均值和白化,得到z;

2) 确定目标函数;

3) 估计b的取值范围:这里b值范围是-1≤b≤1;

4) 在定义域内将b分成N等份,将所有蚂蚁在解空间内作均匀分布;

5) 初始化迭代次数Nc,给τij赋值,给出ρ,Q的值;

6) 对每只蚂蚁按转移概率Pij进行转移,并计算目标函数值,选取最优解;

7) 按更新方程修改吸引强度,即Nc←Nc+1;

8) 若迭代次数Nc小于规定的最大循环次数,转向步骤6),否则缩小变量的取值范围,转步骤4)。

4 仿真及结果分析

为了验证改进ICA算法的有效性以及相比FastICA算法的优越性,尝试了多个非线性函数对其进行仿真。下面的例子为分离效果差距最明显的一个。

选取3个独立信号:正弦波、方波和白噪声,如图2所示。

将源信号经过混合矩阵A混合,混合后的信号波形图如图3所示。

首先,采用基于蚁群算法的改进ICA算法对混合信号进行分离。取Q=100,ρ=0.7,N=20,Nc=50分离后的信号波形如图4所示。

选取同一非线性函数,再采用FastICA算法对混合信号进行分离,图5为对应的分离信号波形。

由于独立分量分析存在不确定性,两种算法的分离信号的顺序和幅度都有所改变。对两种分离信号波形图进行比较,可以看出,基于蚁群算法的改进ICA其分离效果明显优于FastICA算法的分离效果。

5 小结

介绍了独立分量分析的基本原理和典型算法FastICA算法。针对FastICA算法的缺点,提出了一种基于蚁群算法的改进ICA算法,以降低对目标函数中非线性函数选取的依赖性,提高分离效果的可靠性。用仿真信号的分离实验对改进ICA算法的可行性和有效性进行了验证,下一步将研究独立分量分析在测试信号处理中的应用。

参考文献

[1]ROBERTS S,EVERSON R.Independent component analysis:principlesand practice[M].Cambridge,UK:Gambridge University Press,2001.

[2]叶娅兰.独立分量分析算法及其在生物医学中的应用研究[D].成都:电子科技大学,2008.

[3]DORIGO M,MANIEZZO V,COLORNY A.The ant system:optimizationby a colony of coorperating agents[J].IEEE Transactions on SMC1,996,26(1):29-41.

[4]柴井坤,魏圆圆,曲立国.基于改进蚁群算法的组播路由算法研究[J].电视技术,2009,33(4):57-59.

[5]杨福生,洪波.独立分量分析的原理与应用[M].北京:清华大学出版社,2006.

[6]HYVARINEN A,OJA E.Independent component analysis:algorithmsand applications[J].Neural Networks,2000,13(4-5):411-430.

一种新的ICA域图像融合算法 篇2

近年来,多传感器图像融合技术在机器视觉、遥感、医学、军事等领域得到了广泛的关注。多传感器图像融合是指多个传感器采集的关于同一目标或场景的图像数据,根据某种算法进行适当的综合处理,产生一幅新的、满足某种需求的新图像。由于多传感器获取的图像间既存在冗余性又存在互补性,图像融合可以通过适当地融合这些对同一场景的图像获得一幅更加适合于人眼和机器识别的图像。

目前具有代表性的图像融合方法有塔形变换方法、小波变换方法等,并在此基础上发展出了许多基于像素和基于区域的融合规则[1,2]。然而这些方法都是建立在空域或频域处理的基础上,并没有考虑消除数据之间的冗余性,不能够满足融合处理的需求。独立分量分析(Independent Component Analysis:ICA)[3]是20世纪90年代发展起来的一种新的统计信号处理技术,它与主分量分析、奇异值分解问题同属线性变换技术。使用ICA方法能够有效约减特征维数,保持特征的高阶相互独立性,比仅消除二阶相关性的主成分分析和奇异值分解方法更为有效。因此基于独立分量分析的图像融合技术近年来逐渐成为信息融合的主要分支和研究热点[4,5]。

本文重点研究了在ICA域进行多模图像融合的新方法。针对红外和可见光图像的特点,将目标传感器图像分解为重要区域、次重要区域以及背景区域,在ICA变换域根据不同的区域属性采用不同的融合规则。实验结果表明,与ICA域图像融合方法以及小波变换、Laplacian方法等经典方法相比,本文方法能够获得质量更高的融合结果。

2 ICA域图像融合算法

Mitianoudis等人所提出的ICA域图像融合算法[4]的基本思想为:利用独立分量分析对图像进行训练获得独立分量基函数。对于待融合图像,通过训练得到的基函数对图像进行线性变换,然后在变换域根据不同的融合规则对图像进行融合,最后ICA反变换得到融合图像。其基本流程如图1所示。

2.1 训练阶段

训练的目的是为了获得统计独立的基向量,以便下个阶段对图像进行变换。选择与待融合图像具有相似内容和统计特性的一组图像作为训练图像[4],从训练图像i(x,y)中随机抽取一定数量的图像块:

式中:m和n为区间[0,N-1]上的整数,w为N×N大小的矩形窗,窗口中心位于像素(m0,n0)。将图像块按像素位置首尾相连重排为向量p,作为一个观测信号。这样根据训练图像中的每个子图像块都能得到一个对应的观测向量,这些向量均可以表示为基向量bj的一个线性组合:

其中:v1,v2,…,vM表示输入图像块在基图像块上的投影,即vi=p(m,n),bi(m,n),t表示第t个图像块。令B=[b1b2…bM],v(t)=[v1,v2,…,vM]T,则式(2)可以表示为以下形式:

式中:A=[a1a2…aM]T为分离矩阵或分析核,即图1中所需要的变换函数T{},B=[b1b2…bM]T为混合矩阵或综合核,即逆变换函数T-1{}。选择M个观测信号进行ICA分解,目的是估计一组(K

为了提高运算效率,减少计算量,首先使用主成分分析(PCA)对输入数据进行降维。对相关矩阵C=E{ppT}进行特征分解,相关矩阵的特征值表明它们所对应的基向量的重要性[4]。如果V为K×N 2的PCA变换矩阵,输入图像块变换为

PCA预处理后就可以通过最优化负熵函数来估计基向量了。以下为文献[4]中给出的最优化负熵的Fast ICA算法:

其中定义了信号在变换域的统计属性,。此处我们取

式中α和β为常数。

2.2 融合阶段

假设待融合的T幅图像已经配准,对图像进行分块,对每个小图像块进行融合。具体方法为:将图像块写成矢量形式,利用训练阶段得到的变换函数T{}对其进行变换,得到变换域的系数vk(t),在变换域对变换系数按照一定的融合规则进行融合,融合后的系数记为vf(t)。然后逆变换,再将每个图像块组合得到融合后的图像。

在文献[4]中,Mitianoudis等人提出一种基于区域的融合规则。在源图像中,明显的图像特征,如直线、曲线、轮廓等,往往表现为灰度值及其变化,而在ICA域则表现为变换系数的模值大小。因此,图像块变换域系数的一范数可以作为该区域的活动性测度:

Ek(t)(k=1,…,T)越大,图像块所包含的边缘等细节特征就越丰富。文献[4]的作者据此将输入图像的子图像块分成两组:一组为包含边缘信息的活跃区域(Ek(t)大于某门限值),另一组为连续背景的非活跃区域(Ek(t)小于某门限值)。此处判断区域为“活跃区(active)”还是“非活跃区(non-active)”的门限值由试验决定。由输入图像产生的分割图像如下[4]:

所有输入图像的分割图像通过逻辑或运算合成为最终的分割图像:

式中OR表示逻辑或运算。在输入图像被分割成活跃区域和非活跃区域以后,对不同的区域采用不同的融合规则进行融合:活跃区域采用“绝对值取大”的融合规则,而非活跃区域则采用“平均”规则。实验结果表明,文献[4]中的ICA域图像融合算法虽然能够较好地融合多聚焦图像以及具有人工加性噪声的图像,然而其对多模态图像的融合效果较差,甚至不如传统的小波变换和拉普拉斯金字塔方法。因此有必要寻找新的融合规则来提高ICA算法对多模图像的融合性能。

3 改进的ICA域多模图像融合算法

在图像融合过程中,融合规则及融合算子的选择对于融合的质量至关重要,也是图像融合中至今尚未很好解决的难点问题。文献[4]中对活跃区域采用绝对值取大的融合规则可以有效提取源图像中的边缘信息,而对非活跃区采用简单的平均融合规则虽然可以在一定程度上保留对比度信息,然而对源图像中的细节信息损失较大。在此基础上,本文提出了一种改进的ICA域多模图像融合算法:对活跃区域的融合规则同文献[4],而对非活跃区域则按照目标传感器图像的区域分割结果分别采取不同的融合策略,最终得到融合图像的ICA域表示,再对其进行反变换就可以得到图像的融合结果。

3.1 区域分割及决策方法

在多传感器对某一场景进行成像时,每个传感器图像的真实场景区域大致可以分成三种:包含目标的重要区域、边缘或纹理信息相对丰富的次重要区域和包含背景信息的背景区域。这三个区域可以通过某个对目标敏感的传感器(如红外成像传感器)进行划分,由于进行区域划分的传感器对目标的敏感性,我们统称之为目标传感器,其他成像传感器称为背景传感器[6]。

如果区域被划分成重要区域,说明目标传感器图像在这个区域的重要性强于背景传感器图像的相应区域,融合的方法是将目标传感器图像这部分区域的所有ICA变换系数作为融合后图像的相应区域部分。如果是次重要区域,则说明多传感器图像在该区域表现的显著性相当,在对该区域融合过程中可以选择目标传感器和背景传感器的ICA系数均值作为融合结果。如果区域属于背景区域,说明背景传感器在该区域的重要性要强于目标传感器图像,与重要性区域相似,融合的方法是将背景传感器图像这部分区域的所有ICA系数作为融合后图像的相应区域部分。

3.2 改进的ICA域图像融合算法

本文提出的改进的ICA域图像融合算法的具体步骤为:

1)将源图像分割成相互重叠的N×N大小的子图像块p[4],利用训练得到的变换矩阵将p变换到ICA域,得到相应的变换系数vi(t)和vv(t),下标i表示红外图像,v为可见光;

2)计算各图像块的活动性测度Ek(t)(k∈{i,v}),根据式(10)、(11)生成分割图像s(t),将输入图像分割为活跃区域和非活跃区域;

3)利用k均值聚类方法将红外图像分割为三个区域:重要区域A1、次重要区域A2和背景区域A3;

4)对于活跃区域采用绝对值取大的融合规则:

5)对于非活跃区域,依据其中心像素(m0,n0)所属的区域不同分别采用以下融合规则:

6)将vf(t)变换回空间域,对重叠的像素进行平均运算得到融合图像If(x,y)[4]。

4 实验结果及分析

为了验证本文算法的有效性,我们对2组红外与可见光图像进行了融合实验,并将融合结果与文献[4]中的ICA域融合算法、传统的Laplacian金字塔方法和小波变换方法进行了比较。

实验中,选择10幅红外与可见光图像作为训练图像,从中随机截取10 000个7×7子图像作为ICA训练数据集。取k=25个具有最大方差的主分量所对应的基。Laplacian方法与小波变换方法的分解层数均为5层,融合规则为高频系数取模极大值、低频系数取平均,小波基采用常用的’db4’小波。

同一场景的微光电视图像和红外图像的融合,主要是为了解决单一可见光图像受天气、光照强度等因素影响和红外图像对比度低等问题。由图2、图3的融合结果可以看出,本文提出的改进ICA方法既保留了可见光图像中的细节,又突出了人的红外特征,使得场景解译更加容易。其融合结果大大优于文献[4]中的ICA方法,而且也好于Laplacian方法和小波变换方法。

由于没有标准参考图像,对于融合效果的客观性能评价采用了常用的边缘互信息(EMI)和像素互信息(PMI)[7]2个指标。其中,边缘互信息是由C.S.Xydeas和V.Petrovic[8]在2000年提出的图像融合客观评价测度。它测量融合图像中所“继承”输入图像边缘信息的多少,边缘互信息越大,说明融合后图像保留的边缘信息越多。像素互信息是由我国学者屈贵红等[9]提出的信息测度。一般情况下,PMI的值越大,表示融合图像从源图像中获取的信息越丰富,融合效果越好。4种融合算法的EMI和PMI值参见表1。同时表1中还给出了不同融合算法的执行时间比较。本文算法利用matlab6.5编程实现,运行环境CPU P4 2.9G,操作系统Windows XP。

从表1的数据中可以看出,文献[4]中的ICA域方法与小波变换方法的融合性能基本相当,Laplacian金字塔方法较好,本文方法的性能指标最好,融合图像获取的信息量最大,从源图像继承的信息最多,融合效果最好。这与主观评价得到的结果一致。在运行时间方面,小波算法与Laplacian金字塔方法的耗时较短,而本文方法与ICA方法因为需要进行滑动窗口的运算[4,5,6]增加了计算量,因此耗时较长。对比本文方法与文献[4]的ICA域方法可知:两种方法的运行时间差别不大,而本文方法的融合结果显然要比文献[4]中的ICA方法更好。

5 结论

本文提出了一种新的ICA域多模图像融合算法。在文献[4]基于区域的ICA图像融合方法的基础上,利用红外与可见光图像的不同特性,将目标传感器图像分解为重要区域、次重要区域以及背景区域;在ICA变换域中,对包含边缘的活跃区域采用绝对值取大的融合规则,对连续背景的非活跃区域则根据其不同的区域属性分别采用不同的融合规则,这样既保留了源图像中的边缘细节信息,又保持了重要区域以及背景区域的区域一致性。实验表明,本文方法可获得较理想的融合图像,其融合结果优于ICA方法以及传统的小波变换和Laplacian金字塔方法。

参考文献

[1]Piella,Gemma.A general framework for multiresolution image fusion:from pixels to regions[J].Information Fusion,2003,4(4):259-280.

[2]Nikolov S G,Lewis J J,O’Callaghan R J,et al.Hybrid fused display:between pixel-and region-based image fusion[C]//Proc.7th Int.Conf.on Information Fusion.Svensson Per.Stockholm,Sweden:[s.n.],2004:1072-1079.

[3]Hyvrinen A,Karhunen J,Oja E.Independent Component Analysis[M].London,U K:Wiley,2001.

[4]Mitianoudis Nikolaos,Stathaki Tania.Pixel-based and region-based image fusion schemes using ICA bases[J].Information Fusion,2007,8(2):131-142.

[5]Mitianoudis Nikolaos,Stathaki Tania.Adaptive Image Fusion using ICA Bases[EB/OL].http://www.commsp.ee.ic.ac.uk/～nikolao/pdf/ICASSP2006.pdf,May2006.

[6]Hyvarinen Aapo.Sparse code shrinkage:Dnoising of nongaussian data by maximum likelihood estimation[J].Neural Computation,1999,11(7):1739-1768.

[7]刘刚.基于多分辨率的多传感器图像融合研究[D].上海:上海交通大学,2005:30-32.LIU Gang.Research on Multiresolution-Based Multisensor Image Fusion[D].Shanghai:Shanghai JiaoTong University,2005:30-32.

[8]Xydeas C S,Petrovic V.Objective Image Fusion Performance Measure[J].Electronics Letters,2000,36(4):308-309.

ICA算法 篇3

欠定的(或称为多源少信道)信号分离问题是盲信号分离的难点问题,也是热点问题。一般认为,对于欠定的盲信号分离,如果对源信号概率分布没有进一步的先验知识可以利用,即使能够正确估计出混合矩阵,也不可能恢复源信号[1]。所以目前的欠定ICA算法要求每个源信号都是稀疏信号或者要求提供源信号的先验统计信息。但是,在实际应用中,多数信号并不能满足这个要求。因此研究对一般信号也适用的欠定ICA算法,将更有意义。奇异值分解[2,3]是现代数学分析中最基本和最重要的工具之一。它对超定和欠定问题的解,不论满秩与否都提供了统一的框架。应用奇异值分解理论解决欠定盲信号分离问题,是一个崭新的研究方向。

本文从奇异值分解出发,给出了欠定ICA算法的代价函数,推导出分离矩阵的计算公式,提出了将基于奇异值分解的欠定盲信号分离算法与普通ICA算法相结合的二次信号分离方法。仿真实验表明,用所提出的方法,仅从观测信号中,就能够成功地恢复部分源信号,说明此方法的有效性。在许多实际应用中,并不要求得到所有的源信号,而只对其中的某些信号感兴趣(比如信号提取等),因而有一定实际应用价值。

1 欠定ICA算法及盲信号分离

1.1 欠定ICA算法

设x1,x2,…,xn为n个随机观测混合信号,由m个未知源信号s1,s2,…,sm线性组合而成,用矩阵形式表示信号线性混合模型为:

X=AS (1)

式中X=[x1,x2,…,xn]T,S=[s1,s2,…,sm]T,A为n×m的混合矩阵。对于欠定模型,n<m,即观测信号数量n(信道数)少于源信号数m。假设m已知,且有:各个源信号份量相互独立,最多有一个分量服从高斯分布,只利用观测信号估计源信号。

令分离矩阵为m×n的矩阵B,则源信号S的估计为:

Y=BX (2)

用互信息作为各输出分量之间独立性的测度[4],如:

L(Y;B)=I(y1,…,yn;$B)={\displaystyle \sum _{i=1}^n{\rm H}}(y{}_i$;B)-H(Y;B) (3)

式中H(Y;B),H(yi;B)分别表示Y的联合微分熵和边缘微分熵。

对矩阵B进行奇异值分解[2],因为n<m,则:

式中,U、V为m×m、n×n的正交矩阵;Λn×n=diag(δi),δi为分离矩阵B的所有非零奇异值;0表示(m-n)×n的零矩阵。

将U矩阵分块,前n列构成U1子矩阵,其余部分为U2子矩阵,所得子矩阵也是正交矩阵,即:

由奇异值分解的性质[2]知,$\det (\Lambda )=[\det (B{}^{{\rm T}}B)]{}^{\frac{1}{2}}$,则代价函数式(3)可以写为:

L(Y;$B)={\displaystyle \sum _{i=1}^n{\rm H}}(y{}_i$;$B)-\frac{1}{2}\ln$det(BTB)-H(VTX) (6)

根据文献[1]的论述,H(VTX)不依赖于B,可以忽略,则欠定盲信号分离的代价函数由式(6)简化为:

L(Y;$B)={\displaystyle \sum _{i=1}^n{\rm H}}(y{}_i$;$B)-\frac{1}{2}\ln$det(BTB) (7)

此代价函数与超定盲信号分离的代价函数式(8)[1]相比较,

L(Y;$B)={\displaystyle \sum _{i=1}^n{\rm H}}(y{}_i$;$B)-\frac{1}{2}\ln$det(BBT) (8)

由于欠定分离矩阵B的维数与超定分离矩阵的不同,导致了分块矩阵对象不同,因而代价函数有所不同,但其结构仍然是一致的。

由式(7)推导梯度学习算法,其微分

dL(Y;$B)=L(B+\epsilon )-L(B)={\displaystyle \sum _{i,j}\frac{\partial L(Y;B)}{\partial B{}_{ij}}}dB{}_{ij}$ (9)

ε为B的微小扰动,Bij表示B的第i行j列。由∂lndet(W)/∂Wij=(W-1)ji得:

$\begin{array}{l}\frac{\partial \ln |\det (B{}^{{\rm T}}B)|}{\partial B{}_{ij}}={\displaystyle \sum _{p,q=1}^n\frac{\partial (B{}^{{\rm T}}B){}_{pq}}{\partial B{}_{ij}}}\cdot \frac{\partial \ln |\det (B{}^{{\rm T}}B)|}{\partial (B{}^{{\rm T}}B){}_{pq}}\\ ={\displaystyle \sum _{p,q=1}^n\frac{\partial {\displaystyle {\sum }_{l=1}^{m}B}{}_{pl}B{}_{ql}}{\partial B{}_{ij}}}\cdot [(B{}^{{\rm T}}B){}^{-1}]{}_{pq}(10)\\ ={\displaystyle \sum _{p,q=1}^n(}B{}_{qj}\delta {}_{pi}+B{}_{pj}\delta {}_{qi})\cdot [(B{}^{{\rm T}}B){}^{-1}]{}_{pq}\\ =2[B(B{}^{{\rm T}}B){}^{-1}]{}_{ij}\\ \frac{\partial {\displaystyle {\sum }_{l=1}^n{\rm H}}(y{}_l;B)}{\partial B{}_{ij}}=-\frac{\partial {\displaystyle {\sum }_{l=1}^{n}E}\{\text{l}\text{n}p{}_l(y{}_l;B)\}}{\partial B{}_{ij}}=-E\left\{\frac{p^{\prime }{}_i(y{}_i;B)}{p{}_i(y{}_i;B)}x{}_j\right\}(11)\end{array}$

P′i为Pi的一阶导数,令ϕi=-p′i / pi,则:

dL(Y;B)=∑(E{ϕixj}-[B(BTB)-1]ij)dBij (12)

代价函数式(7)的梯度为:

∇L(Y;B)=E{ϕ(Y)XT}-B(BTB)-1 (13)

分离矩阵的更新为:

B+=B+η[B(BTB)-1-ϕ(Y)XT] (14)

式中ϕ(Y)=[ϕ1,…,ϕn]T,为非二次函数,取Y7-Y3-Y,η为学习步长。与超定ICA更新算法式(15)[1]比较,

B+=B+η[(BBT)-1B-ϕ(Y)XT] (15)

不难看出,由于分离矩阵B的奇异值分解不同,而导致式(14)中B(BTB)-1与式(15)中(BBT)-1B不同。

1.2 盲信号分离方法

在盲信号分离时,信号需要白化预处理。经过白化计算,输出分量去相关,即信号经过了主成分分析(PCA)的分离作用。因为奇异值分解与主成分分析是等价的[5],所以基于奇异值分解推导出的欠定盲信号分离算法实质上完成了混合信号的去相关。要使分离信号分量之间互相独立,仍然需要进一步的ICA分离。一般的ICA算法属于完备的盲信号分离方法,不能直接用于欠定的盲信号分离,而本文推导出的欠定奇异值分解算法能够增加信号的个数,这样就为运用一般ICA算法提供了可能。盲信号分离系统结构如图1所示。

本文采用MS-ICA算法[6]做盲信号二次分离。MS-ICA算法是一种新型、快速的完备ICA算法,它结合了时间延迟相关性的概念,使用Molgedey和Schuster去相关算法,用截断的方法实现时移矩阵,并且确保矩阵对称,时间延迟参数用自相关微分进行估计。经过MS-ICA的二次分离,分离信号分量之间彼此独立。

2 仿真实验

通过仿真实验,验证本文提出的欠定ICA算法以及盲信号分离的有效性。

实验1 源信号为正弦信号、调制信号、锯齿信号和模拟小噪音的高斯随机信号,如图2(a)所示。混合成三个信号,如图2(b)所示。图2(c)为分离结果。

(a) (b) (c)

从图2可以看出,正弦信号、调制信号和锯齿信号在混合和信号中基本被淹没的情况下(如图2(b)所示)被较好地分离出来(如图2(c)所示)。噪音信号没有被分离出来,但不影响其他信号的分离结果。

实验2 源信号为正弦信号、模拟心电信号、锯齿信号和小噪音信号,如图3(a)所示。混合信号如图3(b)所示。图3(c)为分离结果。

(a) (b) (c)

从图3可以看出,四个源信号在两个信道中混合,正弦信号、锯齿信号仍然能够被分离出来。与实验1相比,虽然混合信道减少为两个,但是仍然能够恢复部分源信号。

实验3 源信号为正弦信号、调制信号和小噪音信号,如图4(a)所示。混合信号如图4(b)所示。图4(c)为分离结果。

(a) (b) (c)

实验3为三个源信号在两个混合信道中混合,其结果显示,正弦信号和调制信号得到了较好的恢复。噪音信号没有被分离出来,但对正弦信号和调制信号的恢复没有影响。

实验4 源信号为高频正弦信号(5倍于工频信号)、工频(50Hz)正弦信号、多个高次谐波(3次、5次和7次)的混迭信号和随机脉冲信号,如图5(a)所示。混合信号如图5(b)所示。图5(c)为分离结果。

(a) (b) (c)

从图中可以看到,随机脉冲、工频正弦信号和高次谐波混迭信号得到了较好的恢复。仿真实验表明,即使信号的幅值较小,在混合信号中几乎被完全淹没的情况下,随机脉冲信号仍然能够被恢复,其幅值与工频信号的幅值之比可以高达1:300左右。

3 结 论

本文利用奇异值分解所提供的理论框架,推导出了欠定ICA算法,为欠定盲信号分离问题的解决提供了一个新的思路。所提出的欠定ICA算法具有去相关的作用,而且增加了欠定状态下信号的个数,起到了信号空间完备化(或部分完备化)的作用。

本文将所得到的欠定ICA算法作为普通完备条件下ICA算法的预处理,构造出了基于奇异值分解的欠定ICA算法与普通ICA算法相结合的二次盲信号分离方法。此方法不需要源信号的外加先验知识,不受源信号分布的约束,计算简单、快速,容易实现。仿真实验说明,所提出的盲信号分离方法能够较好地恢复部分源信号,证明了所提方法的有效性。在不要求恢复全部源信号的条件下,诸如在去噪、特殊信号提取、脉冲信号检测等领域,本文所提出的方法具有实际应用价值。

摘要：从奇异值分解出发,研究欠定独立分量分析(ICA)盲分离的新算法,给出了欠定ICA算法的代价函数,推导出分离矩阵的计算公式。在此基础上,提出了将基于奇异值分解的欠定ICA算法与普通ICA算法相结合的二次盲信号分离算法。利用此盲分离算法,能够较好地分离出部分源信号。仿真实验说明了此方法的有效性。

关键词：独立分量分析,欠定,奇异值分解,算法

参考文献

[1]朱孝龙,张贤达.基于奇异值分解的超定盲信号分离[J].电子与信息学报,2004,26(3):337-343.

[2]张贤达.矩阵分析与应用[M].北京:清华大学出版社,2004:344-348.

[3]周正,等译.统计与自适应信号处理[M].北京:电子工业出版社,2003:412-413.

[4]Yang H H,Amari S I.Adaptive on-line learning algorithms for blindseparation-maximum entropy and minimum mutual information[J].Neural Computation,1997,9(5):1457-1482.

[5]吴春国,等.关于SVD与PCA等价性的研究[J].计算机学报,2004,27(2):286-288.

ICA算法 篇4

电力系统无功优化就是应用数学优化方法,科学、合理地对电力系统无功进行调配以满足电力系统运行的各项安全、经济指标。对电力系统进行无功优化是提高电压质量、降低网损的有效手段。实现电力系统无功优化是指在给定的负荷水平情况下,优化调节电力系统中的无功资源,如调节发电机和调相机的无功出力、控制已装设的并联电容器和电抗器的投切组数、调节有载调压变压器的分接头档位等,使得在尽可能保证电力系统运行电压质量的条件下,达到运行网损最小的目标。随着电力市场机制的引入,客户对电能质量的要求日益提高,如何采取有效手段降低网损,改善系统电压水平,提高电压稳定性和可靠性己成为直接关系到电力企业自身经济效益的课题。总之,电力系统无功优化对无功电源进行合理配置能有效降低网损、保证电压质量、预防事故发生或防止事故扩大,从而提高电力系统运行的经济性、安全性和稳定性[1,2,3]。

常规数学优化算法和现代启发式算法是常用的求解无功优化算法。常规优化算法(如内点法、梯度法、线性规划和非线性规划等)存在对初值要求高、要求目标可微、容易产生维数灾和求解时间长等不足[4]。启发式算法(如遗传算法、免疫算法和粒子群算法)虽然可移植性好、原理简单、搜索能力强,但仍容易出现陷入局部收敛和早熟现象等。文献[5]提出实数编码的自适应遗传算法,处理连续-离散混合优化问题。文献[6]将无功优化问题分解为离散优化和连续优化2个子问题,交替运用遗传算法和内点法求解控制策略,以提高计算效率。文献[7]提出了小生境算法,以提高全局寻优能力,但是,其形成小生境进化环境的依据是预先给定个体间的距离,并且在整个新生代种群中对适应度进行调整,这样小生境的形成需要一定的先验知识,从而限制了此算法的有效运用。文献[8]采用帝国竞争算法(Imperialistic Competition Algorithm,ICA)对电力系统供需侧联合随机调度模型进行求解,但该算法需要依赖先验知识,收敛速度较慢,搜索能力较弱。

本文提出一种改进帝国竞争算法(Improved Imperialistic Competition Algorithm,IICA),利用模糊动态聚类方法形成国家群体,实现国家内适应度共享,而不再依赖先验知识;构建了电力系统无功优化模型,通过改进帝国竞争算法对模型进行求解,以提高帝国竞争算法的计算速度和收敛速度。与现有求解算法相比,本文提出的方法在避免全局收敛和提高搜索效率方面具有较好的作用。

1 无功优化的数学模型

电力系统无功优化是多变量多约束的非线性问题,在电力系统有功负荷、电源及系统网架条件给定的情况下,以容性或感性的无功补偿容量、变压器变比和发电机的机端电压作为控制变量,以发电机无功出力、PQ节点的电压幅值作为状态变量,在满足电力系统无功负荷需求的情况下,综合考虑全网网损和状态变量的越限情况,建立无功优化的目标函数为:

式中:Uimax、Uimin和Qgimax、Qgimin分别为电压和无功变量的上下限;Qgi、Ui分别为发电机无功功率和负荷节点电压;λq为发电机无功越界罚系数;λu为电压越界罚系数;式(1)中第1个公式的第三项为对发电机无功越界的惩罚项;第1个公式的第二项为对负荷节点电压越界的惩罚项;Ploss为系数有功损耗。

电力系统无功优化的约束条件包括等式约束条件和不等式约束条件。其中,等式约束条件为:

式中:N为系统节点数;θij、Gij和Bij分别为节点i、j之间的电压相角差、电导和电纳;Qci为无功补偿功率;Qli、Pli分别为负荷的无功功率和有功功率;Pgi为发电机的有功功率。

不等式约束为:

式中:Nd、Nk、Nb和Ng分别为负荷节点数、有载变压器数、无功补偿数和系统发电机节点数;Ugimin、Ugimax、Bimin、Bimax和Kimin、Kimax分别为对应变量的下上限;Ki、Bi、Ugi分别为有载变压器变比、无功电纳、发电机端电压的控制变量。

2 改进帝国竞争算法

2.1 帝国竞争算法

与其他进化算法具有一定的相似性,ICA算法定义的初始种群个体被称为国家,国家又被分为帝国和殖民地2类,它们的权利大小不同。该算法是一种全局性优化的进化算法,借鉴了人类政治社会殖民阶段国家之间竞争并最终占领殖民地的过程。

第一阶段:帝国形成。国家由h维决策变量组成country=[x1,x2,…,xh],国家的函数值用fcountry表示,第n个国家的标准化权利定义为:

式中:i为第i个国家。

第二阶段:吸收殖民地。假设每块殖民地移动的距离l服从均匀分布l～U(0,δ×lD),帝国周围的殖民地逐渐向帝国靠近。其中,δ>1,lD为殖民地与帝国之间的距离;帝国与殖民地移动方向之间的连线偏移夹角为θ,服从分布θ～U(-ψ,ψ),其中,ψ为偏移夹角调整系数。

第三阶段:帝国竞争。帝国的总权利值定义为:

式中:fkcol为帝国k占有殖民地的目标函数平均值;σ为权重系数;fk为帝国k的目标函数值。从总权利最弱的帝国中挑选出1个弱小的殖民地,按照一定概率分配给其他kC-1个帝国,第j个帝国的占有概率如下:

第四阶段:帝国消亡。经过帝国之间的相互竞争之后,权利较小的帝国所拥有的殖民地会被权利比其强大的帝国侵占,当殖民地全部被占领后则该帝国就会自动灭忙,在算法中消除其位置。当各个帝国之间的竞争减少时,有且仅有1个帝国建国,且其余所有殖民地均被该帝国侵占,此时算法迭代停止并得到最优解;否则,返回第二阶段)。

2.2 动态聚类与适应度共享技术

为了实现国家群体的划分,采用模糊动态聚类方法实现。将1个包括N个n维个体的国家群体记为Xi=[xi1,xi2,…,xin](i=1,2,…,M)。模糊动态聚类形成国家群体的基本流程为:

(1)国家个体的归一化。对各个国家个体不同量纲和变化范围进行归一化处理。

(2)建立模糊相似关系矩阵R。个体Xi和Xj之间的相似关系系数Rij以通过最小最大值法建立:

(3)通过调整相似度系数λ(0<λ≤1)就能对国家群体进行聚类。具体方法如下:1)从群体中第1个国家个体开始聚类分析,取i=1;2)如果λ≤Rij(j=i+1,i+2,…,M),则将Xi与Xj划分为一个类;3)顺序地取i=i+1,如果Xi已经被划分,则转至下一步,如果Xi没有被划分,则按步骤1)中的方法进行聚类分析;重复步骤2),直到最后1个个体完成聚类分析。通过式(8)在每次迭代中动态调整相似度,实现国家群体的聚类划分。

Goldberg于1987年提出适应度共享技术,通过反映个体间相似程度的共享度来调整群体中个体的适应度,该技术可以很好地维护群体的多样性。群体个体之间密切程度用共享函数表示,共享函数值越大表示个体越相似。共享度Si表示个体与群体内其他各个体之间共享函数的和,表示为:

式中:S(dij)为共享函数。

在得到群体中各个体的共享度后,还需要调整各个体的适应度:

式中:f(Xi)为个体Xi共享前的适应度函数;f'(Xi)为个体Xi共享后的适应度函数。

通过以上技术,可以降低群体中相似个体的适应度,以及进化过程中相似个体被选择的概率,避免早熟和局部收敛现象。

2.3 改进帝国竞争算法的步骤

基于适应度共享技术和模糊动态聚类的改进帝国竞争算法操作步骤如下:

(1)参数初始化,生产初始随机国家群体,并计算各国家个体的适应度。初始群体记为:

(2)对群体X进行帝国形成、吸收殖民地、帝国竞争运算,得到新的群体X'并计算其个体的适应度。

(3)直接保留群体中适应度最大的个体到下一代。

(4)适应度共享运算,调整各国家个体的适应度。

(5)判断终止条件。若满足终止条件,则计算结束并输出计算结果;若不满足终止条件,则跳转至步骤(2),重新进行迭代计算。

改进帝国竞争算法在无功优化问题的求解过程中,按照图1的步骤进行。

3 算例分析

为了验证本文所提算法和无功优化方法的有效性,对IEEE 30节点测试系统进行编程仿真,仿真软件采用Matlab7.0,测试系统的节点和支路数据及拓扑结构图详见文献[9]。该测试系统中有负荷节点21个,发电机节点6个,支路共有4条。其中,节点1设定为优化计算中的平衡节点,PV节点设定为4、7、14、16和19节点,剩余节点为PQ节点[10]。取系统的基准容量为100 MVA,初始国家数为150个,初始帝国数为20个,δ=1.75,σ=0.2,ψ=π/2。网络中各变量的选取范围参见文献[11].网络初始系统总有功负荷P1=2.846p.u.,无功负荷Q1=1.273 p.u.;初始有功网损Ploss=0.048768 p.u.。

选用遗传算法(Genetic Algorithm,GA)、ICA和本文IICA进行比较,对所提算法进行有效性验证。优化计算50次,取其收敛结果最优值作为最终的计算结果,如表1所示,各变量单位为标幺值(p.u.)。

表1中:Psum、Qsum为节点注入功率,Rsave为网损下降率。从表1中可以看出,采用GA和ICA算法得到的系统网损分别为0.044p.u.和0.041 p.u.,而采用本文IICA算法的网损下降到0.036 p.u.;采用GA和ICA算法得到的网损下降率分别为6.25%和12.08%,而采用本文IICA算法的网损下降率为20.26%,优化结果比其他2种算法更有优势。

为了验证IICA算法的性能,选取3种算法分别对目标函数各优化计算80次,优化的结果如表2所示。其中,平均网损指标指的是80次迭代中所有收敛迭代结果的平均值,单位为标幺值(p.u.)。3种算法系统网损变化曲线如图2所示。

从表2和图2可以看出:以最大迭代次数作为计算结束条件时,在迭代计算的前期阶段(15次以前),3种优化算法的收敛特性都比较好。但随着寻优过程的不断深入,GA算法预测约在80次迭代计算后曲线基本没有变化;ICA的收敛速度要好于GA算法,并在约70次迭代后趋于平稳;IICA的收敛速度要好于GA算法和ICA算法,约在50次迭代计算后曲线变化不明显,具有更快的全局寻优能力。因此,相比于GA和ICA算法,本文所提IICA算法的优点在于:1)算法的收敛能力和全局搜索性能更强;2)算法收敛需要的迭代次数更少,收敛速度更快。

4 结论

本文提出了一种改进帝国竞争算法进行无功优化,通过模糊动态聚类方法划分国家群体,形成国家之间结盟,再利用适应度共享技术调整联盟内各个国家之间的适应度,以提高全局搜索能力。通过对IEEE 30节点系统进行优化计算和仿真分析,结果表明本文所提算法具有高效、稳定、更好的全局寻优能力等优点,对电力系统无功优化问题解决方法具有一定的借鉴价值。

参考文献

[1]崔挺,孙元章,徐箭,等.基于改进小生境遗传算法的电力系统无功优化[J].中国电机工程学报,2011,3l(19):43-50.

[2]韩学军,邓艳秋,张全厚,等.基于改进小生境粒子群优化算法的电力系统无功优化研究[J].陕西电力,2012,40(12):36-38.

[3]康健,周庆庆.基于分解的智能优化算法在电力系统无功优化中的仿真研究[J].陕西电力,2013,41(3):27-31.

[4]刘佳,李丹,高立群,等.多目标无功优化的向量评价自适应粒子群算法[J].中国电机工程学报,2008,28(31):22-28.

[5]SUBBARAJ P,RAJNARAYNAN P N.Optimal Reactive Power Dispatch Using Self-adaptive Real Coded Genetic Algorithm[J].Electric Power Systems Research,2009,79(2):374-381.

[6]YAN W,LIU F,CHUNG C Y,et,al.A Hybrid Genetic Algorithm;Interior Point Method for Optimal Reactive Power Flow[J].IEEE Transactions on Power Systems,2006,21(3):1163-1168.

[7]向铁元,周青山,李富鹏,等.小生境遗传算法在无功优化中的应用研究[J].中国电机工程学报,2005,25(17):48-51.

[8]杨楠,王波,刘涤尘,等.计及大规模风电和柔性负荷的电力系统供需侧联合随机调度方法[J].中国电机工程学报,2013,33(16):63-69.

[9]张勇军,任震,钟红梅,等.基于灾变遗传算法的无功规划优化[J].电力系统自动化,2002,26(23):29-32.

[10]马玲,于青.刘刚,等.基于量子差分进化算法的电力系统无功优化[J].电力系统保护与控制,2013,41(17):39-43.

ICA算法 篇5

图像恢复与重构是图像处理的主要任务,其目的是从叠加了其它信号或噪声的污染图像中恢复出原始图像。造成图像污染的因素有很多,如相机抖动、镜头变换、镜面反射传输噪声等,而且这些影响因素往往是未知的。这种影响因素未知的图像恢复与重构就是图像盲分离。ICA(Independen Component Analysis,独立分量分析)[1~3]是20世纪90年代后期发展起来的一种盲信号处理方法,由于其在盲信号处理方面有着强大优势,近年来在图像盲处理领域逐步得到了较好的应用[4]。ICA方法最早是由法国的J.Herault和C.Jutten于八十年代中期提出来,现在常称他们的方法为H-J算法。由于ICA假设信源之间相互独立,满足大多数工程的应用要求,关于ICA的算法和应用研究得到了迅速发展,相继出现了基于高阶累积量的SOBI[5]、JADE[6,7]算法、基于高斯矩的快速ICA[8,9]算法(FastICA)和基于非线性子空间的KICA[10]算法等多种具有代表性的算法。这些算法都可用于图像盲分离。为了分析比较这些ICA算法在图像盲分离中的应用效果,本文首先介绍了这几种ICA算法以及ICA在图像盲分离具体算法流程,然后利用模拟的混合图像及含噪混合图像进行了一系列的实验,对算法的性能与效果进行综合比较。

1 独立分量分析原理与主要算法

独立分量分析原理如图1所示,其中s(t)=[s1(t),…,sN(t)]T是原始信源组成的N维矢量,si(t),i=1~N是其组成分量。它们经混合矩阵A线性组合成M维观察矢量x(t)=[x1(t),…,xM(t)]T,

即,或简记作:x(t)=As(t),式中A是M×N混合矩阵。在已知各sj(t)是相互独立的,通过求取一个解混矩阵W,使得x(t)通过它后所得输出y(t)(y(t)=Wx(t))是s(t)的最优逼近。

由ICA基本原理可知,其关键是如何求解混矩阵W。为了简化,以下讨论中暂设N=M。解混矩阵W一般分解成两步,第一步先把观察矢量x(t)经线性系统W变换成中间输入z(t),其中要求z(t)满足E[z(t)zT(t)]=IN,称这一步为“球化”;第二步再把z(t)变换成y(t),要求y(t)中各分量相互独立,因此称为“正交系统”。

根据独立分量分析原理,许多学者提出了基于不同判据、不同方法的ICA算法,其中具有代表性和广泛应用的主要有稳定的SOBI[5](二阶盲辨识)算法、JADE[6,7](特征矩阵联合近似对角化)算法、FastICA[8,9](快速ICA)算法和KICA[10](核独立分量分析)算法。SOBI算法由Belouchran等人于1997年提出[11],并成功应用于生物医学、地球科学、电信通讯和模态理论等领域[12~14]。SOBI算法建立在延时互相关矩阵的基础上,利用二阶统计量做分解,所以对高斯信源有效。Cardoso等人提出的JADE方法,是四阶盲辨识(FOBI)[15]的修改和完善,利用高阶统计量作为判据,利用矩阵联合对角化球化矩阵,使判据极小,可以较好地分解出非高斯性较好的信源,被广泛应用于生物医学处理、信号盲源分离和其他领域[16],但是计算量稍大。A.Hyvarinen等人提出的FastICA方法已经成为ICA算法中应用最广泛的算法之一[7],因而也是研究的热点之一。FastICA算法基于负熵,是以极大化非高斯性作为判据,采取牛顿迭代法估计出独立成分的不动点算法,较常规的基于梯度的ICA算法具有收敛快、运算速度高、分解结果好、计算量较小等优点,因而得到了广泛的应用。而2002年Francis R.Bach提出了基于核空间的独立成分分析算法(KICA),该算法在盲源信号分离应用中取得了良好的效果[10]。KICA算法是通过一个非线性函数将信号向量映射到高维特征空间中,一般采用高斯核函数来实现非线性变换。

2 基于ICA的图像盲分离算法

在图像处理中,ICA算法的应用也得到了很大的发展[10,17,18]。对于一组混合图像,在没有已知混合矩阵的同时,应用ICA算法对混合图像进行盲分离,可以得出与源图像相似的分离图像。基于ICA的图像盲分离是通过对所观察的混合图像信息转换,结合ICA算法对图像信息处理,分离出若干个图像信息,接着转化成图像输出。算法过程如下:

(1)获取混合灰度图像矩阵,转化成单通道信号,然后组成N维信号矩阵,其中N为混合灰度图像数。

(2)应用ICA算法进行运算,去均值、球化、正交变换。

(3)将分离出的N维信号矩阵灰度值域归一化为[0,255],每一维信号转换成的图像矩阵。

由于在ICA算法分离过程中,白化会将图像信息去均值,因此在分离后所得出的图像会出现幅值大幅度降低,并整体带有负号现象,从而导致直接输出的结果因为是负值或者值太小变成全白或者全黑。但是由于所处理的灰度图像有先验知识,即其灰度值为[0,255],所以假定分离出来图像的灰度绝对值范围是[0,max](因为有时图像值为负,所以取绝对值),通过线性变换将其值域变换为[0,255]。这样经过处理的图像至少能够满足灰度图的要求,并且在输出的时候也有较好的效果。

3 比较试验及分析

为综合比较各种ICA算法在图像盲处理应用的效果,我们选取了三幅源图像(如图2中(a)图所示),混合矩阵选取为[0,1]的随机矩阵A,具体值如式(1)所示。

使用混合矩阵A对源图像进行混合,混合后的图像如图2中(b)图所示,然后用SOBI、JADE、FastICA和KICA四种ICA算法进行盲分离。分离后的图像分别为图2中的(c)、(d)、(e)和(f)图。从图中可以看出,4种ICA算法都可以很好地从混合图像中分离出原始图像。

为了进一步分析不同ICA算法的图像盲分离效果,选取了PI和PSNR两个指标进行量化比较。其中,PI为分离矩阵W与混合矩阵A的乘积C与单位矩阵I之间的距离[19],式(2)为其计算公式,PI值越小表明图像分离出来的效果越好;PSNR为峰值信噪比,式(3)为其计算公式,PSNR值越大表明分离效果也越好。表1为各算法图像盲分离性能指标值,从中可以看出,分离效果最好的是KICA算法,其性能PI值为0.0359,很接近于0,并且分离图像PSNR值(42.6548、36.9330、34.0454)每个都最大;其次是FastICA算法,其分离效果仅次于KICA算法;SOBI算法的分离效果四者中最差。

以上实验是源图像中不含高斯噪声的结果。为了进一步分析以上ICA算法对源图像或者混合图像受到噪声污染之后的处理效果,在以上实验中的模拟混合图像中再添加一定的高斯噪声,然后重新利用四种ICA算法进行图像盲分离。处理后的效果如图3所示,其中(a)图为源图像,(b)图为加入噪声的混合图像,(c)～(d)依次为SOBI、JADE、FastICA和KICA四种ICA算法进行盲分离的结果。从图中可以看出,4种算法的分离效果都不太好。

同样,为了量化对比分析,选取了PI和PSNR两个指标,具体值如表2所示。从表2中可以看出,SOBI算法分离的效果相对较好,但仍然含有大量的噪声,其它几种算法分离效果都很差,噪声也很大。这说明对含有高斯噪声的混合图像,这四种ICA算法都不能有效地进行盲图像分离。

4 结论

当混合图像中不含高斯噪声时,ICA可以有效地对图像进行盲分离。其中KICA算法分离的效果最好,FastICA次之;SOBI与JADE比KICA与FastICA算法的分离效果稍差一些。但是这四种算法对含有噪声的图像都不能很好地分离出源图像,所以利用ICA进行含噪混合图像进行盲分离时,可以借助于其它信号处理方法(如小波)先进行消噪处理,或者对现有ICA算法进行扩展与改进,使ICA能处理含高斯噪声信号的能力,这也是ICA研究的一个主要方向。

摘要：对影响因素未知且没有先验信息的污染图像进行恢复和重构是图像处理的一项主要任务。ICA(Independent Component Analysis,独立分量分析)是20世纪90年代后期发展起来的一种盲信号处理方法,并成功应用于图像盲分离。近年来ICA技术得到了进一步发展,出现了多种算法。为了分析各种算法在图像盲分离中的优劣,对SOBI(二阶盲辨识)、JADE(联合近似特征矩阵对角化)、FastICA(快速独立分量分析)和KICA(基于非线性子空间的核独立分量分析)算法进行了比较实验。结果表明,KICA算法分离效果最好,FastICA算法次之;但是如果源图像或者混合图像中含有噪声,则以上四种方法分离效果都不佳。

ICA算法 篇6

正因为信号盲分离技术具有广阔的应用前景,促使国内外广大的科研工作者关注这一领域研究,盲分离技术也因此获得了飞速的发展,现在的研究多数都假设传感器个数不少于源信号的个数,对源信号个数多于传感器个数的问题如何解是又一个困难的问题。此前关于多路输入-单路输出的盲源分离成果是较少的[1]。

1 单通道信号基本概念

假设接收到的信号XM是有M路信号S(t)=[S1(t),…,SN(t)]T通过某种方式混合而成,并受到加性噪声的干扰

XM=A[S(t)]+V(t) (1)

其中,A(·)为混合方程V(t)为加性噪声;XM和S(t)中,M表示观察信号的维数。当M=1时就是一个观察信号,即形成了单通道信号,因此单通道信号处理问题都可以用式(1)来表示,对于不同的应用,区别在于源信号S(t):类型、数目的差异,以及混合方式A(·)的差异。针对不同的情况,单通道信号分离可以分为以下几类问题[3]:

(1)N=1,混合方程A(·)己知,模型转化为信号去噪问题,即由接收信号X1(T)通过去噪算法,尽量精确地恢复出源信号。

(2)N=1,混合方程A(·)未知,模型转化为信号的盲估计问题,或是混合方程和源信号的联合估计问题,即由接收信号X1(t)估计出混合方程A(·)和源信号。

(3)N>1,混合方程A(·)己知,模型转化为多路混合信号的分离问题,即由接收信号X1(t),通过分离算法,估计多路源信号。

(4)N>1,混合方程A(·)未知,模型转化为多路混合信号的盲分离问题,用盲分离的方法根据单路接收信号估计多路信号,即特殊的欠定盲信号分离问题[1]。文中根据情况(1)进行分析研究。

2 盲源信号分离描述

2.1 源数目估计

为实现单通道信号的盲分离,首先要求估计系统的源信号数。在此提出基于 EMD 的源数估计方法[4]。

首先,单通道观测信号x1(t)进行 EMD 分解[12],并得到其本征模函数xlimf=(c1,c2,…,cn,r1n)T。其次,将单通道信号x1(t)和其IMF组合成为新的多维信号ximf=(x1,c1,c2,…,cn,r1n)T,即可解决源信号数目大于观测信号数目的难题[4,9,10,11]。

ximf=(x1,c1,c2,…,cn,r1n)T的相关矩阵为

Rx=E[ximf(t)xHimf(t)] (2)

当噪声是白色信号,且其对应的本征函数和源信号对应的本征模函数不相关时,ximf=(x1,c1,c2,…,cn,r1n)T的相关矩阵为Rx=E[sH(t)s(t)]+δ2IM-N式中,M是ximf=(x1,c1,c2,…,cn,r1n)T的维数,IM-N是单位矩阵,δ2是噪声的功率。

Rx奇异值分解为

Rx=VsΛsVTs+VbΛbVTb (3)

式中,Λs是n个主特征值,Λs=diag{λ1≥λ2,…,λn},Λb是M-n个噪声特征值,Λb=diag{λn+1,…,λM}=δ2I。

在假设噪声方差相对小和精度估计协方差矩阵的前提下,通过判断Rx最小特征值的个数即可确定其噪声子空间的维数,进而估计源信号的数目。文中将利用Bayesian信息准则(BIC)来判断源信号的数目[4,10]。

基于贝叶斯模型,MINKA提出一个真实维数估值的有效准则:Minka Bayesian 选择模型(MIBS)。其目标函数是寻找一个能使代价函数最大的序号k=n,1≤k≤l,l为非零特征值个数。该序号n即为观测数据x(t)隐含的维数。MIBS可用Bayesian信息准则近似

Bayesian信息准则可以分析非高斯源信号,因此文中利用BIC进行语音源数估计的研究。

2.2 盲源分离步骤

(1)单通道观测信号x1(t)的EMD分解[4],单通道观测信号的EMD分解将得到IMF分量ximf=(c1,c2,…,cn,r1n)T。

(2)源数估计[4,10]。单通道信号x1(t)和其IMF组合成为新的多维信号ximf=(x1,c1,c2,…,cn,r1n)T,其相关矩阵为Rx=E[ximf(t)xHimf(t)],并奇异值分解,根据其特征值估计源信号数目。

(3)合成新的多维信号[1,10,11,12]。将单通道信号x1(t)和其IMF组合成为新的多维信号x=(x1,c1,c2,…,cn,r1n)T,并使其维数等于估计的源信号数。

(4)的盲信号分离[2,3,5,6,7,8]。针对新的多维信号x=(x1,c1,c2,…,cn,r1n)T,应用ICA相关算法实现盲源分离[2,5],得到分离后的源信号y。

3 算法应用研究

仿真实验中使用的语音信号为:WAV文件,PCM音频格式,采样大小16位,单声道,采样频率为8 kHz,数据长度156 kB,语音信号10 s,语音信号作为源信号。

研究试验中假设只知道观察信号x1,根据盲分离的步骤,利用EMD分离出imf信号[4,9,10,11,12]并完成步骤(1)。

根据图3的分层结果,按照步骤(2)对相关矩阵Rx奇异值分解[4,10],得到特征值矢量Λ=diag(λ1,λ2,…,λ11)根据特征值的数值利用BIC估计语音源数目为3,与提供的参考数据相符。在此基础上重新取用观察信号的本征函数的前两位并组成新的3维信号x=(x1,c1,c2)T。再将此3维信号进行FastICA盲分离[2,3,5],图4为分离后的信号。

运用相似系数来评估分离效果[1],定义为

当yi=CSj时,C为常数,ξij=1;当yi与sj相互独立时,ξij=0。由式(5)可知,相似系数抵消了盲源分离结果在幅值尺度上存在的差异,从而避免了幅值尺度不确定性的影响。当由相似系数构成的矩阵每行每列都有且仅有一个元素接近于1,其他元素接近于0时,则可认为分离算法效果较为理想。

从分离系数看,结果比较理想。

4 结束语

文中采用贝叶斯准则估算出盲源数目,这为后面的工作做了铺垫,然后利用EMD分解为相同长度的IMF信号,对IMF信号和观察信号结合后再进行独立分量分析及筛选得到的源信号的估计。但研究过程中还存在一些问题,如采样率高低影响信号的包络完整性,当采样率提高时又影响迭代次数而增加运算量。

摘要：针对单通道语音信号盲分离的问题,结合盲源分离和经验模式分解的优点,提出了一种基于经验模式分解的单通道语音信号源数估计和盲源分离方法。对语音混合信号进行经验模式分解,利用贝叶斯算法估计语音源数目,根据源信号数目重组多通道语音混合信号,并采用独立分量分析实现语音信号的盲分离。仿真实验表明,使用此法能有效地估计通道语音信号源数和分离盲源。