人脸超分辨率（精选八篇）
人脸超分辨率 篇1
面向人脸图像的超分辨率技术已经在多个领域广泛应用, 如身份认证、网络化监控等应用更加深入和广泛。在本文中, 主要采用基于线性与非线性的学习方法, 对上述的超分映射函数进行学习。这其中, 基于线性方法中选择采用主成分分析;而非线性方法在学习中则主要采用自编码网络, 所有的方法均可以对人脸图像的局部区域进行训练超分映射函数的处理与学习。这其中, 所提到的自编码网络学习方法, 是神经网络学习领域中进行深度学习的主要理论基础。而在图像的超分辨率重构过程中, 则主要采用双线性插值的方式来进行初始化处理;接着, 将样本学习过程中所获得的超分辨率映射函数用于对人脸图像中局部内容的计算与处理, 并将处理结果叠加到全局的人脸图像, 从而实现整体图像的超分处理过程。
2 基于局部细节的人脸图像超分辨率重构
2.1 关键点与逐层训练概念
文中所使用的关键点概念, 是指人脸图像中, 具有一定语义特征的脸部区域, 比如:人脸的鼻角、眼角以及嘴角等位置。对于算法中所采用的关键点定位方法, 则采用已有的SDM方法, 基于大量的人脸关键点训练样本;在对Hessian矩阵的求解中通过学习梯度下降的方式来实现, 最终实现对关键点的定位效果。同时, 利用常用的关键点提取方法, 对存在于较低分辨率图像中的人脸关键点进行提取。
考虑到从分辨率较低的图像重构高分辨率图像过程的难度不小, 文中选用逐层训练的方式来实现。具体操作过程为:
(1) 采用双线性插值的方式, 对需要重构的原始图像进行初始化操作;
(2) 利用上述的关键点算法, 对人脸图像中所包含的局部特征进行定位处理;
(3) 利用得到的关键点, 获得其相邻的局部区域, 对局部区域的大小, 则需要以实验的方式来确定, 以便能够获得最佳的重构效果。
在具体的算法设计与实现中, 文中针对所有的局部区域进行逐层训练操作。首先, 对存在于低分辨率图像和次高分辨率图像中的映射关系进行训练;然后, 对存在于次高分辨率图像和高分辨率图像中的映射关系进行训练, 以便能够得到更好的重构效果。需要说明的是, 在次高分辨率图像的生成过程中, 需要经过两次降采用操作, 即先将人脸图像中的局部临近像素值进行缩小, 逾期大小为原来大小的一半;再利用线性插值的方法, 对原始数值进行计算。
在对人脸图像中的各个局部区域, 在完成对其逐层的超分辨率重构处理后, 将可以将重构得到的所有区域, 以关键点位置为依据, 将所有区域叠加到原来的全局因条件图像中。对于叠加后的图像, 不可避免地存在重叠部分, 而对这些重叠部分的处理, 文中主要采用像素平均的方法, 对重构后图像中所存在的图像灰度突变问题进行有效解决。
不过, 对于经过叠加后所得到的全局图像, 其中的重叠部分, 会产生多样的块状区域, 应该加以解决。本文中所采用的方法, 主要为基于泊松编辑方法。在泊松编辑的过程中, 首先应该完成的是对针对全局图像进行卷积计算, 通过采用拉普拉斯算子, 可以得到如下的式子:
基于对的计算, 可以得到如下的方程式:
完成上述计算过程后, 就可以将图像中的块状效应进行有效消除, 进而得到最后的超分辨率图像。
2.2 基于AE的自编码技术
在如图1中, 给出了基于自编码理论的非线性超分网络结构。可以发现, 该网络中采用了三层的网络结构体系。
在图1中, 输入层所对应的包含于原始图像的局部区域数据。可以利用设定的编码器, 来获得相应的隐层, 然后再经过设定的解码层, 对输出层进行计算, 即经过重构后的重构结果。
在具体的实验过程中, 对于微环节则主要采用误差反向传播, 即BP的方式来实现。利用该方法, 可以针对整个模型中所使用的连接权重, 进行全局性的微调与优化, 对其中所设置的价函数利用梯度下降算法进行最小代, 使得存在于超分图像与目标图像之间的误差得以缩减。在优化中所采用的代价函数中, 包含了误差项以及正则化项, 这里, 可以将正则化项理解为权重衰减项, 可以实现对权重变化幅度的控制与调整。最后, 再利用目标图像与重建结果之间的误差, 对相应的权重进行重新调整。
3 实验
3.1 数据准备
本实验主要针对证件照中所常用的人脸图像进行超分辨率运算, 将大量的人脸图像以及相应的高分辨率图像作为样本数据进行训练。
3.2 参数设置
算法计算中所选用的人脸局部区域大小, 会对整个算法的高分辨率重构效果产生更加直接的影响。在实验中, 对于所收集的人脸样本数据, 在N分别为20、30、40以及50的情况下, 对得到的重构结果进行对比。根据所得到的实验结果, 发现在N的取值为30的情况下, 所得到的图像重构平均误差的值最小, 同时, 重构后图像的峰值信噪比的取值更高, 所重构得到的图像绿细节信息更优。
在采用的非线性方法中, 对于其中的自编码网络的设置, 其首层节点数量可以定为900, 第二层相应的节点数定为1000, 将计算过程中的权重误差设置为0.0005, 而算法中的学习率则可以设置为0.01。
需要补充的是, 在自编码网络中, 其第二层网络还可以采用更深的网络。这样, 在从次高清和高清图像的重构过程中, 实现的难度会增大, 需要对网络进行必要的加深学习处理。比如, 在基于PCA的线性回归计算方法中, 对于维度为30*30的人脸局部图像, 可以将其维度进行降低处理下操作, 并在此基础上对经过降维处理后的高低分辨率人脸局部区域图像进行相应的线性回归操作与运算。
3.3 实验结果分析
利用分层网络所设计的逐层训练方法, 可以通过对图像细节的重构, 实现对计算误差的控制与缩减。具体到人脸图像的重构中, 可以对其中的局部区域将其平均误差控制到0.6~0.8的水平。利用低分辨率图像, 经过重构后所得到高分辨率图像的效果, 要比分层网络训练方法中所得到的人脸细节信息较差。通过采用基于关键点的处于方法, 其效果相较于对全图所进行的分层网络重构效果更加较好, 这主要是由于在人脸局部区域的训练过程中, 其中所设置的参数比较少, 相应的网络收敛性能更佳;同时, 通过对人脸图像数据每个部分所对应的重构网络的分开训练过程, 使得训练与重构过程的速度更快, 进而实现对不同区域中图像数据的超分辨率处理与运算。
对于文中实验过程中所采用的逐层训练方法, 相较于直接训练方法, 所得到的人脸区域图像的重构结果的效果更好。考虑到在人脸的所有器官中, 眼睛图像所在区域所集中的信号能量更强, 是整体人脸特征的重要表征, 是更具有代表性的人脸器官, 能够作为人脸重构细节说明的目标图像。通过对人脸重构效果的对比, 可以对实验中所采用的分步网络算法的性能进行说明。具体如图2中所示。在该图中, a图表示原始的人眼图像, b图为采用直接方法所得到的重构图像, c图为采用分层网络方法所重构后得到的结果, 而d图则为目标图像。
从图2的实验结果可以发现, c图中的重构结果与目标图像更加接近。对于皮肤上的细节信息, 所重构得到的结果比较差;而眼皮上的细节信息, 则是由低分辨率图像中的信息量所决定的。可以发现, a图和b图中的细节重构结果不够精细, 且相应的轮廓也比较模糊。其中, b图中主要利用多层网络方法对眼皮进行直接重构, 所得到的效果较差。
利用人脸图像中的关键点, 所提取得到的所有局部区域数据, 在完成相应的分层训练操作与处理后, 就可以将经过重构后的人脸局部图像数据叠加到原图的对应位置上, 对于重叠的局部位置, 则主要采用增值的方式加以处理, 从而得到整个人脸图像的超分辨率重构结果。根据前文说明, 还可以采用泊松编辑的过程, 对结果中的块状效应进行消除, 确保所得到重构结果的平滑性。
利用网络上公开的人脸数据库FERET中所提供的人脸数据, 对文中所采用算法的有效性进行进一步验证, 通过选用实验数据进行测试的结果, 如果3中所示。其中, a图为采用双立方内插方法得到的结果, b图为采用非负权重领域嵌入方法所得到的结果;c图中图像为文中所采用方法的实验结果, 在为原始的高清图像;通过比较后可以发现, 采用双立方内插方法所得到的实验结果为最差。
4 结束语
在本文中, 主要利用基于关键点的图像超分算法, 对人脸中不同区域进行区别重建。这样, 可以确保所重建的人脸图像更精细;利用对不同区域图像的区别重建, 可以对不同区域中人脸图像的超分重建。不过, 所采用的算法对人脸皮肤以及眼睛等细节信息的处理还不免够理想。
摘要：文中主要对基于关键点的人脸图像逐点超分辨率重建算法进行研究。在该算法中, 对人脸中局部部位的细节进行重建, 通过在算法中对人脸关键点附近区域中的超分辨映射函数的分别训练, 实现了对人脸超分的逐层迭代重建。实验结果表示, 利用该方法可以有效减少目标图像重建中的难度。
关键词：分层网络,关键点,自编码
参考文献
[1]曹明明, 干宗良, 崔子冠, 等基于司寺征描述的非负权重邻域嵌入人脸超分辨率重建算法[J].电子与信息学报, 2015, 37 (04) :777-783.
[2]李涛, 王晓华, 宋桂芹, 等基于学习的彩色人脸图像超分辨率重构研究[J].北京理工人学学报, 2010, 30 (02) :193-196.
[3]李玉花, 齐春.利用位置字典对的人脸图像超分辨率方法[J].西安交通大学学报, 2012 (06) :7-11.
人脸超分辨率 篇2
关键词：SR重建；POCS算法；小波分析
中图分类号：TP391.41
在视频和图像信号处理领域，相比于傅里叶信号分析，小波分析是一种相对较新的工具。此外，毫无疑问的是，许多信号处理方法强烈地依赖于各种随机概念。本文提出了一种基于小波分析的POCS超分辨率算法，其规定了一个小波凸集，使用常规POCS方法中的随机过程为小波系数子图像优化。
1 基于小波分析的POCS结构
在常规POCS超分辨率方法的基础上，我们想要改善重建图像质量和减少特定噪声，同时，在 POCS过程中使用更多的先验知识来形成一个凸集，则估计HR图像的最终结果将会非常逼近于原始场景。因此，我们可以在POCS迭代过程中加入一个新的基于小波的凸集和一个小波域系数子图像修正过程，这样就可以得到一幅更好的HR图像且能迅速的去除噪声。
图1 基于小波的POCS超分辨率图像重建流程图
2 小波凸集投影
一幅小波域的HR图像x（m1，m2）可表示为一个LL带的小波逼近成分和LH，HL，HH带中三个详细成分的总和：
（1）
基于小波域表示的SR图像重建模型，其POCS过程中估计HR图像 的凸集可定义为：
（3）
将估计HR图像 投影到CW 的操作可以定义为：
（4）
3 随机小波系数优化过程
随机小波系数优化过程是在小波凸集投影之后进行的，小波系数优化过程的目的是消除噪声成分，调整错误估计的像素以及改善估计HR图像。
3.1 估计小波系数方差
对于小波系数优化过程来说，方差估计是非常重要的，准确的方差估计会得到更好的优化和噪声减少效果，这一步估计小波系数子图像的方差，方差估计的输入是步骤一中HR图像小波分解的结果：
（5）
上式中，d表示窗口的大小，W（i，j）表示（i，j）位置的小波系数，求和计数ι是从2开始的，这是因为最大和最小的系数已经去除掉了的。
3.2 F分布
F分布是一个连续的概率分布，它通是作为检验统计量的零分布使用的，尤其是在方差分析方面，F分布的累积分布函数（CDF）曲线是由自由度d1和d2确定的。
（7）
其中G（x）是F分布的CDF，I是正则化不完整β函数。
介绍F分布的原因是为了利用F检验作为一个工具来确定作为检查小波系数方差的阈值的一个临界值。
3.3 F检验和系数修正
F检验的详细过程描述如下：第一，中心方差系数与其接触的邻域中最大的值进行比较，根据F分布，若对比的结果显示的是方差系数是统计不同的，那么对应的特征应保留，否则，中心方差系数需要与两个相邻子窗口的平均方差系数中的最小值再次进行比较和再次检查，若F檢验显示的是中心方差系数与这个平均值的最小值不同，那么相应特征应保留；否则特征应当修正。
在F检验识别出哪一个小波系数应当抑制之后，对噪声和错误估计的小波系数进行修正。小波系数修正方案，即“方差相关衰减”使用衰减系数α，这个衰减系数α是自适应的，它的值可以通过式（8）和式（9）确定。
（8）
其中
（9）
通过对F检验函数提出两个不同的信任度γ1和γ2，研究小波系数方差 和 的比率R，R的值可分为3个不同区域。R的值位于最左边的区域意味着小波系数应保持不变，这时，衰减系数α设为1；那么，若R的值位于临界值Fγ1（d，d）和Fγ2（d，d）之间的区域，意味着小波系数需要通过由式（8）决定的系数α进行自适应衰减；另外，若R的值位于比临界值Fγ2（d，d）还大的区域，衰减系数 设为预先确定的衰减系数。
4 基于小波的POCS迭代算法
步骤1：图像配准，首先，将获取的LR图像中的其中一幅设为参考图像，而用所有其他的连续LR图像与参考图像进行对比，应用中旋转和运动估计算法以获得每幅LR图像的全局运动向量，根据LR图像的运动向量，算法将对所有LR图像与参考图像进行排列，然后将排列后的LR图像传输到下一步骤。
步骤2：退化函数估计，退化函数通常是指每幅LR图像上的图像模糊效果，利用盲目模糊识别算法来查找每幅LR图像的模糊滤波B的核心，模糊滤波B是形成式定义的完整退化函数Hi的退化元素的一种。
步骤3：投影到CD，本文算法从这一点开始，第一幅LR图像通过下采样系数μ进行缩放。使用双线性插值作为HR原图像x0（m1，m2）的第一次初始猜测，然后计算残差γ（x）（n1，n2）。依据数据一致性约束CD，执行投影是为了更新估计HR图像 ，重复操作残差计算和CD投影直到所有LR图像都已经使用过，然后估计的HR图像传输到小波凸集投影。
步骤4：投影到CW，这一步执行小波凸集投影，从步骤3得到的估计HR图像通过小波变换进行分解，那么通过替换LR图像yi（m1，m2）的比例系数给出的来进行执行小波凸集投影PW。
步骤5：小波子图像系数优化过程，这一步通过运用随机F分布优化小波子图像系数，从步骤4接收到的估计HR图像的4个小波系数子图像根据详细描述的本文提出的算法进行优化。
步骤6：投影到CA，从步骤5得到的估计HR图像 的像素值根据振幅约束CA的限制，进行至少3次POCS迭代之后，然后上一次迭代后得到的估计HR图像减去当前估计HR图像以检查收敛，这两幅估计HR图像的差异与预先设定的收敛标准ι1范数检测的先前差异进行比较，若两幅估计HR图像的差异大于预先设定的标准，那么当前的估计HR图像送到步骤3中作为一幅新的初始HR图像，且重复POCS过程直到达到收敛标准。
步骤7：去模糊过程，去模糊处理之后，就得到最终的SR重建图像。
5 结束语
本文对基于小波的POCS超分辨率重建方法进行了详细的阐述说明，小波凸集通过替换LL带逼近系数为适当比例和累积LR图像推导出来，同时还解释了随机小波系数优化处理过程，从系数方差计算到F分布推导和小波系数衰减方案，对本文提出的SR图像重建算法的完整过程进行了逐步解释说明。
参考文献：
[1]张正贤.正则超分辨率图像复原算法研究[J].西北工业大学学报，2006（06）.
[2]张晓玲，沈兰荪.超分辨率图像复原技术的研究进展[J].测控技术，2005（05）.
[3]刘丁峰，超分辨率图像复原技术综述[J].软件导刊，2009（12）.
[4]李桐，超分辨率图像重建技术[J].哈尔滨师范大学自然科学学报，2006（05）.
[5]杨庆怡，黄灿，张琼基 于POCS 算法的超分辨率图像重建技术[J].计算机光盘软件与应用，2012（16）.
[6]刘梓，宋晓宁，於东军，唐振民.基于多成分字典和稀疏表示的超分辨率重建算法[J].南京理工大学学报，2014（02）.
[7]邓乾国，游志胜基于凸集投影算法的超分辨率图像重建技术[J].成都信息工程学院学报，2005（06）.
作者简介：张晓克（1982.12-），男，河南禹州人，工学硕士。研究方向：图像处理。
图像超分辨率研究综述 篇3
图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建,许多文献中没有严格地区分这两个概念,甚至有许多文献中把超分辨率图像重建和超分辨率图像复原的概念等同起来,严格意义上讲二者是有本质区别的,超分辨率图像重建和超分辨率图像复原有一个共同点,就是把在获取图像时丢失或降低的高频信息恢复出来。然而它们丢失高频信息的原因不同,超分辨率复原在光学中是恢复出超过衍射级截止频率以外的信息,而超分辨率重建方法是在工程应用中试图恢复由混叠产生的高频成分[1,2]。几何处理、图像增强、图像复原都是从图像到图像的处理,即输入的原始数据是图像,处理后输出的也是图像,而重建处理则是从数据到图像的处理。也就是说输入的是某种数据,而处理结果得到的是图像[3]。但两者的目的是一致的,都是由低分辨率图像经过处理得到高分辨率图像。另外有些文献中对超分辨率的概念下定义的范围比较窄,只是指基于同一场景的图像序列和视频序列的超分辨处理,实际上,多幅图像的超分辨率大多数都是以单幅图像的超分辨率为基础的。
在图像获取过程中有很多因素会导致图像质量下降,如传感器的形状和尺寸、光学系统的像差、大气扰动、运动、散焦等。另外,在成像、传输、存储过程中,会引入不同类型的噪声,这些都会直接影响到图像的分辨率。此外,数字化采集过程也会影响图像的分辨率,欠采样效应会造成图像的频谱混叠,使获取的图像因变形效应而发生降质。由于军事侦察及医学图像、卫星图像、视频应用及其它许多领域的实际需要,人们对得到的图像的质量要求越来越高。虽然光学元件能有效的限制传感器阵列上的图像频带宽度,使获取的图像又可能避免变形效应的发生。但这要求光学元件与传感器阵列进行有效的组合,而这在实际场合中是很难做到的,同时提升硬件要花费很高的经济成本,图像质量的提高也是有限的,因此,超分辨率图像复原技术就显得更加重要了,其中,图像超分辨率技术是数字图像处理领域中的一个重要分支。随着图像超分辨率理论和技术的日益成熟,图像超分辨率技术的应用更加广泛。本文着重对图像超分辨率方法进行阐述和分析,以向人们展示超图像分辨率技术的发展方向和应用前景。
1 图像超分辨率发展的背景及现状
超分辨率概念最早出现在光学领域。在该领域中,超分辨率是指试图复原衍射极限以外数据的过程。Toraldo di Francia在1955年的雷达文献中关于光学成像第一次提出了超分辨率的概念。复原的概念最早是由J.L.Harris[4]和J.w.Goodman[5]分别于1964年和1965年提出一种称为Harris-Goodman频谱外推的方法。这些算法在某些假设条件下得到较好的仿真结果,但实际应用中效果并不理想。Tsai & Huang[6]首先提出了基于序列或多帧图像的超分辨率重建问题。1982年,D.C.C.Youla和H.Webb在总结前人的基础上,提出了凸集投影图像复原(Pocs)方法。1986年,S.E.Meinel提出了服从泊松分布的最大似然复原(泊松-ML)方法。1991年和1992年,B.R.Hunt和PJ.Sementilli在Bayes分析的基础上,提出了泊松最大后验概率复原(泊松-MAP)方法,并于1993年对超分辨率的定义和特性进行了分析,提出了图像超分辨率的能力取决于物体的空间限制、噪声和采样间隔。
近年来,图像超分辨率研究比较活跃,美国加州大学Milanfar等[7,8]提出的大量实用超分辨率图像复原算法,Chan等从总变差正则方面[9],Zhao等[10]、Nagy等从数学方法[11]、多帧图像的去卷积[12]和彩色图像的超分辨率增强方面,对超分辨率图像恢复进行了研究。Chan等研究了超分辨率图像恢复的预处理迭代算法[13]。此外,Elad等对包含任意图像运动的超分辨率恢复[14]进行了研究;Rajan和Wood等分别从物理学和成像透镜散射的角度提出了新的超分辨率图像恢复方法[15];韩国Pohang理工大学对各向异性扩散用于超分辨率[16]。Chung-Ang图像科学和多媒体与电影学院在基于融合的自适应正则超分辨率[17]方面分别进行了研究。
国内许多科研院所和大学等对超分辨率图像恢复进行研究,其中部分是关于频谱外推[18]、混叠效应的消除[19],其他主要是对国外超分辨率方法所进行的改进,包括对POCS算法和MAP算法的改进[20,21],对超分辨率插值方法的改进[22],基于小波域隐马尔可夫树(HMT)模型对彩色图像超分辨率方法的改进以及对超分辨率图像重构方法的改进[23,24]。
2 图像超分辨率研究的主要方法
2.1 图像超分辨率方法的分类
图像超分辨率按要处理的图像源可分为单幅图像超分辨和多幅图像超分辨。单幅图像超分辨率是指恢复出由于图像获取时丢失的信息(主要是指高频信息),多幅图像超分辨率是指从低分辨率的图像序列恢复出高分辨率的图像。基于序列或多幅图像的超分辨率增强就是利用这些不同,但相互补充的信息以及目标的先验信息,从一系列低分辨率的图像恢复出高分辨率的单幅图像。该思想与前述的单幅图像超分辨率方法相比,其优点是除了利用物体的先验信息和单幅图像的信息之外,还充分利用了不同图像之间的补充信息,因此,其超分辨率增强能力高于单幅图像超分辨率方法[25]。但是在实际应用中,获得同一场景的图像序列常常是很困难,例如在未来高技术局部战争条件下,战场环境瞬息万变,战场信息稍纵即逝,因此给军事侦察提出了更高的要求,在这种情况下,要想获得同一场景的多幅图像很难,因此,单幅图像的超分辨率技术就显得尤为重要。同时,多幅图像的超分辨率方法大多都是以单幅图像的超分辨率为基础的,只有对单幅图像的超分辨率图像进行更广泛深入地研究,多幅图像的超分辨率技术才能有更广阔的前景。目前,单幅图像的超分辨率研究较少,多幅图像超分辨率已经成为研究的热点,就是因为多幅图像比单幅图像所含的可利用的信息量大。
图像超分辨率按实现的具体方法主要可分为空域法和频域法。频域方法是在频域上消除频谱混叠,改善空间分辨率;空间域方法是在图像像素的尺度上,通过对图像像素点的变换、约束而改善图像质量的方法。
频率域方法是图像超分辨率中的一类重要方法。目前比较流行的是能量连续降减法[26]和消混叠重建方法。消混叠重建方法是通过解混叠而改善影像的空间分辨率实现超分辨率。中国科学院遥感应用研究所[27]从分辨率低的欠采样图像会导致相应空间频率域频谱混叠的理论出发,给出了多次欠采样图像在频率域混叠的更一般的公式,并给出一种针对不同分辨率图像解频谱混叠的逐行迭代方法,该方法在有噪声的情况下也具有很好的收敛性,取得了很好的效果。
频域方法实际上是在频域内解决图像内插问题,其观察模型是基于傅里叶变换的移位特性。频域方法基于以下三条基本性质:(1)傅里叶变换的平移特性。(2)连续傅里叶变换和离散傅里叶变换之间的混叠关系。(3)原始场景的带宽有限。频域方法理论简单,运算复杂度低,很容易实现并行处理,具有直观的去变形超分辨率机制。但这类方法的缺点是所基于的理论前提过于理想化,不能有效地应用于多数场合,只能局限于全局平移运动和线性空间不变降质模型,包含空域先验知识的能力有限。
空域方法的适用范围较广,具有很强的包含空域先验约束的能力,主要包括迭代反投影方法(IBP)[28]、集合论方法(如凸集投影:POCS)[29]、统计复原方法(最大后验概率估计MAP和最大似然估计ML)[30],混合MAP/POCS方法以及自适应滤波方法[31],人工神经网络法、基于非均匀采样的插值法、基于最优化技术的方法等。其中,非均匀样本内插方法、迭代反投影方法等结合先验信息的能力很弱,在改善图像超分辨率效果方面受到了一定的限制。因此,研究和应用较多的是凸集投影方法和最大后验概率估计方法。下面重点介绍几种常用的超分辨率方法的特点。
2.2 几种常用的图像超分辨率方法凸集投影法(POCS)
凸集投影方法的优点是可以方便地加入先验信息,可以很好地保持高分辨率图像上的边缘和细节;缺点是解不唯一、解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高等。为了提高凸集投影方法的收敛稳定性,可以采用松弛投影算子,但松弛投影算子不利于保持图像的边缘和细节。
贝叶斯分析法
贝叶斯分析法包括最大后验概率估计法(MAP)和最大似然估计法(ML),最大后验概率估计方法的优点是在解中可以直接加入先验约束、能确保解的存在和唯一、降噪能力强和收敛稳定性高等。缺点是收敛慢和运算量大。另外,最大后验概率估计方法的边缘保持能力不如凸集投影方法,由这类方法获得的高分辨率图像上的细节容易被平滑掉。
迭代反投影法(IBP)
迭代法反投影法是空域方法中具有性的方法之一,其原理主要是要求超分辨率图像与观测数据匹配(通过观测模型)。然而,由于图像超分辨率是一个病态求逆问题,因此,IBP方法的解通常也是不唯一的,该算法的收敛性要求帧间变化是仿射变换。此外,IBP方法也很难引入先验知识。
2.3 序列和多幅图像的超分辨率
对于序列图像或同一物体的多幅图像,如果图像之间存在着相互运动(如平移和转),则这些序列图像含有类似但不完全相同的信息。基于序列或多幅图像的超分辨率就是利用这些不同但互补的信息以及物体的先验信息,从一系列低辨率的图像恢复出高分辨率的单幅图像。该思想与前述的单幅图像超分辨率相比,其优点在于除了利用物体的先验信息和单幅图像的信息之外,还可以充分利用图像之间的补充信息。 许多文献在利用序列和多幅图像分别从频域和空域,提出了图像超分辨率算法,取得了很好的效果。
图像序列超分辨率算法通常包含三个步骤,首先对低分辨率图像序列进行运动估计和补偿,其次进行插值,最后去模糊、去噪声得到高分辨率图像。准确的运动估计是能够实现超分辨率的前提。超分辨率的基本原理是根据图像序列中帧与帧之间的微小差异来提高图像的分辨率,序列中的运动估计是实现超分辨率的前提。在超分辨率中的第一个基本步骤就是得到序列中的运动并对其进行补偿,将各帧图像配准到同一个坐标系下,配准的质量对图像的效果起着决定性作用。这此方法中,有另一个很重要的步骤就是插值,一般说来,插值方法可以分为基于图像的插值方法、基于对象的插值方法和基于小波的插值方法。基于图像的插值方法常常看作是灰度插值方法,是一种直接利用图像的灰度信息构造插值图像插值算法。该算法是在上下两层已知插值图像中,利用待插值点指定某个领域内的近邻点的灰度值来计算插值点灰度值的方法。基于对象的插值方法也叫基于形状的插值算法,相对于区别灰度插值的另一类插值算法。它被用于三维重建源自面绘制技术的运用。图像插值通常强调图像质量,即,无人工处理痕迹,视觉上观感平滑细致。已有一系列面向视觉效果的图像插值技术[32,33],如,沿边缘方向插值、内容自适应插值、基于层集[34]的插值等。在高质量数字摄影摄像、TV、多媒体、广告、印刷等行业中,对面向视觉效果的图像插值技术的需求日益强烈。
最常用的两种插值算法是双线性冲值和双三次插值。它们最显著的共同缺陷之一是锯齿效应,即图像边缘处呈现阶梯状,或在细密纹理处出现波纹。锯齿效应是最明显的人工处理痕迹,针对这种现象,Qing Wang和Rabab Kreidieh Ward提出了一种方向自适应插值[35],对去锯齿效应收到了很不错的效果。
3 图像超分辨率的发展前景
图像超分辨率在视频、遥感、医学和安全监控等领域具都有十分重要的应用,另外其应用也逐步涉及到其它各个领域。在高清数字电视方面采用超分辨率技术会进一步减少成本,提高画面的质量。超分辨率技术在采集军事与气象遥感图像应用可实现高于系统分辨率的图像观测。在医学成像系统中(如CT、MRI和超声波仪器等),可以用图像超分辨率技术来提高图像质量,对病变目标进行仔细的检测。在银行、证券等部门的安全监控系统中,当有异常情况发生后。可对监控录像进行超分辨率重建,提高图像要害部分的分辨率,从而为事件的处理提供重要的线索[36]。在未来超分辨技术广泛的应用前景必然会推动这一技术不断发展。
为了获得高质量的高分辨率的图像,满足不同情况下的实际应用要求,未来的发展主要集中在以下几个方面:
(1)精确有效的运动估计算法[37]。图像的运动变形、模糊和噪声等降质因素具有密切的关系,在图像超分辨率增强中,需要对图像序列进行亚像素精度的运动估计。由于运动估计只能利用低分辨率序列上的信息,所以很难达到精确的运动估计。 虽然目前已经有很多比较成熟的运动估计方法,但在实际应用场合仍然无法获得令人满意的运动补偿效果,同时这些方法的适用场合非常有限,需要发展和寻求新的运动模型,对运动进行精确估计。
(2)针对视频压缩格式和编解码技术,在图像超分辨率算法中综合考虑成像模型和压缩算法带来的图像污染效果, 以及运动补偿和编码传输机制,提高压缩视频的超分辨率能力。
(3)完善现有算法,不断发展新的算法。 目前的很多图像超分辨率算法在一定程度上解决了实际应用中存在的问题,但这些方法仍然存在着较大的缺陷和不足。所以在超分辨率算法方面,还需要进一步提高超分辨率图像增强的能力,减小计算量,加快运算的收敛速度,适用于不同的图像要求[38]。
(4)在应用范围上将不局限于单色和单张高分辨率图像的恢复,还要扩展到多通道和彩色图像、三维立体成像、动态多媒体序列、压缩图像、CCD阵列成像和核磁共振成像的超分辨率恢复与增强。
(5)提高算法的效率,目前已有的超分辨率算法很多,不少算法的效果还是不错的,但由于算法复杂度高,运算量大,因此实用性不强。
(6)盲重建[39]。很多算法都假设模糊函数(PSF函数)已知,但是在实际中,准确的估计PSF函数有一定的困难,通常都只能知道PSF函数的部分信息,因此,盲重建也是一个重要的研究方向。
4 结束语
随着图像超分辨率技术的进一步发展必将导致这一技术拓宽到一些新的应用领域,图像超分辨率技术更广泛地应用会进一步加快该技术的发展。此外,超分辨率技术的理论研究结果还可为未来我国新型传感器的硬件设计与实现提供理论指导与参考,图像超分辨率技术会有更广阔的前景。
摘要：介绍了图像超分辨率技术的概念及来源,综述了超分辨率技术在国内外发展的概况,澄清了图像超分辨率重建和超分辨率复原两个概念,对图像超分辨率的方法进行了分类对比,并对图像超分辨率的发展进行了展望。
一种彩色视频超分辨率重建算法 篇4
关键词：视频超分辨率,亮度补偿,核回归函数
1 概述
图像超分辨率技术是一种基于信号处理方法获得较高分辨率图像的技术, 近年来成为了图像处理领域热点研究方向。视频超分辨率重建的主要目的是通过图像/视频处理技术从多帧低分辨率 (Low Resolution, LR) 视频中获得高分辨率 (High Resolution, HR) 视频, 这项技术可以用于图像和视频的许多应用中, 如:视频监控, 医学成像和卫星成像。
视频超分辨率重建作为一个病态问题, 特别是对彩色图像的超分辨率重建, 其计算量太大, 极大地影响了其在视频实时处理中的应用。Celiu等人提出了一种基于贝叶斯的自适应视频超分辨率重建方法, 具有非常出色的细节恢复效果, 但生成一幅720*480的彩色图像所用时间长达2小时。
因此, 本文提出一种高效的彩色视频超分辨率重建算法, 在增大视频序列重构信息量的基础上, 在一定程度上降低了算法的计算量和复杂度, 更有利于彩色视频超分辨率的实时处理
2 核回归方程
图像重建的任务是从低分辨率的观测图像yk中估计出高分辨率图像xk。核回归方程的表达式为:
假设图像数据局部足够平滑, 为了估计函数在任意点x的值, 可以采用该点函数的局部展开。如果x离采样点xi很近, 我们得到N项的泰勒级数:
其中, 表示三维梯度向量, H表示Hessian算子, 表示将对称矩阵的上三角按照字典顺序写成向量。
因此, 最优的回归系数可以通过下式估计:
不难发现超分辨率重建可表示成求解加权最小二乘最优问题:
为了求回归系数向量, 对式 (4)
求导, 令导数等于0, 可得:
根据公式 (2) 可知, 向量的回归系数的第一项就是在xi位置所求的估计值, 因此,
式中e1是一个列向量, 它的第一个元素为1, 其余都为0。这个方程是局部结构回归的一般框架。
3 所提出的彩色视频超分辨率重建算法
核回归算法可用于视频去噪和无精确估计的超分辨率重建的, 本文的彩色视频超分辨率重建算法是基于核回归算法所提出的, 算法架构如图1所示, 增大视频序列重建信息量的同时, 大幅降低超分辨率重建算法的计算量, 促进了彩色视频超分辨率算法在实时处理中的应用。
将超分辨率重建后图像的亮度信息z_Y (k) 作为约束, 令补偿后的亮度分量y_Y补偿 (k) 无限逼近z_Y (k) , 从而获得补偿的信息量, 同时, 避免了对R、G、B三通道都进行超分辨率重建的复杂处理。最后, 再合成彩色的高分辨率 (HR) 序列。
4 仿真结果
我们将测试所提出的彩色视频超分辨率重建算法对于带有模糊和噪声彩色视频序列的处理性能。实验的数据采用7帧低分辨率 (LR) 序列重建1帧高分辨率 (HR) 图像的方法。将视频calendar和foliage进行退化处理, 选取视频的前30帧图像, 图像大小为720*480, 采用3*3的统一点扩散函数进行模糊处理, 空间下采样系数为4, 再加上标准差σ=2的加性高斯白噪声。我们分别选取视频calendar的第11帧和视频foliage的第6帧, 分别通过现有算法和本文的算法对退化图像进行处理, 如图2所示。
我们采用PSNR和SSIM值客观评价各种算法的效果, 如表1所示。结果显示本文的算法重建的结果的PSNR和SSIM值, 接近现有算法重建的值。这表明本文的算法接近现有算法的处理效果, 其结果也与我们人眼主观观察相一致。
在计算量方面, 我们基于Intel的i5-2400芯片, 4GB的RAMs平台, 在Matlab R2009a上实现基于7帧图像的彩色视频超分辨率重建, 放大倍数为4, 获得1帧704*576的高分辨率图像。
现有算法和本文算法分别对calendar视频序列进行处理的计算量对比如表2所示, 表中给出了现有算法中分别对R、G、B通道进行处理的时间及其总时长, 本文算法中的亮度补偿处理相对于亮度分量的超分辨率处理, 其计算量可以忽略不计, 因此只给出对Y分量进行处理的时间。由表中数据对比可得, 本文算法的计算量得以有效降低。
结语
本文提出了一种高效的彩色视频超分辨率重建算法, 通过将超分辨率处理后的亮度分量作为约束补偿, 只对亮度分量进行超分辨率重构, 在增大视频序列重构信息量的基础上, 大大降低了算法的计算量和复杂度, 特别适合在彩色视频实时处理中的应用。
参考文献
[1]L Zhang, H Zhang, H Shen, P Li.A super-resolution reconstruction algorithm for surveillance images[J].Signal Process, 2010, 90 (3) :848–859.
[2]J A Kennedy, O Israel, A Frenkel, R BarShalom, H Azhari.Super-resolution in PET imaging[J].IEEE Transactions on Medical Imaging, 2006, 25 (2) :137-147.
人脸超分辨率 篇5
关键词：多描述编码,亚采样,超分辨率重构,凸集投影
0 引言
视频图像传输中有许多需要解决的问题：图像的有效编码，压缩数据流的鲁棒传输，接收端的高质量图像再现等。视频图像编码的JPEG-X、MPEG-X、H.26X等标准，其实质是去除数据冗余但同时码流更加脆弱，高倍的帧间编码不利于恶劣信道传输，而帧内编码的JPEG/JPEG-2000标准则体现出一定的优越性。传输误码会降低图像质量甚至导致解码器无法正常工作，对码流进行多重描述则可极大提高其稳健性，即利用多幅低分辨率(LR:Low-resolution)图像的多描述编码(MDC:Multiple Description Coding)[1,2]可提高码流的容错性。图像的超分辨率重构(SRR:Super-resolution Reconstruction)可以大大提高主客观质量，而多幅LR图像的重构亦如此[3,4,5]。多幅图像内的非冗余的亚像素信息被融合，经复原剔除模糊，进而重构出较为满意的高分辨率(HR:High-resolution)图像。
针对传输信道的不可靠、易丢包或误码等固有特性，本文提出对原图像亚采样后进行低分辨率多描述编码以增强传输鲁棒性，接收端再采用多幅解码图像超分辨率重构的处理系统。这种图像信源的帧内多描述编码，信宿的超分辨率重构的传输策略，特别适合信道环境恶劣的图像低帧率(一秒几帧)传输应用。此策略是开放的，可采纳各种多描述图像编码和超分辨率重构算法以提高传输效率和图像质量。本文针对成熟的JPEG静态图像编码标准[6]，对降采样所得到的多幅LR图像进行MDC，接收端则基于凸集投影(POCS:Projection onto Convex Sets)理论[7,8]对LR图像进行SRR。
第1节简单回顾MDC的研究状况;第2节在概要描述JPEG编码原理和POCS图像重构算法基础上，提出基于压缩域内量化噪声的POCS图像重构技术;第3节给出实验结果和分析;第4节是结论。
1 多描述图像编码
随着网络和无线传输技术的发展，图像通信成了应用的主流。但网络环境的复杂化，无线信道的多径、多时变和空变等特点，使图像传输质量严重下降，在一定程度上阻滞了图像传输应用的发展。多描述编码就是将一幅图像分解成多个相关的描述独立编码，通过不同信道传输到接收端解码，编码模型如图1所示。如果由于某信道数据误码、丢包或延迟，则解码器可从其他正确接收的描述中重构出主观可接受的图像。发生丢包或误码等的数据或信道越少，恢复出的图像质量就越好。若所有信道数据均正确接收，则可重构出高质量的图像。因此，MDC非常适合传输复杂化的恶劣信道条件下的图像传输应用。
多描述图像编码是当今信息领域的一个研究热点，是复杂传输环境下解决数据有效传输的一个良好途径。其实，MDC可广泛用于音频、视频或其它数据，如无线传感器网络(WSN:Wireless Sensor Network)中的分布式信源编码(DSC:Distributed Source Coding)[9]，多描述的数据可以是多个摄像头的视频图像，也可以是多传感器测得的压力、温度、湿度等。
图像的MDC方法是基于单描述图像编码中算法模块的多源并行输入。如多描述量化编码、多描述变换编码、基于运动补偿的MDC、基于空间扩展的MDC、基于空间亚采样的MDC和多描述分级编码等方法[1]。本文采用了空间亚采样的低分辨率多描述图像编码，即对待编码的高分辨率图像通过空间亚采样得到多个LR描述，然后分别独立编码。
2 JPEG多描述编码和POCS重构
2.1 JPEG多描述编码
静态图像编码标准JPEG已广泛应用，并且出现了多种基于JPEG编码的改进算法。本文采用JPEG的顺序型编码方式[6]。8×8图像经过离散余弦变换(DCT)后，低频分量集中在左上角，高频分量分布在右下角。设在变换域坐标(i,j)处的DCT系数值为T(i,j)，则JPEG的量化是直接将DCT系数除以图2中量化步长矩阵的对应值q(i,j)，得到量化后的DCT系数值为
式中round表示取整操作。由于图2量化后左上角的值较小，右下角的值较大，使得低频分量细量化，高频分量粗量化。解码端则根据量化步长按下式进行重构：
所以解码后就出现了量化失真。
本文用256×256的Lena灰度源图像经隔行隔列亚采样得到4幅128×128的LR描述。分别对源图像和4幅LR描述编解码，控制4个描述的压缩比总和与单幅源图像的压缩比相同，且在相同信道传输条件下，比较图像的整幅编码、传输、重构和4个多描述编码、传输、重构图像的主客观质量。JPEG图像质量控制参数为Q，范围为1～100，值越大质量越好，压缩比越小。图3是空间亚采样多描述和当JPEG参数Q为15时其编解码后的图像。
2.2 POCS超分辨率重构
接收端为提高图像质量，可使用滤波、增强和超分辨率重构等技术，其中，多幅LR图像的SRR更有效。SRR算法总体上主要有基于空域、频域和压缩域等3种，通常的研究主要在空域和频域进行。由于接收图像往往是压缩数据，故充分利用压缩中的先验知识如变换和量化来减少量化噪声，可有效提高重构质量。本文采用一种基于凸集投影的压缩域图像SRR方法[10]。
在压缩域构建超分辨率模型，可以直接利用码流中的DCT系数和量化信息，减小量化噪声[11]。记原始图像为X，采样算子为Ai(i=1,2,3,4)，TDCT和T-1DCT分别是DCT和IDCT,Q和Q*是量化和反量化操作。4幅LR图像记为iY，则有：
由式(3)可知，量化误差被限制在1/2量化步长内。由此得到如下基于集合理论的SRR方法：
其中是一个对HR图像的估值。可以采用凸集投影(POCS)算法迭代求解上式。
POCS算法是一个迭代过程，给定超分辨率图像空间上任意一个点，来定位一个能满足所有凸限制集合的点。POCS算法将预估的结果X(0)逐次投影到所有的限制集C上，使重构结果与观察图像一致[12]：
其中：m是限制集的个数，X(0)是一个任意初始点。凸集投影的核心问题就是合成投影算子Pi(i(28),1(43),m)。给定投影算子，对所有LR图像进行迭代就可以得到HR图像的估值，可以对其中一幅图像进行双线性插值作为HR图像的初始估计。
由式(4)所示的约束条件，采用如下的投影约束集合：
其中：
压缩域POCS算法的具体步骤如下：
Step1：对第一幅LR图像进行双线性插值，作为HR图像的初始估计;
Step2：根据式(6)，求出
Step3：根据下式判断，对R的每个像素R(i,j)在DCT域内进行迭代，其中q(i,j)为点(i,j)处的量化间隔：
若R(i,j)(29).05q(i,j)，则修正为R(i,j)(28)R(i,j)-.05q(i,j);
若R(i,j)(27)-.05q(i,j)，则修正为R(i,j)(28)R(i,j)(10).05q(i,j);
若-.05q(i,j)£R(i,j)£.05q(i,j)，则R(i,j)(28)0;
Step4：根据式(5)，求出XR(28)A1TT-1DCT(R);
Step5：根据，利用X R对进行修正。
对其它几幅LR图像iY，重复Step2到Step5进行迭代，直到满足一定的阈值条件，结束迭代，输出超分辨结果。
3 实验结果
3.1 理想信道
首先我们假设信道无误码和干扰，即不考虑信道传输的降质影响。用图2所示的量化矩阵，Q为15(压缩比为6)时，将压缩域POCS重构算法与直接用LR图像进行双线性插值的结果进行比较，如图4所示。如果Q为10(压缩比为10)，则两种方法重构图像的峰值信噪比(PSNR)分别为23.114 8 dB和24.891 3 dB。
实验中发现，压缩比越大，压缩域POCS超分辨率重建提高的PNSR越不明显。这是因为压缩比越大量化噪声越明显，而重建时不能更好消除这一误差。而图像质量越好时，量化噪声会更小，则压缩域POCS重建效果会更为理想。
3.2 实际信道
当信道性能不稳定，传输图像数据时有可能发生误码、丢包等现象，导致接收图像被污染。如果对整幅图像进行传输，一旦信道出错，可能无法恢复原图像。而本文方法如果其中一幅LR图像数据在传输时出错，仍然可由其它几幅图像重建原始图像。例如，考虑只由其中的k(k(27)4)幅LR图像重建的效果，如图5所示(压缩比为6)。PSNR可看出，利用的图像数目越多，重建质量越好。由于这里没有考虑误码、加噪的影响，重建结果区别不太明显。当某些帧发生误码或图像采集中引入噪声、失真等情况时，可利用帧的质量严重下降，这样重建输出图像的PSNR会严重衰落。如何解决该问题将是后续研究的一个重要方向。
4 结论
鉴于图像通信中信道的降质影响，用空间亚采样的LR多描述图像编码，接收端分情况选用一定数量的图像描述，利用压缩域SRR可以有效提高图像传输质量。总结如下：
1)用多描述的思想可以有效解决图像通信中的低帧率高质量图像传输：将HR图像亚采样成多幅LR图像进行传输，即使有部分LR图像数据不慎丢失，仍可由其它LR图像超分辨率重建出一定质量的HR图像，避免了整幅图像的严重损伤。
2)用基于压缩域的POCS算法对压缩图像进行超分辨率重建，可以利用量化器的先验信息降低量化噪声，减少迭代次数，更快地收敛到最佳结果：Q=6时迭代12次，Q=10时迭代13次。
3)压缩比越高，量化噪声越大，重建效果也越差。这种算法按最大量化误差来限定DCT系数，只能在一定程度上减小量化噪声，因为实际上不同变换系数的量化误差不同，基本上量化步长越高的DCT分量，其量化误差与步长的比例越小，而且对于不同的图像，用不同的量化矩阵，误差范围都不相同[8]。因此难以用统一的范围来对投影算子进行界定。
人脸超分辨率 篇6
关键词：图像处理,超分辨率重建,快速MAP重建算法,模式识别
0 引 言
高分辨率的图像能够包含更多的细节信息, 在诸多领域有着广泛的应用。高分辨率的成像系统可以获取高分辨率图像, 但是高精度的硬件设备复杂且成本极高。由于成像环境的光能不足、相互运动、离焦等多种原因, 即使使用高分辨率成像设备, 也难以获得理想的图像, 使目标难以辨认, 很大程度阻碍了高分辨率图像应用范围的扩大。超分辨率重建技术则有效解决了这个问题。超分辨率重建能够从低分辨率的图像中得到高分辨率的图像, 而这些低分辨率的图像序列可以从已经使用的低分辨率成像系统获得, 降低了获取高分辨率图像的成本。
在图像超分辨率重建方面, Huang和Tsai[1]首先提出了频率域重建算法。Kim, Bose, Su等研究者在这一基础上提出了拓展的频域算法[2,3,4], 将光学成像过程中产生的点扩散、高斯噪声等效应添加进模型, 使其更加符合实际的应用情况。频域重建法普遍具有理论简单, 易实现, 运算速度快等优点。然而, 所有的频域方法都只适用于全局性平移运动的情况, 难以增加一般性的先验约束, 并且不能包含一般的噪声模型。频域的方法并没有成为主流, 相反空域的方法却得到了相当大的发展。目前研究比较广泛的超分辨率重建方法主要有最大似然估计 (ML) 法、凸集投影 (POCS) 法和MAP法[5,6]三种。POCS方法的原理简单, 并且有灵活的空间域观察模型, 但是它的解不惟一;MAP有惟一解且收敛稳定度高, 降噪能力强, 但是运算量比较大。
超分辨率技术应用于行驶车辆车牌识别系统 (LPR) , 通过获取低分辨图像序列得到高分辨率的车牌图像, 能够有效降低设备成本。Suresh和Kumar写的[7]是第一篇介绍超分辨率重建和行驶车辆LPR结合的文章。文中介绍了一种基于MAP的方法, 但MAP方法需要大量的计算, 使其难以应用于实时系统。Tanaka和Okutomi提出一种快速MAP算法[8], 即利用一种简化的代价函数, 极大地减少了重建所需的像素。这种方法可以直接应用于提高车牌图像的质量, 还可以减少运算量。
这里在快速MAP算法的基础上提出了一种适用于行驶车辆LPR系统的快速超分辨率重建方法。该算法所需的运算量很小, 可以应用于DSP实时系统。
1 快速MAP重建算法
假设向量f是理想高分辨率图像, 理论上该图像可以近似为低分辨率的图像序列。每个低分辨率图像用向量gk表示, k = 1, 2, …, K。gk的分辨率为 (M×N) ×1;f的分辨率为 (PM×PN) ×1;P为放大比率。低分辨率图像的成像系统模型为:
undefined
式中:C (dk, r) 为 (PM×PN) × (PM×PN) 矩阵, 表示从帧fr映射到帧fk的运动补偿, 这个矩阵式由运动估计参数dk, r决定。Hk为 (PM×PN) × (PM×PN) 矩阵, 表示运动模糊和传感器点扩散函数 (PSF) 。 (M×N) × (PM×PN) 矩阵Ak表示采样过程;ek表示观测噪声。
假设矩阵Ak, Hk和C (dk, r) 在重建过程之前已知, 将式 (1) 写为:
undefined
式中:Bk, r =AkHkC (dk, r) 。根据已知数据和先验概率, 通过超分辨率重建可得高分辨率图像fr的近似结果。
传统的MAP重建方法可以看作是代价函数极小化的优化过程, 有:
undefined
式中:bk (xk, l, yk, l) 是关于像素gk, l的PSF向量;gk, l为图像gk的第l个像素位置 (xk, l, yk, l) , 由于采用亚像素精度, PSF并非空间平移不变, 低分辨率图像上处于不同位置的像素点, 其对应的PSF函数形式上也不相同, 需要多次计算;φc (f) 为代表先验概率的平滑度约束[9]。这种优化能够减轻重建图像的噪声, 并抑制边缘效应和其他的高频内容。
对基于迭代的MAP算法, 每次迭代需要计算的像素数为C=KMN, 即包含低分辨率序列内所有像素点, 这是造成庞大运算量的最主要原因[7]。提出了一种简化的代价函数, 在构造该函数之前, 将低分辨率图像内的所有像素映射至高分辨率图像坐标。用Rj表示第j个高分辨率像素对应的所有低分辨率像素点 (假设包含ωj个点) 构成的集合。将Rj中低分辨率像素点的位置坐标离散化至高分辨率像素的中心坐标, 并计算均值:
undefined
坐标的离散化使得所有点的PSF函数在形式上得到统一, 降低了PSF的运算量。因此简化的代价函数可以表示为:
undefined
这样每次迭代需要计算的像素数便缩减为Ch = PM×PN, 即仅需考虑一帧高分辨率图像内的所有像素即可。
2 用于LPR系统的快速超分辨率重建算法
2.1 方程进一步简化
前面介绍的快速MAP重建算法可应用于各种视频和运动。事实上, 在大多数光学字符识别 (OCR) 的应用中, 字符图像在特征向量提取之前要进行二值化处理。超分辨率重建出来的许多细节信息对后续识别是没有作用的, 可以忽略。根据这一思想, 对于LPR系统, 还可以做进一步的简化, 例如, 大部分的车牌图像只有两种或三种颜色:背景色和一种或两种字符颜色。为了使信息更清楚, 背景色和字符颜色通常是强对比的, 所以在SR或LPR处理之前进行灰度图像转换时, 车牌上只有两种颜色:深色和浅色, 并且在二值化过程中将通过的阈值分开。式 (5) 中的平滑度约束, 对二值图像的影响非常微小, 完全可以忽略。
式 (5) 中的参数ωj表示集合Rj中噪声的方差, 它会影响重建图像上残留噪声的分布, 但这里假设忽略ωj的差异不会改变二值图像中字符的形状。实验证明, 这种假设对大部分情况都适用 (见第3节) 。
因此, 进一步简化的代价函数如下:
undefined
因为这里的PSF函数空间平移不变, 故对上式的优化等价于式 (7) 做解卷积运算:
undefined
式中:h为对低分辨率序列作运动估计和式 (4) 运算得到的“均值图像”;e代表估计误差。可以根据最小均方误差准则, 利用维纳滤波求解f。
2.2 具体步骤
用于LPR系统的快速超分辨率重建算法的执行步骤如下:
(1) 获得低分辨率图像序列g1, g2, …, gK, 选定gr为参考帧。
(2) 从每幅图像中确定和提取车牌区域。车牌提取不是本文的重点, 有很多算法可以采用[10]。
(3) 采用基于光流公式的算法估计参数[11]。由于车牌是固定方式的刚体运动, 只要考虑整体移动、转动和视角变化产生的缩放, 即可用一些参数来表示。这里采用仿射变换为运动模型:
undefined
(4) 设置放大比率P, 根据步骤 (3) 得到的运动参数将低分辨率图像上所有像素点映射到高分辨率坐标, 参照式 (4) 计算出均值图像h。
(5) 利用维纳滤波法对式 (7) 解卷积。其中, PSF函数表达式为:
undefined
式中:Z是归一化系数。用参数Q控制PSF中非零区域的大小。
(6) 为了使重建后的字符线条更加平顺, 更易于识别, 利用bicubic法插值放大图像并进行二值化处理。
3 试验结果
给出快速重建算法的试验结果, 作为比较, 给出其他重建方法的结果。所有的实验都使用赛扬处理器 (2.66 GHz) ;所有的算法都采用Matlab运行。另外维纳滤波使用Matlab函数deconvwn。这里选择专门用于测试超分辨率算法的标准图像序列, 及几组运动汽车视频来验证本节算法。
图1为标准视频的重建结果。序列包含30帧图像, 采用放大比率P=3, PSF的Q参数设置为2。可以看出, 拉伸的原始图像 (图1 (a) ) 和单帧插值图像 (图1 (b) ) 均难以辨识。超分辨率重建的结果则极大地提高了清晰度。MAP方法 (图1 (c) ) 和ML方法 (图1 (d) ) 与快速重建算法的结果 (图1 (e) ) 区别并不明显, 但 (图1 (d) ) 与 (图1 (e) ) 残留有噪声。图1 (c) , 图1 (d) , 图1 (e) 二值化的结果见图2 (其中 (a) ～ (c) 分别对应图1 (c) ～ (e) ) 。
图3是另一组测试结果。视频中的车牌包含省份简称。根据第2部分的简化方程得到的重建视频中会存在一些网状噪声, 但此类噪声并不影响二值结果。
三种重建方法耗费的运算时间差别很大 (见表1) 。实验表明, 三种重建方法得到的结果相近, 但快速算法耗费时间仅占传统MAP, ML算法的20%左右。
4 结 语
现有的运动车牌识别系统很大程度上依赖超高分辨率摄像设备的支持, 其相对高昂的价格阻碍了系统的广泛应用。利用超分辨率重建算法, 通过综合视频序列的信息构建高分辨率车牌图像是解决这一问题的有效途径。它可以降低对摄像头的要求, 从而减少硬件成本, 使得大规模公路自动监控成为可能。从技术上看, 车牌运动模式简单, 现有运动估计算法可以很好地满足要求。然而, 实时监控需要快速重建算法, 通用的MAP方法很难实现。
在此提出LPR系统的快速重建算法, 以简化的代价函数为核心, 降低了运算量。盲重建实验表明, 该算法得到的图像与传统MAP重建得到的图像基本相同, 而运算量却小得多, 故可以用于实时系统。该算法也可以用于提高其他基于视频的OCR系统的识别率。
人脸超分辨率 篇7
图像的空间分辨率反映了成像系统对于图像中细节的分辨能力,是表征图像质量最重要的参数之一。图像的空间分辨率越高代表其像素密度越高,所以在大多数的电子成像系统应用中,高分辨率的图像总是如人们所期望那样,可以提供更多对于各种应用十分重要的细节信息。
图像的超分辨率重构技术就是通过利用单幅低分辨率降质图像或多幅具有子像素位移的低分辨率图像序列来重建高分辨率图像的一种信号处理技术[1]。这种技术能够突破成像传感器在空间分辨率上的物理限制,通过融合多帧输入图像间的互补信息或是通过对高、低分辨率训练样本中内蕴先验模式的学习来提高输入图像的解析度和视觉质量[2,3]。近年来,超分辨率重构技术在图像处理领域中已经引起广泛关注,它不仅可以改善由于图像退化及离散化带来的空间分辨率不足这一情况,而且在不替换已有设备的前提下,保证原有图像的视觉清晰度更高,从而为后续的分析和处理提供帮助。另外,它的最大优势是能够充分利用和兼容现有的低分辨率成像设备,实现起来更是经济、方便。而且它能够去除成像系统的模糊效应,同时恢复欠采样过程中所丢失的图像高频信息。鉴于其上述优点,它可以适用于很多实际应用场合,因此具有重要的理论意义和应用价值。
近年来,图像处理领域内的很多学者都花费大量时间和经历在超分辨率算法的学习和研究上。首先要对高、低分辨率图像特征块之间的关系进行研究,然后从中估计出高频细节,最终再对高分辨率图像进行预测。1999年,Freeman等[4,5]提出利用马尔可夫网络模型来建立高、低分辨图像块的对应关系,然后根据贝叶斯最大后验估计(Maximum APosteriori,MAP)准则,使用最速下降法求出局部最大值。然而该方法的不足之处是要构建几十万图像块对生成马尔可夫网络,从而耗费大量的训练时间。后来,Datsenko等[6]提出了将学习到的先验信息融入到全局MAP的惩罚函数中。虽然超分辨率的质量有所提高,但并未缩减训练时间,而且先验知识的不确定性,也使算法不够稳定。再后来,Chang等[7]提出了可以减少训练量的局部线性嵌入(LLE)的流形学习算法,首先对低分辨率图像块中像素点的局部嵌入系数进行估计,然后使用等系数的线性组合恢复其高分辨率图像块。该方法的缺点是容易产生欠拟合或过拟合现象,因为它对所有图像块采用相同的近邻数目。近年来,Yang等[8,9]提出一种基于稀疏表示(sparse representation)的超分辨学习算法,这种有效的算法更是成为国际上超分辨率领域的一个研究热点,这种算法要依赖大量的图像库图像,通过对高、低分辨率图像块之间稀疏系数进行学习来构建高、低分辨率图像块稀疏字典对。
1 稀疏编码
用X表示输入的单张低分辨率彩色图像,它的大小为m×n,m和n表示图像像素个数,超分辨率算法需要达到的效果是恢复其高分辨率图像Y,使其大小为km×kn,k代表分辨率提高因子。根据超分辨率学习算法的原理,要得到高分辨率图像Y,首先要训练得出高、低分辨率图像块之间的对应关系,建立稀疏字典对。
令{XL,YH}为训练样本对,XL{x1,x2,…,xN}是一组低分辨率图像特征块,YH{y1,y2,…,yN}代表其对应高分辨率图像的高频特征块,其中图像特征块均用列向量表示,N是特征块的个数。
根据稀疏表示理论,建立高、低图像块之间的关系:
上式中,aL为XL关于字典DL的稀疏表示,aH为YH关于字典DH的稀疏表示, 是非常小的正数,稀疏关联为aH=aL。根据式(2),可得到稀疏字典对{DL,DH}。已知字典对{DL,DH}的情况下,分别对低分辨率图像X的每个特征块xlk求解DL的稀疏表示alk,也就是求解下面的最小化问题:
我们可以利用OMP算法、迭代反向投影(IBP)算法[10]等算法来求解这一最小化问题。因为alk同时也是高分辨率图像的高频信息块在字典DH下的稀疏表示,所以可以通过DHalk来重建对应高频图像块。然后通过拼接这些高频图像块可以得到的高分辨率图像的高频分量。
2 视频序列超分辨率重构
本文提出的这种学习型SR算法是利用稀疏编码来实现图像序列重构的。基于已经重构的邻近帧利用序列本身的HR-LR图像块构造小尺寸样本库,然后根据该样本库和稀疏编码对当前帧中的图像块进行SR重构。因为序列图像的场景是连续变化的,所以前后帧中对应的图像块在空间上的距离一般很近,只是在具体距离和方向上需要估计。本文算法设置一个最大运动窗口(即r×r的邻域窗口),用此来涵盖目标图像块可能的运动位置,而不对图像块这种运动情况(如运动距离、方向)进行显式估计;再将先前已重构帧在该窗口内的所有HR-LR图像块作为码书中的码字,同时利用稀疏编码方法重构当前帧中对应位置的HR图像块。因为当前图像块在先前帧中的对应块已包含在码书中,所以在将它表达为码字的线性组合时,其对应块所占有的组合分量最大,其它样本块大部分为零分量。各组合分量大小反映了目标图像块可能的运动情况。
在重构视频序列时,我们一般把第一帧作为参考帧,采用事先指定的某种SR算法来恢复其HR图像,再把该帧的HR和LR图像作为初始条件,采用本文方法对后续帧进行重构。因为参考帧为后续帧的重构提供了所需的HR-LR样本块,所以参考帧HR图像的重构质量非常关键。本文中参考帧的HR图像是采用文献[10]中的SR方法来获取的。
用Inh、Inl表示图像序列第n帧的HR图像和插值后的LR图像。为了减小帧间光照和对比度等变化的影响,在重构In+1帧时,我们使用一些预处理手段。为h减小光照(低频成分)影响,算法首先对Inh、Inl进行高频成分提取:
其中G为高斯低通滤波算子。又令 分别表示 中的第k个图像块其对比度进行如下归一化处理:
阈值th可以避免作为分母的模值较小时出现的数值不稳定现象,本文中th取1。当In+1h帧和图像块Pkl(n+1)给入时,同样进行上述预处理可以得到
接着为图像块 构造稀疏编码重构时所需要的HR-LR码书Dkh和Dkl:
其中Pk为以第k个图像块为中心的运动窗口中,所有中心点都在窗口内的这些图像块的集合。根据稀疏编码能够得到:
利用上式对 中的所有图像块 进行重构,便可以得到对应的HR图像块 因为在这一重构过程中有些场景位置的图像块在相邻帧之间有可能并没有发生变化,所以对这些图像块也就不需要使用式中的稀疏编码进行重构,我们可以直接利用前帧的重构结果来替代当前HR图像块,从而达到进一步提高重构效率的目的。为实现这一过程,算法通过预判处理:
否则利用式(8)进行重构,本文中阈值th′取0.01,用以衡量图像块在相邻帧中的变化大小。上面得到的 并没有考虑邻近图像块之间在重叠区域的一致性约束,都是独立重构的结果,这在最后的图像块组合时可能会引起误差和冲突。因此,还需要对式(8)进行如下改进:
在式(10)中,Ok是当前帧中已重构完的HR图像块与第k个图像块的重叠像素,T表示对当前重构的HR图像块k中重叠像素的提取。新加入的二次项为对重构图像块在重叠区域的一致性约束。为了实现重构块之间在重叠部分的一致性,算法在代价函数中最小化上述两者之间的差别。 可以达到平衡不同约束的作用大小的目的,本文取 另外,还需要对 进行反归一化处理
最后将所有重构的 组合起来,可以得到目标图像的高频成分 ,再根据式(4)将 叠加回输入帧In+1l,就可以得到最终的HR图像In+1h。上述重构过程不断迭代一直到序列完结。
3 实验结果与分析
算法使用“Z”字型扫描方式顺序读取图像块,采用的图像块大小为9×9。在相邻图像块之间,每一维可以重叠的像素个数为3。采用的运动窗口大小为25×25,因此使用的样本库大小不超过625个图像块。通过从HR序列直接下采样可以得到LR序列。序列为彩色图像,只对亮度通道进行SR重构,彩色通道则通过简单插值获得。
采取这样的对比方案:1)原视频序列;2)双三次插值;3)基于TV Norm的正则化重构[11],这种方法采用流光法进行帧间的运动估计,是比较传统型的重 构方法 ; 4) 本文方法 。下图给 出了Foreman(CIF)序列第二帧重构图像的视觉对比效果[12]。(CIF序列,352×288)
明显可以看出,在视觉效果上,双三次插值伴有较明显的锯齿效应而且最模糊;基于TV Norm的正则化方法在清晰度上要优于双三次插值,但重构边缘还是存在锯齿效应;本文方法消除了锯齿效应,重构的边缘轮廓更为柔和,同时还拥有较好的清晰度。
1)原图;2)双三次插值;3)基于TV Norm的正则化重构;4)本文方法
下图给出了各方法基于Foreman序列前15帧的重构误差对比。由图易知,本文方法明显优于TVNorm的重构方法。
摘要：把学习型算法用于稀疏编码的重建算法中来实现视频序列图像的超分辨率重构。该算法无需显式求取运动向量,能够克服传统方法对精确运动估计的要求,通过稀疏编码便能够自动利用邻近帧中最相关的那些样本块进行重构;另外,算法通过设置最大运动窗口,利用帧间运动的连续性特点,在相邻帧已经重建的基础上,提取其运动窗口内的高、低分辨率图像块来构建样本库,从而实现减小所需样本库的尺寸的目的。
人脸超分辨率 篇8
本文算法是在文献[6]算法上的改进，改进过程分为以下两个部分:1)二维特征提取的改进;2)用边缘方向插值代替双三次插值作为高分辨率图像的初始估计。
1 图像降质的稀疏表示
设X为高分辨率图像，Y为低分辨率图像，x为X的图像块，y为Y的图像块，则x与y之间有如下关系
式中:L为投影矩阵，D为过完备字典，α为稀疏表示。
构造两个字典:高分辨率字典Dh和低分辨率字典Dl，对于每一个高分辨率图像块和低分辨率图像块有相同的稀疏表示。
高分辨率图像块x可以通过高分辨率字典Dh和稀疏表示α得到
稀疏表示α是通过低分辨率图像块y和低分辨率字典Dl得到的，所以组合所有的图像块x即得到复原的高分辨率图像块。
主要的问题就是稀疏表示α的确定，用式(3)来计算
式中:F为特征提取，后面章节将介绍F的获得过程。
为了使得到的稀疏表示α更加稀疏，用l1范数代替0范数，如
求解式(5)即可得
以上算法是经典图像稀疏表示模型，但是算法存在一个主要的问题:没有考虑图像块之间的关系，所以考虑到邻近图像块的相关性，设置了图像块之间的重叠区域，式(4)可写成
式中:P为复原区域与复原区域的重叠部分，ω为重叠部分中之前复原部分。进一步得到
解此式即得到稀疏表示а，进一步可得到高分辨率图像X。
2 稀疏表示的图像复原
低分辨率图像Y可以由高分辨率图像X通过模糊和下采样得到，即
式中:H为模糊滤波器。
稀疏表示的图像复原过程就是求式(9)的过程
式中:X0为通过稀疏表示得到的高分辨率图像;X*为最终的高分辨率图像。
完整的算法流程图如图1所示。
3 过完备字典学习算法
影响稀疏表示复原效果好坏的一个主要因素是字典的选择，字典通常可以通过两种方法得到:1)由已知的信号变换构造出字典，如小波变换、Contourlet变换等;2)由给定的训练数据进行学习构造出字典，如K-SVD树字典学习算法、在线字典学习算法等[7]。
过完备字典学习算法被广泛用于信号的稀疏表示中，字典学习算法首先从训练数据开始，设M为一组训练数据，把M放入一个N×L的矩阵中，即M∈RN×L，通过字典训练求的字典D∈RN×L和对应的稀疏表示α∈RN×L，这时要满足约束条件即保证信号残差ε=M-Dα和稀疏表示α均最小，即
高分辨率字典Dh计算公式如
低分辨率字典Dl计算公式如
字典训练过程流程图如图2所示。
4 改进的稀疏表示复原算法
对原始稀疏表示超分辨率复原算法的改进主要集中在两个方面:特征提取的改进、初始估计的改进。
4.1 特征提取方法的改进
图像边缘是图像的重要特征，边缘特征提取是图像复原关键的一部分。前面提到特征提取F就是本文算法提取的图像边缘特征，是为了使训练出来的字典适用于大多数和训练数据相关的低分辨率复原图像，这样可以使得到的复原高分辨率图像分辨率更高。
算法中利用MATLAB函数库中conv2(二维卷积运算函数)进行图像的粗边缘提取，利用的是一阶、二阶梯度滤波算法。一阶梯度滤波算子如图3a、3b所示，二阶梯度滤波算子如图3c、3d所示。
改进算法中对二阶梯度滤波算法的算子进行改进，如图4a、4b所示。
以图5为例，分别进行原始二阶梯度滤波的图像特征提取和改进后二阶梯度滤波的图像特征提取处理，结果如图6所示，改进后的特征提取算法提取的特征更细腻，保留了更多的高频细节。后文将讲述这样改进将使图像的复原效果进一步提高。
4.2 复原算法初始估计的改进
原始算法对于输入低分辨率图像先进行双三次插值放大，得到高分辨率的初始估计，双三次插值虽然效率很高，但是插值效果却有待提高，为了提高复原效果，将用边缘方向插值代替双三次插值，改进算法的处理效果较之前明显改善。
边缘方向插值的基本思想为:利用高分辨率图像和低分辨率图像协方差的几何对偶性质，用可以计算的低分辨率图像的局部协方差系数对高分辨率图像进行自适应插值。
算法原理如下:
输入低分辨率图像Xi,j(尺寸是H×W)，用式(13)进行图像插值
Y2i+1,2j+1是插值得到的高分辨率图像，α是线性插值系数，它的计算公式如
式中:R=[Rkl],(0≤k,l≤3)r=[rk],(0≤k≤3)是高分辨率图像的局部协方差系数，利用高分辨率图像和低分辨率图像协方差的几何对偶性可以由低分辨率图像的协方差计算出高分辨率图像的协方差，几何对偶性是指高分辨率图像和低分辨率图像沿相同方向的协方差是一致的，如图7所示。
图7中可以看到，当从Y2i,2j插值到Y2i+1,2j+1时的高分辨率协方差Rkl,rk和低分辨率协方差Rkl,rk是几何对偶的，几何对偶能促使不用明确估计边缘方向的情况下就能够计算二维信号的局部协方差。
用经典计算协方差的方法很容易计算出低分辨率图像的协方差如下
y=[y1，…，yk，…，yM2]T是低分辨率图像中M×M像素大小的一个数据变量，C是yk的沿对角线方向的4个相邻像素点，所以根据上面两个公式再根据高低分辨率协方差的一致性可以得到系数α为
所以可以利用公式(14)进行边缘方向插值，改进复原效果。
5 仿真结果
对于输入的彩色图像，根据人眼的视觉特性对亮度信息比较敏感，将彩色图像进行颜色空间的分离，分解成y、cb和cr三个分量，对y分量进行改进的稀疏表示的图像复原处理，对cb和cr分量只进行双三次插值处理。图像的评价是通过计算y分量的峰值信噪比(Peak Signal to Noise Ratio,PSNR)来完成，PSNR值越高，重建的效果越好。
5.1 图像复原
对于如图8a所示的大小为256×256的高分辨率图像，对其进行下采样2倍得到128×128的低分辨率图像作为输入低分辨率图像，如图8b所示，算法处理过程中的图像块尺寸是5×5大小的像素，块与块之间的重叠像素是4，字典大小为512，稀疏正则化参数λ是0.15，稀疏正则化参数的取值依赖于输入图像的噪声水平，本次仿真输入的图像是低噪声图像，所以取λ=0.15，采样的图像块的个数取值为110 000。如图8所示为文献[6]稀疏表示原始算法和改进稀疏表示复原算法的复原效果比较图。
从图8可以看出，改进算法重建效果明显优于插值算法的结果，双三次插值结果过于模糊且缺乏高频信息。通过对重建图像的PSNR值比较可以知道改进算法得到的图像的PSNR值较高，说明改进算法有效。
对于Lena输入图像，分别采用双三次插值、稀疏表示算法和改进的稀疏表示复原算法进行处理，目标放大倍数设置为2倍，如图9所示，可见改进算法在视觉效果上较双三次插值有明显提高，不仅保留大部分图像细节，而且复原出的图像更接近于原始图像，比较PSNR值后发现也较稀疏表示原始算法有所提高。
5.2 图像特征提取对复原效果的影响
图像复原中的字典学习不是对训练图像直接训练，而是针对图像的特征向量，因为直接对训练样本的特征进行学习，能够更好地抓住图像的高频分量之间的联系，进而准确地预测出高分辨率图像的高频信息，所以图像特征提取算法的选取直接影响重建的效果。
图像特征提取比较典型的方法包括:一阶、二阶梯度滤波算法、拉普拉斯滤波算法、索贝尔算法、普利维特算法和罗伯茨算法等，原始图像稀疏复原算法中的特征提取采用一阶、二阶梯度滤波算法，以低分辨率Lena图像作为输入图像，目标放大倍数为2倍，将以上特征提取算法分别用于稀疏表示的改进算法中，可以得到表1所示的PSNR值。
从表1的PSNR值可以看到，改进一阶、二阶梯度滤波算法作为低分辨率图像的图像特征提取算法得到更高的PSNR值，说明改进的特征提取方法的有效性。
5.3 目标放大倍数对复原效果的影响
对于图像超分辨率复原，还比较关心不同目标的放大倍数进行复原的问题，如图10所示为改进稀疏表示算法对于Lena低分辨率图像分别在放大倍数为2和4时的复原结果。
从图10可以看出，随着放大倍数的增加，复原效果却在减弱。通过比较表2的不同算法在不同放大倍数下的PSNR值可以看到随着放大倍数的增加，复原效果明显变差。
6 结论
虽然稀疏表示的图像超分辨率复原算法较传统的基于重建的超分辨率复原算法取得更好的效果，但由于其复杂度较高，学习过程效率明显偏低，所以在工程上的应用并不多，如何提高学习过程的效率是接下来要注重研究的问题。
本文改进算法首先对图像特征提取过程进行改进，通过不断探索，找到了一条改进策略，提高了图像复原的效果，同时，算法在初始估计上也进行了改进，对于输入的低分辨率图像，通过边缘方向插值代替原始的双三次插值，实现图像的初始放大。
算法中同时用到了迭代反投影算法对重建的图像进行全局约束，而这种算法有一个很大的缺点:对高分辨率图像的错误校正具有局限性，接下来的工作也将继续寻找最优的全局约束算法，改善复原效果。
参考文献
[1]肖杰雄.基于POCS算法的超分辨率图像重建[D].上海:上海交通大学,2009.
[2]赵环旭,滕青芳.小波融合技术在运动模糊图像复原中的应用[J].电视技术,2014,38(5):9-11.
[3]FREEMAN W T,LIU C.Advances in markov random fields for vision and image processing[M].Boston,USA:MIT Press,2011.
[4]MALLAT S,YU G.Super-resolution with sparse mixing estimators[J].IEEE transactions on image processing,2010,19(11):2889-2900.
[5]DONG W S,ZHANG L,RASTISLAV L,et al.Sparse representation based image interpolation with nonlocal autoregressive modeling[J].IEEE transactions on image processing,2013,22(4):1382-1394.
[6]YANG J C,WRIGHT J,THOMAS S,et al.Image superresolution via sparse representation[J].IEEE transactions on image processing,2010,19(11):2861-2873.