图像放大（精选四篇）
图像放大 篇1
图像放大是重要的数字图像处理技术之一。一般是由低分辨率图像的像素经过插值得到一系列新的像素,形成一幅高分辨率的图像。图像插值可以看作由上采样和滤波两个过程组成[1]。上采样是在原图像相邻像素之间插入一些值为0的像素点;滤波可以看作给这些新增的像素赋值。
双线性插值和双三次插值算法都是经典的图像放大算法。它们的优点是简单,但是放大得到的图像会在边缘处产生锯齿状失真。锯齿失真严重地降低了放大图像的质量。一些新的图像放大算法试图解决这个问题。它们大多利用图像中的边缘信息,或者调整插值系数的比例[2],或者构建新的插值模型[3],尽量沿着边缘的方向插值,避免越过边缘插值[4],以此来消除锯齿失真。但是,这些算法在估计边缘方向时,没有考虑一定范围内边缘的整体方向,不能准确地估计边缘的方向,从而不能很好地消除锯齿。基于以上分析,本文提出了阶梯细化的图像放大算法,这种算法通过边缘检测、阶梯检测和方向性检测,能较准确地估计边缘的方向,从而更好地消除锯齿失真。
1 经典算法
数字图像的边缘是不连续的。边缘是阶梯状和锯齿化的,即边缘是由一个接一个的阶梯组成的。放大后出现较大锯齿的原因是边缘中的小阶梯被放大成为大的阶梯。
数字显示设备,是利用一系列规则排列的离散像点的明暗程度和颜色来显示图像、文本等。在这些设备上显示的曲线和直线,除竖直和水平的直线外,都可以看作由若干个小的直线段组成。在直线段与直线段相接的地方就会形成小的阶梯,整个边缘就是阶梯状的。一般地,一幅图像中边缘与水平方向的夹角Ω介于0°~180°之间。比较陡的边缘,Ω介于45°~135°之间,是由一系列宽度是1,高度不定的阶梯组成的。Ω越接近90°,阶梯高度越大;竖直边缘不包含阶梯。如果边缘比较平缓,即水平方向的夹角Ω介于0°~45°或者135°~180°之间,认为这些边缘是由一系列高度是1,宽度不定的阶梯组成的。Ω越接近0°或者180°,阶梯宽度越大;水平边缘不包含阶梯。
由于图像放大后,阶梯被放大,为了抑制这种阶梯失真,经典的方法是利用双线性插值算法。双线性插值是一种各向同性的方法,不考虑任何边缘信息。文献[2]将经典插值误差理论应用到图像插值过程中,在双线性插值算法的基础上,提出了一种新的图像放大算法EASE(Error-Amended Sharp Edge)。该算法首先计算水平、竖直、45°和135°方向的Sobel梯度,然后运用这些梯度中值最小的两个来近似地估计边缘的方向,并以此调整插值系数。由于是在相邻的4个像素形成的正方形中计算Sobel梯度值,因而可以有效地检测接近45°或135°的边缘,但不能有效地估计比较陡或比较平缓边缘的方向。原因是前者的阶梯高度和宽度均接近1,而后者的高度或宽度则大于1。
2 阶梯细化的图像放大算法
由于上述的几种方法都不能有效地消除锯齿失真,为此本文提出一种对图像进行放大时有效消除锯齿失真的方法,即在运用双线性插值会产生明显锯齿失真的边缘区域采取阶梯细化,来抑制锯齿失真;而在其他区域,运用效果足够好的双线性插值算法。该算法大致包括边缘检测、阶梯检测和插值三个步骤。
2.1 边缘检测
常用的边缘检测算子有Sobel算子、Lo G算法、Canny算子[1]等。与其他边缘检测算子相比,Canny算子检测的边缘最接近图像中真实的边缘,并且是单像素宽的,可以更好地定位边缘[2]。因而本文采用Canny边缘检测算法。
2.2 阶梯检测
在使用经典图像放大算法对图像进行放大时,在边缘处会产生锯齿失真。尤其是两侧灰度值差异较大的斜的边缘,锯齿失真会比较明显。而水平和垂直的边缘处不会产生锯齿。因而需要对Canny边缘进行进一步的处理,把那些会产生明显锯齿失真的边缘保留,而将那些不会产生锯齿失真的水平边缘、垂直边缘去除。也就是说只是在会产生锯齿失真的边缘处运用阶梯细化,来抑制锯齿失真;而在其他区域包括垂直、水平边缘和非边缘区域则仍然采用经典算法。阶梯检测遵循如下原则:
(1)垂直和水平的边缘应该去除。
(2)由一系列阶梯规则地组成的边缘应该保留,这些阶梯应该有相差不大的高度或宽度。可以用一个阈值设定阶梯之间高度或宽度相差的最大程度。
(3)边缘应该由一定数量的阶梯构成。若某条边缘所包含的阶梯的个数小于某个阈值,则去除该边缘。
(4)若某个阶梯处在多个不同方向的边缘中,则应该将该阶梯去除。
下面以处理与水平方向的夹角介于45°~90°之间的边缘为例,说明阶梯检测的方法。由前述可知,这种比较陡的边缘是由宽度为1,高度不定的阶梯构成的,所以应该以列为单位来检测。设原图像I是一幅N行M列的灰度图像;Canny边缘检测的结果为图像C,其中像素灰度值大表示I中相应的像素处于边缘,像素灰度值小表示I中相应的像素处于非边缘区域。设C[i,j]代表C中第j列、第i行的像素的值(本文假设像素值介于0~1之间)。对于每一列,从上往下进行检测。如果C[i,j]>0.5对于i=top,top+1,…,bot(0
(1)设S为第j列的一个阶梯,n Step_RU=0,n Step_LD=0,S_TEMP=S;
(2)如果S_TEMP右上临一个阶梯S_RU,且S_RU和S高度接近,则n Step_RU=n Step_RU+1,否则跳转到(4);
(3)S_TEMP=S_RU,跳转到(2);
(4)S_TEMP=S;
(5)如果S_TEMP左下临一个阶梯S_LD,且S_LD和S高度接近,则n Step_LD=n Step_LD+1,否则跳转到(7);
(6)S_TEMP=S_LD,跳转到(5);
(7)如果n Step_RU+n Step_LD-1>n T,将S保留,否则将S删除。
上述算法流程中的阶梯赋值表达式表示用等号左边的符号来代表等号右边符号所代表的阶梯。本文算法中取n T=4,用来控制边缘最少包含的阶梯数。类似地,对于方向为90°~135°的边缘,我们可以定义阶梯S左上临一个阶梯和右下临一个阶梯。对于比较平缓的边缘,即与水平方向的夹角介于0°~45°或者135°~180°之间的边缘,可以先把图像C旋转90°,再运用上述方法进行处理。需要注意的是接近45°或135°的边缘,其包含的阶梯高度和宽度有可能均为1,也就是说它们既可作为较陡的边缘进行处理,也可看作平缓的边缘。两者处理的效果基本相同,选其一即可。如图1所示,图1(b)是图1(a)的Canny边缘检测结果,图1(c)是对其中陡边缘即方向介于45°~135°之间的边缘阶梯检测的结果,图1(d)是对平缓边缘即方向为0°~45°或135°~180°之间的阶梯检测的结果。可以看到,阶梯检测只保留了那些会产生较大锯齿失真的边缘。
2.3 阶梯细化
通过阶梯检测可以得到一系列由阶梯规则地构成的边缘。下一步是在这些区域进行阶梯细化。需要注意的是,在其他区域仍采用双线性方法进行插值。
2.3.1 方向性插值
图2所示为一幅放大4倍图像的像素分布,方形点代表原图像中的点,叉状点代表新插入的点。图中ABDC矩形框边上的叉状点由线性插值得到,而方框中叉状点的值需要方向性插值来确定。设矩形框的高度为H,这里H=3。对于介于45°~90°的边缘,在高度为H的矩形框ABDC内沿斜率H-1方向进行插值的定义为:BE下侧,CF上侧的点和线段BE上的点以及线段CF上的点,由BF和EC上相应的像点线性插值得到。如V(bp)=LINEAR(V(br),V(bl)),V(bl)=LINEAR(V(E),V(C)),V(br)=LINEAR(V(B),V(F)),其中V代表像素的值,LINEAR表示线性插值。矩形框ABDC内并且在BE上侧的点也需要方向插值来得到。例如V(pu)=LINEAR(V(pl),V(pt)),而V(pt)=LINEAR(V(A),V(B)),V(pl)=LINE-AR(V(H),V(E)),其中pt和pl确定的直线的斜率为H-1。CF下侧的矩形框ABDC内的点也需要方向插值得到。如V(pd)=LINEAR(V(pr),V(pb)),V(pb)=LINEAR(V(C),V(D)),V(pr)=LINEAR(V(F),V(G)),其中pr和pb确定的直线斜率也为H-1。需要注意pt和pb是不存在的像点。同理对于介于90°~135°之间的边缘,可以定义在高度为H的矩形框内沿-(H-1)方向的插值。
2.3.2 根据Canny边缘进行方向性插值
图3所示的是一条典型的介于45°~90°之间的陡边缘的像素分布。实心方形点对应的像点位于区域A1,空心方形代表的像点位于区域A2。每个区域内像素点的值接近,两个区域之间像素值差别较大。由于Canny边缘检测会用到Sobel算子进行水平方向和竖直方向的梯度计算,在任一方向上梯度值大,都会被检测为边缘,所以方框内的点会被Canny检测为边缘点。可以看到,该边缘是由一系列阶梯构成的,阶梯的宽度为1,高度不定。设图中某阶梯S最下边的点为S[bot],S[bot-1]为它上边的点;由上边的分析,S[bot]和S[bot-1]对应的原图像中点的像素值是差别比较大的,也就是说它们位于不同的区域。对于陡边缘所有的阶梯,这都是成立的。
设Sj和Sj+1分别代表图中第j列和第j+1列相邻的两个阶梯,botj和botj+1分别代表两个阶梯最底部的像点,对于介于45°~90°之间的边缘,Sj右上临Sj+1,所以botj>botj+1。为了沿着边缘的方向插值而不越过边缘插值,应该在Sj[botj+1-1]、Sj+1[botj+1-1]、Sj+1[botj]和Sj[botj]组成的矩形框内沿着斜率botj-botj+1进行方向性插值。插值的效果等效于在大的阶梯上构建小的阶梯。所以将这一过程称为阶梯细化。同理,对于介于90°~135°之间的边缘,Sj右下临Sj+1,所以应该在Sj[botj-1]、Sj+1[botj-1]、Sj+1[botj+1]和Sj[botj+1]组成的矩形框内沿着斜率botj-botj+1的方向进行插值,其中botj
3 实验结果
为了说明文章所提方法的有效性,对阶梯细化进行了实验并与其他算法的结果进行了对比。
图4中,(a)是标准测试图像Cameraman,(b)、(c)、(d)分别是用相应算法将(a)放大5倍图像的截图。很明显,图4(b)效果最差。如图4(c)所示可知,EASE很好地消除了摄影师手臂处的锯齿,但对于腋下和三脚架处的锯齿则不能较好地消除。这是因为该处边缘为陡边缘,其中的阶梯高度大于1。图4(d)表明阶梯细化对这些边缘的锯齿均有更好的抑制。
4 结论
数字设备对现实的连续景象离散化后产生了数字图像。边缘的离散化就形成了阶梯和锯齿。为防止在图像放大过程中细小的锯齿被放大而产生严重的锯齿失真,本文提出了一种基于阶梯细化的图像放大算法,并对其进行了实验,实验结果表明该算法比经典方法更能有效地去除锯齿失真。说明本文提出的算法在图像处理方面具有一定的实用价值。
参考文献
[1]Bovik A.Handbook of Image and Video Processing[M].Beijing:Pub-lishing House of Electronics Industry,2006.
[2]Cha Y,Kim S.The Error-Amended Sharp Edge(EASE)Scheme for Image Zooming[J].IEEE TRANSACTION ON IMAGE PROCESS-ING,2007,16(6):1496-1505.
[3]Wang Q,Ward R K.A New Orientation-Adaptive Interpolation Method[J].IEEE TRANSACTION ON IMAGE PROCESSING,2007,16(4):889-900.
图像放大 篇2
一般来说，有两类图像放大的方法：第一类是不基于边缘的图像插值放大方法。这些图像放大方法不利用边缘信息，利用像素的位置和它的周围像素值的总体不变的关系来计算像素值，最近邻插值,双线性插值,双三次插值,基于变换的放大等都不是基于边缘的放大方法[3,4]。这些经典的插值方法有很多缺陷，比如：最近邻插值放大后的图像容易出现马赛克;双线性或双三次插值法具有平滑功效，能有效地克服马赛克的出现，但会退化图像的高频部分，使图像细节变得模糊。第二类图像放大方法是基于边缘的放大方法。这些方法根据原始图像的边缘来放大图像或者进行插值，改进了图像的主观质量。他们中的一些方法利用局部统计和几何特征来对未知像素值进行插值，另外一些方法利用局部几何特征和搜索匹配处理以试图获得精确的模型来计算未知的像素值[5]。
由于CT图像病变组织和正常组织的边缘本身就存在比较模糊的特点，如果采用传统的方法进行图像插值放大，那放大后的图像可能会出现无法显示病变组织和正常组织之间的关系。为了协助医生进行诊断和治疗,考虑到CT图像边缘在CT图像处理中的重要性,提出了该基于边缘保持的CT图像插值放大的新算法。
1 算法描述
在这篇论文中，我们提出了一种基于边缘保持的CT图像插值放大的新算法。在我们的方法中，首先对原始图像采用Canny算法进行边缘提取,并将提取的边缘像素灰度值进行直接放大映射,然后沿着边缘方向将相邻两个放大后映射的边缘像素进行灰度值平均,作为放大边缘的插值像素灰度,在此基础上进行图像平滑区域的特别的双线性插值放大。
具体的处理流程框图如图1所示：
1.1 图像边缘的提取
一般一幅图像由突变区域和平滑区域组成。平滑区域的像素值都非常的接近，因此，用双线性插值或者双三次插值，效果都已足够好，甚至在有些平滑区域用最近邻插值，视觉效果也不会太差。突变区的像素值变化很大，所以,这些区域很难用常规的放大方法放大，如果单纯用常规的放大方法放大会出现边缘模糊、图像细节丢失的现象。好的插值方法应当对图像的边缘特殊考虑，才能避免或减轻边缘模糊和产生锯齿，很好地保持边缘的光滑性和锐利性。人眼对边缘处像素灰度值的骤变比较敏感，如果能在放大图像的同时保护好图像中的边缘细节，就能使放大图像在视觉上获得更好的效果。基于这种考虑,我们的算法中使用的是特别的双线性插值。我们可以通过边缘提取的办法将图像边缘细节的具体位置进行确定,然后进行后面的插值处理。
选用不同的边缘检测算子得到的边缘像素位置和像素值都不一样，所以选用合适的边缘检测算子很重要。如果检测出来的边缘是一个像素宽度，而且他们的值和真正的边缘像素值接近最好，这样我们提出的方法将在边缘邻域产生特别好的效果，所以，要得到好的放大图像的边缘，首先必须最好地确定原始局部CT图像的边缘和细节位置,所以选择适合的边缘提取算法至关重要。Canny算法是一种比较新的边缘检测算子,具有很好的边缘检测性能,得到了越来越广泛的应用。它提取的边缘十分完整，而且边缘的连续性很好，边缘宽度为一个像素宽度,边缘位置非常准确，效果优于其他算子，这是因为它采用了非极大值抑制和形态学连接操作的结果，通过采用Matlab软件进行仿真也验证了以上的结论[6,9,11]。
1.2 图像边缘像素插值放大
根据上面的Canny算法得到图像的边缘，记录边缘像素的的位置及灰度值。对局部CT图像根据具体的放大倍数进行放大映射，假设原始图像为f(i,j)，放大倍数为M×N，被放大的图像为f(x,y)，其直接的映射关系为：x=i×M-1,y=j×N-1，所以f(i,j)的灰度值直接复制给放大后的映射点f(x,y)即可。在对边缘像素的插值过程中,低分辨率图像中的每个边缘像素点，在8个方向可能有相邻点属于同一边缘。如果我们采取从图像的左上角开始,从上至下、从左至右逐列搜索边缘像素点，那么只需要考虑每个边缘像素的四个方向，即：右上、右、右下及下四个像素是否为边缘像素即可，如图2所示：
图的中心像素点为当前处理像素点，实线方向所指的四个像素即为搜索像素点，虚线表示前面已搜索过，所以在当前处理中只需要考虑四个方向。如图3所示，黑白点阵构成高分辨率图像像素阵列。白点为低分辨率图像像素点的复制，黑点为待插值像素点，f(i,j)和f(i+2,j+2)是被检测出来的边缘像素点。在对待插值像素点进行赋值时，首先对边缘像素点赋值，所以对边缘像素点连接线段中的待插值像素点f(i+1,j+1)进行插值时，由于f(i,j)与f(i+2,j+2)均为低分辨率图像中的边缘像素点，根据边缘的连续性我们认为点f(i+1,j+1)亦为边缘像素点，所以,我们用两点的均值对点f(i+1,j+1)赋值，即f(i+1,j+1)=[f(i,j)+f(i+2,j+2)]×1/2，其余边缘像素点以此类推。对边缘像素插值完成后，再对剩余待插值像素点用基于边缘保护的双向性插值重建[8,10,11]。
1.3 平滑区基于边缘保持的双线性插值
上面描述了边缘的提取以及边缘像素的插值放大，处于平滑区域的像素采用双线性内插来进行。双线性内插法的输出像素值是它在输入图像中2×2邻域采样点的平均值，它根据某像素点周围4个像素的灰度值在水平和垂直2个方向上对其插值。由于双向性插值是在上面的边缘像素插值放大的基础上进行的，所以在本算法中采用双线性插值法之前，首先判断目前计算的像素点是不是边缘点，如果是边缘点，其灰度值不变;如果不是边缘点，则分以下五种情况来计算(图中的A、B、C、D分别为五种情况下网格的四个顶点的图像灰度值，E,F,G,H,I,J点为插值点的灰度值，并设原始网格的边长为1,x和y是插值点在水平方向和垂直方向离B点的距离。具体的插值操作分如下五种情况分别处理(如图4所示)：
图像实线连接的为边缘点,具体的计算又分为以下几种情况来进行。
(1)插值计算图4(Ⅰ)中的E点：此时网格的四个顶点中有一个顶点为边缘点，边缘点不予考虑，那么待插入的像素点的灰度值采用其它3个非边缘点像素点的灰度值来计算。此时对网格内的点E的插值采取如下的计算公式：
(2)插值计算图4(Ⅱ)中的F点：此时网格的四个顶点中有两个相邻顶点为边缘点，而这两个边缘点在垂直方向分布，那么待插入的像素点的灰度值用两个非边缘点的灰度值来计算，则插值计算公式为：
(3)插值计算图4(Ⅲ)中的G点和H点：此时网格的四个顶点中同样两个顶点为边缘点，但是这两个边缘点在倾斜度为45°方向分布，边缘将网格分为两个区域。对这两个区域内的插值点G点和H点的插值计算公式为：
(4)插值计算图4(Ⅳ)中的I点：此时网格的四个顶点中有三个顶点为边缘点。那么待插入的像素点的灰度值用四个像素点中非边缘像素点的灰度值来代替。此时对网格内的I点插值计算公式如下：
(5)插值计算图4(Ⅴ)中的J点：此时网格的四个顶点均不是边缘点,对网格内的点J的插值可采用普通的双线性插值算法,计算公式为：
由于采用的是Canny算法提取的边缘信息,边缘宽度为一个像素宽度,所以不会出现双线性插值算法中四个像素均为边缘的情况。通过以上的几个步骤,完成了整幅图像的插值放大[7]。
2 实验结果与评价
为了比较本文所提出的保护边缘的图像插值放大算法与另外三种已知算法的实际效果，选用一幅分辨率为128×128的局部CT图像作为实验图像，放大倍数是2×2,图5是本文算法与其他三种传统插值算法在Matlab下仿真处理的效果比较。对同一幅分辨率为128×128的局部CT图像，分别采用最近邻、双线性、双三次插值和本文提出的插值算法将其放大成分辨率为256×256的图像。从图5给出的实验仿真结果可以清楚地看到，采用最近邻插值放大的图像有很明显的马赛克出现，而采用双线性和双三次插值放大的图像比较模糊，边缘不清晰，只有本文所提出的算法很好地保持了图像的边缘细节。
a-原始局部CT图像;b-边缘图像;c-最近邻插值放大的图像;c-双线性插值放大的图像;d-双三次插值放大的图像;c-本文算法放大的图像
3 结论
本文提出的插值放大算法主要通过两个步骤将局部低分辨率CT图像放大为高分辨率图像，第一步采用Canny算法对CT图像进行边缘提取以及沿边缘方向进行边缘插值放大。Canny检测算子在边缘提取的过程中能在噪声的抑制和边缘检测之间取得较好的平衡,而且边缘宽度为一个像素宽度。第二步在保证了CT图像的边缘像素插值放大的基础上进行特别的双线性插值放大，使得图像放大后的效果有很好的边缘特性，在保持图像边缘方面,此算法明显优于最近邻、双线性和双三次插值放大的效果，由于CT图像在医学诊断和外科手术中应用非常广泛,能较好的在解剖图像背影上显示出病变的影像信息，放大后的CT图像能清晰的显示病灶与周围正常组织器官的关系，及早发现一些不容易发现的病变，为临床医师作出正确的临床治疗决策提供重要的参考，并对手术可行性难度及风险评价也有重要指导意义!
摘要：由于医学硬件设备和辐射剂量的限制,为了获得高分辨力、高质量的CT图像以协助医生进行诊断和治疗,通常需要从软件方面将CT图像放大或局部CT图像放大,考虑到CT图像边缘在CT图像处理中的重要性,提出一种基于边缘保持的CT图像插值算法,该算法包括两个步骤,第一步对原图像进行边缘提取以及沿边缘方向进行边缘插值放大;第二步进行图像平滑区域的双线性插值放大。该算法能很好地保护图像的边缘细节,文中给出了放大实例,实验结果证明了算法的有效性。
关键词：CT图像,边缘提取,边缘保护,图像插值,双线性插值
参考文献
[1]鱼博浪,梁星原.颅脑MR和CT诊断学[M(]第4版).北京:世界图文出版社,2001.
[2]王群.CT断层图像三维重建中插值技术研究与应用[D].苏州大学硕士学位论文.2007.
[3]孙兆林.Matlab6.x图像处理[M].北京:清华大学出版社,2002.
[4]R.G.Keys,Cubic convolution interpolation for digital image processing,IEEE Transactions on Acoustics,Speech,Signal Processing29(6)(1981)1153-1160.
[5]Xin Li and Michael T.Orchard.New Edge-Directed Interpolation[C],IEEE Trans on Image Processing Oct2001,10(10):1521-1527.
[6]李怀琼,陈钱,隋修宝.基于边缘保护的红外图像插值放大算法[J].兵工学报,2006,4(27):655-658.
[7]侯建华,欧宗瑛.基于边缘曲线光顺的图像放大算法[J].工程图报.2006,4(27):732-734.
[8]张雄,毕笃彦,杨宝.一种保持图像边缘的插值方法[J].空军工程大学学报.2007,8(3):78-81.
[9]Mei-Juan Chen,Chin-Hui Huang,Wen-Li Lee,A fast edge-oriented algorithm for image interpolation[J],Image and Vision Computing23(2005)791-798.
[10]WANG Q,Ward R.A newedge-directed image expansion scheme[C].Proceedings of IEEE International Conference onImage Processing,2001,3(7-10):899-902.
图像放大 篇3
小波变换是一种时域或频率域局部化的时频域分析方法, 具有多分辨率分析功能和逐渐逐步细分等性质, 是信号处理的一种强有力的新手段。同时, 小波变换的多尺度分解特性更加符合人类的视觉机制。目前利用小波分解的图像放大已有许多的研究[1,2,3,4,5], 其中文献[5]中据插值处理和小波变换的特点, 提出基于小波分解和双线性插值相结合的图像超分辨率处理方法[5], 即小波双线性插值算法。它首先将原图像进行小波分解, 并把原图像作为低通部分, 然后对小波分解后的相应高频子带进行双线性插值相似线性变换求得高频的更多细节, 再通过小波逆变换获取比原图像分辨率更高的图像。从文献[5]的仿真结果可看到, 该方法比传统的方法进一步提高了图像的质量。但这种方法只考虑了在小波分解过程中, 在不同的分辨率下相同方向上的细节图具有相似性, 而并未考虑各个分解部分之间具有相似性。而本文的小波变换修正的双线性插值算法正是基于上述原因提出的。
1 基于小波变换修正的双线性插值的图像放大算法
本算法是先对原始图像f (i, j) (记为f) 进行双线性插值放大得到图像f ′ (i, j) (记为f ′) , 然后对f ′进行小波二维分解。这时, 其低频分量f ′0近似等于原始图像f, 分析发现, 这种近似是由于前后两种不同变换造成的。于是通过对低频分量像素值修正使得等于原图像, 同时考虑各个分解部分之间具有相似性, 对高频分量做同样的修正。最后由原始图像替代低频分量和经过修正后的高频分量一起经过逆二维小波变换重构放大图像。
基于小波变换修正的双线性插值算法步骤如下:
Step1:将原始图像f (x, y) 进行双线性插值得到放大图像f ′ (x, y) 。
Step 2:对f ′进行二维小波分解得到其低频近似分量和三个分别在水平、垂直和对角线方向上的高频近似分量, 依次记为f ′0、f ′1、f ′2和f ′3。
Step 3:计算修正参数aij。 令f (i, j) =aijf ′0 (i, j) 计算得到aij。
Step 4:基于修正高频分量。f ″1 (i, j) =aijf ′1 (i, j) , f ″2 (i, j) =aijf ′2 (i, j) , f ″3 (i, j) =aijf ′3 (i, j) 。
Step 5:重构图像。用原始图像f替换f ′0, 与修正后的高频分量f ″1, f ″2, f ″3一起进行小波二维分解逆变换重构得到最终放大图像。
2 仿真结果
分别使用双线性插值、小波双线性插值[5]和本文算法进行放大, 仿真结果分别如图1-4所示。
针对上面放大后图像质量的评价主要分为主观评价和客观评价两种方法。由于主观评价法是根据人眼对图像直接感受给出的, 为了客观评价上述算法, 这里选取了均方误差MSE、亮度值误差LVE、图像的熵Entropy[6]和峰值信噪比误差PSNR, 评价结果如表1所示。其中MSE反映放大后图像与原图像像素的偏离程度, 其值越小越好;LVE反映了放大后图像和原图像的亮度差, 值越小越好;Entropy反映了图像信息的多少, 其值越大, 说明信息越丰富;PSNR在一定程度上反映了人类的视觉效果, 值越大说明图像的视觉效果越好。
3 结束语
由表1的评价数据可以发现:本文提出的算法在MSE、LVE和PSNR指标远优于前双线性插值和小波双线性插值算法, 特别是放大后的图像在视觉效果上有大幅改善。虽然在反映图像信息量Entropy指标上要劣于小波双线性插值算法, 但通过肉眼观察可以发现小波双线性插值算法实现的图像在细节上有些地方不真实, 因为小波双线性插值算法和本文算法都是基于小波变换在分量上具有相似性估算出来的。
摘要：首先分析小波双线性插值的图像放大算法优缺点, 然后根据小波分解各部分之间也具有相似性提出了一种改善的被小波变换修正的双线性插值算法, 其仿真结果显示放大后图像在细节丰富程度上不如前者, 但视觉效果上改善明显。
关键词：小波变换,双线性插值,视觉效果,改善
参考文献
[1]刘刚, 匡海鹏, 修吉宏, 等.挺高航空图像分辨率的小波方法研究[J].长春理工大学学报, 2003, 26 (4) :111-114.
[2]王炜, 刘永保.小波分解在图像放大缩小中的应用[J].计算机工程与应用, 2000 (5) :43-45.
[3]刘馨月, 张宪超, 周建.基于加权抛物线插值与小波变换的图像放大算法[J].计算机工程与应用, 2008, 44 (1) :48-50.
[4]董卫军, 周明全, 耿国华.一种新的基于小波变换的图像放大算法[J].计算机应用与软件, 2007, 24 (4) :18-20.
[5]陶洪久, 柳健, 田金文.基于小波变换和插值的超分辨率图像处理算法[J].武汉理工大学学报, 2002, 24 (8) :63-66.
图像放大 篇4
图像放大在医学、军事、气象、影视制作等方面应用十分普遍。图像放大实际上就是数据补充和处理的问题。现在常用的一些插值方法,比如最近邻点插值法、双线性插值法和样条插值法等等,这些经典的插值方法运行效率很高,但对同一幅图像的不同区域都采用相同的处理方式,会损失较多的高频细节,容易引起图像边缘阶梯形失真效应和边缘模糊效应。可以发现这两种失真都产生在图像的边缘,但这些细节信息有时却是十分关键的,因此在图像放大中,保持图像平滑的同时又保留尽可能多的高频细节是十分有价值的。
近几年来,大量的研究者在边缘保持的自适应图像恢复方面做出了很多成果。文献[1]提出通过将像素进行分类分块来提高非局部均值法的搜索速度,是一种有效保持边缘细节的快速去噪方法。文献[2]利用梯度的协方差矩阵来构造向量的各向异性距离,提出了基于Steering核回归模型的图像恢复模式,并建立了非局部均值方法和核回归模型之间的联系[3]。文献[4]提出了一种方向插值滤波器,利用高斯核函数在多视角的图像合成中,测量各向异性距离,与文献[2]的角度选取不一样。文献[5]利用边缘方向来为不同像素点选取不同的权函数,实现了一种边缘驱动的各向异性图像插值方法,并且利用T范数代替2范数实现了各向异性的距离,其中T为结构张量矩阵。文献[6]改进了文献[2]的Steering核回归模型,利用结构张量矩阵构造各向异性的距离,使放大图像的边缘信息得到了很好的保持。
基于小波变换能够分离出一幅图像的高频部分,又根据各向同性的高斯核函数和各向异性的核函数,本文提出一种基于小波变换与核回归的图像放大算法。该算法首先利用二维离散小波变换提取图像的边缘高频信息,包括纵向边缘和横向边缘;再利用边缘高频信息判断原图像像素值是否在图像边缘部分;最后对不同区域采用不同特性的核函数模型进行插值。实验结果表明,无论是视觉效果方面还是定量评价方面,本文提出的算法都具有良好的图像放大效果,且能提高插值图像边缘的清晰度。
1 基于小波变换的图像插值
1.1 二维离散小波变换
边缘和细节是决定图像质量的很重要的因素,图像的二维离散小波变换提供了多尺度的边缘分析办法,基于二维离散小波变换的子带间的相关性能提高图像的空间分辨率。本文利用二维离散小波变换滤出高频信息,通过对比进行边缘分析,并利用不同特性的核函数进行插值,再通过逆变换得到更高分辨率的图像[7]。
定义信号fx,y的连续小波变换Wfa,bx,by
其中bx,by分别为函数fx,y在轴上的x,y平移量。
在频率域上,二维离散小波变换从原图像开始在每个层上分解上一层的近似系数,分解时在两个维度分别作用两次滤波器。本实验中,将原数字图像做1层分解后得到4幅离散图像,包括去掉高频细节的近似图像,水平、垂直和对角线方向的高频细节图像。
利用二维离散小波变换可以从水平、垂直和对角线方向提取到图像的高频细节信息。小波变换保持了原图像的细节特征,有更好的视觉效果。下面再通过所得三个方向的高频信息,利用原图像相邻像素的差分,从多个方向判断原图像像素值是否在图像边缘部分并确定边缘的方向,再选取不同的核函数对图像的边缘区域和非边缘区域分别进行插值。
1.2 图像边缘方向的分析
在图像边缘的两侧灰度值差异较大,沿着边缘的方向灰度值变化平缓。所以,可以利用相邻像素之间的差分来确定边缘方向。本文的插值算法是通过已知的像素点,进行差分计算,来获得图像的边缘特征信息,然后针对不同情况调整插值过程,使插值沿着任意一个边缘方向进行,插值后的图像边缘特征保持不变[8]。
边缘移动匹配法通过比较周围邻域中若干像素点之间的相关性来确定边缘方向[9]。因为边缘两侧像素点的灰度值差异较大,因此两侧像素值之间的差分值也较大;而顺着边缘方向的像素值之间的差分为零。
式中:fx,y表示图像中第x行、第y列的像素值;ui表示横向边缘上相邻三个像素点;vi表示纵向边缘上相邻三个像素点;Ci表示归一化权值;Var表示边缘的方差。
当方差Var的值最小时,m,n即为边缘方向,对横向和纵向边缘都分别进行9个不同方向的检测。
分析出图像边缘方向后再进行图像插值,根据图像沿边缘方向像素值变化平缓,而边缘两侧像素值差异较大的特点,选取不同特性的核函数,其中非边缘区域利用各向同性的高斯核函数,边缘区域采用各向异性的核函数。使图像边缘信息得到保持,使放大后图像的高频细节更加清晰。
2 基于边缘和非边缘区域的核函数选择
核回归是统计学中的一种非参数的随机变量条件期望的预测技术,其目的是寻找一对随机变量之间的非线性关系。定义是在当的条件期望,我们把估计的方法叫做核估计,核回归即为以下(3)式的回归模型:
其中K就是核,本质上是一个加权平均函数;h是带宽,根据数据来定大小。在二维图像放大应用上,mx即为要得到的图像灰度值函数。
可以看出,在图像放大中选择不同的核函数就决定了不同的插值方法,其性质和选取原则可以参见文献[10]。由于高斯核函数具有可分性和局部性[11],所以应用最广泛,本文在非边缘区域就是用的高斯核函数。
由于高斯核函数是各项同性的,没有考虑样本的灰度信息和图像结构,所以核在各点的形状是一致的。虽然经典核回归算法计算很方便[12],但是对于边缘区域存在较大的缺陷。因此在选取权重时,要同时考虑样本的灰度信息与图像的结构,沿着边缘方向的像素点与边缘的差异较小,其权重较大,应让核函数在边缘区域是沿着边缘方向的。
其中Ci表示局部协方差矩阵。
分析(4)式,发现steering核回归方法是用协方差矩阵来刻画图像的结构[11],原本的正规圆心核,经过协方差矩阵的变换,会发生形变得到一个自适应的核。因此可以用协方差矩阵来刻画图像的结构信息。通过对图像进行边缘分析,得到图像不同区域的结构与灰度特性,再分区域采用不同的核函数进行插值。在图像边缘区域采用自适应的核函数,避免了高斯核函数的各向同性,使得图像边缘信息保留得更好,图像更加清晰。
3 实验结果与分析
为了测试本方法的有效性,分别对三幅不同图像进行两倍降采样,然后将本文方法与经典核回归插值法、传统的双线性插值法和最近邻点法进行放大效果对比实验。放大效果的定量评价指标采用峰值信噪比(PSNR)和平均梯度(T)。
(5)式中,F、G分别表示原图像和放大的图像;M、N分别表示图像的长和宽。峰值信噪比反映放大图像与原图相比的质量好坏,峰值信噪比越大表示放大图像失真越小,放大效果越好;平均梯度反映了图像中微小细节反差与纹理变化特征及清晰度,平均梯度越大表示放大图像清晰度越高,放大效果越好。
在实验中,各向异性核的参数有窗口大小ω、拉长参数λ及伸缩参数α。通过固定其他参数,改变一种参数对比图像放大效果发现,λ取0.3~1.5、α<0.5时,针对大多数图像能实现相对更好的效果。本实验固定参数ω=7,λ=0.9,α=0.5。
四种算法的图像主观放大效果如附图所示,实验相关数据如附表所示。
由附图对比可见,本方法的边缘区清晰度优于双线性法,放大效果优于最近邻点法。仔细观察五官、帽子以及背景的纹理部分,可以看到,基于小波变换与核回归的放大算法高频信息更丰富,边缘细节特性更好,将图像放大会更清楚地看到这一特点。因此,基于小波变换与核回归的放大算法能够提高图像的质量,使图像边缘更加清晰。
从附表的定量评价数据上看,最近邻点插值法的峰值信噪比是最小的,说明放大图像与原图差距大,放大效果差,虽然平均梯度比双线性插值法好,但并不是清晰度的提高,而是马赛克和锯齿现象的反映;双线性法的峰值信噪比低于最近邻点法,且平均梯度最小;经典核回归方法的峰值信噪比和平均梯度虽然高于最近邻点插值法和双线性插值法,但本文方法的两个指标都高于其他三种方法,说明本方法优于传统的最近邻点插值法、双线性法和经典核回归插值算法。实验结果从主观视觉和客观参数上证明了本方法的有效性,能够改善放大图像的质量和提高图像边缘清晰度。
4 结语
本文提出的基于小波变换和核回归的图像放大算法明显优于经典核回归插值法和传统的双线性插值法、最近邻点插值法,不仅具有算法简单、易于实现的特点,而且将小波变换与两种核函数的核回归插值变换进行结合,提取图片边缘,分区域选取不同核函数进行插值,提高了图片的质量、丰富了高频信息,克服了传统放大图像边缘模糊的问题。从直观视觉和定量评价上,验证了本文算法的有效性。
摘要：本文提出了一种基于小波变换与核回归的图像放大算法。经典核回归一般以高斯函数为核函数,所以放大图像的边缘会因为过分平滑而模糊。本文提出的算法首先使用小波变换提取图像边缘;再通过边缘检测将图像分为边缘和非边缘两个区域;最后根据不同区域采用不同特性的核函数进行插值。实验结果表示,该方法从主观视觉和客观参数上能提高放大图像的质量,使图像边缘更加清晰。
关键词：图像放大,图像插值,核函数,核回归
参考文献
[1]Brox T,Kleinschmidt O,Cremers D.Efficient nonlocal means for denoising of textural patterns[J].IEEE Transactions on Image Processing,2008,17(7):1057-1092.
[2]Takeda H,Farsiu S,Milanfar P.Kernel regression for image processing and reconstruction[J].IEEE Transactions on Image Processing,2007,16(2):349-366
[3]Takeda H,Farsiu S,Milanfar P.A generalization of non-local means via kernel regression[C]//Proceedings of IS&T/SPIE Conference of Computational Imaging.San Jose,USA:SPIE,2008:68140.
[4]Yang Ping,Tong Xin,Zheng Xiaozhen.A Gradient Based Adaptive Interpolation Filter for Multiple View Synthesis[C]//Proc.of the 10th Pacific-rim Conf.on Multimedia.Bangkok,Thailand:[s.n.],2009.
[5]Casciola G,Ontefusco L B,Morigi S.Edge-driven Image Interpolation Using Adaptive Anisotropic Radial Basis Function[J].Journal of Mathematical Imaging Vision,2010,36(2):125-129.
[6]Liu H Y,Wei Z H.An edge-adaptive structure tensor k ernel regression for image interpolation[C]//Proceedings of the International Conference on Future Computer and Communication.Piscataway NJ,USA:IEEE,2010:2681-2684.
[7]马社祥,刘铁根,等.基于二进小波变换的边缘保持图像插值算法[J].光电子·激光,2005,16(7):872-873.
[8]李海燕,邹天宁,等.方差能量最小化活动轮廓模型超声图像分割[J].计算机工程与设计,2014,35(3):943-948.
[9]张俊华,陈建华,等.基于边缘移动匹配法的图像插值[J].计算机工程与应用,2003,39(6):73-75.
[10]黄啸.支持向量机核函数研究[D].苏州:苏州大学,2008:19-21.
[11]Charles F Manski.Analog Estimation Methods in Econometrics[M].New York:Chapman and Hall,1988:342-345.