多描述编码

多描述编码（精选四篇）

多描述编码 篇1

在以包交换为基础的通信网络中,如IP网和第三代移动通信网络,由于网络拥塞、信道干扰和噪声等原因,实时、全双工和交互的音频及多媒体通信也同样会遭遇网络丢包问题,这将导致音频质量受到严重影响。减小这种因丢包而导致音频质量下降的方法大体分为基于编码器的和基于解码器的抗丢包算法两大类[1]:

(1)基于编码器的抗丢包算法主要有自动重发请求、前向纠错、交织编码和分层编码等。

(2)基于解码器的差错隐藏等算法,如插值、嵌入和复制等。

但这些方法存在时延大、冗余编码容易出错、使用环境受限制、存在误码隐藏等缺陷。

在这种背景下,本文针对目前音频传输中存在的问题,深入研究了多描述算法在音频编码与传输领域的应用。

1 多描述音频编码算法框架

依据一般感知音频编解码器原理,提出了一种新的基于多描述编码技术的具有较好抗丢包性能的高质量音频编解码算法框架,框架的核心思想是在音频信源分析与合成以及量化与编码这两个层面上进行多描述的处理。

首先,在音频信号处理的层面进行多描述的分析与合成。然后,在量化和编码的层面分别对听觉掩蔽门限和听觉剩余信号进行多描述编解码。

1.1 多描述抗丢包音频编码算法框架

图1给出了多描述抗丢包音频编码算法框架原理框图。多描述抗丢包音频编码算法框架的编码过程为:原始音频信号分成两路,一路利用时频分析工具得到频域参数;另一路进行心理声学模型分析得到与当前音频帧相关的听觉掩蔽门限。听觉剩余信号分析利用听觉掩蔽门限去除频域系数中的听觉不相干信息或不相干度得到去除了听觉不相干性的、在听觉意义上白化的剩余信号。然后,将表征本帧音频信号信息的剩余信号和掩蔽门限送给多描述编码器进行多描述处理,得到N个可以进行单独或联合多描述解码的描述,及描述1～描述N;再将这N个描述进行无失真编码(如Huffman编码),以消除信源统计多余度,进一步压缩比特率。最后,分别将形成的N个描述比特流送入信道。其中,描述的个数N一般取2。

1.2 多描述抗丢包音频解码算法框架

图2给出了多描述抗丢包音频解码算法框架原理框图。多描述抗丢包音频解码算法框架的解码过程为:该框架首先接收来自信道的多个描述比特流,并对接收到的描述比特流进行解包和无失真解码;其次,进行多描述解码,分别得到解码掩蔽门限和剩余信号;最后,利用掩蔽门限和剩余信号重构频域音频参数,并对频域音频参数进行时频反变换得到重构音频信号。

2 标量量化多描述编解码算法

2.1 标量量化双描述编解码算法

根据标量量化双描述编解码算法原理[2],图3给出了标量量化双描述编解码原理图。

编解码过程为:信源x通过编码器编码得到索引l,这个过程是一般信源编码器的编码过程;这个索引l再通过匹配函数a(·)匹配成一个索引对(i,j),这个索引对就是这个信源的两个描述,这样就把一个索引匹配成了两个描述,这个过程就是标量量化双描述的编码过程。当描述被送到解码端后,解码端再根据接收到的描述的个数选择一个多描述解码器进行解码:当只接收到一个描述(i或j)时,选择边解码器g0或g2对其进行解码;当接收到两个描述时,选择中央解码器g1对其进行解码。

2.2 标量量化三描述编解码算法

基于双描述三解码器结构的标量量化双描述编解码算法的基础上,本文研究了一种基于三描述七解码器结构的标量量化三描述编解码算法。

图4给出了基于三描述七解码器结构的标量量化三描述编解码原理图。

其过程为:信源x通过编码器编码得到索引l,这个过程也是一般信源编码器的编码过程;索引l再通过匹配函数a(·)匹配成一个索引集合(h,i,j),这个索引集合就是这个信源的三个描述,这样就把一个索引匹配成了三个描述,这个过程就是标量量化三描述编码过程。当描述被送到解码端后,解码端再根据接收到的描述的个数选择一个多描述解码器进行解码:当只接收到一个描述(h,i或j)时,选择边解码器g0、g1或g6对其进行解码;当接收到两个描述(h和i、i和j或h和j)时,选择边解码器g2、g4或g5对其进行解码;当接收到三个描述(h,i,j)时,选择中央解码器g3对其进行解码。

标量量化三描述编解码器各模块功能如下:

a)信源x,此信源可为语音、音频、图像和视频等,在本文中为音频信源;

b)编码器,此编码器为一般的编码器,包括有损和无损的、感知或一般的语音、音频、图像和视频等信源编码器,它把信源x编码为索引l;

c)a(·)是一个匹配器,这部分也是标量量化三描述编解码器中最重要的部分,它把索引匹配成索引集合(h,i,j),其本质是完成了标量量化三描述编码功能,把一个索引标量量化为三个描述(h,i,j)。

d)g0、g1、g2、g3、g4、g5、g6、g7、都是多描述解码器,但功能不同:g0、g1、g6分别是相应单个描述的边解码器,它们在接收到h,i或j后,可分别解码产生信号0ˆx、1ˆx和ˆx6;g2、g4、g5分别是两个描述的边解码器,在接收到h和i、h和j或i和j后,可分别解码产生信号2ˆx、4ˆx或5ˆx;g3是中央解码器,在接收到全部三个描述信号(h,i,j)后,可解码产生信号3ˆx。

下面以一个具体索引值为例说明整个过程:

信源x经过编码器后,索引l值的范围为1～10,即编码器量化x的量化区间共有十个,编码器的量化区间如图5。

根据信源的特点和引入的冗余度,匹配器使用图6来实现匹配函数a(·)的功能,即把索引l匹配成三个描述:h、i和j。

这个匹配过程的本质是用三个三描述标量量化器(分别对应量化后的索引值为h、i和j)来代替单描述标量量化器(对应量化后的索引值为l)。因为调整三描述标量量化器的精度可以控制在三描述之间引入的冗余度,即三个多描述标量量化器的精度越高,引入的冗余度就越高,所以可以设计不同的三维图来实现多种冗余度的三描述标量量化器。这四个量化器的量化区间之间的对应关系如图7所示。

至此,标量量化三描述编码器通过匹配函数a(·)匹配出三个描述,即索引集合(h,i,j),再将这三个描述发送到解码端,解码端的解码过程如下:

(1)当接收到h、i和j时,解码器g3可以根据图6查找到唯一的l值。解码器首先在图6中找到h、i和j分别对应的坐标位置,然后再找到图4.6中三维空间中的值l,这个值就是多描述标量量化前的值。至此,解码器根据h、i和j的值无损的解出信号l。

(2)当只接收到h和i时,解码器g2可以根据图6中的数据估算出l的值。估算的方法有很多种:例如,解码器g2可以把图6中垂直于h轴的平面和垂直于i轴的平面相交线上对应的数据的平均值、最大值或最小值作为l的值。

(3)当只接收到i和j时,解码器g4可以根据图6中的数据估算出l的值。估算的方法和(2)一样。

(4)当只接收到h和j时,解码器g5可以根据图6中的数据估算出l的值。估算的方法和(2)一样。

(5)当只接收到h时,解码器g0可以根据图6中的数据估算出l的值。估算的方法有很多种:例如,解码器g0可以把图6中垂直于h轴的平面上对应的数据的平均值、最大值或最小值作为l的值。

(6)当只接收到i时,解码器g1可以根据图6中的数据估算出l的值。估算的方法和(2)一样。

(7)当只接收到j时,解码器g6可以根据图6中的数据估算出l的值。估算的方法和(2)一样。

3 标量量化多描述编码测试结果对比分析

表1和表2列出了的单描述、双描述和三描述客观测试结果。与单描述编码相比,双描述和三描述的编码分别增加了25%和50%的编码比特率,也就是每多一个描述,我们增加25%的比特率用以对增加的描述产生的多余度进行编码。

从客观测试的对比的结果来看,编解码采用多描述(双描述或三描述)编码的方法带来的好处是非常明显的。从表1和表2中可以看到,采用多描述的算法的编解码器的抗丢包性能都比单描述算法的抗丢包性能好虽然对于语音信号,三描述算法在理想信道情况下不如单描述算法的音质,但是在非理想信道模式下,随着丢包率的增加,三描述算法的音质下降得比较慢,并最终超过了单描述算法的音质,所以采用多描述算法的感知编码器都有很好的抗丢包性能。对于音乐信号,三描述的抗丢包性能比双描述的抗丢包性能好;对于语音信号,三描述的抗丢包性能和双描述的抗丢包性基本相同。

4 结语

本文依据感知音频编解码器基本原理提出了一种多描述抗丢包感知音频编解码算法框架,研究了标量量化双描述编解码算法,提出了标量量化三描述算法,但并未囊括所有的多描述算法研究和设计的多描述抗丢包音频编解码算法框架和多描述算法能够在较高的丢包率(20%-30%)时能够

保持自然的音频和语音质量,在严重丢包(40%-60%)时仍能够保持较好的音频和可懂语音质量。

摘要：本文依据感知音频编解码基本原理,研究和设计了一种基于多描述编码技术的高质量音频编码算法。这种算法具有较好抗丢包性能,算法的总体思路是先在分析与合成的层面上把音频分解为听觉掩蔽门限和剩余信号,然后在量化和编码层面上分别对音频的听觉掩蔽门限和剩余信号进行多描述处理。结果表明,在所提出的多描述抗丢包音频编解码算法框架下,多描述算法的抗丢包性能明显优于单描述的抗丢包性能,标量量化多描述算法的抗丢包性能比奇偶分离双描述算法和对偶变换双描述算法的抗丢包性能都要好。

关键词：音频编码,多描述编码,信源编码,多媒体通信,数据压缩

参考文献

[1]C.Perkins,O.Hodson,and V.Hardman,“A Survey of Packet Loss Recovery Techniques for Streaming Audio,I”EEE network,vol.12,no.5,pp.40-48,Sept-Oct 1998.

[2]Vaishampayan V A,“Design of multiple description scalar quantizers,”IEEE Trans.Information Theory,vol.39,pp.821-834,May 1993.

[3]M.Orchard,Y.Wang,V.Vaishampayan,and A.Reibman,“Redundancy rate distortion analysis of multiple description image coding using pairwise correlating transforms,i”n Proc.IEEE Int.Conf.Image Processing(ICIP’97),vol.I,Santa Barbara,CA,pp.608–611,Oct.1997.

[4]Y.Wang,M.T.Orchard,V.Vaishampayan,and A.R.Reibman,“Multiple description coding using pairwise correlating transforms,”IEEE Trans.Image Processing,vol.10,pp.351-366,Mar.2001.

基于小波域的图像多描述编码方法 篇2

关键词：多描述编码； 小波域； 插值； 图像重构

中图分类号：TP391文献标识码：A文章编号：1009-3044(2007)16-31146-02

Multiple Description Image Coding Method Based on Wavelet Domain

ZHU Ying-hui

(Department of Mathematics and Information Technology,Hanshan Normal University,Chaozhou 521041,China)

Abstract:Multiple description coding (MDC) is a new technology that can efficiently resist the irresponsible networks. The paper makes use of the three direction correlations in the 2-dimension wavelet domain, and presents a multiple description image coding arithmetic based on wavelet domain。The experiment results prove that the function of the arithmetic is good and the effect of reconstructive images is excellent.

Key words:multiple description coding;wavelet domain;interpolation;image reconstruction

1 引言

在面向无线网络和不可靠网络的图像、视频信息传输中，由于传输过程中难以避免的丢包或误码问题往往引起图像质量的严重下降甚至无法解码。近年来，多描述编码（Multiple description coding, MDC）越来越受到人们的关注。多描述编码起源于Bell实验室基于电话网的语音传输研究[1]，为了提供无中断的语音服务，研究人员利用DPCM编码器，将语音信号的奇偶采样值进行分离并分别编码成两个独立的比特流，如果偶数比特流丢失，则从奇数比特流中能过插值获取，反之也然。这样在线路情况恶劣的状况下可提高接收的效果。

本文就图像的多描述编码进行研究，并提出了一种基于小波域信号划分的图像多描述编码方法。

2 图像多描述编码

多描述编码将单个信源编码成多个独立的比特流并通过多个信道同时传输。这些独立的比特流称为描述，它们具有同等的重要性，当接收到其中一个描述时可以恢复出粗糙但可以接受的信号质量，而接收到的描述越多，则恢复的信号质量越好[2]。多描述编码建立的条件是：信号发送端和接收端之间存在多个独立的并行信道，各信道中误码的发生是相互独立的，所有信道同时发生误码的概率很小。多描述编码的模型如图1所示。

图1 多描述编码模型

目前图像的多描述编码方法主要可分为基于量化的多描述编码、基于信号相关性的多描述编码、基于空间扩展-采样的多描述编码。这些方法在文献[3]中都有较详细的介绍。小波分析是近年来发展起来的一种新的时频分析工具，它具有时频局部化能力和多分辨率分析能力，使之特别适合于信号处理领域，如图像处理。将小波变换运用到MDC中来也成为了多描述编码一个新的研究方向。

3 基于小波域的图像多描述编码

3.1图像小波域特点

一幅N×N的图像经过一层二维小波分解后，可得到四个大小均为(N/2)×(N/2)的子带图像cA、cH、cV和cD。其中cA为低频信号，集中了图像的大部分能量。cH、cV和cD均为高频信号，分别包含图像的水平、垂直和对角的纹理信息。二层小波分解则在一层分解的基础上对cA信号再进行一次分解。图2显示，对图2(a)做二层小波分解后可得到图2(b)的小波域信号图。可见，cA2近似于原图的缩略图，cH2、cH1体现水平纹理信息，即该信号具有水平相关性，cV2、cV1体现垂直纹理信息，即该信号具有垂直相关性，cD2、cD1体现对角（包括45度对角和135度对角）纹理信息，即该信号具有对角相关性。本文正是利用了图像小波域信号的这些特点对图像进行小波域采样-插值实现两个描述的MDC方法。

图2 图例及其小波域图像

3.2算法实现

本算法中编码器的实现过程为：

(1)对图像进行二层小波分解得到小波域信号图。

(2)在小波域中，对cH2、cH1按奇偶列采样分成两个描述，对cV2、cV1按奇偶行采样并将采样结果加入以上两个描述中，对cD2、cD1按奇偶行（或列）采样，同样采样结果也加入以上两描述中，而基于cA2低频信号的重要性，该信号子图将作为冗余信息重复分配到以上两个描述之中。

(3)对每一个描述中的cA2信号进行差分脉冲编码，对其余中高频信号则采用行程编码以压缩数据。

(4)根据网络的实际情况及对数据的压缩需求对所得数据进行熵编码。

算法中解码器的实现过程为：当两个描述均收到时，对数据解压后做奇偶行及列合并，然后进行小波逆变换即可重构高质量原图像。当只收到一个描述时，对其中缺失的cH2、cH1列，可采用式1的插值方法获取。

(式1)

对缺失的cV2、cV1行，可采用式2的插值方法获取。

(式2)

而对缺失的cD2、cD1行（或列），则先判断两种对角方向是否有明显系数值，有则用该对角方向的系数值进行插值，否则用四个相邻边角的系数值做平均来取值。具体方法如式3。

(式3)

4 实验结果

实验对256×256的8位灰度图“lena.bmp”进行上述多描述编码，其中cD2、cD1采用奇偶行采样方式，在单个描述的码率控制在2.8dpp（压缩率约35%）时，描述1、描述2及两个描述的重构图PSNR值分别为：27.99、27.96和46.54。图3为三种重构图在相同位置上的局部区域，该图可显示出单个描述重构图与两个描述重构图在细节上的区别。由图可见，单个描述由于缺失了一半的中高频信号，难免造成图像内容的边缘模糊，但经过中高频插值处理后重构图仍具有较好的整体识别效果，如3(a)和3(b)。3(c)为两个描述均收到的情况，因为可恢复原图的绝大多数信号，该图具有非常清晰的图像效果。图4显示单个描述在不同码率下的三种重构图的PSNR值，由图可见，本算性能稳定，在各种码率的编码下均具有良好的接收效果。

图3 本文MDC算法实验效果

图4 各种码率下的描述接收效果

5 结束语

多描述编码技术是较新的信息传输处理技术，其在差错率较高的网络环境中体现出独特的优越性。本文结合小波分解技术，利用图像小波域信号在三个方向上的相关性，通过对信号进行采样划分及插值处理来实现多描述编码。实验证明该算法无论接收到单个描述还是两个描述均能取得令人满意的图像重构效果。

参考文献：

[1]Goyal V K. Multiple description coding: Compression meets the network.IEEE Signal Processing Mag., 2001,18(9):74-93.

[2]蔡旻,宋建新.常用的多描述编码方法.数字电视与数字视频,2005(8):35-37.

[3]张炜,蒋刚毅.等.图像信号的多描述编码方法.中国图象图形学报,2004, 9(3):257-264.

多描述编码 篇3

随着网络技术和多媒体技术的不断发展,图像信息的传输在网络传输中的应用越来越广泛。由于图像信息对实时性要求极高,信道误码、拥塞或延迟都会造成解码的不连续,从而严重影响图像的解码恢复质量。为了在差错信道下有效传输图像,人们提出一种能有效提高图像信息传输鲁棒性的信源信道联合编码———多描述编码[1]。多描述图像编码是为了解决不可靠信道传输的一种编码方法,其主旨思想是将一个信源生成多个码流,分别从不同的信道传输每个码流[10,19]。对信源而言,每一个码流就是一个描述。通过在两个( 多个) 描述间添加冗余或相关信息,使得一个信道被删除时,解码器还可以通过一个信道中的冗余信息或两个信道间的相关性获得丢失信号的部分信息,从而给出一个原始信息的恢复重建。其基本流程如图1所示。

在20 世纪70 年代,Bell实验室为了解决语音通信的语音编码问题最早提出了多描述编码; 90 年代多描述编码被应用到图像的编码。经过近20 多年的发展,多描述编码的方法主要有: 基于量化的多描述编码、基于相关变换的多描述编码、基于小波变换的多描述编码、基于框架扩展的多描述编码等。

Vaishampayan等在文献[2]首次通过设计标量量化器,提出了多描述标量量化编码的方法; Wang等在文献[3]首次利用图像信号的变换在编码时加入冗余,提出基于相关变换的多描述编码; 最早提出基于框架扩展的多描述编码的是Gayal等[4]Vaishampayan等在文献[5]首次将小波变换应用到多描述图像编码中; 2007 年,Liu等人提出一种基于小波方向特征树的多描述编码,该文利用小波变换的特征,并建立方向树进行编码2011 年,Baobin通过构造平衡多滤波器,并应用到多描述编码[14]中; 同年,Khelil提出基于小波的子带平衡多描述编码[17]在接下来的研究中,学者们对自适应的冗余控制的多描述编码[15,21]和小波图像的多描述编码的同步子格矢量量化器的研究有所发展[16]; 2013 年,Muhammad等提出对彩色图像的多描述编码的研究[21]。

两阶段结构是一种新型的编码方式,能够有效地调整中心路和边路的编码。在文献[6]中,Chunyu Lin等提出了一种基于多样化的两阶段多描述图像编码,该文第一阶段的数据为旋转180°后的图像进行小波变换后的数据与未旋转的图像进行小波变换的数据; 第二阶段的数据是两个第一阶段的数据进行逆变换之后的均值与未进行旋转的图像经过小波变换之后的差分值,并经过下采样在两个信道进行传输。文献[13]是基于小波域的多描述图像编码,该文是基于离散小波变换的图像编码,第一阶段的数据是整幅图像编码后分别在两个信道进行传输的数据; 第二阶段的数据是第一阶段的数据与未编码的数据的差分,采样得到的。本文首次提出基于二代小波———提升小波的两阶段多描述编码,计算复杂度低,且取得较好的效果。为了使每个信道传输的数据不同,在小波变换之前采用描述生成函数,既保证每个信道能够平均地得到图像信号的部分信息,又保证了图像的像素点之间有最大的相关性。图像重构时,在只有一个信道的信息收到时,通过插值得到整幅图像,如果两个信道的信息均收到时,采用数据融合的方法获得高质量的重构图像。

本文提出的基于提升小波和两阶段结构的多描述编码方法,结合了提升小波和两阶段结构的优势,能够在一个描述丢失的时候依然能够很好地恢复图像,得到比较理想的结果。

1 预备知识

1. 1 提升小波

提升小波是整数小波变换的基础,它能够把整数影射到整数,属于第二代小波。对一个二维的图像信号进行提升小波变换包括分裂、预测和更新三个步骤。这里我们回顾由Daubechies等提出的提升小波变换,具体过程如下:

进行提升小波变换时,需要对二维信号x( j,k)j,k∈Z分成两个不相交的子集,通常是奇数集xo( j,k) 和偶数集xe( j,k) ,即:

预测过程需要利用数据之间的相关性,选取一个与数据结构无关的预测算子P ,利用P作用到偶数集xe( j,k) 来预测奇数集xo( j,k) ,并且用预测得到的奇数集Pe( j,k) 和原奇数集xo( j,k) 做差,得到高频系数h( j,k) 。具体公式如下:

更新时需要更新算子U,U对高频系数h( j,k) 作用得到Uh( j,k) ,并用Uh( j,k) 来更新偶数集xe( j,k) ,更新值作为低频系数l( j,k) ,具体公式如下:

1. 2 嵌入式小波零树编码

嵌入式编码的基本思想是对重要的信息优先编码,并将重要的信息放在码流的前面。这种方法和小波分解的特性正好可以结合。我们采用Shapiro 1993 年在文献[9]提出的嵌入式零树小波编码。它是基于小波的嵌入式编码方法,充分考虑了不同尺度小波系数之间的相似性,有效地排除了高频小波系数的编码,极大地提高了小波系数的编码效率。

1. 3 两阶段结构

两阶段结构是一种新型的编码方式,它有效地调节了中心路和边路的信息[6]。以信道1 为例,本文的两阶段结构是指在提升小波变换的系数x1( j,k) 直接编码在信道传输作为第一阶段的信息,而第二阶段的数据则是由提升小波变换之后的系数x1( j,k) 和x1( j,k) 经过编码解码之后的数据x12( j,k) 进行差分运算作为x1( j,k) 的冗余信息r1( j,k) ,即:

其中,r1( j,k) 作为冗余和x1( j,k) 在同一个信道传输,我们先传输x1( j,k) ,在第二阶段传输r1( j,k) 。r1( j,k) 作为冗余以提高接收端图像的恢复效果。它包含了那些对编码解码比较敏感容易丢失的数据的相关信息,经过实验验证,在收到冗余之后,对数据的恢复重建有一定的作用,能够有效地提高图像的恢复质量。

2 基于提升小波和两阶段结构的多描述编码

2. 1 算法框架

本文所讨论的是基于提升小波和两阶段结构的两描述图像编码。算法流程如图2 所示。每一个描述包括两部分的信息,即第一阶段的信息和第二阶段的信息。其中,第一阶段的信息是经过提升变换且进行EZW编码的信息,第二阶段的信息是提升小波变换之后编码再解码的信息与小波变换之后的信息做差分得到的。当只有一个信道的描述收到的时候,就对一个描述进行边缘解码,并进行逆提升小波变换,两个描述都收到的时候把两个描述分别解码和逆提升小波变换,并采用数据融合的方法得到效果更好的重建图像。

本文的算法流程如下:

1) 利用描述生成函数P生成两个描述;

2) 每一个描述xi( j,k) ,i = 1,2 进行插值,恢复得到和原始图像同样大小的图像xi2( j,k) ;

3) 对每一个插值得到的描述xi2( j,k) 进行提升小波变换和EZW零树编码,并把编码之后的数据并作为第一阶段的数据在信道传输;

4) 对进行EZW解码得到;

5)作为第二阶段的冗余并进行EZW编码,编码之后的数据在信道进行传输;

6) 收到时,对描述进行EZW解码和逆提升小波变换,得到只收到第一阶段数据的重构图像x'i( j,k) ;

7) 收到时,对冗余进行EZW解码和逆提升小波变换,得到收到冗余时的冗余信息r'i( j,k) ;

8) 一个描述的主体信息和冗余信息都收到时,可得到一个描述两阶段的重构图像;

9) 两个描述的数据均收到时,采用数据融合的方法得到中央解码数据,具体的数据融合见4) 的数据解码。

该算法中的i = 1,2 表示的是描述的个数,j,k ∈ Z是图像的像素点。

本文中每一个描述的生成是由描述生成函数得到的,描述生成函数采用的是最大最小内部分割距离方法[7],充分考虑了像素点之间的最大相关性以便于后续的插值的精确性。描述生成之后我们分别对两个描述进行插值,本文中采取的插值方法是分段三次Hermite插值方法[8]。

2. 2 解码算法

2. 2. 1 边缘解码

任意一个单描述收到的时候,我们对单描述的第一阶段的数据和第二阶段的冗余进行EZW解码。解码之后,把冗余信息r'1( j,k) 和第一阶段解码之后的数据x'1( j,k) 相加,组成新的解码后的数据,即:

对进行逆提升小波变换,得到收到单描述时的重构图像。

2. 2. 2 中央解码

当两个描述均收到,且在冗余也收到的情况下,对进行了边缘解码和逆提升小波变换的数据进行数据融合,我们对由单描述重构图像的对应像素点赋予不同的权值进行数据融合。我们采用的是线性融合的方法,具体的融合公式如下:

这里的j,k分别是图像的行和列坐标。奇偶同性是说j,k同为奇数或者偶数,奇偶异性是说j,k奇偶性不相同。权值 α 和 β 是根据图像像素点之间的相关性得到。

3 实验结果分析

本文采用的图像是512 × 512 的灰度图“Barbara. jpg”和256 × 256的灰度图“Lena. bmp”作为实验的测试图像。选用的小波是5 /3 提升小波,分解的层数是2 层。本文在固定的码率下进行编码,第一阶段的信息的编码层数是3 层,第二阶段的数据的编码层数是1 层。本文是针对不同的信道误码率做对比实验。图3 为误码率为0. 3 时,图像的重构效果。表1 和表2 是Barbara灰度图的对比效果,表3 和表4 是Lena图像的对比效果。

图3 在信道误码率为0. 3 的情况下,( a) 、( d) 分别是没有接收到第二阶段的的数据和接收到第二阶段数据的重构图( b) 、( e) 分别是信道2 没有接收到第二阶段的数据和接收到第二阶段的数据的重构图; ( c) 、( f) 是中央信道的没有接收到第二阶段的数据和接收到第二阶段的数据的重构图。

这里PSNR为中央信道的峰值信噪比,PSNR1 和PSNR2 分别是边缘信道1 和边缘信道2 的峰值信噪比。PSNR的计算公式如下:

MSE是均方误差,其计算公式如下:

这里,m、n分别为矩阵的行数和列数。

PSNR1 和PSNR2 的计算公式如下:

MSE1 和MSE2 的计算公式如下:

这里,m、n分别是图像矩阵的行数和列数。

从实验结果来看,针对Barbara图像,在信道的误码率为0的时候,如果没有收到第二阶段的冗余,中央信道的峰值信噪比可达到79. 4109。当收到冗余的时候,其信号可以完全重构,效果很明显。边缘信道也有一定程度的提高。当误码率从0. 1 到0. 5 变化时,不管是边缘信道还是中央信道,峰值信噪比均有不同程度的提高。

针对Lena图像,当信道的误码率为0 时,峰值信噪比从65. 0170增加到86. 3225,增加的效果很明显。边缘信道的峰值信噪比也分别从61. 5210 增加到68. 4573,和61. 1576 到677846,也有比较明显的效果。随着误码率的增加,信号的重构效果会有所下降,不过总体看还是增加的趋势。

由此,可以得出结论,本文的实验结果是有效的。尤其是第二阶段的冗余信息,对于信号的重构结果有很大的贡献,不管是Barbara图像还是Lena图像。

4 结语

本文提出的是基于提升小波的两阶段多描述编码,提升小波是二代小波,有较低的复杂度,两阶段结构是一种新型的编码方式的结构,对信号的重构有很好的效果。本文提出的算法结合了提升小波的优势和两阶段结构的优点,即使在信道比较坏的情况下,依然可以得到比较好的实验结果。

摘要：为了提高图像在不可靠网络传输中的鲁棒性,提出一种基于提升小波的两阶段多描述编码。基本思想是通过描述生成算法形成描述,分别对每一个描述进行插值;对描述进行提升小波变换和EZW编码;将编码之后的数据作为第一阶段的数据在信道传输。第二阶段的数据由第一阶段的数据解码和提升小波系数做差分形成,然后进行EZW编码在信道传输。实验结果表明,该方案能够达到较好的冗余控制,提高图像的重构效果。

多描述编码 篇4

关键词：多描述编码,亚采样,超分辨率重构,凸集投影

0 引言

视频图像传输中有许多需要解决的问题：图像的有效编码，压缩数据流的鲁棒传输，接收端的高质量图像再现等。视频图像编码的JPEG-X、MPEG-X、H.26X等标准，其实质是去除数据冗余但同时码流更加脆弱，高倍的帧间编码不利于恶劣信道传输，而帧内编码的JPEG/JPEG-2000标准则体现出一定的优越性。传输误码会降低图像质量甚至导致解码器无法正常工作，对码流进行多重描述则可极大提高其稳健性，即利用多幅低分辨率(LR:Low-resolution)图像的多描述编码(MDC:Multiple Description Coding)[1,2]可提高码流的容错性。图像的超分辨率重构(SRR:Super-resolution Reconstruction)可以大大提高主客观质量，而多幅LR图像的重构亦如此[3,4,5]。多幅图像内的非冗余的亚像素信息被融合，经复原剔除模糊，进而重构出较为满意的高分辨率(HR:High-resolution)图像。

针对传输信道的不可靠、易丢包或误码等固有特性，本文提出对原图像亚采样后进行低分辨率多描述编码以增强传输鲁棒性，接收端再采用多幅解码图像超分辨率重构的处理系统。这种图像信源的帧内多描述编码，信宿的超分辨率重构的传输策略，特别适合信道环境恶劣的图像低帧率(一秒几帧)传输应用。此策略是开放的，可采纳各种多描述图像编码和超分辨率重构算法以提高传输效率和图像质量。本文针对成熟的JPEG静态图像编码标准[6]，对降采样所得到的多幅LR图像进行MDC，接收端则基于凸集投影(POCS:Projection onto Convex Sets)理论[7,8]对LR图像进行SRR。

第1节简单回顾MDC的研究状况;第2节在概要描述JPEG编码原理和POCS图像重构算法基础上，提出基于压缩域内量化噪声的POCS图像重构技术;第3节给出实验结果和分析;第4节是结论。

1 多描述图像编码

随着网络和无线传输技术的发展，图像通信成了应用的主流。但网络环境的复杂化，无线信道的多径、多时变和空变等特点，使图像传输质量严重下降，在一定程度上阻滞了图像传输应用的发展。多描述编码就是将一幅图像分解成多个相关的描述独立编码，通过不同信道传输到接收端解码，编码模型如图1所示。如果由于某信道数据误码、丢包或延迟，则解码器可从其他正确接收的描述中重构出主观可接受的图像。发生丢包或误码等的数据或信道越少，恢复出的图像质量就越好。若所有信道数据均正确接收，则可重构出高质量的图像。因此，MDC非常适合传输复杂化的恶劣信道条件下的图像传输应用。

多描述图像编码是当今信息领域的一个研究热点，是复杂传输环境下解决数据有效传输的一个良好途径。其实，MDC可广泛用于音频、视频或其它数据，如无线传感器网络(WSN:Wireless Sensor Network)中的分布式信源编码(DSC:Distributed Source Coding)[9]，多描述的数据可以是多个摄像头的视频图像，也可以是多传感器测得的压力、温度、湿度等。

图像的MDC方法是基于单描述图像编码中算法模块的多源并行输入。如多描述量化编码、多描述变换编码、基于运动补偿的MDC、基于空间扩展的MDC、基于空间亚采样的MDC和多描述分级编码等方法[1]。本文采用了空间亚采样的低分辨率多描述图像编码，即对待编码的高分辨率图像通过空间亚采样得到多个LR描述，然后分别独立编码。

2 JPEG多描述编码和POCS重构

2.1 JPEG多描述编码

静态图像编码标准JPEG已广泛应用，并且出现了多种基于JPEG编码的改进算法。本文采用JPEG的顺序型编码方式[6]。8×8图像经过离散余弦变换(DCT)后，低频分量集中在左上角，高频分量分布在右下角。设在变换域坐标(i,j)处的DCT系数值为T(i,j)，则JPEG的量化是直接将DCT系数除以图2中量化步长矩阵的对应值q(i,j)，得到量化后的DCT系数值为

式中round表示取整操作。由于图2量化后左上角的值较小，右下角的值较大，使得低频分量细量化，高频分量粗量化。解码端则根据量化步长按下式进行重构：

所以解码后就出现了量化失真。

本文用256×256的Lena灰度源图像经隔行隔列亚采样得到4幅128×128的LR描述。分别对源图像和4幅LR描述编解码，控制4个描述的压缩比总和与单幅源图像的压缩比相同，且在相同信道传输条件下，比较图像的整幅编码、传输、重构和4个多描述编码、传输、重构图像的主客观质量。JPEG图像质量控制参数为Q，范围为1～100，值越大质量越好，压缩比越小。图3是空间亚采样多描述和当JPEG参数Q为15时其编解码后的图像。

2.2 POCS超分辨率重构

接收端为提高图像质量，可使用滤波、增强和超分辨率重构等技术，其中，多幅LR图像的SRR更有效。SRR算法总体上主要有基于空域、频域和压缩域等3种，通常的研究主要在空域和频域进行。由于接收图像往往是压缩数据，故充分利用压缩中的先验知识如变换和量化来减少量化噪声，可有效提高重构质量。本文采用一种基于凸集投影的压缩域图像SRR方法[10]。

在压缩域构建超分辨率模型，可以直接利用码流中的DCT系数和量化信息，减小量化噪声[11]。记原始图像为X，采样算子为Ai(i=1,2,3,4)，TDCT和T-1DCT分别是DCT和IDCT,Q和Q*是量化和反量化操作。4幅LR图像记为iY，则有：

由式(3)可知，量化误差被限制在1/2量化步长内。由此得到如下基于集合理论的SRR方法：

其中是一个对HR图像的估值。可以采用凸集投影(POCS)算法迭代求解上式。

POCS算法是一个迭代过程，给定超分辨率图像空间上任意一个点，来定位一个能满足所有凸限制集合的点。POCS算法将预估的结果X(0)逐次投影到所有的限制集C上，使重构结果与观察图像一致[12]：

其中：m是限制集的个数，X(0)是一个任意初始点。凸集投影的核心问题就是合成投影算子Pi(i(28),1(43),m)。给定投影算子，对所有LR图像进行迭代就可以得到HR图像的估值，可以对其中一幅图像进行双线性插值作为HR图像的初始估计。

由式(4)所示的约束条件，采用如下的投影约束集合：

其中：

压缩域POCS算法的具体步骤如下：

Step1：对第一幅LR图像进行双线性插值，作为HR图像的初始估计;

Step2：根据式(6)，求出

Step3：根据下式判断，对R的每个像素R(i,j)在DCT域内进行迭代，其中q(i,j)为点(i,j)处的量化间隔：

若R(i,j)(29).05q(i,j)，则修正为R(i,j)(28)R(i,j)-.05q(i,j);

若R(i,j)(27)-.05q(i,j)，则修正为R(i,j)(28)R(i,j)(10).05q(i,j);

若-.05q(i,j)£R(i,j)£.05q(i,j)，则R(i,j)(28)0;

Step4：根据式(5)，求出XR(28)A1TT-1DCT(R);

Step5：根据，利用X R对进行修正。

对其它几幅LR图像iY，重复Step2到Step5进行迭代，直到满足一定的阈值条件，结束迭代，输出超分辨结果。

3 实验结果

3.1 理想信道

首先我们假设信道无误码和干扰，即不考虑信道传输的降质影响。用图2所示的量化矩阵，Q为15(压缩比为6)时，将压缩域POCS重构算法与直接用LR图像进行双线性插值的结果进行比较，如图4所示。如果Q为10(压缩比为10)，则两种方法重构图像的峰值信噪比(PSNR)分别为23.114 8 dB和24.891 3 dB。

实验中发现，压缩比越大，压缩域POCS超分辨率重建提高的PNSR越不明显。这是因为压缩比越大量化噪声越明显，而重建时不能更好消除这一误差。而图像质量越好时，量化噪声会更小，则压缩域POCS重建效果会更为理想。

3.2 实际信道

当信道性能不稳定，传输图像数据时有可能发生误码、丢包等现象，导致接收图像被污染。如果对整幅图像进行传输，一旦信道出错，可能无法恢复原图像。而本文方法如果其中一幅LR图像数据在传输时出错，仍然可由其它几幅图像重建原始图像。例如，考虑只由其中的k(k(27)4)幅LR图像重建的效果，如图5所示(压缩比为6)。PSNR可看出，利用的图像数目越多，重建质量越好。由于这里没有考虑误码、加噪的影响，重建结果区别不太明显。当某些帧发生误码或图像采集中引入噪声、失真等情况时，可利用帧的质量严重下降，这样重建输出图像的PSNR会严重衰落。如何解决该问题将是后续研究的一个重要方向。

4 结论

鉴于图像通信中信道的降质影响，用空间亚采样的LR多描述图像编码，接收端分情况选用一定数量的图像描述，利用压缩域SRR可以有效提高图像传输质量。总结如下：

1)用多描述的思想可以有效解决图像通信中的低帧率高质量图像传输：将HR图像亚采样成多幅LR图像进行传输，即使有部分LR图像数据不慎丢失，仍可由其它LR图像超分辨率重建出一定质量的HR图像，避免了整幅图像的严重损伤。

2)用基于压缩域的POCS算法对压缩图像进行超分辨率重建，可以利用量化器的先验信息降低量化噪声，减少迭代次数，更快地收敛到最佳结果：Q=6时迭代12次，Q=10时迭代13次。

3)压缩比越高，量化噪声越大，重建效果也越差。这种算法按最大量化误差来限定DCT系数，只能在一定程度上减小量化噪声，因为实际上不同变换系数的量化误差不同，基本上量化步长越高的DCT分量，其量化误差与步长的比例越小，而且对于不同的图像，用不同的量化矩阵，误差范围都不相同[8]。因此难以用统一的范围来对投影算子进行界定。