图像超分辨率重建技术研究.doc

1、图像超分辨率重建技术研究摘 要超分辨率图像重建是指将一系列各自包含一部分不同图像细节的相似低分辨率图像通过一定方法融合成一幅高分辨率图像的处理方法。对于一定的数字成像系统，通过超分辨率图像重建可以得到高质量的图像而不需要提高系统的硬件性能，因此它可以被广泛应用于图像处理的各种领域中。超分辨率图像重建算法可以分为两大类，即频域算法和空域算法。频域算法是早期的超分辨率重建算法，只能对全局位移的图像序列进行处理，空域算法使用通用的观察模型，具有更好的适应性和重构效果，是目前的主要研究方向。其中POCS算法利用投影至凸集的原理进行图像重建，算法直观而且有效，是最有前途的超分辨率重建算法之一。在序列图像

2、超分辨率重建算法中，本文对POCS方法做了比较细致的研究，针对用常规POCS算法重建的高分辨率图像中出现的导致图像边缘质量下降的现象,分析了图像边缘模糊形成的原因，对算法进行了改进，提出了边缘保持的POCS算法，用基于梯度的插值算法来获取POCS的初始值，实验结果表明，该方法能够得到较好的视觉效果，明显地提高重建图像的边缘质量。关键词：超分辨率复原，凸集投影，边缘保持 ABSTRACTSuper-resolution image restoration is a method that combines multiple similar but not identical low-resolu

3、tion images into a higher resolution single image. In a particular digital imaging system,using super-resolution methods can help to obtain higher quality images without up grading system hard- ware,therefore super-resolution techniques can be applied to vast image-processing areas.Super-resolution

4、techniques can be divided into two main categories:frequency domain methods and spatial domain methods. Frequency domain methods are earlier super-resolution methods,they can only deal with image sequences that only translational motions are allowed. Spatial methods use general observation models,th

5、ey have better adaptability and performance. In POCS method,projection onto convex sets theories is employed to realize super-resolution restoration,it is intuitive in theoretical and has good reconstruction performance. POCS is one of the most promising super-resolution restoration methods.In seque

6、nce LR images reconstruction,the research work in this paper focuses on POCS,analyzing the factors which influence the results of super resolution. According to the traditional super-resolution image reconstruction algorithm led to the blur edge of reconstructed high image. With an analysis of the r

7、eason which led to the blur edge of high-resolution reconstruction image,a new image interpolation based on gradient is proposed,it kept large information of the image edge. Use this new image interpolation to get the original value of the POCS. The experimental tests show that this algorithm can si

8、gnificantly improve the quality of the reconstruction image.Key words：super-resolution restore, projection onto convex sets, edge maintain 目 录中文摘要ABSTRACT1绪论1 1.1 研究背景及研究意义1 1.2 图像超分辨率重建的应用2 1.3 本论文的主要研究内容及其完成的工作32 超分辨率图像重建算法研究4 2.1 概述4 2.2 频域方法5 2.3 空域方法62.3.1 非均匀空间样本插值算法62.3.2 迭代反投影算法72.3.3 凸集投影算法

9、72.3.4 最大后验概率估计和最大似然估计算法72.3.5 混合MAP/POCS方法82.4常见的图像重构算法的比较83 POCS算法及其改进算法的实现11 3.1凸集投影算法113.1.1用插值方法构造参考帧123.1.2 运动估计123.1.3基于点扩散函数的修正133.1.4 POCS图像重建算法步骤13 3.2保留边缘信息的POCS超分辨率图像重建算法144 试验结果与分析16 4.1试验低分辨率图像的生成16 4.2改进的POCS算法重建结果及其分析175 结论18 5.1 论文总结18 5.2 工作展望18参考文献2011 绪论 1.1研究背景及研究意义 伴随着计算机技术、信息处

10、理技术和视觉通信技术的高速发展，人类进入了一个全新的信息化时代。人们所能能够获取的知识量呈爆炸式的增长，因此迫切的要求信息处理技术不断的完善和发展，以便能够为人们提供更加方便、快捷和多样化的服务。数字图像及其相关处理技术是信息处理技术的重要内容之一，在很多领域得到了越来越广泛的应用。对于数字图像在一些情况下一般要求是高分辨图像，如：医学图像要求能够显示出那些人眼不能辨别出的细微病灶；卫星地面要求卫星图像至少能够辨别出人的脸相甚至是证件；有些检测识别控制装置需要足够高分辨率的图像才能保证测量和控制的精度。因此提高图像分辨率是图像获取领域里追求的一个目标。1970年以来，CCD和CMOS图像传感器

11、广泛的被用来获取数字图像，在很多的应用场合，需要获取高分辨图像，提高图像分辨率最直接的方法是提高成像装置的分辨力，但是受传感器阵列排列密度的限制，提高传感器的空间分辨率越来越难，通常采用的方法是减少单位像素的尺寸（即增加单位面积内的像素数量），对于数字摄机，比如CCD，就是减少其传感单元的尺寸从而提高传感器的阵列密度，使其能够分辨出更多场景细节。但是这样将导致数字摄像机的价格大幅度提高。技术工艺的制约也限制了图像分辨率的进一步提高。事实上随着像素尺寸的减少，每个像素接收到的光照强度也随之降低，传感器自身的噪声将严重影响图像的质量，造成拍摄的影像信噪比不高，因此，像素尺寸不可能无限制的降低，而是

12、有下限的，当CCD传感器阵列密度增加到一定程度时，图像的分辨率不但不会提高反而会下降，这是因为当CCD阵列密度增加到一定的程度即传感单元变得相当小时，将使产生的图像光电信号变得非常微弱而被传感单元的噪声严重污染甚至淹没从而导致图像退化。其他使图像降质退化的因素还有将场景物体的运动模糊、系统的点扩散函数模糊、采样量化模糊以及电路噪声等。所有这些制约图像分辨率提高的因素或者是物理客观的或者是随机存在的，很多都不是现有的技术所能够控制的。因此通过改善成像装置硬件的分辨力来提高图像的分辨能力是有限的也是不切实际的。因此，需要一种有效的方法来克服图像传感器的这些限制。解决这一问题的一个实用而有效的方法就

13、是图像的超分辨率重构技术，其不需要昂贵的图像获取设备，只需要通过计算机软件的处理就能获得更高分辨率的图像。因此，用该方法来提高图像分辨率所需要的代价很低。1.2 图像超分辨率重建的应用 由于超分辨率重建技术在一定条件下，可以克服图像系统内在分辨率的限制，提高被处理图像的分辨率，因而超辨率技术的应用正在快速的增长，在视频、遥感、医学和安全监控等领域具都有十分重要的应用。例如：(1) 在数字电视(DTV)向高清晰度电视(HDTV)过度阶段，仅有部分电视节目会以HDTV的形式播出，不少节目采用的是DTV的形式。因此，可以利用超分辨率重建技术将DTV信号转化为与HDTV接收机相匹配的信号，提高电视节目

14、的兼容性。(2) 在采集军事与气象遥感图像时，由于受到成像条件与成像系统分辨率的限制，不可能获得清晰度很高的图像,而通过利用超分辨率重建技术，在不改变卫星图像探测系统的前提下，可实现高于系统分辨率的图像观测。在公共安全领域，超分辨图像重建技术也有着很广阔的应用，超分辨率图像重建技术可以利用普通监视录像资料，重建出高清晰的目标图像，从而有利于相关人员的辨识。(3) 在医学成像系统中（如CT、MRI和超声波仪器等），可以用超分辨率重建技术来提高图像质量，对病变目标进行仔细地检测，在医学检测中往往需要通过层析成像技术识别并确定出病体的精确位置及详细情况：如阴影的边缘、病体占位的大小及位置等。由于硬件

15、设备及现有的成像技术的限制，我们还不能够获取满足更高要求的高清晰图像。由于层析成像技术的特殊机理，超分辨率图像重建技术可以在该领域获得重要的应用。(4) 在银行、证劵等部门的安全监控系统中，当有异常情况发生后，可对监控录像进行超分辨率重建，提高图像要害部分的分辨率，从而为事件的处理提供重要的线索。(5) 可以将超分辨率重建技术用于图像压缩。平时存储或传输低分辨率的图像信息，当有不同需要时，再利用超分辨率重构技术获得不同分辨率的图像和视频。此外，超分辨率图像重建技术有可能使图像实现从检出水平(detectionl evel)向识别水平(recognitionlevel)的转化，或更进一步实现向细

16、辨水平(identification level)的转化。超分辨率图像重建技术可以提高图像的识别能力和识别精度。(6) 在资源与环境的卫星遥感应用领域中，地球资源卫星的发射是为了获取多光谱图像，通过对这些图像进行一系列的处理，可以获取不同的有用信息。例如：植被的分类及分布、区域地理结构以及水资源的分布面积等信息。但是由于现有成像技术的限制，图像的分辨率限制了图像的判别和定位的精度。利用超分辨率图像重建技术对这些图像进行重建，从而提高所需资料的获取精度。总之，随着超分辨率技术的发展和完善，其应用领域会继续扩大，图像超分辨率处理技术有着较为广阔的发展空间。21.3 本论文的主要研究内容及其完成的工

17、作本文主要研究了灰度图象超分辨率重构算法，考虑了图象退化模型已知和未知，有噪声和无噪声等情况，对于提出的每个算法都进行了实验结果分析。在深入研究现有图像超分辨率处理技术的基础上，希望提出一些新的思想，引入一些新的方法与途径，来提高超分辨率复原图像的质量，或者提高既有算法的性能和效率。在论文中首先建立超分辨率复原的降质退化模型，用软件的方法生成低分辨率观测序列图像，并用基于图像配准的运动参数估计方法对观测序列图像的运动信息进行估计。分析并比较时间域以及空间域的各种超分辨率算法的性能，选取一种较为直接而且有效的算法作为本课题研究的主要算法。第二章为已有的各种图象超分辨率重构算法的综述。首先介绍了图

18、象退化的模型和图象超分辨率重构研究的概况，然后分频域和空间域两种情况介绍了己有的各种图象超分辨率重构算法，空间域方法主要包括：非均匀空间样本插值、迭代反投影、凸集投影、最大后验概率估计、最大似然估计以及混合MAP/POCS方法等。并且从算法复杂度以及图像重构的效果等几个方面对频域算法与空间域算法进行了比较。同时对目前最热门的两种算法：MAP算法以及POCS算法进行了比较。第三章主要是对目前最热门的序列图像重构算法的POCS算法进行了比较深入的研究。目前在POCS超分辨率图像重构的实现中在初值的选取时普遍采用的是双线性插值算法。双线性插值是将原始图像上的各点首先对应到放大图像的各点上，在此基础上

19、进行插值并且不区分边缘区域和平滑区域，这是造成边缘模糊的主要原因。因而就想到了要对图像的边缘点进行特殊的处理即用保持原始图像的边缘信息进行图像插补的方法代替双线性插值来求解POCS算法中高分辨率图像的初始估计，然后在此基础上进行POCS算法，并在MATLAB开发平台上进行仿真试验。 第四章主要是对上一章所提出的方法进行试验仿真，仿真结果证明了基于边缘保持的POCS算法的可行性以及有效性。第五章给出了一些结论以及未来要做的工作。32 超分辨率图像重建算法研究2.1 超分辨率技术概述超分辨率图像复原是将多幅图像的退化因素去除后再融合，这需要解决图像的运动估计、退化图像去模糊和去噪声以及对还原后的图

20、像信息进行融合等，超分辨率图像复原是一个病态问题，主要表现在：第一，图像在获取的过程中，噪声严重，观测图像与原始图像严重不一致，无法进行估计，造成无解。第二，由于幅员的过程中，约束条件不充分得到的解不是唯一的；第三，图像获取过程中的噪声增加了图像的不确定性，造成解的不连续性。超分辨复原需要处理以下几个问题：（1）运动估计：估计低分辨率图像序列的信息在待恢复HR图像中的对应位置，确定由低分辨率图像的子像素运动所形成的位移算子。（2）几何形变：根据运动估计结果，将低分辨率图像信息通过插值和几何形变还原到HR图像坐标中。（3）信息融合：将还原到HR图像坐标中的信息融合到一张图片中，可以采用多种信息融

21、合算法。（4）去模糊和噪声：在HR融合图像中需要去除模糊和噪声，如果图像模糊和噪声未知，需要先图像序列中估计。超分辨率影像重建技术于60年代由Hamm和Goodman最初以单张影像复原的概念和方法提出，随后许多人对其进行了研究，并相继提出了各种复原方法，虽然这些方法做出了较好的仿真结果，但并没有在实际中得到广泛的应用。80年代末之后，随着计算机技术、电子技术以及信号处理理论与技术特别是小波理论、自适应滤波理论以及一些优化理论的发展，人们在超分辨率影像重建方法研究上取得了突破性进展，研究成果倍出，其应用涵盖了航空航天遥感、目标识别、医学计算机层析成像、空中目标光电监视成像等诸多领域。值得一提的是

22、，国际著名的光学仪器制造公司Leica/Hellawa公司、法国国家航天研究中心已经把该领域的理论研究成果转化到硬件产品-交错CCD传感器阵列的设计中，并已将其分别应用于他们的遥感设备“ADS40”和“SPOT5”卫星，取得了相当理想的效果。从目前的研究和应用成果来看，人们提出了很多图象超分辨率算法。这些算法按照可以获得的低分辨率图象的数量可以分为两类：1)序列图象的高分辨率估计： 组合同一场景的多幅低分辨率图象以获得一幅高分辨率图象的过程；2)单幅图象的高分辨率估计：由一幅低分辨率图象得到一幅高分辨率图象的过程。另外，序列图象超分辨算法也可以分为空间域方法和频率域方法。早期的研究工作主要集4

23、中在频率域进行，但随着更一般的退化模型的考虑，后期的研究工作几乎都集中在空间域进行。2.2 频域方法频率域方法是图像超分辨率重建中的一类主要方法，主要是基于傅氏变换和反变换来进行的图像复原。它通过在频率域消除频谱混叠而改善图像的空间分辨率，由于图像的细节靠高频信息来表现，而通过消除频谱混叠，就可以获得更多的被淹没掉的高频信息，因此依靠在频率域解频谱混叠就是增加图像的细节，提高分辨率。目前采用的主要是消混叠重建方法(Reconstruction via Alias Removal)，消混叠重建方法是通过解混叠而改善影像的空间分辨率，进行超分辨率重建。最早的研究工作是由Tsai和Huang在198

24、4年进行的。作为两类主要的重建算法之一，频域算法的基本思想就是将图像数据先变换到频域进行结合转换，再变换回空间域形成高分辨率图像。它主要利用了采样定理以及连续傅立叶变换(CFT)，离散傅立叶变换(DFT)的性质等。在原始场景信号带宽有限的假设条件下，利用离散Fourier变换和连续Fourier变换之间的平移、混叠性质，给出了一个由一系列欠采样观测影像数据重建HR影像的公式，使得多帧观察图像经混频的离散傅立叶变换系数与未知场景的连续傅立叶变换系数以方程组的形式联系起来，方程组的解就是原始场景的频率域系数，再利用求解的频率域系数进行傅立叶逆变换就可实现原始场景的精确重建，该方法要求图像间位移参数

25、的估计达到子像素精度，而且每一帧观察图像都必须只对方程组中的一个不相关的方程做出贡献。频域算法有以下的优点：首先它是一种简单而且直观的方法，虽然实现起来有一定的复杂度，但是它的基本原理很清晰，使用的频域法则也只是很容易理解的基本的傅立叶变换性质；其次，频域算法的计算复杂度低，其主要计算量是求解线性方程组，由于超分辨率图像的每个频域采样点值的计算是独立的，所以可以支持大量的并行运算，提高处理速度。但是，频域算法的缺陷也非常明显：(1) 使用全局位移的运动模型：频域算法的提出最初是为了处理卫星图片，不同的图片之间只是拍摄角度有细微的差别，所以可以方便地应用全局位移模型，不过对于一般的图像序列全局位

26、移的要求很可能不被满足，由于傅立叶变换的平移特性是频域算法使用的基本技术之一，很难对运动模型进行调整以适应有局部运动情况的图像序列，缺少灵活性，从而限制了在大多数实际情况。(2) 退化模型与运动模型的问题类似，频域算法因为要把所有像素点统一转换到频域进行处理，所以无法应用随空间变化的退化模型，没有考虑光学系统的点扩散函数PSF、运动模糊和观测噪声的影响。对观察噪声的处理能力也非常有限。(3)先验知识的应用：超分辨率图像重构是病态求逆的过程，因此恢复过程中5利用各种先验知识进行图像调整是很重要的。通常最有用的先验知识都是在空间域对图像的重构范围进行限制的，它们很难被用于频域，除非其效果是移不变的

27、。(4)图像频带受限：图像频带有限与全局位移都是进行频域重构的基本假设。算法中L值的设置会限制重构图像的质量，如果设置得高，就会导致线性方程组中的未知量过多，数据点不足的问题。2.3 空间域方法空间域方法是图像超分辨率重建应用中另一类主要的方法，是目前研究的热点，它的性能要远远高于频域的方法。它将复杂的运动模型与相应的插值、迭代及滤波重采样放在一起进行处理，作为影像重建的全部内容，其线性空间域观测模型涉及到全局和局部运动、光学模糊、帧内运动模糊、空间可变点扩散函数、非理想采样及其他一些内容。空间域影像超分辨率重建方法主要包括非均匀间隔样本内插(Interpolation of Non-Unif

28、ormly Spaced Samples)、后向投影迭代(IBP)，概率论方法(Probabilitic Methods)以及集合论方法(Set Theoretic Methods)、混合MAP/POCS方法以及自适应滤波方法等。2.3.1 非均匀空间样本差值算法 观测影像序列经过配准后，形成一幅由非均匀间隔采样格网点上的样本值形成的复合影像，这些非均匀间隔样本点经过内插和重采样可形成超分辨率的采样格网。非均匀间隔样本内插方法是超分辨率图像复原最直观的方法。在这一方法中，首先对图像进行相对运动估算，即配准，然后进行非均匀插值以便产生一幅分辨率较高的图像，最后对图像进行去模糊。通用插值方法将包含

29、原始函数的空间分解为适当的子空间，在每一个子空间内进行以插值为目的的尺度变换，然后将插值空间逆变换到原始空间。这样原始空间也就包含了插值函数，相当于在原始空间内插值。挑选这些子空间的原则是：尺度变换的操作能够保持原始函数的特性。使用估算的相对运动信息，可以获得非均匀间隔样点上的HR图像。一旦通过非均匀插值获得一幅HR图像，就能处理复原问题以消除模糊与噪声。可以使用任何考虑噪声存在的去卷积方法来进行复原。Aizawa,Komatsu和Saito提出了另一种基于内插的方法，对通过立体相机获取超分辨率影像的方法进行了讨论Masayuki用内插滤波方法对遥感影像进行了模拟试验，证明了超分辨率的可行性，

30、但效果并不很理想。近年来，有的学者对基于小波的图像超分辨率技术进行了初步的研究和试验，Nguyen和Milanfar提出了基于小波插值方法的超分辨率复原。其基本思想是将多帧低分辨率数据变换到不同尺度的小波空间，然后在不同尺度的小波空间进行图像复原，得到HR图像，取得了比较满意的试验结果。总的来说，非均匀插值方法的优势是它具有相对较低的计算负荷，并能进行实时应用。但是，6内插方法过于简单化，因为观察数据是从严格的欠采样得到的，在复原这一步(典型的假设是脉冲采样)不能得到比低分辨率图像中更多的频率成分。并且退化模型是受限制的，它们只适用于模糊和噪声特性对全部低分辨率图像都一样的情况，也能利用任何先

31、验信息。另外，由于复原步骤忽视了插值阶段中产生的误差，所以不能保证整个复原算法的最优性。2.3.2 迭代反投影法 Irani等提出了一种迭代反投影算法。这种算法首先用输出图像的一个初始估计作为当前结果，并把这个当前结果投影到低分辨率观测图像上以获得低分辨率模拟图像，低分辨率模拟图像与实际观测图像的差值称为模拟误差，根据模拟误差不断更新当前估计。Tom等通过改进运动补偿方法，进一步提高了迭代反投影算法的性能，并将迭代反投影算法推广应用到彩色视频序列的超分辨率图像重建上。迭代反投影算法的优点是直观、简单；缺点是问题具有病态性，解不惟一，而且难以利用先验信息。2.3.3凸集投影算法凸集投影算法是一种

32、集合理论重建方法。超分辨率图像的可行域是一组凸约束集合的交集，而这组凸约束集合代表了期望的超分辨率图像的一些特性，如数据可靠、能量有限、正定、支撑域有界、平滑等。POCS算法是一种迭代过程，在给定超分辨率图像可行域中任意一个点的前提下，可以找到一个满足所有凸约束条件的点（即收敛解）。Stark和Oskoui首先将POCS应用于超分辨率图像重建。Tekalp等进行了改进，考虑了传感器噪声。Patti等又提出了考虑多种降质因素的图像获取模型，包括照相机运动、非零孔径时间、传感器单元的非零物理尺寸、由光学成像元件引起的模糊、传感器噪声、任意空间时间采样等。2.3.4最大后验概率估计和最大似然估计算法

33、最大后验概率估计和最大似然估计算法是一种统计重建方法，它是把超分辨率重建问题看成一个统计估计问题。最大后验概率估计的含义就是在已知低分辨率视频序列的条件下，使出现高分辨率图像的后验概率达到最大。根据贝叶斯理论，高分辨率图像的后验概率等于以下两项之积：1）已知理想高分辨率图像的条件下，低分辨率视频序列的条件概率；2）理想高分辨率图像的先验概率。条件概率项通常采用高斯模型，先验概率项在不同的算法中采用不同的模型。通常采用的先验模型应该具有三个特点：1）是一个局部平滑函数；2）具有边缘保持能力；3）是一个凸函数。大多数最大后验概率估计算法的差别就是在先验模型的选择上。一种常用的先验模型是Huber-

34、Markov模型。将对数似然函数化简，得到一个约束最优化问题。MAP估计算法就是将目标函数最小化。若目标函数是凸函数，则保证了它在最优化过程中的收敛性。7Schultz等提出了MAP超分辨率图像重建算法，它是单帧图像插值算法的推广。这种方法采用Huber-Markov模型作为图像的先验信息，这些先验约束是解决超分辨率重建问题的病态性所必须的。Hardie等提出了一种与超分辨率图像和配准参数同时有关的MAP目标函数，这种方法可以同时进行运动估计和图像重建。为了解决MAP超分辨率重建方法的病态性问题，可以把Tikhonov-Arsenin正则化引入到超分辨率重建方法中Tikhonov-Arseni

35、n正则化函数可以认为是贝叶斯框架中Markov随机场先验的特例。2.3.5混合MAP/POCS方法混合MAP/POCS方法就是在最大后验概率方法的迭代优化过程中加人一些先验约束。在对超分辨率重建进行深人研究的基础上，有的学者提出将统计理论与集合论有机统一在一起，能同时考虑观察图像的随机统计特征和凸集特征，这就是所谓的混合MAP/POCS方法，对于最大后验概率估计算法，其优点是可以在解中直接加入先验约束、能确保解的存在和惟一，其降噪能力较强且收敛稳定性高；其缺点是收敛慢、运算量大。另外，最大后验概率估计算法的边缘保持能力不强，由这类方法超分辨率复原的图像的细节信息容易被平滑掉，对于凸集投影算法，

36、其优点是可以方便地加入先验信息，可以较好的保持高分辨率图像上的边缘和细节特征；缺点是解不唯一且依赖于初始估计，并且运算量大、收敛稳定性不高等。另外，POCS算法中的图像修正过程是基于数据一致性的，因而超分辨率估计图像的边缘振荡效应是它的一个明显不足之处。比较MAP估计、POCS两种算法的优缺点，可以发现两种算法有许多互补性，如：MAP估计的迭代收敛稳定性比POCS算法好，但POCS算法的收敛速度却比MAP估计快；MAP估计的降噪能力比POCS强，但POCS的边缘保持能力却比MAP估计来的好；MAP估计可以平滑性参数控制，但POCS对先验知识可以强制约束等。同时两种算法也用共同的优良特性，比如两

37、种算法都容易加入先验约束等。鉴于两种算法有这样的特点，很多学者提出了将基于概率理论的方法与基于集合理论的方法统一起来形成混合MAP/POCS算法，以期待新算法能将数学的严格性、解的唯一性与先验约束的方便性有机地结合。已有的理论证实，只有采用梯度下降最优化方法才能保证这种混合MAP/POCS方法收敛到全局最优解。2.4常见的图像重构算法的比较超分辨率图像重构包括频域和空间域两类主要算法，频域算法首先被提出，但是目前的研究则基本都是对空间域算法进行的，通过前面的介绍我们己经可以看到空间域算法具有更好的适应性和重构效果，下面对这两类算法做一个详细比较，可以更清楚地看到它们各自优劣所在。8表2-1：频

38、域算法与空间域算法的比较频域算法空间域算法运动模型全局性限制基本上没有限制噪声模型受限制较灵活退化模型受限制可为移变或移不变超分辨率图像重构机制去混迭、去模糊去混迭和利用先验知识进行频带展宽计算的复杂性低高先验知识约束难利用能够有效的利用可拓展性差好复原图像的质量一定条件下较好很好 从表中可以看到，频域算法中采用的各系统模型都是相对简单的，而空间域算法则尽量采用通用的，能够包含各种实际可能遇到情况的模型，因此频域算法只能在特定的情况下使用，空间域算法则适用于几乎是所有的场合。当然这是因为二者的出发点不一样，频域算法本身就是为了对一种特定的图像序列(卫星拍摄图像)进行处理而产生的，它的处理思想也

39、是基于这样的特殊情况，所以难以改进扩展;频域算法的提出引出了超分辨率图像重构的课题，而空间域算法是为了解决超分辨率图像重构问题而产生的，在设计算法的时候自然要先考虑算法的适应范围的问题。频域算法的理论很简单，只涉及到一些傅立叶变换的知识，进行图像重构时的计算量也不大，空间域算法考虑了各种运动、降质、噪声情况以及图像的先验知识，因此算法相对复杂，而且多数空间域算法要采用重复修正逼近的方法求解，计算量也非常大。从图像重构的效果来看，空间域算法比频域算法好，主要是因为它对先验知识有较好的包容性，先验知识对图像的限制通常是非线性的，而从图像复原的相关知识中我们可以了解到图像频谱的扩展是要通过非线性过程

40、的作用来实现。空间域算法中最有前途的是MAP算法与POCS算法，它们都具有高度的灵活性和良好的可扩展性，重构图像的效果也比较令人满意，贝叶斯算法与POCS算法相比有更严谨的理论框架，其最大的优点是重构结果是唯一的，POCS算法的优点则是算法比较直观，对先验知识的利用更加简单灵活。下面把这两种算法的一些特性作一比较。9表2-2：MAP算法与POCS算法的比较MAP算法POCS算法使用的理论大量有限先验知识使用先验概率密度，容易应用，没有大的限制使用凸集，容易应用，有效而且简单重构结果唯一的MAP估计值不唯一，凸集的交集优化方法标准的迭代算法，收敛性好迭代投影法，收敛较慢计算量高较高103 POC

41、S算法及其改进算法的实现超分辨率图像重构是一个典型的病态求逆问题。所谓病态问题，用数学的语言来讲，就是由方程的己知条件，无法唯一地确定方程的解。求解病态问题的通用方法是采用正则化方法，即利用图像的各种有关信息来约束问题的可能解的空问范围。在超分辨率图像重构中，正则化一般是通过以下两种方式来进行：(1) 利用图像序列所能提供的额外的、有关图像的空间一时间约束信息(低分辨率图像序列通常能够提供有关约束同一场景高分辨率图像的亚像素信息)。(2) 利用各种有关图像的先验知识来约束高分辨率图像的解空间(例如有关图像的局部平滑先验知识，边界先验知识，能量有界性先验知识等)。凸集投影(Projection

42、onto convex sets,POCS)是图像重构的重要理论方法之一，该方法以其强大的先验知识包含能力，成为近年来图像复原领域中一种主要方法，并在图像超分辨率重构方面也得到了很好的应用。POCS方法之所以在图像超分辨率重构领域收到如此重视，主要在于该方法存在着以下优点：(1) 原理简单POCS方法原理直观，实现算法简单。唯一的困难在于投影操作算子的确定。(2) 灵活的空域观测模型，因为POCS方法是空间域的典型公式，非常一般的运动模型、观测值模型均能适应其中，运动即观测值模型的复杂度对POCS方法几何没有影响。(3) 强大的先验信息包含能力，POCS方法最有用的一面可能就是其很容易利用先验

43、信息。一般来说，确定包含理想解特点的限制集比较易于实现，但可能施加的其他限制条件如正定性、光滑性以及能量有界性则较难用代价函数来表示。POCS方法的缺点主要有：其一，解的不唯一性。对基于POCS的超分辨率重构来说，其解空间定义为所有凸集的交集，除非该交集是单点集，否则其解就是不唯一的；其二，对初始值的依赖性；其三，POCS方法需要可观的计算代价和较多的迭代次数。本章在介绍凸集投影概念、特点以及其重构算法的基础上，针对POCS算法的第二个缺点，本章将基于边缘保持的插值算法与其相结合提出了基于边缘保持的POCS超分辨率图像重构算法，并对其进行实现仿真，仿真结果表明该算法具有良好的重构效果。3.1

44、凸集投影算法基于凸集投影(POCS)的高分辨率图像重建算法就是给定一组低分辨率图像，假设为参考图像，利用图像和其它的图像（其中且）重建高分辨率图像的过程。通常的POCS11重建算法可以分作三个具体的步骤：构造参考帧、进行运动估计、对参考帧进行修正。3.1.1 用插值方法构造参考帧实现POCS算法的第一步就是根据观察图像序列构造参考帧，也就是预估的超分辨率图像。从理论上来说，从整个成像空间图像集合的任一点开始，在经过向所有约束集投影的过程后，都可以找到它在交集上的投影，也就是说以任意的图像作为参考帧开始重构，最后都能得出可以接受的重构结果。但实际上初始估计值对于算法是否可行的影响是比较大的。实际

45、中通常为了加快收敛速度，减少重复修正需要的次数，降低算法的计算量和消耗时间，构造的参考帧与最后的重构结果越相似越好。一般来说初始点是由一帧低分辨率图像经过插值得到的，也就是构造出来的参考帧。在后续的处理中，都是与预估计出来的参考帧作为基础的。插值是将图像的像素点恢复到更高速率的采样栅格上。通过插值，我们可以得到和超分辨率重建图像的分辨率相同的重建图像初始估计。并且，对原始LR图像插值可以提高下一个步骤中的运动估计的准确性。通常采用的插值方法有三种：a)最邻近插值，b)双线性插值，c)高阶插值。这三种插值方法相比起来，最近邻插值的计算最简单；在许多情况下，其结果也可以令人接受。但是，当图像中包含

46、像素之间灰度级有变化的细微结构时，最邻近插值所获取的图像中经常带有明显的锯齿现象，可能对重构图像的效果有不良影响。双线性插值和最近邻插值法相比可能产生会更令人满意的效果，只是它稍微复杂一些，运行时间稍长一点。但是双线性插值对图像有平滑作用，因此会使图像的细节部分产生退化，造成插值后图像的边缘模糊。相比较而言，高阶插值对图像细节的退化影响最小，但是由于采用的插值核函数更加复杂，所以其运算的复杂度比较高。3.1.2运动估计在获取图像序列的过程中，由于物体的运动以及相机位置的改变而导致图像内容发生变化。主要包括物体的平移、旋转、形状变化、相机的变焦、倾斜、镜头抖动等。运动估计实际上就是求同一对象在两

47、帧图像中的位置差，也就是这个对象的两帧图像中的“运动”。在对同一场景进行拍摄后，假设总共拍摄到N帧分辨率为、各自含有不同亚像素信息的低分辨率图像，并用来表示这些低分辨率图像，那么我们最终目的是要从这些低分辨率图像中重构出一幅分辨率为的高分辫率图像，其中是放大倍数。为了能将这N帧低分辨率图像中的不同亚像素信息甄别出来，就需要在高分辨率网格上重新将所有这N帧低分辨率图像进行对准，这就是运动估计的目的所在。在凸集投影方法中，要把低分辨率图像序列投影到参考帧上进行修正，为保证低分辨率图像中的点投影到参考帧图像中的正确的位置上就必须进行运动估11计，实际上运动估计的好坏直接影响超分辨率复原的结果。3.1.3 基于点扩散函数的修正参考帧的修正过程其实就是成像空间的初始点在各个凸集中的投影过程。绝大多数的成像系统并不是理想的光学系统，图像在经过摄像头的时候总会有一定的退化，考虑一个光点源，透过摄像头形成图像，不可能与原先一样就是一个点，而是会产生一些模糊，这个模糊是由点扩散函数(PSF)造成的。低分辨率图像序列由理想高分辨图像通过采样产生，其中某点的像素灰度值是由理想图像的一个小图像块中的点决定的。至于观察的低分辨图像中一个像素点对应于重构图像中多大范围内的点，是由低分辨率传感器单元的P