基于稀疏表示的多聚焦图像融合与恢复
Bin Yang and Shutao Li,Member,IEEE
摘要：为了得到每个目标都很清晰的一幅图像，通常
需要把同一场景中不同焦距的图像进行融合。多分辨率变换，如金字塔分解和小波等方法被通常用来解决这些问题。在这篇文章中，提出了一个基于稀疏表示的多聚焦图像融合方法。这种方法首先把源图像用过完备字典稀疏表示，稀疏系数是采取最大选择的融合策略，最后，用稀疏系数和过完备字典的线性组合得到融合之后的图像。而且在改变稀疏表示的近似准则之后，提出的融合策略也可以用于图像恢复和信息融合。本文提出的方法将和空间梯度法、形态学小波变换、离散小波变换、平稳小波变换、曲波变换和非采样轮廓波变换等方法针对多聚焦图像进行实验。实验结果表明，无论在主观上和客观上，我们提出的方法都优于其他方法。
关键词: 图像融合，图像恢复，稀疏表示
一 、 介绍
有一个和本文图像融合相关的例子，由于受到景深的限制，光学照相机往往不能使同一幅图像中的所有目标都聚焦清晰，因此，如果同一个场景中的某一个目标聚焦时，不同距离的其他目标就会散焦，因此就变的模糊不清。使一幅图像中的所有目标都很清晰的的方法就是多聚焦图像融合技术。在这种技术中，基于同一场景中的不同目标分别聚焦得到几幅图像，用这些图像进行融合然后得到每个目标都很清晰的理想结果图像。
有多种的方法可以进行图像融合，基本上，这些方法可以被分为两类，一种是基于空域的方法，这种方法是直接把源图像融合成强度值，另一中方法是变换域方法，它是把把源图像按特定的频率或时频变换进行融合。 假设F(?)表示融合算子，空域上的融合方法可以总结为：
当今，图像融合成为图像处理中非常重要的一个子领域，对于一个目标或一个场景，通过一个或多个传感器我们可以获得多幅图像，包含着一些可以互补的一些信息，图像融合就是检测图像中的显著特征然后把这些详细信息融合在一幅人工合成图中的一个过程。通过图像融合，合成图像中的图像信息得到了扩展和增强。图像融合应用领域非常广泛，例如数字图像、医学图像、遥感图像以及机器视觉。
IF?F(I1,I2,??,IK). (1) 最简单的空域融合方法仅仅是对源图像中的每个像素进行平均，然而，这种方法往往会有不可预料的副作用，例如降低对比度，
如果原图像没有完全配准，那么基于单像素的方法，如空间梯度方法，往往会导致融合图像有缺陷。因此，一些融合图像的一些其他合理的方法被提出来了，这些是基于分块的或分割区域的非单像素的方法，然而基于块融合的方法往往会受到块度的影响，基于区域的融合方法，首先对源图像进行分割得到区域，然
1
后根据它们的属性(如空间频率或空间梯度)进行显然，完整有效的提取原始图像的基本信
融合，分割也往往是复杂的，也很耗时，这对息会使融合图像更加精确。与多尺度变换方法于融合质量来说也是至关重要的。
不同的是，稀疏表示方法是构建一个包含信号
近年来，人们发现了一种关于多尺度变换的原型的一个过完备字典，然后用这些字典原子非常受欢迎的方法，它们使用的多尺度变换通的线性组合来表述信号，稀疏表示两个主要属常包括各种塔形分解、离散余弦变换、复数小性是过完备性和稀疏性，过完备的意思是字典波变换、脊波变换、曲波变换等。基于变换域的的原子数据目要大于图像的像素数目或信号的方法可以被总结为：
维数，为了使信号更稳定和更有意义表示，过完备字典里包含有丰富的变换基，稀疏就是与
IF?T?1(F(T(I1),T(I2),??,T(IK))) (2) 信号对应的系数是稀疏的，也就是说，只有一
T(?)代表多尺度变换，F(?)是所用的融合算子。 部分数据可以描述与目标相关的信息，得益于
它的稀疏性和过完备性，稀疏表示理论成功的塔形分解是最早用于图像融合的多尺度变换，在这种方法中，每个源图像首先被分解为一些不同分辨率的图像序列，在塔形分解中拥有最大特征值的每一个位置的变换图像被选中，然后用这些合成图像的逆变换得到融合图像。基于小波变换的方法是用和塔形方法同样的方案，然而，多分辨率变换方法受到位移不变的限制，它是由欠降采样引起的，离散小波变换的位移不变延伸可以产生过完备信号表示，这是非常适合图像融合的，进一步，这几年，许多先进的几何多尺度变换方法得到的进一步探索，像曲波变换，脊波变换和轮廓波变换，并且得到了很好的效果，然而，因为用变换域方法得到融合图像，在变换域下的融合图像的单个系数会全局的发生一些小的变化，这些将导致空间域中的每个像素发生变化。因此，在某些情况下，基于多分辨率变换的方法将会在图像融合过程中产生意想不到的缺陷。
应用到了许多领域，包括压缩，去噪，特征提取分类等，最近研究表明，普通图像特征可以用少量的系数来表示，这些少量的系数对应图像的显著特征，我们设计一个基于稀疏表示的图像融合方案。一般而言，稀疏表示是全局的运算，他是基于灰度图像的这个内容，然而，融合图像的质量依赖于源图像局部显著特征的精确表示，因此，我们采用滑动窗口技术，通过获得局部显著特征和保持位移不变性来获得理想的效果。
在建议的方法中，第一步，把源图像分成许多小块，这样就会得到每个图像过完备字典，这样的字典维数比较小，第二步，基于标准的信号原子对图像块进行分解成相对应的系 数，稀疏系数越大，包含的显著特征就越多，第三步，根据“选择最大”的融合规则，把对应的源图像组合起来得到融合图像，最后，用最大的稀疏系数对应的图像块则和组合成融合
2
图像。在稀疏表示中，过完备字典通常是由实现定义的函数获得的，如离散余弦变换，快速傅里叶变换，小波，曲波变换和轮廓波。复杂一些的字典可以通过训练样本得到。
既然大多数的融合图像都是假设源图像是没有噪声，因此，在假设合理的情况下，这些融合算法都能得到高质量的融合图像，然而，实际上，图像在转换和获得的过程中往往会受到噪声的污染，对于基于多尺度变换的方法，通常先对源图像进行降噪处理，首先，把所有小于零的系数限制在一定的阈值之下，并保持其他的系数不变，然后，滤波之后的图像就是融合图像，我们所建议的方法的优势在于可以对源噪声图像同时进行降噪和融合。
本文的剩余部分可以分为5个部分，第二部分介绍基本的稀疏表示理论，第三部分，基于稀疏表示理论给出融合方案，并讨论怎样同时进行图像恢复和融合，在第四部分给出了数值实验，第五部分给出了建议方案的优势与不足，也对后续工作做出了建议。
D里边的系数，经常假设T?n,暗指字典是冗余的，解通常不是唯一的，针对下面的优化公式，求解拥有最小非零数的s。
mins0 subject to Ds-x?? (3)
s在这里s0表示s中的非零数目。
上述优化问题是一个难题，且只能系统地测试潜在的列的线性组合来解决，因此，可以考虑一个近似的解来代替，最简单的一个算法是匹配追踪(MP)算法，和正交匹配追踪(OMP),它们是贪婪算法通过连续的选择字典的列，这个方法涉及到信号和字典原子的内积。 匹配追踪算法的目标是学习得到x?Ds，
?? ， ??表示内积，初始化残差为
r０＝x, (4) 然后循环信号原子，在D中找到一个符合下式的原子，该原子的索引为tl*，
tl*?argmax?rl,dt? (5)
t得到一个和字典原子和数相同维数的一个稀疏向量，
s(tl*)??rl,dt*? (6)
l更新残差 ： rl?1?rl?s(tl*)dtl* (7) 直至达到
二 、信号稀疏表示的基础理论
稀疏表示是基于假设自然信号可以由字典原子的线性组合或近似表示。对于信号
??Rn，稀疏表示理论假设存在一个字典D?Rn?T，包含T个原始信号的相关原子，对
rl2?x??s(ti*)dt*i?1il2?? (8)
或者达到先验的一个数值。
因为匹配追踪算法的收敛速度很慢，在本文中我们用的是正交匹配追踪算法，正交匹配追踪算法这样更新残差的：
rl?1?x?Pspandt*,dt*,?dt*x (9)
12l??于任何一个信号x??都存在一个字典的线性组合来对其进行近似。更正式的讲，存在
P表示子空间上的正交映射，为了有效地计算映射，正交匹配追踪算法在计算原子的过程中并行地对其选择的原子进行施密特正交化处理，
3
?x??,?s?RT,使得x?Ds，向量s包含x在
理想情况下，迭代次数和s中的非零个数是一致的。其他著名的追踪算法包括基追踪(BP)算法，迭代聚焦算法(FOCUSS),在公式(3)中，BP算法用l1范数替代l0范数，然而，FOCUSS算法用lp范数代替l0范数。
三、 图像融合方法
A .用于图像融合的稀疏表示方法
既然稀疏表示方法可以全局的处理一幅图像，我们就不能直接把他用于图像融合，。因为图像融合依赖于源图像的局部信息，在我们的方法中，我们把图像分成许多小块，然后结合小字典来解决这个问题，滑动窗口技术使得系数表示方法具有唯一不变性，这对图像融合时非常重要的。
我们假设图像I被分解成许多图像小块，如图1所示，为了促进分析，大小为n?n的第j个小块被写成vj这种向量 形式来进行排序。则
vj可以表示成
假设图像的中所有小块组成矩阵V，那么矩阵V可以写成
v??sj(t)dt (10)
jTdt是给定过完备字典中的一个原子，D??d1?dl?dT?，包含有T个原子，
t?1sj?sj(1)?sj(l)?sj(T)是从(3)中得到的稀疏表示。
??T (11)
J是图像块的个数，使得S?s1,s2,?sJ则公式(11)可以写成
V=DS (12)
S是一个稀疏矩阵。
??B．建议的融合框架
假设有K个注册的源图像，大小为
M?N，
I1,?IK，则假设的融合框架是基
于稀疏表示的，如图2所示，按以下的融合步骤进行。
4
用滑动窗口方法把源图像Ik从左上角到右下角分成许多小块，块大小为n?n，和字典原子的维数是一致的，把所有的图像块向量化并进行排序，则所有的向量组成一个矩阵
?的高斯噪声的污染，对图像I中的第j个块
vj，用最大后验估计量进行求解， ?j?minsj subject tos vj?Dsj?C?sj02
(16)
C是一个常数，每个块的系数表示向量组成稀疏表示矩阵S。
对于源图像I1?IK,对应的重叠块向量矩阵为V1，V2，?，VK，它们的稀疏表示
Vk，每一列代表图像Ik中的一个小块，Vk大小为(n?n)?((M?n?1)?(M?n?1)).对于矩阵
Vk中的第j列向量vki，用OMP方法求的它的稀疏表示，当迭代满足误差表示条件时将停止迭代，则可以得到一个vkj的稀疏向量skj，对
?,S??,S?可以通过公式(16)得到，恢复后的S12K于Ik，skj的活动水平可以表示为
图像矩阵可以由
Akj?skj (13)
?，V?，?得到，恢??DS??DS??DS1V，V1122?KK融合源图像稀疏矩阵S1，?Sk,?SK对应的列
?可以由复后和融合后的向量表示VF来得到对应的活动级SF，SF的第j列可以由以下
?,V?,?V?,重构得到，设F(?)为融合算子，则 V12K公式得到
??F(S?,S?,?S?) (17) SF12K*sFj?sk*,, kj?argmax(Akj) (14)
jkj融合图像的向量表示可以由以下公式得到
融合图像VF中的向量表示可以这样计算
? (18) VF?DSF VF?DSF?重最后，从修复图像得到的融合图像可以由VF(15)
构。
最后融合图像IF由VF重构得到，把VF中的列
四、实验
vFj重整成n?n大小的矩阵然后放在融合图像IF的对应的位置，这可以看做是图1所示过程的一个反变换，因此，每个像素位置，是几个块像素值的叠加，最后这个位置的像素值要除以叠加的次数。
C．修复和融合
在实际中，用于融合的源图像往往在获得和传送的过程中受到噪声的污染，在传统的方法中，图像修复和融合时分开进行的，没有人试图把两个过程结合起来，建议方法的一个优点是把图像融合和图像修复通过稀疏并表示的优势同时进行，假设一个原图像受到标准差为
5
建议的方法将会和已有的特别的所聚焦融合算法相比较，(例如，SG方法[10]和形态学小波变换方法[8])和常规的多聚焦图像融合方法(DWT[1],[5],[6],平稳小波变换方法(SWT)[7],[24]和CVT[29],非采样轮廓变换方法(NSCT),[27],[28]). [1] 实验设置
在多分辨率图像融合中有三个关键的问题：1)活动度测量；2),系数组合；3),一致性校验。在我们的试验中我们选的是大家常用的设置。1)活动度测量：在每个系数对应的位置选
