魏凯1，张尤赛1，李垣江1，2
（1.江苏科技大学电子信息学院，江苏镇江212003；2.南京理工大学电子工程与光电技术学院，江苏南京210094）
摘要：针对红外（IR）和可见光（VL）图像融合中边缘纹理和细节特征融合不理想等问题，提出了一种基于Tetrolet变换的红外和可见光图像的融合方法。将Tetrolet变换后的红外和可见光图像的低通子带采用基于加权平均的融合方法得到低通融合系数，而对高通子带提出了一种基于自适应邻域方差加权（AWNV）的融合规则得到高通融合系数，最后通过Tetro?let逆变换得到融合图像。采用多种图像进行融合实验，实验结果表明，经该方法得到的融合图像信息量更大，特征纹理更为丰富，能够得到比较好的融合效果。
教育期刊网 http://www.jyqkw.com
关键词 ：Tetrolet变换；图像融合；红外和可见光图像；邻域方差
中图分类号：TN911.73?34 文献标识码：A 文章编号：1004?373X（2015）13?0046?04
收稿日期：2015?01?23
基金项目：国家自然科学基金面上项目（61371114）；江苏省博士后基金项目（1302027C）
0 引言
可见光与红外传感器是最常用的两类传感器，能够得到互补的图像信息。将两种图像进行融合，有利于综合红外图像较好的目标特性和可见光图像清晰的场景信息，提高不同图像的信息利用率，从而获取信息更丰富的融合图像。
近年来，基于多尺度分解的图像融合技术有了很大的发展，各方面的理论已经比较成熟，主要有小波变换、轮廓波变换等。小波变换由于其局限性，对于细节纹理丰富的图像处理结果不是很理想；非下采样轮廓波?脉冲偶和神经网络融合方法[1]（NSCT?PCNN）可以得到比较理想的融合效果，但由于变换采用非下采样技术，并且高频中插入脉冲神经网络提取融合系数，计算复杂度较高，融合时间相对较长。沈瑜等提出基于Tetrolet变换的红外与可见光融合[2]，对高频Tetrolet系数采用伪随机傅里叶矩阵和CoSaMP 优化算法迭代出融合后的Tetrolet系数，计算也相对比较复杂。本文在Tetrolet 变换[3 ?4]的理论基础上，提出了一种基于自适应邻域方差加权（Adaptive Weighted Neighborhood Variance，AWNV）的高频融合规则，实验结果表明，该方法在降低计算复杂度、减少图像融合时间和数据冗余的同时，能够得到比较好的融合效果。
1 Tetrolet 变换
1.1 Tetrolet简介
Tetrolet 变换是一种新的自适应Haar 类型小波变换，它的基函数具有不相关性和平移不变性，其变换是简单有效的，并且非常适用于图像的稀疏表示。它是一种基于四格拼板（Tetromino）的变换[3?5]，其中的每一个数据都可看成一个正方形单元。四格拼板的5种基本形式如图1所示。
2 Tetrolet 图像融合算法
2.1 融合流程
下面以两幅配准的红外与可见光原始图像为例，描述融合算法的实现流程[6]，如图2所示。
3 实验结果与分析
图像融合希望得到的是更大的信息量，更多的特征、细节。融合规则的选择非常重要。在本文中，对于低通子带采用最常用并且非常有效的基于加权平均的图像融合方法，而对于高通子带则分别比较邻域方差取大法和自适应邻域方差加权的方法作为高通子带的融合规则。
实验结果如图3，图4 所示。图中采用了3 组不同的图像进行分析比较。由图3（d）和图4（d）局部放大图可以看到，邻域方差取大法局部存在一些方块效应，而自适应邻域方差加权的方法则明显好转，可以得到比较好的融合效果。实验结果表明，本文基于自适应邻域方差加权的高通子带融合方法是有效可行的。
本文在确定了融合方法的基础上，分别与离散小波变换融合方法（Discrete WaveletTransform，DWT）、非下采样轮廓波变换—脉冲偶和神经网络融合方法（NSCT?PCNN）进行比较，实验结果如图5所示。其中，图5（a）和图5（b）为VL和IR源图像，图5（c）~图5（e）分别为DWT、NSCT?PCNN 和本文方法融合结果，由图中DWT 融合结果可明显看出，DWT对于边缘纹理和细节特征丰富的图像融合效果不理想，实验参数比较如表1所示[12]。
由表1可以看出，本文Tetrolet融合方法在信息熵、平均梯度，特别是标准差等参数上相较DWT具有明显的优势，这是由于Tetrolet变换会分解得到12个高频分量，而非传统小波的4个，能够更好地提炼高频信息，从而更好地表征细节纹理和特征信息；NSCT?PCNN融合方法也较DWT有一定的优势；但从融合时间分析，由于NSCT?PCNN 融合方法应用非下采样操作，并且在高频中加入脉冲偶和神经网络来优化高频融合系数，所以计算复杂度较高，融合时间明显过长，而本文采用的Tetrolet变换由于本身的稀疏表示特性，能保证很好的融合时间。
4 结论
本文首先介绍了红外和可见光图像融合及Tetrolet变换的理论基础，在加深对Tetrolet变换认识的基础上，提出一种基于Tetrolet变换的红外和可见光图像的融合方法。相对于其他传统小波变换等图像融合方法，本文方法在较快地得到融合图像的同时，能够较好地保证融合效果，在信息熵、标准差、平均梯度等参数上都有比较明显的优势。但是，由于国内外关于Tetrolet变换的理论以及基于Tetrolet变换的图像融合资料比较少，所以在融合算法的研究上尚处于起步阶段。另外，从融合图像的效果来看，Tetrolet变换自身存在的方块效应还没有得到完全地抑制和解决，阈值和邻域大小的选择也有待进一步分析比较和研究改进，这些都是下一步的研究内容和努力方向。
教育期刊网 http://www.jyqkw.com
参考文献
[1] 赵景朝，曲仕茹.基于Curvelet变换与自适应PCNN的红外与可见光图像融合[J].西北工业大学学报，2011（6）：849?853.
[2] 沈瑜，党建武，冯鑫，等.基于Tetrolet变换的红外与可见光融合[J].光谱学与光谱分析，2013（6）：1506?1511.
[3] KROMMWEH J. Tetrolet transform：a new adaptive Harr wave?let algorithm for sparse image representation [J]. Journal of Vi?sual Communication & Image Representation，2009，21（4）：364?374.
[4] KROMMWEH J，PLONK G. Directional Haar wavelet frameson triangles [J]. Applied and Computational Harmonic Analy?sis，2009，27（2）：215?234.
[5] KROMMWEH J，MA Jianwei. Tetrolet shrinkage with anisotro?pic total variation minimization for image approximation [J]. Sig?nal Processing，2010，90（8）：529?539.
[6] 延翔，秦翰林，刘上乾，等.基于Tetrolet变换的图像融合[J].光电子·激光，2013，24（8）：1629?1633.
[7] Rafael C Gonzalez，Richard E Woods.数字图像处理[M].3版.北京：电子工业出版社，2011.
[8] 冈萨雷斯.数字图象处理[M].北京：电子工业出版社，2003.
[9] 张凌晓，刘克成，李财莲.Tetrolet变换方块效应改善算法[J].红外与激光工程，2014（5）：1679?1684.
[10] 李财莲，孙即祥，康耀红.基于Tetrolet变换的自适应阈值去噪[J].海南大学学报：自然科学版，2010（4）：348?352.
[11] 李洪均，梅雪，林锦国.基于NSCT自适应阈值的红外图像去噪算法[J].计算机工程与设计，2008，29（12）：3230?3233.
[12] 王晓文，赵宗贵，汤磊.一种新的红外与可见光图像融合评价方法[J].系统工程与电子技术，2012（5）：871?875.
[13] DO M N，VETTERLI Martin. The contourlet transform：an ef?ficient directional multiresolution image representation [J].IEEE Transactions on Image Processing， 2005， 14（12）：2091?2106.
[14] 彭洲，唐林波，赵保军，等.基于Tetrolet变换的图像稀疏逼近算法[J].系统工程与电子技术，2011（11）：2536?2539.
作者简介：魏凯（1989—），男，山东泰安人，硕士。研究方向为图像处理与计算机视觉。
张尤赛，男，山东海阳人，博士，教授。研究方向为图像处理、计算机可视化等。