基于NSCT的区域自适应图像插值算法

范清兰 1,2,3 张云峰 1,2,3 包芳勋 4 沈晓红 1,2,3 姚勋祥 1,2,3

1 (山东财经大学计算机科学与技术学院 济南 250014) 2 (山东省数字媒体技术重点实验室 济南 250014) 3 (山东省高校经济运行动态仿真重点实验室 济南 250014) 4 (山东大学数学学院 济南 250100) (fan_qinglan@163.com)

图像插值是指将低分辨率(low resolution, LR)图像通过某种算法处理获得其对应的高分辨率(high resolution, HR)图像的一类图像处理技术.图像插值一直以来都是图像处理领域中的重要研究内容之一,在医学、遥感、图像识别、网络传输、动画制作与合成等领域有着重要应用.

目前,图像插值仍然是国内外学者们研究的热点问题,并且提出了许多高效的图像插值算法.从插值思想的角度来看,插值算法大致可分为离散方法和连续方法2类.离散方法一般利用已知像素通过某种变换来直接确定插值点的像素值.在离散方法中,传统的插值方法如最近邻插值、双线性插值比较简单,容易实现,但重建后的图像会产生模糊和失真现象.为了解决这些问题,文献[1]提出了一种基于边缘指导的插值(new edge-directed interpolation, NEDI)算法,基本思想是利用LR与HR协方差系数的几何对偶性来确定插值函数中的权重系数,从而求出未知点的像素值.此算法能够有效地提高图像的整体视觉效果,尤其在图像的边缘区域,但在处理纹理细节较多的区域时,会导致纹理扭曲、变形或产生噪点.针对这一问题,Wang等人 [2] 结合双线性插值和NEDI方法提出了一种边缘自适应插值算法,在边缘区域采用NEDI方法,其他区域使用双线性插值.但这种算法得到的图像在纹理细节保持方面效果不理想.与字典学习相结合,文献[3]将非局部自回归模型(nonlocal autoregressive modeling, NARM)嵌入稀疏表示模型提出了一种图像插值算法.该算法可以有效降低样本矩阵与稀疏表示字典的相关性,从而使得稀疏表示更加有效.虽然此算法取得了较好的视觉效果,但是时间复杂度较高.

与离散的插值方法相比,连续方法则需要构造插值曲面,通过曲面确定插值点的数值,即把离散图像采样数据还原为连续的灰度曲面.早期的插值算法如双三次插值、三次样条插值等 [4-5] 因易于实现,得到广泛应用,但是获得的图像容易产生锯齿、模糊等人工痕迹.为了解决这些问题,基于小波变换的插值方法引起人们的关注,例如小波双三次插值 [6] 、小波分形插值 [7] 等,尽管这些方法可以较好地消除模糊和失真现象,但重建后的图像存在锯齿现象.自然图像具有非线性属性,有理函数又是一种典型的非线性模型,因此,有理函数的插值模型能够较好地刻画图像的非线性属性.与理想核函数 [8] 接近的有理样条插值函数 [9-13] 作为一种新的方法已被用于图像处理中.文献[14-16]以有理样条插值函数为基础,研究了图像的放大和增强,取得了明显的效果.Liu等人 [15] 构造了一种有理函数的混合加权图像插值模型,插值后的图像能够保持图像原有的纹理.总的来说,采用有理函数重构出的图像具有较好的视觉效果,不仅能有效保持图像的细节信息,且时间复杂度较低.但是,一般的有理函数模型对图像插值后,图像边缘区域容易出现锯齿现象.

基于以上分析,可以看出在图像插值研究中,既能有效保持图像纹理细节又能使图像边缘区域不失真,且保证较低的时间复杂度,仍然是图像插值技术的一个难题.

为了解决上述问题,本文构造了 C 2 连续有理样条插值函数模型,结合NEDI插值算法,提出了一种基于非下采样Contourlet变换(nonsubsampled contourlet transform, NSCT)的区域自适应插值算法.将待插图像划分为不同区域,对于不同的区域,采用不同的插值算法.区域划分的方法是利用NSCT能够捕获到图像的边缘轮廓信息及平移不变性的特性,检测出图像的边缘区域.边缘区域采用NEDI算法,非边缘区域采用有理函数插值模型.算法的流程如图1所示, 是图像经过NSCT后的高频信息子块,其中 k =1,2,3,4.本文算法将NSCT用于图像的区域划分,结合有理函数插值模型和NEDI算法各自的优势,实现充分符合区域特征的自适应插值.实验结果表明,所提算法既可以较好保持图像细节信息,又能有效避免边界出现模糊锯齿现象,达到主客观都满意的视觉效果,且时间复杂度较低.

Fig. 1 Framework of the region adaptive image interpolation algorithm
图1 区域自适应图像插值算法框架

1 C 2连续有理插值函数构造

基于我们前期的研究工作 [9-11] ,本文构造一种新的 C 2 连续有理样条插值函数模型.本节将介绍该模型的构造过程及其性质.

W :[ a , b ; c , d ]为平面区域,{( x i , y j , f i , j ), i =1,2,…, n ; j =1,2,…, m }为给定的数据集,其中, a = x 1 < x 2 <…< x n = b c = y 1 < y 2 <…< y m = d 为节点空间.记 f ( x i , y j )为 f i , j . d i , j e i , j 分别表示在点( x i , y j )偏导数 的值.令 h i = x i +1 - x i l j = y j +1 - y j ,对 xy 平面上任意点( x , y )∈[ x i , x i +1 ; y j , y j +1 ],令

记:

首先,对每一个 y = y j , j =1,2,…, m ,创建 x 方向的插值曲线为

(1)

其中:





θ (1-(1- θ ) α i , j )( f i +1, j - f i , j - h i d i , j ),

(1- θ )(1- θα i , j )( f i +1, j - f i , j - h i d i +1, j ),

其中, α i , j >0.式(1)定义的插值函数 满足:

定义:

(2)

则式(1)定义的插值函数为在[ a , b ]区间内 C 2 连续,满足:

在节点 x 1 x n ,偏导数的值计算为


(3)

对每一个点对( i , j ), i =1,2,…, n -1和 j =1,2,…, m -1,使用 x 方向的插值函数 来定义[ x i , x i +1 ; y j , y j +1 ]上的有理插值函数 P i , j ( x , y ):


i =1,2,…, n -1; j =1,2,…, m -1,

(4)

其中:



q i , j ( y )=(1- η ) 2 + η (1- η ) β i , j + η 2 ,
φ i , j ( x )+ φ i , j ( x , y ),
φ i , j +! ( x )+ ψ i , j ( x , y ),
φ i , s ( x )=(1- θ ) 3 (1+4 θ +9 θ 2 ) e i , s +
θ 3 (6-8 θ +3 θ 2 ) e i +1, s , s = j , j +1,

φ i , j ( x )),

φ i , j ( x )),

其中, β i , j >0.式(4)定义的插值函数 P i , j ( x , y )称作双变量分段有理插值函数,满足:

P i , j ( x r , y s )= f ( x r , y s ),


r = i , i +1; s = j , j +1.

式(4)定义的有理插值函数 P i , j ( x , y )可以表示为


b r , s ( θ , η ) h i d r , s + c r , s ( θ , η ) l j e r , s ),

(5)

其中:












其中, a r , s ( θ , η ), b r , s ( θ , η ), c r , s ( θ , η ), r = i , i +1; s = j , j +1被称作插值函数的基函数.

定理1给出了插值函数 P i , j ( x , y )满足 C 2 连续的充分条件.其详细证明见附录A.

定理1 . 如果变量 x 为等距节点,即 h i =( b - a )/ n ,则对于插值函数 P i , j ( x , y ), i =1,2,…, n -1; j =1,2,…, m -1.在整个插值区域[ x 1 , x n ; y 1 , y n ]为 C 2 连续的充分条件是:参数 β i , j = β i , j +1 .

本文提出的有理插值函数是对理想插值函数(被插函数)的近似表达,定理2给出了插值函数 P i , j ( x , y )的误差估计.

定理2 . 设 f ( x , y )∈ C 2 是被插函数(理想函数), P i , j ( x , y )为由式(4)定义的有理样条插值函数,则不论 α i , j β i , j 取得何正值,有:


其中:

我们构造的有理插值函数可以很好地逼近被插函数,下面通过具体实例说明逼近效果.

例1 . 被插函数 f ( x , y )=cos( x 2 + y ),( x , y )∈[0, 0.8;0,0.8],令 h i = l j =0.2, x i =0.2( i -1), y j =0.2( j -1), i , j =1,2,3,4,5, α i , j =0.3+0.2 i +0.1 j , β i , j =0.6+0.1 j .表1列出了插值数据.在点( x i , y j )( i , j =1,2,3,4,5)处的局部偏导数 d i , j 由式(2)(3)得出,并且有:

其中, j =2,3,…, m -1.

Table 1 Set of the Interpolating Data f i , j
表1 插值数据 f i , j

yjxi00.20.40.60.8010.99920.98720.93590.80210.20.98010.97130.93590.84730.66750.40.92110.90480.84730.72480.50620.60.82530.80210.72480.57350.32480.80.69670.66750.57350.39930.1304

图2给出了误差曲面 f ( x , y )- P ( x , y ),从图2中可以看出,误差范围为[-8×10 -3 ,6×10 -3 ].

Fig. 2 Graph of surface cos(x 2 +y)-P(x,y)
图2 误差曲面cos(x 2 +y)-P(x,y)

例2 . 被插函数 f ( x , y )=ln(1+ x 2 + y 2 ),( x , y )∈[0,0.4;0,0.4].图3给出了误差曲面 f ( x , y )- P ( x , y ),从图3中可以看出,误差范围为[-2×10 -3 ,3×10 -3 ].

Fig. 3 Graph of surface ln(1+x 2 +y 2 )-P(x,y)
图3 误差曲面ln(1+x 2 +y 2 )-P(x,y)

例3 . 被插函数 f ( x , y )=1/(1+ x 2 + y 2 ),( x , y )∈[0,0.4;0,0.4].图4给出了误差曲面 f ( x , y )- P ( x , y ),从图4中可以看出,误差范围为[-6×10 -3 ,6×10 -3 ].

Fig. 4 Graph of surface 1/(1+x 2 +y 2 )-P(x,y)
图4 误差曲面1/(1+x 2 +y 2 )-P(x,y)

算例说明本文提出的有理插值函数模型应用于图像插值,其误差分析可以保证插值图像能够很好地逼近原始图像.

一般的有理函数模型图像插值,在纹理区域和平滑区域保真度高,但是边缘区域存在锯齿现象.究其原因,有理函数模型的光滑性对图像的插值效果有重要影响.为此,我们构造了 C 2 连续有理函数插值模型.该模型继承了一般有理函数在纹理区域保真度高的优点,在一定程度上又减少了插值图像边缘锯齿的出现.

2 本文算法

自然图像具有非线性属性,与多项式函数相比,有理函数作为一种典型的非线性模型,更适应于图像插值.因此,我们提出了 C 2 连续有理函数插值模型,此模型对插值后的图像细节保持方面有明显的优势,但在处理图像中的边缘区域时,效果仍不够理想.而NEDI算法在处理图像的边缘区域时,具有很好的视觉效果.基于此,利用NSCT捕获到图像的边缘轮廓信息,将图像划分为边缘区域和非边缘区域,提出一种符合区域特征的自适应插值算法.1)图像经过NSCT,获得高频子带信息,以此作为划分边缘区域与非边缘区域的依据;2)根据高频子带信息,计算出区域划分阈值;3)基于图像局部特征,不同区域采用不同插值模型.

2 . 1 基于NSCT的区域划分

对于图像插值问题来说,区域划分是插值算法的关键步骤之一,区域划分是否精确将直接影响图像的插值质量.基于此,我们利用NSCT能够捕获到图像的边缘轮廓信息及平移不变性的特性,将图像划分为边缘区域和非边缘区域.阈值选取是区域划分的关键,阈值选取的精确与否会直接影响区域的划分,从而影响到图像的插值效果.

2.1.1 非下采样Contourlet变换

Contourlet变换(contourlet transform, CT)是Do等人 [17] 在2002年提出的一种有效表示图像的方法,此方法可以很好地刻画图像的几何结构.CT具有方向性、各向异性的特性,其主要原因是该变换采用的是类似于轮廓段的基结构来逼近图像,基的支撑区间是“长条形”结构, 其长宽比是随尺度变化的.由于CT的基函数分布在多尺度多方向上,因此只需要少量Contourlet系数就能够有效地获取图像的边缘轮廓信息.换言之,CT对于图像边缘具有稀疏性表示.与之相比,二维小波变换基的支撑区间是正方形,因而缺乏方向性,且不具有各向异性.再者,正方形结构在描述图像边缘时,采用不同大小的正方形对应小波变换的多分辨率,在图像分辨率较高的情况下,小波变换就变成用点来捕获图像的边缘轮廓信息,难以做到对图像边缘的稀疏性表示.图5给出了Wavelet和Contourlet逼近图像边缘轮廓的示意图.但是,CT存在下采样过程,这使得图像经过CT分解后不具有平移不变性,容易出现吉布斯现象.

Fig. 5 Wavelet versus Contourlet
图5 Wavelet和Contourlet逼近图像边缘轮廓示意

为此,Do等人 [18] 又提出了非下采样Contourlet变换,NSCT采用了非下采样塔式滤波器(nonsubsampled pyramid, NSP)和非下采样方向滤波器组(nonsubsampled directional filter banks, NSDFB).NSCT的结构示意图如图6所示,图像通过一次NSP处理获得一个低频子带和一个高频子带,再用NSDFB将高频子带分解成多个方向子带.同理,此分解过程可在低频部分反复进行下去.图像经过N级NSCT分解后,得到一个低频子带图像和 个高频子带图像,共有 个与原图像大小相同的子带图像,其中 l 为尺度 j 下的方向分解级数.由于NSCT具有平移不变性,能更好的拟制吉布斯现象,因此被广泛应用于图像去噪、图像增强等各个领域 [19-21] .

Fig. 6 Nonsubsampled contourlet transform
图6 非下采样Contourlet变换示意图

图像经过NSCT后,能够检测到图像的边界信息,因此本文将NSCT作为图像划分区域的依据,具体方法是:图像经过NSCT获得各个方向的高频信息,其系数反映的是图像的边界轮廓等细节信息,图像的边界越清晰,对应系数的绝对值越大,且NSCT具有平移不变性,因此,可通过选取合理的阈值将图像自适应的划分为边缘区域和非边缘区域.

2.1.2 自适应阈值选取

利用NSCT高频系数与图像边界信息对应关系,我们引入一种新的阈值选取方法,从而自适应地将图像划分为边缘区域和非边缘区域.

对于一般的自然图像来说,大部分区域是非边缘区域(纹理区域和平滑区域),边缘区域只占小部分.从统计学的角度分析发现,高频子带系数近似服从正态分布.正态分布概率密度函数为

其中, μ 是均值, σ 是方差,曲线分布如图7所示.以Lena,Barbara,Rail图像一个方向的高频信息为例,

直方图分布情况如图8所示,从图8中可以看出,系数近似服从正态分布.我们采用K-S检验 [22] 来检验高频子带系数服从正态分布的置信度,经检验得置信度高于95%,因此,可将高频子带系数视为服从正态分布.

Fig. 7 Normal distribution curve
图7 正态分布曲线图

Fig. 8 Test image and high frequency sub-band coefficient histogram
图8 测试图像及其高频子带系数直方图

由NSCT的性质可知,图像的边界越清晰对应的系数绝对值越大.基于以上分析,我们的目标是选取合理的阈值将图8中红框标注的系数检测出来.根据正态分布曲线特征,选取拐点 μ + σ 作为阈值.基于此,图像经过NSCT后获得多个方向的高频信息(本文选取4个方向),如果系数的绝对值大于相应方向的阈值则对应图像的边缘区域.

我们提出的阈值计算方法,可有效地检测到图像的边缘信息,如图9所示.从而将图像划分为边缘区域和非边缘区域,实现对图像分区域插值.

Fig. 9 Results of edge detection
图9 图像边缘检测效果图

2 . 2 分区域插值

与传统的利用NSCT将图像变换到频域进行处理方式不同,我们利用NSCT检测图像的边界信息,对图像在空域进行插值.通过以上步骤,整幅图像被分成边缘区域与非边缘区域.在边缘区域,采用NEDI算法;在非边缘区域,则采用有理函数插值模型.NEDI算法在保持边缘清晰度方面有明显优势, C 2 连续有理函数插值模型能够很好地保持图像纹理细节.

Fig. 10 Sketch map of C2 continuous rationalinterpolation model
图10 C 2 连续有理插值示意图

2.2.1 C 2连续有理函数插值模型

对于非边缘区域,插值模型为 C 2连续有理函数,构造过程见第1节.如图10所示,4个黑点所围成的区域定义为待插区域,星点是待插像素点,其余各点为插值点,一共12个点,该有理函数插值模型的基本思想是利用已知的12个像素点求出图10中黑点所在面片的函数表达式,从而求出待插像素点的值.

插值效果如图11(b)所示:

Fig. 11 The result of C2 continuous rational interpolation
图11 C2连续有理函数插值效果图

2.2.2 NEDI模型

对于边缘区域,插值模型为NEDI,NEDI算法的基本思想是根据几何对偶性,用LR协方差估计HR协方差,调整插值系数对任意方向的边缘进行插值.如图12所示,圆点为插值点,黑点为待插点,待插点的像素值是由周围4个已知的像素点加权平均求得,其插值函数为

其中, 是待插点; Y 2( i + k ),2( j + l ) 是插值点; a 2 k + l 是权重系数.

权重系数是由最小二乘法理论推导得出,即:

a = R -1 r .

其中, R =( R kl ),0≤ k , l ≤3和 r =( r k )(0≤ k ≤3)是HR局部协方差,根据几何对偶性,可由LR协方差求出,从而求出权重系数.

Fig. 12 Sketch map of NEDI
图12 NEDI示意图

插值效果如图13(b)所示.

Fig. 13 The result of NEDI
图13 NEDI插值效果图

本文算法充分利用了有理函数插值模型和NEDI算法的优势,取得了较好的实验结果.

3 实验结果及分析

把高分辨率图像经过下采样得到对应的低分辨率图像,下采样方法为隔行隔列下采样.图像质量评价时,将下采样后的图像插值恢复成原图像大小,然后将其与原图像比较.我们选取了8张图像作为测试图像,如图14所示.比较的算法均是被诸多文献引用且比较过的算法:NEDI [1] ,DFDF [23] ,RSAI [24] ,NARM [3] ,Lee’s [25] .其中,NARM是目前插值效果比较好的算法.除此之外,也同在频域插值效果作了对比,其频域插值(frequency domain interpolation, FDI)方法是图像经过NSCT后得到一个低频信息和4个方向的高频信息.对低频信息采用有理函数插值模型插值;对高频信息,用相同的阈值计算方法,自适应的选取NEDI和有理函数插值模型2种方法插值.最后,通过逆变换获得目标图像.

本文主要从客观数据、视觉效果以及时间复杂度3个方面来评价本文算法的插值效果.

Fig. 14 Benchmark images
图14 标准测试图像

表2给出了不同插值算法的客观评价数据,每一行数据从上到下分别是峰值信噪比(peak signal to noise ratio, PSNR)和结构相似性(structural similarity index, SSIM).PSNR是对图像平均的质量评价, SSIM是一种基于视觉感知的质量评价方法,也广泛应用在图像质量评价中.从表2可以看出,相对于比较算法,本文提出的算法拥有最高平均PSNR和SSIM值,具有较大的优势.

Table 2 PSNR and SSIM Results of the Reconstructed HR Images
表2 不同插值算法PSNR和SSIM值对比

ImagePSNR&SSIMNEDIDFDFRSAINARMLee sFDIProposedBaboonRailBarbaraGirlWallLakeSkyAirplaneAveragePSNR22.55522.81423.17622.63222.32923.96024.227SSIM0.8700.8610.8740.8620.8560.8490.873PSNR22.78523.24622.91323.08122.66023.07225.060SSIM0.7940.7970.7990.8010.7850.7650.795PSNR22.35624.64023.37423.52823.02724.47423.325SSIM0.8510.8760.8610.8670.8500.8690.876PSNR30.19430.00430.39130.55330.49229.88730.668SSIM0.9660.9580.9650.9680.9660.0.9580.969PSNR23.94124.91225.17324.62624.64224.35524.899SSIM0.8810.8870.8900.8960.8790.8630.893PSNR27.56329.44829.85129.84129.85328.77029.841SSIM0.9520.9520.9540.9570.9470.9480.951PSNR28.87330.01429.60229.01729.50425.52930.090SSIM0.9150.9140.9080.9130.9080.9030.915PSNR26.95228.20328.48228.28827.98126.84828.484SSIM0.9050.9170.9180.9230.9210.8890.924PSNR25.65226.66526.62026.46626.25426.35927.199SSIM0.8920.8950.8960.8980.8890.8800.900

Note: Bold type is used for maximum values.

Fig.15 is cropped by black rectangle in Fig.14.

Fig. 15 Texture-regional results of Girl
图15 不同算法纹理区域Girl对比图

图15到图18来自于图14中矩形框标注的部分,比较了Girl,Barbara,Rail图像局部细节插值重建效果.图16显示了图像边缘区域插值效果,其余各图显示了图像纹理细节区域的插值效果.从图16中可以看出,RSAI算法和FDI算法在图像的边缘区域出现了严重的锯齿现象,DFDF算法也出现了锯齿现象,其余各算法在边缘区域的插值效果相当, 都有效地抑制了锯齿现象, 有较好的主观视觉效果.对于图15,从对头发、毛衣等细节纹理区域的刻画效果来看,本文算法插值效果优于其他各算法.图17是Barbara图像局部重建效果比较,从图17中可以看到,NEDI算法产生了严重的噪声点,DFDF算法已经使图像的细节信息丢失,RSAI算法使图像上的纹理发生扭曲变形,Lee’s算法出现了斑点噪声,FDI算法出现了边界模糊现象,本文算法与NARM算法视觉效果难分伯仲,但本文算法客观质量评价数值要好.图18是Rail图像局部重建效果比较,从图18中可以看到,NEDI 算法得到的图像出现了斑点噪声以及边缘失真, DFDF 算法和FDI算法出现了边界模糊现象,RSAI 算法和Lee’s算法产生了一些不连续的条纹, NARM算法与本文算法的插值效果最好.综上所述,标准测试图像的实验表明,本文算法与其他算法相比优势明显,尤其是在包含纹理区域的高频部分.

Fig.16 is cropped by black rectangle in Fig.14.

Fig. 16 Edge-regional results of Girl
图16 不同算法边缘区域Girl对比图

Fig.17 is cropped by black rectangle in Fig.14.

Fig. 17 Regional results of Barbara
图17 不同算法局部Barbara对比图

Fig.18 is cropped by black rectangle in Fig.14.

Fig. 18 Regional results of Rail
图18 不同算法局部Rail对比图

在实际的应用中,不仅要求获得好的图像质量,同时,图像的处理速度也是非常重要的,NARM算法与本文算法得到的插值效果相当,但时间复杂度远大于本文算法,如表3所示,这在实际应用中是非常不便的.NEDI和DFDF算法的时间复杂度与本文算法相当,但其插值效果整体上不如本文算法.本文算法不仅可以获得主客观都满意的插值效果,且时间复杂度较低(其实验环境为 Matlab2010 b、处理器为i3处理器、内存为4 GB).

Table 3 Running Time Comparison of Different Interpolation Algorithms

表3 不同插值算法运行时间对比 s

ImageNEDIDFDFRSAINARMLee sFDIProposedBaboon2722213163010511130Rail665026522277Barbara252521514569810529Girl3635322222714215840Wall3836327265815116142Lake252321214739510328Sky3734322237614615440Airplane664926520267Average252321415449710528

基于以上分析,NEDI算法和Lee’s算法是基于边缘指导的插值算法,此类方法可以保持图像清晰的边缘结构,而在处理纹理细节较多的区域时,会导致纹理扭曲、变形或产生噪点.DFDF算法可以获得较高的客观评价数据,但是视觉效果不理想,尤其在图像的非边缘区域容易出现细节信息丢失现象.RSAI算法在一定程度上保持了图像的细节信息,而在图像的边缘区域容易产生锯齿现象.FDI算法不会使图像的纹理细节扭曲变形,但出现了边界模糊现象.NARM算法将学习方法应用到图像插值,取得了较好的效果,但是该方法的时间复杂度高.相对于上述算法,在视觉效果上,本文算法保持了图像原有的结构信息,在客观数据方面,PSNR平均提高了0.5~1.5 dB,且时间复杂度较低.本文的阈值选取方法是基于统计规律的,因此阈值选取的精确性,还有进一步提升空间.

4

本文构造了一类新的 C 2连续有理函数插值模型,此模型可以有效保持图像的细节信息,并且在一定程度上消除边界锯齿现象.为了既能保持图像的细节信息,又具有清晰的边缘结构,我们提出一种基于NSCT的区域自适应插值算法.该算法并非利用NSCT将图像变换到频域进行处理的传统模式,而是利用NSCT检测图像的边界信息,通过其高频信息的统计特性设定阈值,将图像划分为边缘区域和非边缘区域,对不同的区域基于区域特征采用相应的插值模型进行图像插值,进而获得目标图像.实验结果证明,本文算法不仅具有较好的主观、客观效果,且时间复杂度较低.

参考文献

[1] Li Xin, Orchard M T. New edge-directed interpolation[J]. IEEE Trans on image Processing, 2001, 10(10): 1521-1527

[2] Wang Xiaofeng, Ling Hefei. An edge-adaptive interpolation algorithm for super resolution reconstruction[C] //Proc of MINES-2010. Los Alamitos: IEEE Computer Society, 2010: 81-84

[3] Dong Weisheng, Zhang Lei, Lukac R, et al. Sparse representation based image interpolation with nonlocal autoregressive modeling[J]. IEEE Trans on Image Processing, 2013, 22(4): 1382-1394

[4] Hou H, Andrew H. Cubic splines for image interpolation and digital filtering[J]. IEEE Trans on Acoustics, Speech and Signal and Processing, 1978, 26(6): 508-517

[5] Meijering E, Unser M. A note on cubic convolution interpolation[J]. IEEE Trans on Image Processing, 2003, 12(4): 477-479

[6] Qu Youshan, Tian Weijian, Li Yingcai, et al. Improvement of the space resolution of the optical remote sensing image by the wavelet Bi-cubic interpolation[J]. Acta Photonica Sinica, 2004, 33(5): 601-604 (in Chinese)

(屈有山, 田维坚, 李英才, 等. 基于小波双三次插值提高光学遥感图像空间分辨的研究[J]. 光子学报, 2004, 33(5): 601- 604)

[7] Zhang Chan, Tu Guofang, Liu Xiaozhou. Remote image processing using wavelet fractal interpolation[J]. Journal of Computer Research and Development, 2005, 42(2): 247-251 (in Chinese)

(张灿, 涂国防, 刘笑宙. 小波分形插值应用于遥感图像处理[J]. 计算机研究与发展, 2005, 42(2): 247-251)

[8] Comes J, Velho L. Image Processing for Computer Graphics[M]. Berlin: Springer, 1997

[9] Zhang Yunfeng, Bao Fangxun, Zhang Caiming, et al. A weighted bivariate blending rational interpolation function and visualization control[J]. Journal of Computational Analysis and Applications, 2012, 14(1): 1303-1321

[10] Zhang Yunfeng, Bao Fangxun, Zhang Caiming, et al. Local shape control of a bivariate rational interpolating surface with mixing conditions[C] //Proc of the 8th Int Symp on Voronoi Diagrams in Science and Engineering. Los Alamitos: IEEE Computer Society, 2011: 200-205

[11] Sun Qinghua, Bao Fangxun, Zhang Yunfeng, et al. A bivariate rational interpolation based on scattered data on parallel lines[J]. Journal of Visual Communication and Image Representation, 2013, 24(1): 75-80

[12] Zhao Qianjin, Tan Jieqing. Block based Lagrange-Thiele-like blending rational interpolation[J]. Journal of Information & Computational Science, 2006, 3(1): 167-177

[13] Tan Jieqing, Zhao Qianjin, Successive newton-thiele’s rational Interpolation[J]. Journal of Information & Computational Science, 2005, 2(2): 295-301

[14] Zhang Yunfeng, Zhang Caiming, Liu Hui. Image noise removal based on image detail preserving[J]. ICIC Express Letters, 2010, 4(5): 1779-1784

[15] Liu Yifang, Zhang Yunfeng, Guo Qiang, et al. Image interpolation based on weighted and blended rational function [G] //LNCS 9009: Computer Vision - ACCV 2014 Workshops. Berlin: Springer, 2015: 78-88

[16] Hu Min, Tan Jieqing, Zhao Qianjin. Adaptive rational image interpolation based on local gradient features[J]. Journal of Information and Computational Science, 2007, 4(1): 59-67

[17] Do M N, Vetterli M. Contourlets: A directional multiresolution image representation[C] //Proc of Int Conf on Image Processing. Piscataway, NJ: IEEE, 2002: I-357-I-360

[18] Cunha A L, Zhou Jianping, Do M N. The nonsubsampled contourlet transform: theory, design, and application[J]. IEEE Trans on Image Processing, 2006, 15(10): 3089-3101

[19] Zhao Gang, Zhang Kai, Shao Wei, et al. A study on NSCT based super-resolution reconstruction for infrared image[C] //Proc of 2013 IEEE Int Conf of IEEE Region 10 (TENCON 2013). Piscataway, NJ: IEEE, 2013: 1-5

[20] Bai Tangbo, Zhang Laibin, Duan Lixiang, et al. NSCT-based infrared image enhancement method for rotating machinery fault diagnosis[J]. IEEE Trans on Instrumen-tation and Measurement, 2016, 65(10): 2293-2301

[21] Zhou Yong, Wang Jin. Image denoising based on the symmetric normal inverse gaussian model and non-subsampled contourlet transform[J]. IET Image Processing, 2012, 6(8): 1136-1147

[22] Millard J, Kurz L. The Kolmogorov-Smirnov tests in signal detection[J]. IEEE Trans on Information Theory, 1967, 13(2): 341-342

[23] Zhang Lei, Wu Xiaolin. An edge-guided image interpolation algorithm via directional filtering and data fusion[J]. IEEE Trans on Image Processing, 2006, 15(8): 2226-2238

[24] Hung K W, Siu W C. Robust soft-decision interpolation using weighted least square[J]. IEEE Trans on Image Processing, 2012, 21(3): 1061-1069

[25] Lee S J, Kang M C, Uhm K H, et al. An edge-guided image interpolation method using Taylor series approximation[J]. IEEE Trans on Consumer Electronics, 2016, 62(2): 159-165

Fan Qinglan , born in 1992. Master candidate. Her main research interests include image/video processing, image interpolation.

Zhang Yunfeng , born in 1977. PhD, professor, master supervisor. His main research interests include computer aided geometric design, digital image processing, computational geometry, function approxi-mation.

Bao Fangxun , born in 1968. PhD, professor, master supervisor. His main research interests include function approximation, computation geometry, computer aided geometric design and compute.

Shen Xiaohong , born in 1977. PhD, associate professor. Her main research interests include multiscale geometric analysis and image processing.

Yao Xunxiang , born in 1988. Master. His main research interests include image/video processing, fractal interpolation.

附录A . 插值函数 P i , j ( x , y )满足 C 2连续证明

通过第1节的分析可知,为了证明正文中式(4)定义的插值函数 P i , j ( x , y )的连续性,对于每一个点( i , j ),1≤ i n -1,1≤ j m -1,我们只需证明:




根据正文中式(4)可以得出:


(3-6 η +6 η 2 ) β i , j +

l j (1- η ) 2 (1-4 η +6 η 2 -6 η 3 +
η (2-10 η +14 η 2 -9 η 3 ) β i , j +

12 η 2 -6 η 3 +(3-12 η +22 η 2 -22 η 3 +9 η 4 ) β i , j +

因此,由正文中式(5)可以得到:


由此可以得出,在点 是连续的.而且,因为 C 1连续的,




β i -1, j = β i , j h i = h i -1 时, 在点( x i , y )( i =2,3,…, n -1)是连续的.通过以上分析可以得出 在整个插值区域[ x 1 , x n ; y 1 , y m ]是连续的.

由正文中式(4)可以得出:





(A1)

因为 插值函数 C 2连续的,从式(A1)很容易得出,当 β i -1, j = β i , j h i = h i -1 时, 在点( x i , y )( i =2,3,…, n -1)是连续的.同理可证 在点( x , y j )( j =2,3,…, m -1)是连续的.

证毕.

An Region Adaptive Image Interpolation Algorithm Based on the NSCT

Fan Qinglan 1,2,3 , Zhang Yunfeng 1,2,3 , Bao Fangxun 4 , Shen Xiaohong 1,2,3 , and Yao Xunxiang 1,2,3

1 ( School of Computer Science & Technology , Shandong University of Finance and Economics , Jinan 250014) 2 ( Shandong Provincial Key Laboratory of Digital Media Technology , Jinan 250014) 3 ( Economic Operation and Dynamic Simulation Key Laboratory of Shandong Colleges and Universities , Jinan 250014) 4 ( School of Mathematics , Shandong University , Jinan 250100)

Abstract Image interpolation plays a vital role in digital image processing. In order to preserve image texture detail and edge sharpness, a new method of region adaptive image interpolation based on NSCT (nonsubsampled contourlet transform) is proposed. Image is divided into different regions and interpolated by different methods respectively. Firstly, a new type of C 2 continuous rational function interpolation model is constructed, and the error estimates are given. Secondly, image edge contour information is captured by the NSCT, and the image is divided into edge region and non-edge region adaptively according to a preset threshold. Finally, as for edge region, edge-directed interpolation technique is used to get high resolution image. Similarly, rational function interpolation algorithm is used in non-edge region. The objective image with higher resolution ratio than the input image is obtained by adaptive interpolation. Compared with the classical image interpolation algorithm, the proposed method is highly competitive not only in PSNR (peak signal to noise ratio) and SSIM (structural similarity index) but also in visual effect. Experimental results show that the proposed algorithm not only has lower time complexity, but also can preserve image details, eliminate phenomenon of edge aliasing, and have a high quality of interpolation image.

Key words image interpolation; nonsubsampled contourlet transform (NSCT); adaptive; rational function interpolation; edge-directed interpolation (EDI)

摘 要 提出一种基于非下采样轮廓波变换(nonsubsampled contourlet transform, NSCT)的分区域自适应插值算法,将图像划分为不同区域,相应地采用不同的方法实现图像插值.首先,构造了一类有理函数插值模型,分析了其 C 2 连续性条件,给出了误差估计.其次,通过NSCT捕获到图像的边缘轮廓信息,利用其高频信息的统计特性设定阈值,根据阈值将图像自适应地划分为边缘区域和非边缘区域.最后,边缘区域采用新的基于边缘指导的插值(new edge-directed interpolation, NEDI)模型,非边缘区域采用 C 2 连续有理函数模型插值,进而得到目标图像.实验结果证明:提出的基于NSCT的区域自适应插值算法与当前经典插值算法相比,在处理图像纹理细节和边缘方面具有明显优势,同时获得了较好的客观评价数据,且时间复杂度较低.

关键词 图像插值;非下采样轮廓波变换;自适应;有理函数插值;边缘指导插值

中图法分类号 TP391.41

收稿日期: 2016-12-12;

修回日期: 2017-08-08

基金项目: 国家自然科学基金项目(61373080,61672018,61402261,U1609218);山东省重点研发计划项目(2016GSF120013);山东省高等学校优势学科人才团队培育计划

This work was supported by the National Natural Science Foundation of China (61373080, 61672018, 61402261, U1609218), the Shandong Provincial Key Research and Development Plan(2016GSF120013), and the Fostering Project of Dominant Discipline and Talent Team of Shandong Province Higher Education Institutions.

通信作者: 张云峰(yfzhang@sdufe.edu.cn)