我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:双彩网 > 约束矩阵 >

一种基于SVD近似矩阵约束的图像深度学习修复方法

归档日期:07-02       文本归类:约束矩阵      文章编辑:爱尚语录

  该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江传媒学院,未经浙江传媒学院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】

  本发明公开了一种基于SVD近似矩阵约束的图像深度学习修复方法,包括:步骤1,对待修复图像进行SVD分解,得到待修复图像的初步修复图像;步骤2,构建相似图像集合;步骤3,指定待修复图像中待修复区域,针对待修复区域边界上的每个待修复图像块,在相似图像集合中寻找和待修复图像块相似的图像块,构建相似图像块集合;步骤4,利用相似图像块集合训练深度生成神经网络模型;步骤5,以待修复图像块中的已知像素作为约束,利用深度生成神经网络模型生成待修复图像块像素;步骤6,更新待修复区域,若待修复区域为空,则修复完成;否则返回步骤3。本发明提供的图像深度学习修复方法,最终得到的修复图像在视觉上更加连续。

  本发明涉及计算机图像处理技术领域,具体涉及一种基于SVD近似矩阵约束的图像深度学习修复方法。

  图像修复就是重建一幅图像中的缺失区域的过程,通常会使用缺失区域周围的像素信息。修复的目的,就是构建一幅完整的人眼“可观察”的正常图像。

  图像修复最早是由Bertalmio等人提出的,常见的一些修复方法都是基于PDE的,也就是通过解偏微分方程的的方程完成修复。Dallester等人基于变分提出了一种新的偏微分方程;Levin等人提出了一种基于梯度域的图像修复方法;Alilou等人提出了一种使用GRNN神经网络的方法,但是对于纹理丰富,缺损区域较大的图像,这些方法都有其局限性。

  近期,Xu和Sun利用稀疏表达的思想,提出了一种基于实例的修复方法,但是这种方法需要一个先验,即假设缺失区域可以用候选的图像块的线性组合来表达。

  本发明提供了一种基于SVD近似矩阵约束的图像深度学习修复方法,最终得到的修复图像在视觉上更加连续。

  步骤1,对待修复图像进行SVD分解,通过将相应奇异值置为零的操作,得到待修复图像的初步修复图像;

  步骤2,构建相似图像集合,相似图像集合中的各图像与待修复图像的初步修复图像具有相似性;

  步骤3,指定待修复图像中待修复区域,针对待修复区域边界上的每个待修复图像块,在相似图像集合中寻找和待修复图像块相似的图像块,相似图像块的集合构成相似图像块集合;

  步骤5,以待修复图像块中的已知像素作为约束,利用训练好的深度生成神经网络模型生成待修复图像块像素;

  步骤1中,对待修复图像进行奇异值分解,能够在一定程度上分离待修复区域,使最终修复得到的图像在视觉上更加连续。

  本发明利用深度生成神经网络模型学习相似图像块的分布特征,学习完成之后,利用深度生成神经网络模型生成具有相应分布特征的图像块,利用生成的图像块进行图像修复,修复得到的图像更加符合图像概率分布,视觉上更连续。

  深度生成神经网络模型生成的图像块可以与相似图像块集合中的图像块相同或不同,生成的图像块更加多样,以达到更好的修复效果。

  式中:SVD表示奇异值分解操作,U,S,V分别表示分解得到的左奇异矩阵、对角矩阵和右奇异矩阵,其中,对角矩阵的对角线元素为降序排列的奇异值;

  步骤1-2,对角矩阵S的对角元素为s11,s22,s33...snn,其中n为奇异值个数,且满足s11≥s22≥s33≥...snn≥0,进行如下迭代操作:

  步骤1-2-2,记利用SSIM方法计算I和In之间的相似性,SSIM方法的计算公式如下:

  其中,x,y表示两个待比较的图像块,μx,μy分别为x,y的均值,σx,σy分别为x,y的标准差,σxy为x,y的协方差,c1、c2为两个常数;

  步骤1-2-3,将SSIM(x,y)与阈值进行比较,如果小于等于阈值,迭代停止,初步修复图像为否则,令n=n-1,返回步骤1-2-1,继续迭代。

  作为优选,步骤2中,从互联网中抓取不少于1000万张图像构成互联网图像集合,利用SSIM方法计算互联网图像集合中各图像与所述初步修复图像的相似性,从互联网图像集合中选取适量与初步修复图像具有相似性的图像,构成所述相似图像集合,相似图像集合中各图像的分辨率相同。

  从互联网中抓取图像采用现有的爬虫软件实现,相似图像和相似图像块均来自于互联网,不局限于待修复图像中的图像块,图像块内容更加丰富,修复完成的图像更加逼近真实情况。

  作为优选,步骤3中,针对待修复区域边界上的每个像素点,将以该像素点为中心,大小为s的图像作为一个待修复图像块,针对每个待修复图像块进行如下操作:

  步骤3-1,在相似图像集合的各图像中提取大小为s的图像块,各图像中除边界区域外每个像素对应一个以该像素为中心点的图像块,利用SSIM方法计算各图像块与待修复图像块的相似性,s为常数;

  步骤3-2,将各SSIM值从小到大依次排序,选择前K个SSIM值对应的图像块,作为相似图像块集合,K为常数。

  s通常选择7×7,即宽高各为7个像素的区域。划分图像块时,采用大小为7×7的窗口,以2个像素为步长,由左至右,由上至下扫描图像。

  K表示图像块的个数,将图像宽高的像素个数相乘,然后开二次方取整,得到K的取值,K的大小通常不小于10000。

  本申请中计算图像与图像之间的相似度、以及图像块与图像块之间的相似度时,均采用SSIM方法。

  (1)利用奇异值分解,得到近似矩阵,在一定程度上能够分离待修复区域,使最终修复的图像在视觉上更加连续;

  (2)利用相似图像块集合训练深度生成神经网络,深度生成神经网络通过学习到的特征来生成待修复图像块,最终修复的图像更加符合图像的概率分布;

  (3)利用深度生成神经网络生成的待修复图像块不一定是现有的图像内容,可以生成与训练用的相似图像块不同的图像,生成的待修复图像块更加多样。

  下面结合附图,对本发明基于SVD近似矩阵约束的图像深度学习修复方法做详细描述。

本文链接:http://ksbuilders1.com/yueshujuzhen/162.html