新万博体育 > 新万博体育 >

一种新的算法StructureFlow重建新算法实现高性能图像修复

  的帮助下图像修复算法的功能越来越强大,甚至对于大幅度污损的照片也能轻松修复。但目前的很多算法在进行图像修复时却面临着结构重建问题或细节问题修复问题的困难,修复结果不尽如人意。

  为了解决这一问题,来自北大、鹏城实验室和腾讯的研究人员提出了一种新的算法StructureFlow,将图像修复的过程分为边缘保持的低频结构重建和基于结构的高分辨率纹理重建,并利用流的方法充分利用未受损像素的信息实现有效的纹理补全和图像修复。

  图像修复的主要目的在于为图像中的有效区域和污损区域生成出视觉效果完整的结构和细节,用户不仅可以利用这一技术修复图像的缺失,还可以将它用于图像编辑和物体去除等任务。图像修复最大的难点在于生成正确完整的结构和视觉效果较为真实的细节纹理。

  基于扩散的方法主要通过将领域的信息传播到缺失的位置来实现纹理合成,然而这种方法只能处理一些较小的孔洞,对于较大范围的结构缺失则无法有效处理。

  而基于图像片的方法则不仅仅只利用缺失位置附近的像素点,这种方法可以有效利用更远位置的信息来恢复缺失区域。基于图像片的方法通过搜索与污损区域结构相似的目标区域,并复制图像片来重建缺失区域,这种方法可以为较大的缺失区域生成视觉效果真实纹理。这种方法一般基于双线性相似性的方法来搜索合适的图像片。

  但基于片元的方法主要假设非污损区域包含了与污损区域语义相似的内容,但如人脸检测等任务中这种假设并不成立。这种方法在某些有重复性结构的图像中表现良好,但对于具有特殊结构的图像则无法有效处理。

  近年来随着深度学习的发展,很多方法将图像修复问题视为一个条件生成问题,将污损图像作为网络输入得到修复后的图像。基于深度学习方法的优势在于可以将图像中的有效语义信息进行抽取,并生成新的图像。

  人们提出了包括基于自编码器架构、处理全局和局部内容的判别器、构建长程相关性、选择性利用有效像素以及边缘修复等方法来进行图像修复但都存在着诸如长程相关性无法有效表示、边缘信息无法有效携带纹理等问题,使得这些方法得到的结果都有这样或那样的不足。

  为了解决先前模型存在的问题,研究人员们提出了一种新颖的两阶段网络模型俩实现高质量的图像修复。这一模型包含了两个部分,分别是结构生成器和纹理细节生成器。

  研究人员认为图像的修复过程是一个先生成有效结构再补全真实细节的过程。所以网络的第一部分用于生成有意义的结构,研究人员采用了保边平滑后的图像来表示图像场景的全局结构。

  保边平滑方法的主要目标在于移除图像中的高频纹理,同时保持锐利边缘和低频信息(这些信息是图像结构的主要组成部分)。利用保边平滑后的图像进行训练,结构重建器可以集中于恢复全局结构而无需考虑细节和纹理的干扰。

  在重建出缺失细节后,纹理生成器就可以基于重建出的结构图来合成高频的细节了。由于图像领域的相似结构具有很强的相关性,所有未被污损的区域可以用于修复缺失区域的纹理。

  虽然卷积网络对于长程相关性建模比较困难,但研究人员提出了基于图像外观流(appearance flow,AF)的方法来从相似结构区域采样,为不同区域构建清晰关系。此外研究人员还利用了高斯采样代替了双线性采样来拓展了采样操作的感受野,并引入了新的采样正确性损失函数来训练采样过程,以此得到了性能较高的图像修复模型。

  在结构重建器中,研究人员将最小化生成的低频结构图像与平滑后原图间的误差。第一阶段的监督信号主要来自于GT图的平滑结果,使用了保边平滑算法RTV来得到保持图像主要结构的图片作为标签。模型的主要结构基于自编码器架构得到,添加了一系列残差块用于特征的优化提取。Gs和Gt分别代表了第一阶段的结构生成器和第二阶段的纹理生成器,而判别器则使用了类似于BicycleGAN的架构,利用了两个不同尺度的PatchGAN来预测不同尺度生成图像的真伪。

  值得一提的是,这一模型中使用了流的概念来将未受损区域的纹理信息赋予需要修复区域。但原始的AF方法是以一种非监督的方法,网络无法处理较大的运动和较差的局域最小值。

  为了解决这一问题,研究人员提出了利用高斯采样的方法来代替原先的双线性采样方法以扩展感受野,并提出了采样正确性损失来约束可能的收敛结果。采样过程通过输入像素(特征)来计算梯度,如果感受野受限只能有少量像素参与计算。由于相邻像素具有较强的相关性,所以较大的感受野有助于获得较为正确和稳定的梯度。双线性采样的感受野较小,不适合于长程相关性的采样建模。而高斯相关性则可以在较大的感受野中进行采样。下式中的权重aij便是可调整方差的高斯核。

  而新提出的采样正确性损失则用于衡量模型的采样是否良好,并约束AF场的信息流动。在实际使用中,研究人员主要使用了VGG19层的特征来计基准特征和采样特征之间的余弦距离,以判断这一采样是否合适。

  研究人员还将这一算法用于图像编辑任务中去,将图中不希望出现的物体涂上掩膜,就可以修复出完整高质量的清晰图像。同时也可以在结构图上进行编辑为生成的图像增加新的物体或内容。

  文章出处:【微信号:thejiangmen,微信公众号:将门创投】欢迎添加关注!文章转载请注明出处。

  本书将理论和应用相结合,深入浅出地介绍了卡尔曼滤波的基本原理和相关的重要主题。从推导、理解卡尔曼滤波....

  新一代人工智能是引领未来的战略性技术之一。作为战略性技术,新一代人工智能推动高质量发展,离不开技术驱....

  人工神经网络是集脑科学、神经心理学和信息科学等多学科的交叉研究领域,是近年来高科技领域的一个研究热点....

  面对这样的挑战,安防监控使用者如何能在大量增加的数据中,利用既有的AI人工智能技术快速获取有价值的资....

  区块链技术和人工智能的结合仍然是一个很大程度上未被发现的领域。尽管这两种技术的融合在学术上受到了相当....

  据介绍,SAIL位于德国人工智能研究中心设在西部城市凯撒斯劳滕的园区内,人工智能中心将为实验室提供硬....

  北京大学计算机科学技术系教授黄铁军也举了一个生动的例子:市场上应用深度学习技术的智能无人机已经十分灵....

  在粮食仓储管理中 ,温度监测是保证粮食品质的主要因素。提出了一种基于多传感器数据融合的粮库温度监测....

  随着终端设备大规模接入互联网,在终端设备上产生的海量数据在提供商业价值的同时,也对数据处理提出挑战。....

  12月16日至17日,由北京未来芯片技术高精尖创新中心及清华大学微电子学研究所联合主办的“北京高精尖....

  得益于机器学习算法日益强大的能力,人工智能已进入了主流商业。机器学习算法使计算机能够训练自己完成诸如....

  人工智能技术的不断发展更迭推动传媒生态更趋向于智慧化、高效化,同时也为政法网络舆情治理带来一系列的伦....

  随着人工智能基础技术逐渐成熟并达到商用条件,在政策红利与市场需求的推动下,AI企业纷纷推动人工智能走....

  “类脑计算从结构上追求设计出像生物神经网络那样的系统,从功能上追求模拟大脑的功能,从性能上追求大幅度....

  网络安全可能是当今任何组织面临的最大威胁,尽管这算不上什么挑战,但系统、数据、云技术、应用程序、设备....

  通过仿真,比较了逆QRD-RLS算法和LMS算法的性能。在此基础上,推导并总结了一种基于κλ旋转的无....

  随着消费电子、汽车电子、工业控制等越来越多的应用引入人工智能,人工智能面临着前所未有的快速发展,深度....

  目标识别、物体检测、智能分析……随着深度学习算法的进步,安防技术取得了突破性进展。深度学习被看做安防....

  相较人类智能,深度学习算法不能做到“举一反三”,存在犯大错的可能。而在现实世界中,唯有人工智能完全可....

  近年来,随着深度学习技术的突破、人工智能计算力的提升和行业数据的积累,人工智能在图像、语音、文字等方....

  有用的工作量证明所面临的挑战是,工作量证明算法需要许多属性:难以计算;易于验证;不依赖大量外部数据;....

  人工智能并没有魔力,也不是万能的,只是因为采用很多人工智能、机器学习、深度学习技术,并不一定意味着这....

  大数据催生了许多新的应用,移动设备和台式电脑都能够使用更复杂的应用程序来为世界各地的用户提供服务。

  介绍了CRC(循环冗余码校验)原理及集成混合信号片上系统单片机C8051F的新特性,推导获得以字节为....

  英特尔正在将人工智能作为其数据战略的核心,在各个领域收编并发展先进的人工智能技术,将其组合成完整的、....

  人工智能作为一种科学技术,在其发展过程中必然遵循自然科学规律,依赖其现实条件和发展机理,是可以被认知....

  医疗保健机构可以利用物联网平台来协调不同医疗单位之间的工作,或者让第三方服务提供商参与其医疗服务交付....

  基于STM32的步进电机S型加减速控制算法 STM32简介STM32代表ARM Cortex-M内核的32位微控制器。专为要求高性能、低...

  从BCH向LDPC转变的原因有若干条,但最终都归于一点:LDPC码在相同的用户数据与ECC校验码之比....

  在近日于苏州举行的第九届吴文俊人工智能科学技术奖颁奖典礼暨2019中国人工智能产业年会上,杨强获得了....

  比特币现金和比特币两者是完全分散的,中央银行不发行,也不需要第三方来操作,而是通过互联网来传输的电子....

  针对二维Logistic分数阶微分方程的求解问题,引进了一种离散化方法对其进行离散求解。首先,将二维....

  EDRS-C卫星是在德国设计、制造和测试的。该卫星的总重量不到3.2吨,计划使用寿命约为15年。位于....

  区块链简短的发展历史上,无论是比特币,还是以太坊,其成立初衷都是开放的,但是随着人性之贪婪,竞相追逐....

  本书是一本 C++ 代码优化指南。作者精选了他在近 30 年编程生涯中最频繁使用的技术和能够带来最大....

  本书共分 5 方面内容 :基础知识、关键模块、算法模型、内核揭秘、生态发展。前两方面由浅入深地介绍了....

  Apriori算法简介:Apriori 算法是一种挖掘关联规则的频繁项集算法,其核心思想是通过候选集....

  AutoOps构建丰富的维护操作库,灵活编排维护流程,标准化各种维护场景,定时/立即批量执行维护操作....

  大数据方兴未艾。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处....

  针对传统的小区内开环功率控制算法通常以提升本小区的吞吐量性能为目标,忽略了当前小区用户对邻小区用户....

  大多数智能客服,根本担不起“智能”二字。其与其说是一种成熟的技术工具,不若理解为是炒作的营销噱头。

  为了减少采集的数据量,提出在物联网中引入“边采样边压缩”的新型采样方法——压缩感知。针对压缩感知理论....

  WMS等系统的广泛应用使供应链信息趋向在线化、数据化和智能化,信息的流动、共享和决策支持将大幅优化库存,减弱供应链的...

  文本分类问题就是将一篇文档归入预先定义的几个类别中的一个或几个,而文本的自动分类则是使用计算机程序来实现这种文本分类,即...

  不知是否有学习过手册中第六节部分算法例程,为什么那些算法例程在CCS上无法编译生成.out文件呢? 为此,我也进行过移植,自...

  直播内容:人工智能是新一轮科技革命和产业转型的核心驱动力,在海量数据、深度学习和超强算力的支持下,人工智能迎来了前所未有...

  图像工程在国防、教育、金融、医疗、印刷、智能交通、工业自动化、消费类电子等许多领域获得了广泛应用,发展十分迅速。众所周知...

  资料包括PID调节控制做电机速度控制、ourdevBasic PID的老外的那篇经典文章、PID测速、由入门到精通-吃透PID2.0版、...

  大家好, 我有我的新原型使用PSoC3和现在我一直在测试我的原型使用uartto发送通过hyperterminalfor是得到适当的响应命令,我...