计算机毕业设计--基于深度学习技术（Transformer、GAN）的破损图像修复算法（含有Github代码）

这篇具有很好参考价值的文章主要介绍了计算机毕业设计--基于深度学习技术（Transformer、GAN）的破损图像修复算法（含有Github代码）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

基于深度学习的图像修复算法（Transformer、GAN）

本篇文章是针对破损照片的修复。如果你想对老照片做一些色彩增强，清晰化，划痕修复，划痕检测，请参考我的另一篇CSDN作品

老照片（灰白照片）划痕修复+清晰化+色彩增强的深度学学习算法设计与实现

Abstract

在图像获取和传输过程中，往往伴随着各种形式的损坏，降低了图像质量和对图像信息的准确解释，一些老照片因为保存不当也会变得存在污渍或者破损缺失。图像修复技术主要用来修复日常生活中被噪声污染或者人为破坏的破损图像，也可应用于替换图像中的小区域或者瑕疵。目前，图像修复工作仍然由经验丰富的图像修复师来完成，让图像修复借助深度学习算法实现自动化日趋成为该领域的发展方向。本课题基于深度学习算法和图像处理技术，设计并开发一款图像修复深度学习算法程序，该程序能够对使用者上传的照片进行自动分析，根据用户需要修复照片损坏部分，提高照片的清晰度和观赏性。

概述
模型构建使用pytorch。
最近的研究表明，在图像修复问题中建立远程相互作用模型具有很高的重要性。为了实现这一目标，现有的方法要么利用独立注意力技术，要么利用Transformer。但是，考虑到计算成本，并且通常需要修复低分辨率下的图像。本课题提出了一种新的基于Transformer和卷积的图像修复模型，该模型能够有效处理高分辨率图像。
具体来说，我设计了一个面向绘画的Transformer，并结合卷积的上下采样和图像风格迁移技术来实现缺失或者模糊图像的修复。
该模型由以下几个主要部分组成：卷积头、Transformer、卷积尾和风格迁移模块。卷积头负责从输入图像和掩码中提取视觉标记。它包括四个3*3卷积层，用于更改图像维度和下采样。Transformer是模型的主要组成部分，由五个不同分辨率的Transformer组成。使用多头情境注意力对长距离互动进行建模。卷积尾用于对输出标记的空间分辨率进行上采样以匹配输入大小。风格迁移模块旨在实现多元化生成并增强输出的多样性。它通过使用额外的噪声输入在重建过程中更改卷积层的权重归一化来操纵输出。该模块还结合了图像条件样式和无噪声样式，以增强噪声输入的表示能力。

代码链接：

GitHub链接
打不开的话GitHub地址在这里：https://github.com/zxx1218/image_fix
没有科学上网工具打不开GitHub用这个gitee连接：Gitee
gitee：https://gitee.com/zxx1218/imgfix.git

模型演示（分控制台演示和另外开发的QT界面展示）：

通过QT的GUI界面演示图像修复

视频中上传的黑白图中黑色部分代表图片的破损位置，模型会将黑白图完全覆盖在原图上通过未破损位置对破损位置进行修复（待修复图可以是现实具有破损的图片，只需要额外添加一个代表破损位置的黑白图即可）
算法GUI的QT演示V2.0版本
2024.4.15QT界面已经升级到V2.0版本，提供了内嵌的sellite轻量级数据库支持（无需配置版的数据库）以及GUI界面的美化，并添加了历史记录查询功能。

通过控制台（终端）直接调用模型演示图像修复：

图像修复-终端演示文章来源地址https://www.toymoban.com/news/detail-856048.html

训练用数据集

人脸公开数据集CelebA-HQ：链接：https://github.com/tkarras/progressive_growing_of_gans
制作机构：Tero Karras, Samuli Laine, Timo Aila 和 NVIDIA 的研究人员制作
场景公开数据集Places2：链接：http://places2.csail.mit.edu/download.html
制作机构：斯坦福大学和微软研究院共同制作
街景公开数据集Paris StreetView：链接：http://opendata.paris.fr/explore/dataset/photos-de-rue-a-paris/
制作机构：巴黎市政府
文理公开数据集DTD：链接：http://www.robots.ox.ac.uk/~vgg/data/dtd/。
制作机构：英国牛津大学计算机视觉研究团队
建筑公开数据集Façade：链接：
GitHub上的项目：https://github.com/shannontian/facade-parsing
官方网站：CMP Facade Database
数据集共享平台：https://www.vision.ee.ethz.ch/datasets_extra/facade/
制作机构：Czech Technical University in Prague (捷克技术大学)

需要具备的电脑配置：

我提供在CelebA-HQ和Places2训练好的两个模型，建议使用带有nvidia系列的显卡（比如说1060、3050、3090都是nvidia系列的）
如果你的电脑没有显卡也可以直接调用我训练好的模型（通过CPU+内存加载模型），从上述github链接寻找即可。

有问题联系作者：

VX：Accddvva
QQ：1144968929
该项目代码提供训练好的模型文件以及调用该文件进行修图的测试代码（clone后安装环境即可使用，开源版不包含模型源码以及gui）
本项目完整代码+环境配置教程+代码使用方式+GUI界面 == 价格300RMB，可提供远程部署服务，另外提供GPU服务器短期租赁服务，24G显存服务器每个月100RMB