重拾剥落时光,唤醒褪色记忆:AI 老照片修复工具比较
2023-4-21 10:53:27 Author: sspai.com(查看原文) 阅读量:32 收藏

在大语言模型和各类 AI 应用日新月异的今天,我终于下定决心,趁着老照片们还没有完全发黄褪色、受潮粘连抑或损坏遗失,将上一代人实体相册里的纸质胶卷照片全部数字化,并进行一次彻底的 AI 修复,好让这些珍贵的记忆能更长久地保存下去。

数字化的方式是使用 Google 相册提供的「照片扫描仪」(Photoscan)应用,它能自动调整角度、裁剪边缘,消除眩光、阴影,并将原件和自动编辑过的图片同时保存在 iCloud 相册中。(条件允许的话,更建议使用扫描仪以得到最大的分辨率。)

接下来遇到的问题是如何挑选一款合适的 AI 修复工具。根据以往经验和近期热门,我挑选了 5 款候选。为了使修复效果达到最好,我把待修复的小几百张老照片,几乎每张都用全部工具试了一遍,也算是对这些工具进行了一次深度使用,因此下面就把体验分享给大家。

工具列表

工具平台价格模型
CodeFormer网页免费(开源)Codebook Lookup TransFormer (CodeFormer), 2022 年
RestorePhotos.io网页免费(开源)GFP-GAN, 2021 年
jpgHD.com网页 / iOS / Android / Mac / Windows收费,可免费试用 5 张未公开的 AI 超分模型,2021 年
你我当年iOS / Android收费,观看 20 秒广告可以处理 1 张未公开
老照片修复iOS / Android收费未公开

这里额外介绍一下两款开源工具:

  • CodeFormer (官方网站 | GitHub 项目地址):南洋理工大学周尚辰等人的作品,基于 Codebook Lookup TransFormer 模型实现。可以使用作者通过在线模型运行服务 Replicate 搭建的 demo 直接体验(受限于 Replicate 的免费额度,超出需要付费)。附我使用的参数供参考:fidelity = 0.8, background_enhance = true, face_upsample = true, upscale = 2
  • RestorePhotos.io (官方网站 | GitHub 项目地址):基于腾讯 ARC 实验室 GFP-GAN 模型实现的老照片修复工具。官网每天可以免费使用 5 次,但也可以通过 Vercel 等方式一键部署,并填入自己的 Replicate API key,从而不受限制地使用。

注:由于可以理解的隐私原因,以下就不放我实际用来修复的照片了,我从公开渠道搜集了一些图片用于测试,以供大家辨别参考。

第一组测试图片:单人及双人(大头照)

测试 1-1 邓丽君

这是一张电视节目截图中的邓丽君。几乎所有工具都对这张图片进行了不错的还原,包括头发以及耳环(「CodeFormer」在牙齿的细节处理上存在一些瑕疵)。你觉得哪张图更像真实的邓丽君呢?

测试 1-2 周杰伦

这张周杰伦童年照的原始图片比较模糊,且有很多噪点。从还原表现上来看「CodeFormer」、「你我当年」、「老照片修复」在背景降噪、衣服质感的还原上更加出色,但只有「jpgHD.com」准确还原出了周董的单眼皮以及内眼角细节,在我看来它是最像图片最初模样的。其他工具均适当发挥了「想象力」。

测试 1-3 张国荣与张柏芝合影

一张模糊不清的合影,5 个工具的修复效果可谓齐轨连辔。

测试 1-4 张学友与王祖贤合影

除「jpgHD.com」对王祖贤的皮肤处理比较粗糙以外,各家工具在这种单人及双人大头照的处理上几乎难分伯仲。注意所有工具均对耳坠进行了还原修复。

测试 1-5 爱因斯坦

这里尝试对 1927 年第五次索尔维会议上的阿尔伯特·爱因斯坦、亨德里克·洛伦兹、居里夫人三位大神进行修复。原图为黑白,已经过人工上色处理,但并未对细节进行放大修复。可见「CodeFormer」对人脸、西装的修复效果都更好,且成功识别了后方只有半张脸的阿瑟·康普顿。

测试 1-6 洛伦兹

注意「老照片修复」错误地生成了一个模糊不清的眼镜轮廓。

测试 1-7 居里夫人

从皮肤质感上看「CodeFormer」的清晰程度领先于其他工具。

第二组测试图片:多人(大合影)

测试 2-1:轻微模糊的多人合影

图片作者无考,原标题为「镜头下:80 年代的中国儿童」。(来源链接

原图
CodeFormer
RestorePhotos.io
jpgHD.com
你我当年
老照片修复

测试 2-2:中度模糊的四人合影

图片来源:南京理工大学经济管理学院国贸双学位班学生校园随拍(1990 年夏,左起:韩梦玲、周详文、石英、吕虹)。(来源链接

对这张图片的处理产生了比较明显的差异,「CodeFormer」面部较为自然,成功还原了左三女生的眼镜(但产生了毛刺),并对头发、衣物和建筑物修复得更为精确;「你我当年」的面部修复效果非常自然,「老照片修复」在建筑物修复上也表现得很不错。而「RestorePhotos.io」则在面部还原上出现了较大程度的扭曲,左三女生的眼镜并没有被成功修复。

原图
CodeFormer
RestorePhotos.io
jpgHD.com
你我当年
老照片修复

测试 2-3:高度模糊的多人合影

图片来源:中国科学院上海光学精密机械研究所 80 年代西楼小会堂前合影(左起,前排:王慧敏、张莲英、杨姮彩、于阿滨、顾德英、李爱莲,后排:林岳明、方祖捷、张位在、金志良、刘枝伍、胡衍芝)。(来源链接

这张图的人脸出现了较大程度的模糊,各个工具均充分发挥了想象进行脑补。

从五官的自然和谐程度上来看,我会对修复效果这么排序:CodeFormer > 老照片修复 > jpgHD.com > 你我当年 > RestorePhotos.io。

从背景、衣物的修复效果上来看,我会对修复效果这么排序:CodeFormer = 老照片修复 > 你我当年 > RestorePhotos.io = jpgHD.com。

原图
CodeFormer
RestorePhotos.io
jpgHD.com
你我当年
老照片修复

测试结论

工具画质提升清晰程度准确程度修复速度
CodeFormer支持
可选提高画质(自定义倍率)
很高较高
对比原图准确性较高,但有可能出现少量不自然的细节
一般
从 6s 至 60s 不等
RestorePhotos.io不支持较低
生成出来的图片最大分辨率为 1200px
较低
对比原图「脑补想象」程度更大,在小头像上表现比较差,很容易出现扭曲变形
很快
通常都可以在 10s 内完成
jpgHD.com支持
可选提高画质(2x、4x)
中等很高
能还原出原始照片的真实细节
很慢
即便是小图片也可能耗时 3 至 5 分钟
你我当年支持
默认 2x
较高中等
对于小头像可能出现失真
很快
通常在 10s 左右
老照片修复支持
默认 2x
较高较高很快
通常在 10s 左右

综合来看,我更推荐免费且开源的「CodeFormer」,如果大家与我一样有同时修复几百张照片的需求,可以将「CodeFormer」搭建在本地,处理起来就省心多了。「你我当年」、「老照片修复」表现都还算稳定,但在小头像的表现上不如「CodeFormer」,且是收费软件。

除「RestorePhotos.io」以外的工具都支持老照片上色,本文未对该功能进行测试。「RestorePhotos.io」对于大头照,以及磨砂颗粒或干涉条纹较多的疑难图片处理有一定的优势,其他情况都不甚理想。

结语

因精力有限,本文仅对一些常见情况做了测试比较,希望能帮大家做出一个初步的选择判断。实际上在老照片修复过程中还会面临诸多疑难杂症,例如因磨砂处理产生的颗粒、因翻拍屏幕产生的干涉条纹,以及一些涂抹、折痕、撕裂、霉斑等问题。面对这些问题的时候,可以尝试不同的工具进行综合对比,甚至也需要更多的耐心人工介入,将不同修复工具的效果进行叠加处理。

对老照片进行初步修缮后,还可以尝试使用这些工具进行进一步无损放大,以及智能上色处理。也推荐动手能力强的朋友们对那些非常重要的珍贵照片进行人工调色、贴图等进一步的后期加工,毕竟尽管 AI 已经能帮我们很大程度上还原照片本来的模样,却不能 100% 准确再现历史。对于修复照片有极致要求的朋友们,建议你们联系一个叫「TR 美术」的团队,我会把他们手工修复曾国藩、左宗棠的对比图附在下面,供你们参考。


文章来源: https://sspai.com/post/79376
如有侵权请联系:admin#unsafe.sh