用 AI 为图片「摘下面纱」,waifu2x 如何拯救你的 macOS 修图体验
2022-7-25 16:29:34 Author: sspai.com(查看原文) 阅读量:11 收藏

用 AI 为图片「摘下面纱」,waifu2x 如何拯救你的 macOS 修图体验

我们需要图片,清晰的图片。

从传统媒体到网络社群,无论创作的方式如何改变,图片总是其中最快速且最直观的信息载体。尽管如今的互联网上有无数种检索图片的方式,但在专门的图库类网站之外,想要获取到质量较高的图片并不是一件十分容易的事情。过去,我们使用「搜索引擎 + 关键词」进行广撒网式的捕捞式素材检索;当人工智能开始崭露头角,使用「以图搜图」对图片进行溯源成为了获取高清素材的主要方式。

如今,使用 AI 技术直接对图片进行「高清化」处理不仅成为了可能,更发展成一种简单高效的图像修复技术。特别在一些开源工具和模型的帮助下,普通用户也可以在手机和电脑上使用这一技术来修复图片和视频,waifu2x 就是其中口碑良好、维护稳定的选择。

我们早在四年前的《下载的图片太模糊?8 个方法把它变清晰》这篇文章中介绍了 waifu2x,而现在,终于有开发者将其引入到了 macOS 之上。

何谓 waifu2x

卷积神经网络(Convolutional Neural Networks, CNN)是一类常用于视觉图像分析的深度神经网络,简而言之,卷积神经网络可以提取、归纳和学习特定图像的特征并将其用于任务处理,由于其卷积层对机器学习的特征进行了拆分和过滤,因此即使输入对象发生一定程度的位移和形变亦不影响结果的输出。

waifu2x 是一种利用深度卷积神经网络对图片或视频进行高清化修复和缩放的图像处理算法。相对于传统的插值算法,waifu2x 的超分辨率成像(Super-resolution)+ 降噪机制可以最大限度地避免锯齿、模糊、色块等问题,提升画面的锐利度和纯净度,从而达到改善视觉观感的目的。

最初,waifu2x 主要被用于修复 ACG 内容。随着这一技术的广泛应用和机器学习技术的普及和深入,第三方开发者开发的各类 waifu2x GUI 逐渐成为主流,许多基于 waifu2x、应用于特定内容图像的模型也被训练出来。由此,waifu2x 在泛用性得到极大提升的同时也显著降低了操作门槛,在 Windows 平台上已经出现了不少简单好用的 waifu2x 软件,但出于软件适配和硬件兼容性上的各种原因,macOS 这一边的状况一直有些乏善可陈。

长期以来,macOS 可用的 waifu2x 软件都或多或少的存在功能、性能和稳定性上的缺陷,不过这些略有瑕疵的作品一般出自爱好者之手,出现问题也无可厚非。好在,GitHub 的独立开发者 @Vaida 为我们带来了更加完善的 waifu2xExtension

waifu2xExtension 简单易用且功能强大,跟随本文完成基本的配置后,我们就可以在 macOS 上优雅的使用 waifu2x 进行图像处理了。

*本文演示内容来自 5.0 Beta 8 版本,无法保证未来更新的软件版本在操作和功能上的一致性。

算法模型

waifu2xExtension 自带 waifu2x-caffe 的算法模型,直接安装即可正常工作。但如果需要处理更加复杂的图像并获得最佳效果,则必须安装特定的算法模型。waifu2xExtension 支持六种算法模型,分别为:

  • Real-CUGAN ncnn Vulkan - 为 ACG 内容定制的 AI 超分辨率算法
  • Real-ESRGAN - 倾向于 ACG 内容、具备通用性的 AI 超分辨率算法(速度快,对人脸及文字内容效果较差)
  • RealSR ncnn Vulkan - 倾向于真实内容的 AI 超分辨率算法
  • CAIN ncnn Vulkan - 只能用于 0.5 时刻点(两帧插一帧)的 AI 视频补帧算法
  • rife-ncnn-vulkan - 只能用于 0.5 时刻点(两帧插一帧)的 AI 视频补帧算法(速度较快,效果非常好)
  • DAIN ncnn Vulkan - 支持任意时刻点插帧的 AI 视频补帧算法(速度最慢,占用最高,效果非常好)

你可以按需下载算法模型,并将其放置于同一个固定的路径下,这里建议在「文稿」中直接创建一个专门用于存放模型的文件夹以备后续更新之用。waifu2xExtension 也能使用在此列表之外的算法模型,但可能会出现兼容性问题。

安装和使用

在 macOS 安装并打开 waifu2xExtension,在软件设置中即可进入 waifu2xExtension 的模型管理界面。无论是首次安装模型或更新模型,只需选择在对应的选项右侧选择「打开 Finder」,然后在弹出的访达窗口中选择对应模型的文件夹即可。

如图所示,已经安装完成的模型将会在名称左侧和下方分别显示安装状态和文件容量,但 waifu2xExtension 目前无法自动更新模型,你可以右击需要更新的模型,在菜单中选择「在 Github 上显示」以快速跳转至发布页面,并手动下载和安装更新。

除此之外,waifu2xExtension 支持 TTA(测试时增强,Test Time Augmentation),这一技术旨在处理时对输入图像进行包括不同区域裁剪和更改缩放程度等多种变换,创造出多个不同的版本,再将这些版本进行比对以调整输出结果,从而获得更好的画质。如果你的 mac 性能较差,在设置中勾选「Disable TTA」关闭这一功能则可以在一定程度上提升处理效率,提升软件稳定性和缩短等待时间。

由于增加了多种模型的支持,waifu2xExtension 对比一般的 waifu2x 软件的「导入 - 处理 - 导出」流程加入了选择模型这一流程,以及适配于每个模型的处理和导出设置(目前包括图像内容、缩放倍率以及降噪参数,未来或将加入更多选项)。

使用「添加」功能、或将需要处理的文件或文件夹直接拖入 waifu2xExtension 的主窗口并点击右上角的「完成」,软件会将可用模型及选项集成在导出界面以供选择和调整,此时再点击导出界面右下角的「完成」即可以当前设置处理并导出文件。

总结

waifu2xExtension 可能是 macOS 目前最好用的 waifu2x 前端,其优势主要包含以下几点:

  • 支持多种图片和视频格式,不仅可以进行图像高清化处理,还可以为视频补帧
  • 额外支持六种可选的算法模型,通过切换算法模型为不同风格的图像选择最优质量
  • 全部采用 SwiftUI 构建,在 macOS 上的运行效率和稳定性极佳
  • 支持调用 M1/M2 mac 的 ANE 实现硬件加速,同功耗下处理时间显著优于传统的 CPU / GPU 加速
  • 支持完全离线运行,隐私友好

最新的 waifu2xExtension 5.0 Beta 8 版本对软件进行了重写,旧版本的部分功能尚未在新版本上实装。如果你需要导出前预览和模型效果对比等高级功能,可以先使用 4.1.3 稳定版,待 5.0 版本全部开发完成后再升级。

彩蛋

我们使用 waifu2xExtension 将「煮机网」时期的粉丝投稿的插画修复至「比原图更清晰」的标准。


文章来源: https://sspai.com/post/74786
如有侵权请联系:admin#unsafe.sh