为了记录过去,我做了个 Windows 版的 Rewind:捕风记录仪
2023-11-1 11:33:26 Author: sspai.com(查看原文) 阅读量:27 收藏

我做了一款免费开源、让你「过目不忘」的小工具:捕风记录仪 - Windrecorder

利益相关声明 作者与文中产品有直接的利益相关(开发者、自家产品等)

Matrix 首页推荐 

Matrix 是少数派的写作社区,我们主张分享真实的产品体验,有实用价值的经验与思考。我们会不定期挑选 Matrix 最优质的文章,展示来自用户的最真实的体验和观点。

文章代表作者个人观点,少数派仅对标题和排版略作修改。


去年见到一款 macOS 上的 app - Rewind 时,感到非常惊奇:它像黑镜 S1E3 中的人生记录仪一样、可以将屏幕上见到的一切全部记录下来,随时回溯检索。既感到这个想法与实现十分惊艳,也隐约感觉其实用不起来,直到到今年他们拥抱了 AI——一个能完全发挥其潜能的方向:将第二大脑交由 AI 托管运作,概念上很厉害。

黑镜 S1E3 - 你的全部人生经历

不过他们至今也还没推出 Windows 版。偶然似乎在 X 上见到有人试图做 Windows 上类似的替代品,但由于忘记打心收藏,再想寻找时果然怎么也找不到了——当这种时刻发生,就能强烈意识到这个软件的价值:让你过目不忘。

其实这个需求价值挺明显的:时间的流动中,我们试图抓住的事情就像鲇鱼们一样,不断从滑溜溜的大脑皮质层流过、然后忘却。当需要那些坚实的记忆碎片时,只能自求多福当时有顺手在手边石头多刻几笔:随手收藏、剪贴、甚至是为此坚持写日记

而这样的产品做法显然是从最底层的第一性原理出发,直接采集你看到的画面、用最「元(meta)」的方式来解决「我寻思我看过……哎怎么就找不到呢?」和「噢我还经历了这些破事儿」。——前者可以用搜索应对,后者是现在 Rewind AI 方向探索的管理 & 总结归纳,将记忆结晶为有序的价值来帮助未来。

(无可避免地,记录一切也意味着其中肯定也包含了海量的无用数据——当然直到你需要时,你无法知道哪些是无用的。好在记录与管理是无感的,在如今的存储容量与成本下也不值一提。)

日常中,它可以解决以下这些场景的问题

  • 正常些的,比如找回在不同地方见过的文章、电影的台词、一些对中文搜索支持不佳的聊天软件记录等等;
  • 转瞬即逝错过了就是错过的东西:过去见过而如今被审核移除的事物、被撤回的消息、因为手滑而点掉的信息、游戏中的聊天喷人、因为程序崩溃而没保存的内容…——你本地永远有一份不被篡改的个人记忆。比人类过目不忘禀赋强的一点是:它并非虚无的梦、不是只在记忆中的风,而是切实存在过的记录;
  • 下载了一些东西、找到一些文件,但它们的起名没有线索、想不起是哪里得到的
  • 用古早以前见过的、又符合当下语境的画面或黑历史作为一种 meme,来整蛊朋友:);
  • 记忆寻宝,回看时你总能发现边边角角你没注意到的东西——特别是在用关键词搜索时,搜出来了你没印象的画面,或是看看某个词句的记忆片段在你眼前晃悠过多少次;
    当记录了长达数年的记录后,你在需要时能找回那些重要的经历:做毕设的过程、与各种第一次的奇遇
  • 等等等等…… 容易想到的场景在 Rewind 官网上多少也被提及了,此外的日常下,这样的超能力总能给你意料外的惊喜;
用回忆为朋友制作梗图一例

我做了一个 Windows 上的 Rewind 平替小工具

(用浣熊作为吉祥物——浣熊超会翻垃圾的,就像翻寻我的记忆w)

我认为这种强涉及个人隐私的工具,它的录制、识别、搜索等一切功能都应当完全在本地运行,开源的透明度使它可以被彻底审查。这个小工具使用 python 与本地 API 来运作,解释型语言的特性可以让你了解每一步都是如何运作的——安全而不做多余的事,一切数据都在你的手上。无需为你的数据和回忆订阅付费,你应当拥有与知道你的一切🤓。

使用的能耗、储存空间等需求基本与 Rewind 一致(一年的数据存储约占用 150G 磁盘空间,如果选择了更高的超时压缩规格,可以再缩减 80% 以上)。

这类工具主要解决的三个问题

  • 怎么记录
  • 怎么找回记忆
  • 还能做什么

怎么记录

第一个问题挺好解决的,通过 ffmpeg 的录屏功能,就能以较低的帧率与关键帧比来实现低体积的视频存储。

缺点:目前每个片段的记录时长为 15 分钟,需要等记录完毕(或暂停记录)和索引后才能回溯。对于突发想回看过去几秒时,就没有 Rewind 那么便利——得等一下当前片段记录和索引完毕🧎🏻‍♀️。

怎么找回记忆

第二个问题上,目前跳过对录制的视频片段进行关键帧索引,只保留变化较大的画面、使用 Windows 系统级的 OCR API 进行文字识别,过程中忽略一些比较固定的 UI 区域,诸如开始菜单、标签页、花边广告侧栏等,这样可以避免记下一些无用的「烧屏」信息;也可以设定跳过词,来跳过敏感/不重要内容的记录。

索引完毕后,就可以通过最基础关键词、时间范围等筛选进行 SQL 检索啦。为了解决 OCR 中字形相似的不良识别问题,也加入了同时检索相似字形关键词的选项,召回率有不小提升。比如当搜索「你好世界」时,会一并搜索「猕好世界」「称好碟界」「弥好屉界」「尔好泄界」……等等组合。

目前检索维度上还是不够强,兴许未来还可以加上文本嵌入、图像内容识别等新潮方式。

它还能做什么

第三个问题的解法也许是最有价值、最有创意的,毕竟寻找回忆不是高频需求。

Rewind 的答案是用 AI 做结构化的记录,甚至可以用过去的记忆辅助未来的决策、形成生产力,比如用会议的总结等信息来起草邮件。

目前 Windrecorder 还在最小可用原型阶段,但还是加入了力所能及的词云统计、使用数据统计、可以鸟瞰缩略图的光箱等,都是聊胜于无的小功能。AI 生成方面,本地的 LLM 需要吃挺多资源,目前先边走边思考着🤔。

目前这个小工具也许适合这些用户

  • 主要使用 Windows PC 作为主要的终端设备🤔;
  • 经常阅读文本信息,时不时需要回忆一些小线索;
  • 用来寻找电影 / 视频中的字幕(目前还不能用语义的向量来模糊搜寻,对于一两句台词也许还是很难想起来,形态上也无法二维地摊平时间轴上所有字幕);
  • 仓鼠病 / FOMO 患者🤓☝🏻;
  • ……

由于不擅长前端技术,本职也不是 RD🧎🏻‍♀️,工具使用 streamlit 构建了前端。尽管使用了许多 hack 和巧思,体验上与能做的产品功能还是比较有限,一些实现也不够完善、运作还有许多可以优化之处,多少限制了一些它的「好用」。如果你擅长 coding 且也有类似的需求,欢迎一起 contribute ~

它虽然很原始,是一个堪堪可用的最小可用原型,但还是想发出来收集反馈同你的回响!

小感想

一个多月时间试下来,用来找回记忆碎片确实很管用!很方便能回去找到一些关键的线索、为当下建立起关联,也能偶尔翻翻回看过去做了什么。工作上写起周报、绩效等强回忆的材料也不那么痛苦了,哪天做了什么事情一回溯便了然。

长尾效应很明显,开始在想,如果好久好久以前也记录了下来就好了——不过从现在开始也许什么也不晚 🦝。

 📎项目 Github:https://github.com/Antonoko/Windrecorder

> 关注 少数派公众号,解锁全新阅读体验 📰

> 实用、好用的 正版软件,少数派为你呈现 🚀

© 本文著作权归作者所有,并授权少数派独家使用,未经少数派许可,不得转载使用。

haru


文章来源: https://sspai.com/post/83590
如有侵权请联系:admin#unsafe.sh