谷歌最近在 Google Colab 上开源了一个名为 RETVec 的新型多语言文本矢量化器，这个矢量化器已经部署在 Gmail 上，用来提升垃圾邮件和钓鱼邮件的识别率，同时降低误报率。

谷歌称 RETVec 经过训练能够抵御字符级操作，包括插入、删除、拼写错误、同形文字、LEET 替换等，这个模型是在新型字符编码器之上进行训练的，该编码器可以有效针对所有 UTF-8 字符和单词进行编码。

为什么要训练这样一种模型呢？因为 Gmail 每天收发的邮件都在千万级别，如果包含各类垃圾邮件的话可能有几十亿，而垃圾邮件制造者会对谷歌的检测系统进行规避，例如使用同形字。

RETVec 支持 100 多种语言，旨在帮助构建更具有弹性和高效的服务端和设备上的文本分类，同时也更加强大和高效。

根据谷歌自己的统计，将 RETVec 应用到 Gmail 后，垃圾邮件检测率比基准提高 38%、误报率降低 19.4%、张量处理单元 (TPU) 使用率降低了 83%。

谷歌工程师表示由于其紧凑的表示形式，使用 RETVec 训练的模型表现出更快的推理速度，较小的模型可以降低计算成本并减少延迟，这对于大规模系统和设备上的模型至关重要。

矢量化是 NLP 即自然语言处理中的一种方法，用于将词汇中的单词或短语映射到相应的数字表达，以便执行进一步分析，例如情感分析、文本分类和命名实体识别等。