当时，我所在的公司以视频业务为基础，推动成立了一个广告联盟。加盟成员通过挂载我们的广告链接，可以按点击数分成。这是一个很理想的模式，但差点被黑产搞失败。

业务上线没多久，我们就发现有的加盟成员广告点击量超高，但转化率几乎没有变化。面对这种异常情况，我们只好暂停支付分成，分析后台日志数据。

结果发现点击时间段非常集中，IP地址也就那么几个，有很明显的自动化刷量行为。我们认为数据存疑，要求对方也给出后台数据进行核对，他们就没有再纠缠。

但没过多久，异常流量再次出现，这次访问时间分散开了，IP地址也不重复了，我们意识到这是遇上了专业黑产。因此我们不得不紧急修补规则，为这不知道熬了多少夜、加了多少班。

所以，凡是在互联网开展业务的企业，都必须要建立起专业的反欺诈体系。

《大数据安全治理与防范——反欺诈体系建设》这本书就如何对抗黑产，给出了具体的对抗思路、关键技术方案与反欺诈实战案例，帮助企业打造安全护城河。

▲ 点击封面，即可购书

本书凝结了腾讯的一线经验，可以帮助读者全面学习大数据安全治理与防范的背景、关键技术和对抗思路，手把手教你打造反欺诈对抗系统。

作者张凯和张旭是来自腾讯的工程师。一直从事大数据安全方面的工作，积累了10多年的黑灰产对抗经验，主要涉及游戏安全对抗、业务防刷、金融风控和反诈骗对抗系统等，拥有丰富的实战经验。

知彼知己，百战不殆。我们先来了解一下，黑产都是怎么干坏事的吧。

骗子说：“我有 100 种方法让你上当。”这不是自吹自擂，是事实。公安部门打击的电信网络诈骗类型就有 100 多种。

电信网络诈骗的可恨之处，就在于它是冲着这个社会上的弱势群体去的。例如信息不足的老人、低收入人群，以及患者等。常用的手段有刷单兼职、“杀猪盘”、低息贷款、虚假医疗广告等。

企业经营者最恨的就是营销欺诈，黑产一次作恶，就能将营销活动的效果降为零。之前提到我公司被黑，就是典型的刷量作弊。还有“薅羊毛”，把优惠、返利等尽数吞没。

还有身份盗用这类欺诈行为，盗取正常用户信息，伪造之后用来骗取贷款。网络色情、网络赌博、网络洗钱等活动，都是黑产的罪恶勾当。那么黑产干这些坏事都用了什么技术手段呢？

▲ 猫池设备

▲ 某改机工具示意图

这个工具可以模拟用户的按键操作，包括输入、点击、滑动等。在企业营销活动中，用大量虚假账号加上自动化的按键精灵，黑产就能将大多数利益收割走。

看得出来，黑产为了非法获利，真是无所不用其极。不过魔道相长，接下来看看我们手中的反诈利剑吧。

黑产使用技术工具的特点是：快、变、新。

快，就是自动化程度高，仅用很少的人力就能实现规模较大的犯罪活动；变，就是作案手段多样，一条路不通，马上就有替代方案；新，是运用的黑产技术较新，技术工具迭代升级快。

面对如此凶残狡猾的敌人，我们要如何用大数据与特征工程打败他们呢？

大数据的原理是收集海量的原始数据，再对数据进行清洗与计算，最后支撑业务层的应用。

其典型架构可分为三层：

·第一层是存储原始数据；

·第二层是中间计算平台；

·第三层是数据分析业务应用。

▲ 大数据的基本流转过程

特征工程，是基于相关知识将原始数据处理成特征的过程。也就是在对抗黑产的过程中，通过大数据技术完成数据的存储与计算，再使用特征工程识别黑产，对其进行定向打击。

有句话说的是“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已”。以机器学习为代表的人工智能技术，在对抗黑产的大业中起着不可替代的作用。

特征工程中的最重要一步，就是特征学习，它有两种方式：

一种是有监督的特征学习，在学习中引入样本信息，借助于样本，从原始数据中整合出有效特征；

另一种是无监督的特征学习，它在构建特征的时候只考虑数据本身的规律，不借助样本信息。

通过数据构建出大量特征之后，就要对特征进行筛选，从而进行模型训练工作。筛选特征有3个方法，分别是过滤法、包装法、嵌入法。它们的基本思路，是对特征进行评估、排序、计算权重，以将重要的特征保留下来。

当模型训练完成时，反诈之剑也就铸成，只等着向黑产奋力刺去。

在前面提到的，我公司遭遇的刷量作弊，现在就可以采用基于流量的对抗办法。包括可实施人机验证、风险名单、规则引擎、多模态集成模型识别等。这些方法的技术原理与实践在《大数据安全治理与防范——反欺诈体系建设》书中有详细说明。

上述方法的实施成本依次递增，企业可根据自身业务特点与安全需求量身定制。能以最小代价解决问题，就没有必要过度建设。

针对大众人群，内容欺诈是黑产最常用的手段。例如通过短信、微信、微博等社交平台发布大量欺诈信息。其媒介包括文本、图像、视频、音频等内容。

黑产一般不会使用常规文字，而是采取同音字、形似字、拆分字、变形字等方式绕过风控系统。图像也一样，会做极化、扭曲处理。下图是我手机收到的一例短信，还有书中展示的极化图像。

诈骗短信，可以观察一下用到了多种文本变化手段：

▲ 图像亮度极化案例

▲ 账号节点扩散结果

复杂网络对抗的过程，首先是将点与边的关系构建为网络图，然后对网络图进行测度，找出关键节点，并运用特征工程进行监控。一旦发现异常，就可以即时处理。

例如在金融风控领域，通过复杂网络对抗，往往能在受害者转账的最后一刻发出警示，避免损失。大数据与人工智能技术，可谓功不可没。

对个人安全来说，个体要保持警觉，做到事前防范，事后及时报警；对于企业安全，则一定要建立风控系统，这项投资是不能节约的，永远不要对黑产抱有侥幸心理。

《大数据安全治理与防范——反欺诈体系建设》从原理到实践都有翔实说明，可以为企业提供风控技术参考，从而以最低的成本获得性价比最高的安全保障。

▲ 点击封面，即可购书

本书是“大数据安全治理与防范系列”的第一本，这个系列的两本新书《大数据安全治理与防范——网址反欺诈实战》《大数据安全治理与防范——流量反欺诈实战》，预计年底前会上市。第一本书搭建了反欺诈的理论框架，而后面两本书是不同应用场景下的实战应用，敬请期待。

只要有利益驱动，黑产就永远不会收手，而且他们也在不断地迭代作恶的工具箱。大数据与人工智能技术，一样也会被黑产拿来升级反对抗措施。

这意味着在对抗黑产的这条路上，就是魔道相长的过程。要想阻断黑产之手，我们就必须先其一步，在大数据技术与人工智能为基础的特征工程上，不断探索前进。

作者：阿诺

审校：栾传龙、单瑞婷