摘要

•在2000年至2013年期间实施大规模袭击的活跃枪手中有56%在袭击前泄露了实施暴力的意图。

•与威胁监控相关的信息更可能在晦涩、监管不严的平台上找到，而不是主流社交媒体平台。

•后来实施暴力攻击的人更可能使用情绪激动的词，更可能使用直接代词，而不太可能在他们的网络帖子中使用与外部世界有关的词语。

•有八种预警行为可以引起个体对恐怖主义的关注，分别是"途径"(研究、准备)、确定、作为事业的代理人身份识别、新奇攻击(一种小的不相关的暴力行为)、能量爆发、泄漏、直接威胁和迫不得已(一种表明痛苦增加的声明)。

•10种需关注，可能引起个人恐怖主义的特征：个人冤屈和道德愤慨，以意识形态为借口，不与极端主义团体有关联，对虚拟社区的依赖，职业目标的扭曲，性伴侣关系的失败(未能形成持久亲密关系的证据)，思维和情绪的变化，精神失常史，创造性和创新(关于攻击的战术规划)，以及刑事暴力史。

•自动化威胁监测工具的可能限制包括偏见、人机交互问题和问责制。

•对非语言交际、外语、俚语、非熟悉的文化参考资料和非标准英语方言的误解是自动化监控工具的潜在局限性。

•关于支持自动威胁监测系统的人类专门知识的建议包括：多语种分析人员和语言学家；调查经验；获得关键数据和资源的能力；关于隐私法、版权行为和违反社交媒体平台服务条件的知识。

背景

本报告旨在记录风险专业人员、研究组织、心理学家和记者关于利用社交媒体监测来预测和预防大规模暴力的意见。该报告将重点介绍已被确定为对威胁监测有用的社交媒体平台，包括匿名论坛。将查明和评估自动监测遇到的主要问题和限制以及人机交互的挑战。

在2019年8月俄亥俄州代顿和德克萨斯州埃尔帕索的一个周末发生两起大规模枪击事件后，联邦调查局(FBI)局长下令特工进行在线威胁评估，以防止类似的袭击。在许多单独枪击和恐怖袭击事件中，暴力威胁发生在事件发生之前。到2019年8月底，美国有20多人因在网上威胁使用暴力而被捕。其中一位是18岁的贾斯汀·奥尔森(JustinOlsen)，他曾在米姆分享网站以“ArmyOfChrist”的用户名威胁要开枪。据联邦调查局发言人称，这些职位最初是由位于阿拉斯加安克雷奇的联邦调查局办公室标示的，特工们继续监视奥尔森的职位。在Olsen被捕两天后，他搜查了一批武器，包括15支步枪，包括AR-15型步枪、10支半自动手枪、1万多发弹药和一把砍刀。

报告的目标

2019年8月俄亥俄州和美国得克萨斯州发生两起大规模枪击事件，以及2019年3月新西兰克赖斯特彻奇连续发生两起清真寺枪击事件之后，社交媒体威胁监测一直是许多讨论的主题。本报告的目的是记录对利用社交媒体平台的威胁监测所需的技术和人类专门知识的意见。

社交媒体平台

根据Smart Insights在2019年2月的一份报告，全球社交媒体用户超过204亿。在思考社交媒体平台时，主流网站通常都会浮出水面，比如Facebook、Instagram和Twitter，然而，与威胁监控相关的信息更可能在晦涩、监管不严、匿名的平台上找到。Facebook和Instagram受到隐私法的限制，不得被试图进行威胁情报的数据公司访问。

以下是某些社交媒体平台的例子：

• 8kun——原名"8chan"的论坛于2019年11月2日重新启动，名为"8kun"。该网站由用户创建的留言板组成。8chan在被控在新西兰基督城两座清真寺杀害50人后，被撤下。在事件发生前20分钟，一名在德克萨斯州埃尔帕索的一家沃尔玛枪击案肇事者也发布到现场。由于据称存在儿童色情制品，该网站已经从Google Search中筛选出来，该网站目前只能在暗网上访问。

• Reddit——一个拥有3亿多用户的在线论坛和新闻聚合器。Reddit用户拥有个人账户，通常使用匿名用户名。

•Raddle.me——一个在线论坛，大约有600000个活跃用户，这个论坛以商店窃取留言板而臭名昭著。

•Discord-a VolP——（IP语音）应用程序和消息程序，有4000多万活跃用户。这个网站很受玩家欢迎。它还在极右翼用户中流行，并且与网络欺凌、组织极右翼集会、成人内容以及对非法活动的讨论有关。

•Telegram——即时消息和VolP服务。众所周知，电报载有关于世界各地非法活动的讨论。

•VK——俄罗斯社交媒体平台，也称为"Vkontakte"。该网络在全球有近1亿活跃用户。

•iFunny——一个基于图像的图片共享应用程序。该网站因分享米姆而很受欢迎，但它在白人民族主义用户中的受欢迎程度也越来越高。

自动化工具

执法部门越来越需要与社交媒体公司合作，改善在线监控，以防止大规模攻击。联邦调查局在2019年7月宣布，它旨在建立一个“早期预警工具”，以检测社交媒体网站，防范大规模暴力威胁。联邦调查局表示，它将要求工具为感兴趣的人获取以下信息：社交网络、用户名、电子邮件、IP地址、电话号码、基于关键字的内容实时警报、地理定位和图片标签。

已经使用的自动化社交媒体监控工具的另一个例子是私人风险组织向其他公司提供的工具。这些组织对品牌的社会存在进行监测，并在互联网和社交媒体、留言板和公共论坛的黑暗网上进行24小时自动扫描，以获取高风险内容，并提供自动删除。服务还包括扫描冒充企业的账户。专家对结果进行分析、报告，然后协助客户应对威胁，包括解决问题或向当局报告。

美国专门从事威胁情报工作的组织“数字利益相关者”提供了可用的自动搜索类型的实例：

•RSS监视-从任何有效的RSS(ReallySimple Syndication)提要监视-定期更新的XML文件，该文件包含网站新发布的内容列表

•位置监测-监测基于位置的社交媒体，以查明与特定地理和地点有关的风险

• 网页监视-监视特定URL的内容

•搜索引擎监控-对顶级搜索引擎信息的监控

•黑暗网络监控-监控黑暗网络论坛和市场对威胁

•页面监测----对特定社交媒体页面的监测

预警和指标

根据美国马萨诸塞州恐怖主义与安全研究中心主任的一篇文章《如何判断社交媒体上的帖子何时发出大规模枪击事件的信号》，这篇文章指的是恐怖主义与安全研究中心主任和心理学教授进行的一项研究，大规模袭击的肇事者很少公开表明他们的意图。然而，它们可能留下这样的信号：如果定位和解释正确，可为执法部门提供防止攻击的机会。需要对自动化工具进行编程，以确定这些信号，并区分那些只是在网上发泄不满的人和那些打算实施暴力的人。

美国司法部在2018年6月发布了一份报告，指出人们在2000至2013年期间进行大规模攻击之前表现出的行为（包括许多流行的社交媒体平台启动之前的时期）。报告详细说明了所研究的半数以上案件中实施暴力行为的意图的"泄露"类型。

该报告的主要调查结果包括：

•77%的活跃枪手花了一周或更长的时间策划他们的攻击

•56%的活跃枪手在袭击前泄露了实施暴力的意图

•88%的17岁及以下的活跃枪手泄露意图实施暴力，而51%的成年活跃枪手泄露意图实施暴力

•如果活跃枪手有事先计划好的攻击目标，则有一半以上在攻击前发出威胁。然而，在65%的案件中，没有针对具体目标发出威胁

这篇文章“如何辨别社交媒体上的帖子何时发出大规模枪击事件的信号”将据称实施大规模袭击的人在网上发帖的语言与在线表达意识形态信仰的人的帖子进行了比较，但当执法部门调查时，发现他们没有暴力计划。这篇文章报告了以下调查结果：

•那些后来变得暴力的人更容易使用充满感情的词语，如“大便”、“仇恨”、“伤害”、“刺”、“谋杀”等。

•那些后来变得暴力的人不太可能使用关于外部世界的词语，例如“人”、“世界”、“国家”和“时间”

•那些后来变得暴力的人更容易在帖子中使用“你”、“他们”、“我”等直接代词

根据《威胁评估中的泄漏概念》报告，一个暴力的人分享他们的意图存在许多动机，包括:

•对即将到来的攻击产生恐惧和恐吓的欲望

•为自己寻求关注的需要

•无法控制与策划袭击相关的情绪

•希望泄密者死后或事件发生后被纪念，并为自己赢得恶名

2016年，法医心理学家J.Reid Meloy和研究助理JacquelineGenzman发表了一篇题为《独狼恐怖分子临床威胁评估》的报告，其中列出了对独狼恐怖主义表示担忧的个人的18项指标(预警行为和特征)，从而更深入地阐述了这一情况。这项研究是在心理健康专业人员的评估背景下进行的。

指标如下

预警行为：

•途径----指标是研究、规划和准备(例如，研究和购买武器)

•固定——“一种日益病理性的专注一个人或一个原因，伴随着社会和职业性生活恶化”。指标可以是研究极端材料，在网上表达激进信念

•识别----与先前的袭击者或刺客识别；识别自己是一个事业的代理人(例如JustinOlsen AKA"ArmyOfChrist")；与军事和执法手段密切联系

•新颖的侵略——一种无关的暴力行为，被认为是检验个人实施暴力的能力的一种方式

•能量爆发——与目标或准备攻击有关的活动的增加，例如与个人信仰有关的在线搜索增加、对射击场的访问、对目标地点的访问。或者增加活动，以“捆绑”失去目标，比如与亲戚见面

•泄露——通过信件、日记、期刊、博客、互联网视频、电子邮件、语音邮件和社交媒体向第三方传达伤害目标的意图

•直接威胁——向目标或执法部门发出直接威胁

•最后手段-以言语或行动表明更多痛苦或绝望的声明

特点：

•个人冤屈和道德愤慨——个人冤屈可能包括关系或就业的重大损失。道德上的愤怒可以包括与遭受苦难的群体的认同

•在恐怖袭击事件中，以意识形态为幌子，这意味着存在可以用来为行为辩护的宗教信仰体系、政治哲学或一个问题冲突

•未与极端主义团体有关联----一个单独行为者的恐怖分子被他们希望与之有关联的团体拒绝

•依赖虚拟社区——通过社交媒体、聊天室、电子邮件等使用互联网通信的证据，与极端观点或计划攻击有关

•职业目标的实现——“计划中的学术和/或职业生活过程中的重大挫折或失败”

•性伴侣关系的失败——未能形成持久亲密关系的证据

•思维和情感表达的变化使观点更加强加于人

•精神障碍史

•创造性和创新——关于进攻战术规划的创造性和创新的证据

•刑事暴力史

人的专业知识

2019年8月23日，美国新泽西州全球风险专业人员协会(GARP)写道，自动监测系统将仅与支持该系统的人类专业知识(专家、公共安全官员、安全专业人员)一样有效。本组织就人的专门知识发表了以下建议：

• 调查经验转化为了解趋势、模式和变化在何处发展

• 避免陷阱的经验和洞察力，如与"剖析"或从不正确的被盗身份收集数据有关的陷阱

•获得重要数据和资源的能力，例如全球执法机构

•关于隐私法、版权法和违反社交媒体平台服务条件的知识和经验

• 帮助翻译信息的多语种分析家和语言学家

局限性

自动化工具在解释结论时具有明显的局限性，需要人的专门知识与这些工具一起工作。美国Brennan Center for Justice's Liberty and国家安全项目的高级律师蕾切尔·莱文森-瓦尔德曼(Rachel Levinson-Waldman)对自动工具检测威胁的能力提出了一些质疑，“即使是私营部门最好的机器学习工具，在识别威胁指标方面，最多也是70%至80%。在私人公司使用算法来检测威胁的情况下，最坏的可能后果是终止账户。当你谈论执法进入游戏时，当他们拥有调查和起诉的权力时……风险极高”。

人工智能伙伴关系是加州一个研究人工智能技术最佳做法的组织，2019年发表了《关于美国刑事司法系统中算法风险评估工具的报告》。报告强调了以下可能的局限性：

•例如，基于特定人群的种族、性别、年龄或社会经济阶层，通过自动化工具预测偏差的概率可能过高或过低。

•人机交互问题-人类不能过度依赖自动化系统的准确性。必须向所有用户(包括法官和律师等)清楚这些数据是如何获取的，所作的预测是不确定的

•问责制-用户必须确保对工具进行定期评估、监测和审计

布伦南司法中心于2019年5月22日发布了一份报告，评估了美国国土安全部(国土安全部)收集和使用社交媒体档案中的信息的情况。这些信息用于评估本国或外国旅行者构成的潜在安全风险。该报告提出了国土安全部工作人员在解释调查结果时遇到的困难。例如，2012年，一名英国公民在洛杉矶机场被拒绝入境，因为国土安全部的特工找到并曲解了个人在Twitter上的帖子，称他将“摧毁美国”，他原打算用这个帖子作为聚会的俚语，另一名则称他将“挖掘玛丽莲·梦露的坟墓”——这是电视节目的提法。

布伦南中心的报告还提出了一个问题，即如果使用的语言不是英语，文化背景不熟悉，口译就更加困难，并指出"如果国务院目前计划对1500万名旅行者进行社交媒体筛查，政府机构就必须能够理解193个国家的语言(7000多种)和文化规范。

苏林·布洛杰特(Su Lin Blodgett)和布兰登·奥康纳(Brendan O’connor)撰写的《自然语言处理中的种族差异:社交媒体非裔美国人英语的案例研究》(Racial inequality in Natural Language Processing: A Case Study of Social Media african English)也强调了使用非标准方言或俚语解释英语使用者的语言的问题。这篇文章指出，这种语言可能会被自动工具错误地标记为外语，举了一个帖子的例子:“Bored af den my phone finna die!!!!”(可以大致翻译为“我烦死了，我的手机快没气了”)，这句话有99.9%的可能被一个自动工具识别为丹麦语。

在社交媒体上的非语言交流方面，口译也是一个问题。例如，如果一个人“喜欢”Facebook上一篇关于恐怖袭击的文章，那么这是否应该被解释为表明他们支持这一行为，还是向受到袭击影响的人发出爱？

总结

没有单一的预警行为、指标或算法来成功识别正在策划大规模暴力的个人。然而，社交媒体监测可以提供关键信息，最好将这一工具作为许多不同战略之一，同时利用具有调查经验的高技能多语言分析人员。

自动监测社交媒体威胁有其局限性，不能单靠它来作出决定，拘留或继续拘留有关人员。在利用收集到的信息作出决定时，必须明确说明何时提供这些信息是如何捕获的，以及作出预测背后的不确定性。用户还必须确保这些工具得到第三方的独立审查，并对这些工具进行定期评价、监测和审计。

原文PDF文档及机器翻译文档已上传知识星球

长按识别下面的二维码可加入星球下载

里面已有近千篇资料可供下载

越早加入越便宜哦