本文说明了新颖的人工智能方法如何提高情报分析师的表现。这些分析师的目标是弄清楚(通常是相互矛盾或不完整的)信息的意义,权衡用于解释观察到的情况的相互竞争的假设。分析人员可以使用许多可视化分析工具,这些工具支持信息和收集的时间和/或概念结构,并支持对替代假设的评估。
作者认为,目前还没有工具或方法允许分析人员将信息的记录和解释结合起来,而且对软件工具如何促进假设形成过程的理解也很少。在确定了这些需求之后,团队与专业情报分析人员合作开发了ClSpaces(协作情报空间)决策支持工具。CISpaces结合了多种基于人工智能的方法,包括论证理论、众包贝叶斯分析和来源记录。
情报分析员的工作是在收集到的证据存在重大漏洞和不一致的情况下构建连贯的假设,并将其清晰地呈现给决策者,为他们的干预行动提供依据。
目前支持分析员日常工作的自动化系统(几乎)只专注于问题的两个方面。首先是数据收集、汇总和可视化。这类工具帮助分析师整理、检查和与大型数据集互动,并支持识别关系,例如通过链接分析。最近,能够让公众贡献信息的众包工具也被引入,以整合更传统的情报收集方法。工具关注的第二个问题涉及列出和权衡替代性假设,通过对竞争性假设的自动分析。这种分析要求从现有的证据中识别出所有的替代性假设,如果由贝叶斯网络等自动推理器辅助,这些工具还要求对每个(汇总的)证据给予一个权重或确定性程度。
然而,我们观察到,在支持分析员在检查数据之后、确定假设之前所进行的过程的技术方面存在着差距。分析师在这里的任务涉及到以一致的方式构建证据,以选择合理的假说。目前,这项工作是手工完成的,仅由通用电子表格和文本处理工具支持。我们在这项研究中试图解决的挑战是了解自动推理如何能够在这个证据推理过程中最好地补充人类的专业知识。
目前,有经验的分析员使用人工方法的组合来确定可信的假设,以评估可用的证据,确定哪些信息是可信的,并了解可能需要哪些额外的证据或提出哪些问题来确定可信性。这项活动可能是时间性的,以便能够有效地了解情况,这对个别分析员来说是重大的挑战。分析员必须考虑的信息的数量和种类非常多,而且,证据可能是不可靠的或相互矛盾的,重要的信息可能会丢失。合作可以用来提供同行审查,分担分析的负担,帮助验证结论。然而,这样的合作需要分析人员用一个共同的模型和一致的世界观来工作,而这在现实世界中很难实现。
当数据是多样化的,来自不同的来源时,分析员必须推理出导致索赔的证据的可靠性,如证据是如何、在哪里、何时、由谁收集和分析的信息。在这个过程中可能会无意中引入认知偏差,使分析者无法得出准确的结论。这种解释证据的过程在很大程度上依赖于分析人员的专业知识和培训,而且明显缺乏方法来减轻形成假设时的高认知负担。此外,人们普遍缺乏对假设形成过程的理解,因为它通常不被记录下来,这使得高级分析员很难将他们的分析技能传授给受训者。由于处理数据和表达推理模式需要大量的知识工程工作,分析过程对自动化也有阻力。
在本文中,我们说明了基于论证理论、众包和出处推理相结合的新型人工智能方法,如何有助于提高情报分析的性能。现有的系统主要关注信息的呈现和收集,而我们与情报分析人员共同设计了我们的软件工具--协作情报空间(CISpaces),以关注围绕使用可推翻的推论模式或论证方案从现有证据形成假设的感知活动。我们使用技术接受模型(TAM)对CISpaces进行了正式评估,证明情报分析员从他们的感知活动中得到的工具支持中受益。
因此,本文的贡献是多方面的:
- 在第3节中,我们为进一步共同设计人工智能驱动的工具提供了一个蓝图,展示了如何管理这个过程以获得成功的结果。
- 在第4节中,我们扩展了我们的初步会议论文,以说明为实现共同设计的目标而利用和扩展的各种人工智能技术之间的微妙相互联系。特别是:
- 我们推进基于论证的推理工程,以确定可信的假设作为可接受的论据集;
- 我们展示了如何使用贝叶斯分析法预先分析的众包信息进行论证;
- 我们在论证过程中嵌入了出处分析,以建立假设的可信度。
- 在第5节中,我们提供了实证证据,证明情报分析员从CISpaces提供的正式论证理论、众包支持和出处记录的独特混合物中受益,这是第一次在一个基于论证的系统中使用技术接受模型(TAM)。
我们的结果表明,CISpaces中实施的新颖的、有原则的人工智能方法可以提高情报分析的性能。尽管CISpaces是作为基础研究原型设计的(技术准备水平3 - TRL 3),但在评估过程中,分析人员将其功能的质量与他们日常使用的商业系统进行了比较:我们在第6节与它们进行了比较。
我们收集到的证据表明,CISpaces中实施的人工智能方法可以对终端用户采用CISpaces的意图产生行为影响。分析师们的评价强调了CISpaces的缺点,这些缺点主要来自于工具和数据源之间的接口以及用户界面的各个方面(而不是基础的人工智能方法)。因此,我们的结论是,为了让情报分析界成功采用,CISpaces需要与现有的信息输入和输出的组织标准进行数据整合。这些以及其他工程和可用性方面的问题,虽然对商业化至关重要,但超出了本文的范围。
长按识别下面的二维码可加入星球
里面已有6000多篇资料可供下载
越早加入越便宜
续费五折优惠