【解读】2023-2025美国情报界数据战略
2023-12-25 06:32:2 Author: 丁爸 情报分析师的工具箱(查看原文) 阅读量:18 收藏

  • 任务:实现安全发现、访问和使用IC数据,以实现任务价值和洞察力的速度和规模。

  • 愿景:一个数据驱动的IC,为决策和运营优势进行优化和定位。

  • 价值:互操作性,共享,伙伴关系,创新,保护隐私和公民自由。

战略重点领域

情报界(IC)数据战略的战略重点领域为推动情报成果提供了总体方向。四个重点领域将使情报界(IC)能够释放任务价值和洞察力,并利用数据快速、安全运行、协作完成任务,同时符合国家原则和价值观的方式执行这一任务。

  • 执行端到端数据管理

  • 快速且大规模提供数据互操作性和分析

  • 推进所有合作伙伴关系,促进持续的数字和数据创新

  • 将情报界人工型队伍转变为数据驱动型队伍

为了缩小我们目前所处的位置与优化未来之间的差距,我们退后一步,看看作为一个整体,我们需要做些什么,以便在未来三年内加快我们的数据和数字化转型,从而使端到端数据管理成为我们工作的核心,而不仅仅被视为一种能使用的功能。情报界首席数据官(IC CDO)和情报界首席数据官理事会(IC CDOC)将确定情报界可以采取的战略步骤,以推动在应对数据挑战方面取得重大进展,同时加强体现我们核心价值观的情报界职业道德原则。考虑到数字创新的步伐如此之快,我们将采用一种积极和迭代的战略发展方法来向前推进--灵活性和持续学习将是规划我们未来战略要务的核心。

引言 

在这个超级互联、数据驱动的数字世界,我们面临的情报挑战比以往任何时候都更加复杂和相互关联。商业软件、传感器、数据整理、数据管理和计算技术的飞速发展,使政府机构在预测需求、获取和管理这些能力时,越来越难以赶上我们的对手和全球社会将这些能力整合到其系统中的速度。我们的国家已经进入了一个新的战略竞争时期。这不再仅仅是数据量的问题,而是谁能以最快的速度收集、访问、利用和获得可操作的洞察力的问题,因为他们将拥有决策和情报方面的优势。

重要的是要了解正在发生的数据和数字演变,并认识到其中蕴含的机遇和威胁。这些机遇和脆弱性涉及到情报界的方方面面。情报界必须抓住这些机遇,并计划采取必要的措施来应对和减轻威胁。面对我们面临的复杂挑战,我们将重点关注数据整理和高级分析,以确保数据可供人类和机器使用。我们必须在端到端数据生命周期管理的基础上,缩短从收集和获取数据到洞察任务的时间。要提高我们的能力和相关成果,就必须改变以系统为中心的历史范式、多年的传统做法、文化、跨组织和跨学科的重要合作伙伴关系。

迄今为止,我们尚未将数据作为情报界的战略和业务资产予以优先考虑。核心挑战仍然是,情报界没有以保持我们的决策和情报优势所需的速度和规模部署数据、分析和人工智能(AI)能力。要应对这一挑战,就必须采取以数据为中心的综合方法,重点关注情报界数据从收集和获取到传输、摄取、整理、利用、传播和处置的整个数据流生命周期。在情报界数据战略的指导下,情报界将规划和扩大数据共享能力,提高数据可用性,培养一支精通数据的员工队伍,并继续创新,以建立一个数据驱动的情报界队伍,并在设计中纳入隐私和安全保护。

战略重点领域

1、执行端到端数据管理

为所有数据的收集和获取制定端到端数据管理计划,以实现并缩短从收集数据到提出可行见解的安全数据流时间。

今后,所有数据的收集或获取都需要包括一个端到端的数据管理计划,从数据的收集或获取点到利用、传播和处置,并考虑到符合法律和政策的道德和适当使用。

端到端的数据管理规划将建立所需的互操作性标准、数据处理说明、标记和条件、属性和机器可读标签、数据隐私和合规性以及数据科学和工程。因此,情报界数据管理规划应包括情报界数据的使用、保护、传播、互操作性和生成的最低通用标准。

为了应对整个情报界持续面临的数据挑战,我们必须共同努力,以最快的速度发现、访问和利用情报界的数据。端到端数据管理在收集和获取数据的过程中就有意识地采取了行动,并将其嵌入到这些流程和工作流中已经固有的大量规划中。当情报界在一开始就将操作人员和数据专业人员与信息技术(IT)隐私和安全团队聚集在一起,为数据制定周密的生命周期计划时,就能确保数据安全及时地流向需要数据的地方和人员。

2、快速且大规模提供数据互操作性和分析功能

为了使数据更具互操作性,情报界将实施一个以数据为中心的框架,将目前的重点从以系统为中心转向以数据为中心的架构。

以数据为中心的架构确保 IT 架构的主要功能作用是安全、及时地发现、分析、生产和传播数据,以提高情报生命周期的有效性。以数据为中心的原则确保信息技术架构考虑到从获取到利用直至处置的数据管理生命周期。

采用以数据为中心的方法是开发机器辅助数据发现、精确和明确的数据可解释性、数据互操作性、人工智能和机器辅助分析工作流、社区协作、明确定义的数据质量衡量标准以及保持完整性和出处的核心。以数据为中心的运行模式将定义集成和标准化要求,以及参与者的可支持性要素。以数据为中心的框架的相关架构要素将为模型、实体、本体、信息交换和元数据标准提供明确的指导。这些技术性但至关重要的细节将使情报界能够从其所有数据中获得最大的情报价值,同时遵守法律或政策限制以及我们的高道德标准。

共享分析建模和使用训练数据首先支持在数据收集、获取或摄取时更多地采用人工智能和自动化。新的和改进后的自动化将有助于数据准备和标记,并有助于将获取新情报界数据集所需的时间从数周缩短到数天、数小时或数分钟。这些努力将使任务用户能够更快地获取高质量数据,以便随着世界事件的发展满足和响应情报需求。

3、推进所有合作伙伴关系,促进持续的数字和数据创新

加强情报界与私营部门和学术伙伴的合作关系,促进对不断变化的数据和数字环境有更深入、更全面的了解,同时促进创新,以支持本战略愿景的各个方面,即建立一个数据驱动的情报界,为决策和行动优势进行优化和定位。

然而,基于数据和数字创新的速度,以及不断变化和增加的国家安全攻击面,与私营部门和学术界的直接合作对情报界来说比以往任何时候都更为重要。

我们认识到需要与情报界以外的实体加强合作,因此必须直接与私营部门和学术界合作,共同解决核心重点领域的问题。

  • 通过了解数据和数字环境是如何演变的,情报界可以更有效地组织自身应对未来的数据和分析问题,整合来自公共和私营部门的数据,并开发新的合作、签约和许可方法;

  • 通过利用创新的数据流程和工具,特别是涉及人工智能(AI)的流程和工具,情报界可以更有效地管理、使用、存储和保护数据;

  • 通过利用私营部门和学术界个人的才能和技能,情报界可以为未来的数据创建和管理建立新的模式,并在持续教育和培训的基础上不断调整我们的做法。

在数据和数字革命的背景下,情报界与私营部门和学术伙伴建立必要的合作伙伴关系是这一大趋势的一个关键部分。与其他地方一样,情报界能否成功地收集、处理、分析和传播数据,以支持国家安全,将取决于我们能否有效地利用这些合作伙伴关系。

4、将情报界队伍从力型转变为数据驱动型

培养能够识别、发现和共享数据的情报界官员,以实现任务价值和可操作的情报。

作为将情报界转变为数据驱动型员工队伍的一部分,情报界需要提高包括领导层在内的各级员工的能力和技能。对于情报界而言,拥有一支能够理解、分析、推理、评估、沟通并利用数据做出决策的员工队伍每年都变得越来越重要。一支精通数据的员工队伍将更加了解我们收集和生成的数据,以及如何将其应用到我们工作的方方面面。

提高数据敏锐度将创造一种重视数据的文化,将其视为所有工作的基础。将数据敏锐性纳入情报界机构发展计划的重点工作,将通过加强认识、教育、培训和职业发展,提高整个情报界工作人员和领导层与数据相关的技能。

数据敏锐性必须成为每个员工的核心技能,而不仅仅是数据专业人员的技能。员工队伍和支持承包商需要了解、理解和重视数据的利用和共享,以实现任务价值和洞察力。精通数据的员工队伍非常重要,因为我们要果断地推动我们不断发展的任务能力,应对不断变化的数字和数据环境,不仅是人工智能,还有其他即将出现的新兴技术。

前进之路

我们所做的一切都始于数据。我们必须共同努力,以最快的速度发现、访问和利用情报界的数据,以保持决策和情报优势。为了应对当前和未来的威胁,情报界需要在即将到来的财政年度大力提高数据驱动活动的灵活性和完善性。为了从 2023 年开始发展这种灵活性,情报界首席数据官和情报界数据官理事会将制定情报界数据战略年度行动计划,以确定各别活动和里程碑,制定衡量标准并跟踪结果。为确保我们在战略方面取得进展,并为未来进行优化,我们将为随后的每一年制定类似的一年行动计划。

现在和未来的情报分析几乎都是基于数据驱动的,如何让海量的数据快速流动并用于大规模实时计算和分析,是快速获得高价值情报的基础。因此,基于端到端的大规模快速数据流动将是未来情报分析的基础设施。

以下内容摘自美国国家科学基金会2023-2025资助伊利诺伊大学的科研项目:

在超级计算机上进行大规模科学模拟的能力推动了能源、宇宙学、地球科学、医学和国家安全等一系列学科的创新和发现浪潮。随着超大规模的到来,各种应用有望以更高的分辨率和保真度提供越来越大的数据。高性能计算(HPC)系统当前的技术趋势正在计算和输入/输出( i/o)性能之间造成前所未有的差距,使数据流动成为仿真分析流水线中最慢的部分。为缓解这一瓶颈问题,人们提出了许多技术,包括压缩和分层数据布局,但目前的解决方案缺乏可扩展性和可移植性,也没有为并行输入/输出( i/o)和分析(现场和事后)工作流的数据管理需求提供整体解决方案。本项目将为下一代自适应数据布局开发一种可扩展和可延伸的输入/输出( i/o)运行模式和工具,这种数据布局本身包含压缩和渐进式数据访问,从而推动高性能数据管理领域的技术发展。本项目研究将为端到端数据管理解决方案奠定基础,该解决方案将满足整个仿真分析管道的挑战性需求,并显著加速超大规模科学的发展。

以下内容摘自美国国家科学基金会2022-2025资助罗格斯州立大学的科研项目:

现实世界中的对象(如图像和文档)通常包含丰富的元数据信息。 此外,近年来机器学习,尤其是深度学习的快速发展,使得提取现实世界对象之间有意义的关系并将其编码为数字表示成为可能。这样,计算机就可以方便地处理对象的语义。语义的数字表示在许多数据科学和人工智能应用中发挥着重要作用,如人脸识别、图像检索、视频理解、推荐系统、文本分析和知识库管理。在这些应用中,通常要联合查询现实世界对象的数字表示及其相关元数据。虽然元数据管理和表示法管理已经得到了广泛的独立研究,但联合管理元数据和表示法的研究却很少,因此在实践中很难做到。

遗憾的是,由于数据量巨大,而且众所周知的 "维度诅咒 "现象会使所有高维数据对象看起来相距甚远,因此元数据和表示法的联合管理具有挑战性。为了支持应用程序同时处理传统数据表示和数字数据表示,本项目将研究如何利用它们之间的协同作用。如果项目取得成功,它将为数据管理提供新的知识,从而推动科学技术的发展。此外,尽管元数据和表示法已被广泛使用,但它们在很大程度上仍由个别应用程序开发人员管理。如果不认真实施,其性能很难满足各种潜在用户的需求。   

本项目将提供一个端到端的数据系统,以减轻机器学习从业人员和应用开发人员自行管理程序创建的表征和元数据的负担。此外,该项目还将为机器学习从业人员和应用程序开发人员提供一个端到端数据系统,以减轻他们自行管理程序创建的表示和元数据的负担。

完整原文及机器翻译已上传知识星球
长按识别下面的二维码可加入星球
里面已有九千余篇资料可供下载
越早加入越便宜
续费五折优惠


文章来源: http://mp.weixin.qq.com/s?__biz=MzI2MTE0NTE3Mw==&mid=2651141256&idx=2&sn=fc5dbadb34cc1c9bc7b4dc61660d4359&chksm=f0f411904d6f4e0d5036bd48f59b65a8d6cb3e7ea8cd52df2930bc92d7aa4c8e3808aab6e038&scene=0&xtrack=1#rd
如有侵权请联系:admin#unsafe.sh