大多数行业分析师认为，2025年组织机构将在多种用例中加速利用生成式人工智能 (GenAI) 和大语言模型 (LLMs)。

典型场景包括客户支持、欺诈检测、内容创作、数据分析、知识管理，以及越来越多的软件开发场景。最近Contient 公司对1700名IT专业人士调查显示，81%的受访者表示所在组织机构目前正在使用 GenAI 协助编程和软件开发；近四分之三 (74%) 的受访人员计划在未来12个月中使用AI驱动的开发方式构建10款或更多app。

虽然此类用例有望为组织机构交付更好的效果和生产力，但它们也带来新的隐私、治理和安全风险。如下是六个与AI相关的安全问题，行业专家认为IT和安全领导者应当在未来12个月中予以关注。

AI编程助手将成为主流，风险亦如是

基于AI的编程助手（如 GitHub Copilot、Amazon CodeWhisperer和OpenAI Codex）的使用将从实验性和早期应用变为主流，尤其创业组织机构更是如此。这类工具的优势包括提升开发人员生产力、自动化处理重复性任务、减少错误以及缩短开发时间。然而，与所有新兴技术一样，它也存在一些劣势。从安全角度而言，这些劣势包括自动化编程响应如易受攻击的代码、数据暴露以及不安全编程实践的更多。

Digital.ai 公司的首席执行官 Derek Holt 指出，“虽然基于AI的代码助手无疑在自动完成、代码生成、复用和让非工程受众更容易接触编程方面提供了强大优势，但风险随之而来。”最大的风险在于AI模型与所训练的代码质量水平一样。早期用户在使用AI编程助手开发时，遇到了编程错误、安全反模式以及无序代码问题。他提到，“企业用户仍将必须使用动态应用安全测试 (DAST) 和静态应用安全测试 (SAST) 扫描其中的已知漏洞，并加固代码防止逆向尝试，确保负面影响是有限的，生产力的提升会带来预期益处。”

AI将加速 xOps 实践

Holt 表示，随着越来越多的组织机构将AI能力嵌入软件，DevSecOps、DataOps和ModelOps，或者说在生产中的AI模型管理和监控实践，将融合到更宽广、包罗万象的 xOps 管理方法中。受AI驱动软件的推动将越来越多地模糊传统声明性应用（根据预定义规则实现具体的结果）与LLMs和GenAI 应用（基于从训练数据集学到的模式生成响应）之间的边界。这一趋势将对运营、支持和QA团队造成新的压力并推动 xOps 的采用。

他指出，“xOps 是一个新兴术语，提出了基于企业专有数据自研或开源模型创建应用程序时的 DevOps 要求。这一新方法说明，当交付使用AI模型的移动或web应用程序时，需要将传统的DevSecOps 流程与 dataOps、MLOps 和 ModelOps 集成和同步到一个一体化的端对端生命周期。”Holt 认为这一新兴的最佳实践对于企业确保高质、安全和可支持的AI驱动的应用程序至关重要。

影子AI：更大的安全问题

广泛和迅速扩大的 GenAI 工具范围的易获得性，推动了很多组织机构对多种技术的越权使用，并为已不堪重负的安全团队带来了新的挑战。一个例子就是员工迅速使用AI聊天机器人（通常是未管理的）实现各种目的。这一趋势加重了很多组织机构敏感数据不可避免遭暴露的担忧。

Darktrace 公司的网络AI战略副总裁 Nicole Carignan 预测，安全团队将在2025年看到在未经审查的情况下使用此类工具的情况将激增，“我们将看到企业对AI和生成式AI工具的使用暴增”，从而导致影子AI的增长。她提到，“如果放任不检查，这将会引发与防止数据丢失防御有关的问题，以及随着新法规如欧盟AI法案开始生效造成的合规问题。”Carignan 预测首席信息执行官们 (CIOs) 和首席信息安全官们 (CISOs) 将越来越多地面临执行检测、追踪和消除未经审计在环境中使用AI工具的能力的压力。

AI将增强而非取代人类的技能

AI 在处理数量庞大的威胁数据和识别数据模式方面表现出色。但至少在一段时间内，AI充其量是一款增强工具，它擅长处理重复性任务和自动化赋能基本的威胁检测功能。SlashNext Email Security+ 公司的首席技术官 Stephen Kowski 认为，2025年最成功的安全计划仍将是结合AI处理能力与人类创造性的计划。

很多组织机构仍需利用人类的专业知识来识别和响应真实世界的攻击，而这些攻击的演变不止AI系统使用的历史模式。有效的威胁捕获仍将依赖于人类的直觉和技能，发现细微的异常之处并无缝连接看似无相关的指标。他指出，“关键是实现AI处理高容量例程检测与资深分析师调查新型攻击模式，并研判战略响应之间的适当平衡性。”

Bugcrowd公司的高阶服务副总裁 Julian Davies 表示，AI快速分析大量数据集的能力将要求网络安全员工提升自身的数据分析技能。他表示，“解释AI生成的洞察的能力对于检测异常、预测威胁和增强整体安全措施将至关重要。”提示工程技能对于寻求追求AI投资价值最大化的组织机构也将越来越重要。

攻击者将通过AI利用开源漏洞

ColorTokens 公司的轮值首席技术官 Venky Raju 认为，威胁行动者将通过AI工具利用开源软件漏洞并自动生成利用代码。Raju 表示，“即使是闭源软件也无法幸免，因为给予AI的模糊测试工具将无需访问原始源代码就能识别出漏洞。这类0day攻击是令网络安全社区严重担心的问题。”

今年早些时候，CrowdStrike 公司发布一份报告提到，受AI驱动的勒索软件说明了攻击者利用AI增强其恶意能力。攻击者还可利用AI研究目标、识别系统漏洞、加密数据，以及轻松调整并修改勒索软件以躲避端点检测和修复机制。

验证和人工监督至关重要

组织机构仍将发现，难以完全并间接信任AI能够做正确的事。最近，Qlik公司对4200个首席管理层和AI决策制定者开展调查发现，多数受访者压倒性地同意将AI用于多种场景。同时，37%的受访者表示其高级管理人员对AI缺乏信任，42%的中层管理人员也表达了同样的看法。21%的受访者表示其客户对AI不信任。

Kowski 表示，“对AI的信任仍然是好处与风险的复杂平衡，因为当前研究表明，消除偏见和幻觉可能是事与愿违且不可实现。虽然行业协议提供了一些道德框架，但道德的主观性质表明不同的组织机构和文件仍将以不同的方式解释和执行AI指南。具有实践性的方法是执行强大的验证系统并维持人类的监督，而不是寻求完全的可信任。”

Davies 表示，对于能够处理AI道德含义的专业人员的需求仍将增长。他们的角色是确保基于AI的决策的隐私性、消除偏见并维持透明度。他表示，“测试AI独特的安全性和安全用例的能力正在变得越来越重要。”

奇安信代码卫士 (codesafe)

国内首个专注于软件开发安全的产品线。

    觉得不错，就点个 “在看” 或 "赞” 吧~