- 人工智能/大型语言模型（AI/LLMs）已成为科技界最炙手可热的话题。在网络安全领域，AI的角色引发了一些讨论。总体来看，AI在安全领域的影响主要分为两大类：一方面，将AI整合到现有的安全措施中，以提升自动化等领域的性能；另一方面，确保生产环境中AI及其模型的安全性。
- 本报告着重探讨如何确保生成式AI模型的安全。我们将分析企业对AI的采纳情况、企业如何保护这些模型的安全，以及市场上厂商的分布情况。理解预测性AI与生成式AI工作负载之间的差异至关重要，因为它们在预算分配和安全需求上存在显著差异。在此背景下，大多数公司可以归类为治理、可观测性或安全三个领域之一。
- 2025年将是该行业的关键转折点，因为2024年进行的AI实验将决定其成功与否。我们预测，届时市场将更加成熟，为众多企业提供成功的机会。如果实验未能成功，我们可能会看到市场的深度整合。尽管这个市场具有显著的长期潜力，但目前该领域正在迅速发展，市场领导者尚不明朗。
- 目前，厂商更倾向于通过并购而非自主研发来获取技术。同时，我们注意到，首席信息安全官（CISO）或首席信息官（CIO）不再是唯一的决策者，AI研究部门，有时甚至是首席数据官（CDO）的预算也在增加。对于许多公司而言，年度合同价值（ACV）大约在5万美元左右，最高可达20万美元以上。
- 当前最大的挑战在于企业如何管理数据的流入流出，以及员工如何访问数据——无论是个人身份信息（PII）还是他们工作所需的数据。影子AI现象确实存在。CISO及其团队期望并需要对员工使用的AI工具有更清晰的认识。从长远来看，我们认为围绕运行时模型的安全风险将成为关注的重点。
AI安全作为一个新兴市场，呈现出一些与现有网络安全市场相似的历史发展模式。随着应用量的增加，这个市场正逐步走向成熟。回顾企业历史上的重大转型，云安全的发展经历了几代公司的更迭——早期进入者多数被收购，第二代公司表现平平，直到第三代才出现了明显的领军企业。在AI安全领域，我们预计也会出现一系列安全厂商，他们将借鉴前人的经验教训，逐步成长。然而，与云计算不同，AI的快速进步和较低的门槛可能会导致安全解决方案的演进更加迅速，甚至可能更加复杂多变。在定义AI安全性时，首先需要理解保障AI安全的具体方法。AI模型的开发、来源和部署方式已经发生了巨大的变化，带来了新的风险层面。传统上，组织有三种明确的选择：自行构建模型、采用开源模型或依赖第三方托管解决方案。然而，基础模型的兴起——这些是大规模的、预训练的模型，可以根据特定任务进行微调——改变了市场格局，导致对第三方模型的广泛依赖。这种依赖引发了重大的安全问题。尽管开源模型提供了灵活性和成本效益，但它们可能也隐藏着安全隐患。即使采用了更安全的格式，模型架构中嵌入恶意代码的风险仍然是一个不容忽视的威胁。自2022年ChatGPT亮相以来，AI领域的发展可谓是波澜壮阔。最初，AI所承诺的生产力提升引发了广泛的关注和期待，但随着时间的推移，这股热潮逐渐趋于理性。尽管大多数办公室工作尚未发生根本性变化，但AI的讨论焦点已经从单纯的炒作转向了实际应用。大型语言模型（LLMs）和AI技术开始融入我们的日常工作与生活。生成式AI不再是一个时髦的术语——它正在逐步成为我们创作、思考和与技术互动的基础工具。现在，AI技术使我们能够以前所未有的方式生成图像、视频、文本和音频，极大地丰富了人类的创造力。更为关键的是，AI展现出了进行复杂多步骤推理的能力，使其能够模拟人类的决策过程。这一进步标志着一个重要的转折点，与过去二十年科技领域中的另一场革命——云计算的兴起——有着异曲同工之妙。
科技领域的上一次重大变革是云计算的兴起，它彻底改变了应用程序的开发、商业模式以及人们与技术的互动方式。云计算以一种全新的服务交付模式，取代了传统的软件使用方式，为行业带来了深远的影响。如今，AI正准备以软件取代服务，这一转变有可能带来更广泛且深远的影响。正如任何技术平台的变革，从过去的技术发展中吸取的教训对于理解和驾驭当前的技术趋势至关重要。云计算的发展告诉我们，虽然早期的开拓者为行业奠定了基础，但真正的市场领导者往往是在经历了多代的演变之后才显现出来。同样的原则也适用于AI领域。企业内部部署AI/大型语言模型（LLMs）的过程，与云计算带来的变革有着相似之处。我们可能正处于这一变革的早期阶段，AI安全领域的领军企业还在逐步形成中。随着企业在开源模型与封闭模型之间的选择，以及新型网络威胁的不断出现，我们预计AI安全的市场格局将经历多次迭代和调整，最终将塑造出最成功的市场参与者。这一过程不仅需要企业对AI技术有深入的理解，还需要对市场动态有敏锐的洞察力，以及对安全挑战有前瞻性的应对策略。
每一场技术的革新都犹如一把双刃剑，既带来创新的机遇，也引入了新的风险。人工智能（AI）虽然展现出巨大的潜能，但同时也为那些心怀不轨之人打开了新的方便之门。如今，发动一场复杂且具有国家级实力的网络攻击的门槛和成本正在急剧下降，AI的功能在这一点上甚至比云计算做得更多，它进一步降低了潜在攻击者入门的难度。这种情况凸显了我们对强化安全措施的需求，同时也为网络安全行业的新创企业与老牌公司开辟了广阔的成长空间。回顾云安全的发展历史，我们目睹了众多企业的兴衰更迭——许多先驱者最终被收购，第二代企业表现平平，直到第三代才真正崭露头角，成为市场的领军者。在AI安全领域，我们也预期将见证一系列安全服务提供商的出现，他们将吸取前人的教训，稳步成长。然而，与云计算的发展轨迹不同的是，AI技术的迅猛发展和较低的行业门槛可能会使得安全解决方案的演进速度加快，甚至可能会带来更多的不确定性和混乱。
云计算的安全经验为我们提供了一个理解AI安全可能发展轨迹的有力参考。正如云计算的规模经济使得科技巨头如亚马逊、微软和谷歌等在市场中占据了领导地位，AI领域中，那些能够迅速扩张和创新的公司也可能会在竞争中脱颖而出。在移动技术的发展史上，早期的创新者如苹果（iOS）构建了一个封闭的生态系统，而谷歌则迅速推出了一个开放的生态系统（Android），并最终将市场上的其他竞争者整合进来。在AI安全领域，我们可能会看到类似的封闭与开放模型之间的竞争，市场最终将围绕最有效的解决方案进行整合。我们正站在这个新时代的门槛上，虽然未来的发展仍充满不确定性，探索之路仍在继续，但有一点是确定无疑的：AI安全的发展将对企业如何采纳和部署AI技术产生关键性的影响。正如云安全最终走向成熟和稳定，我们也有理由相信AI安全也将沿着相似的轨迹发展——这将是本报告中将要深入探讨的主题。
人工智能（AI）对安全领域的影响是多方面的，主要可以归纳为两个大类：一是AI在安全领域的应用，二是AI自身的安全保障。根据不同的分类标准，AI领域的公司可能被划分为不同的类型，但它们在核心功能上存在一些共通之处：1. 专注于扫描模型库和依赖项中敏感数据的公司：这类公司的核心任务是检查和监控AI模型及其依赖项，确保敏感信息不被泄露或不当使用。2. 作为网络路径代理的公司：这些公司扮演着网络流量中转站的角色，对流经企业网络的数据进行检查，以保障数据的安全性和符合相关法规要求。3. 位于应用层的公司：这些公司通常通过扩展或嵌入代码的方式，协助实施数据安全和访问控制策略，确保在应用层面上的数据得到妥善保护。
人工智能（AI）在安全领域的应用是多维度的，它能够自动化安全流程，提高安全运营和开发人员的工作效率。虽然这部分内容不是我们文章的核心，但我们仍需对其重要性给予认可。以下是AI在安全领域中一些关键应用的领域：安全运营中心（SOC）自动化：AI技术可以提升SOC分析师的工作效率，通过自动化流程减少人工操作，从而加快响应速度并提高处理的准确性。
应用安全（AppSec）：AI在代码审查中发挥着重要作用，它有助于高效管理开源或第三方依赖项，并在应用程序中实施安全措施，从而增强整体的安全性。
威胁情报：AI的发展使得安全团队能够更有效地处理威胁情报，自动化渗透测试和异常检测中的手动任务，提升对潜在威胁的检测和响应能力。
这是我们文章的重点，主要聚焦于如何在生产环境中确保人工智能/大型语言模型（LLMs）的安全性。在此，我们要特别感谢Menlo Ventures团队的协助，他们分享了宝贵的知识。总体来看，AI安全领域的公司可以根据它们提供服务的性质被划分为以下几个类别：治理：这些公司协助组织构建治理框架、风险管理协议和AI实施政策，以确保AI技术的合规性和安全性。
可观测性：一旦AI模型部署到生产环境中，这些公司便负责监控、捕获和记录数据。它们帮助捕获输入和输出数据，以便检测不当使用行为，并为团队提供全面的审计能力。
安全性：这些公司致力于AI模型的安全防护，特别是识别、预防和应对针对AI模型的网络攻击。具体包括：
AI访问控制：确保对生成式AI应用和企业AI应用的安全访问。
模型构建/训练前的数据安全：包括数据泄露防护、数据丢失预防、个人身份信息（PII）的识别与删除，以及红队测试。
模型构建/生命周期管理：进行模型漏洞扫描和监控，部署AI防火墙和网络流量检查，以及威胁检测与响应。
在深入探讨AI安全的重要性之前，我们首先需要理解企业目前是如何应用AI技术的。生成式AI的潜力在于其能够通过大语言模型（LLMs）和检索增强生成（RAG）等先进技术来提升工作效率并降低运营成本。尽管生成式AI的发展前景十分广阔，企业决策者也普遍认识到利用AI技术可以增强业务表现，但许多企业仍在探索如何有效地整合和运用这项技术。一些组织已经在AI的应用上取得了先发优势，但更多的企业还处于初步探索阶段——在全面推广AI技术之前，他们正在仔细权衡AI的利弊。预测性AI与生成式AI：理理解预测性AI与生成式AI之间的区别对于把握它们的应用场景至关重要，因为这两种技术的功能和目标各有不同。预测性AI的核心在于对现有数据（通常是经过标注的训练数据集）进行深入分析，以便对未来的趋势或结果做出预测或决策。这种AI技术广泛应用于推荐系统、风险评估、股价预测等领域。相对而言，生成式AI则更进一步，它不仅能够分析数据，还能基于训练数据中的模式创造全新的内容，如文本、图像或音乐。生成式AI的应用包括自动写作、图像生成、音乐创作等，它能够模仿人类的创造过程，生成以前不存在的内容。
摩根士丹利在其最新报告《美国科技：2024年第二季度CIO调查 - 稳定的预算，紧张的CIO》中披露了一些关键数据，这些数据显示了首席信息官（CIO）们正在将净AI/ML项目作为优先考虑的事项。截至2024年第二季度，人工智能（AI）和机器学习（ML）在CIO的优先事项列表中位居榜首，与第一季度相比，其净优先级有所提高，大约有16%的CIO将其作为首要任务。在他们的第二季度调查中，AI/ML的优先级实现了最大的季度环比增长。报告中特别提到了生成式AI，这表明CIO们对这项技术的兴趣在不断上升。摩根士丹利的第二季度数据进一步强化了这一点，显示CIO们对生成式AI技术的热情正在增长。此外，报告还指出，现在有75%的CIO表示，生成式AI/大型语言模型（LLMs）对2024年的IT投资优先事项产生了直接影响。这一比例在第一季度为73%，而在2023年第四季度为68%。有趣的是，CIO们虽然将人工智能/机器学习（AI/ML）作为优先考虑的事项，但在具体实施这些项目时却显得比较谨慎。他们指出，正在观望生成式AI的投资何时能够显著地推动软件预算的增长。以下是一个相关的引述：“我们期望由生成式AI引领的创新投资浪潮能够带动软件预算的增加，但这一浪潮的到来可能会有所延后。这是因为目前对于如何构建生成式AI解决方案的参考模型还缺乏足够的信心，同时，将生成式AI解决方案整合到现有的软件包中的程度还不够成熟。”总体来看，摩根士丹利的报告支持了我们的观点：尽管众多企业都有意推进AI项目，但要实现从计划到全面部署的转变，仍需经历一段较长的路程。根据我们的讨论，众多企业预计要到2025年才能进行大规模的实施，并为相关产品编列预算。目前，生成式AI的潜在优势已经清晰可见。然而，由于其风险较大且存在不确定性，这导致了大规模部署的步伐相对缓慢。波士顿咨询集团（BCG）去年对2000名全球高管进行的调查报告显示，超过一半的企业正在积极避免采用生成式AI，主要原因是担心多种风险因素。这些风险主要集中在安全性、管理、法规遵守以及这些模型输出的可控性上。那些迅速采用AI技术的企业可能会面临如何实施治理协议的挑战，尤其是在处理敏感数据的流通方面——无论是为了服务客户还是企业内部管理。企业必须掌握如何在执行内部政策和遵守外部监管框架之间找到平衡，尤其是在涉及到个人身份信息（PII）等敏感数据时。此外，AI模型的训练成本依然居高不下，而且一些模型在输出时还存在“幻觉”现象，即产生不准确或不相关的信息。正如本报告的大部分内容所讨论的那样，许多企业已经选择通过在组织防火墙内将生成式AI工具（如ChatGPT）的URL列入黑名单，来完全阻止访问此类工具。尽管这种方法降低了风险，但可能导致生产力下降，并且无法解决与远程工作者或非管理设备相关的问题。1. 无意的数据暴露：员工可能会在无意中将敏感数据粘贴到ChatGPT中，从而导致意外的数据泄露。2. 恶意内部人员活动：恶意内部人员可能通过精心设计的问题将敏感数据输入生成式AI工具，从而在从未管理的设备上再次提出相同问题时实现数据外泄。3. 高风险的AI驱动浏览器扩展：这些扩展可能从用户使用的任何Web应用程序中导出数据，造成潜在的安全隐患。企业正在采用如LayerX这样的浏览器扩展安全解决方案，以保护其设备、身份、数据和SaaS应用程序不受传统安全措施可能无法覆盖的网络威胁。这些威胁包括数据泄露、钓鱼攻击导致的凭证盗窃、账户被非法接管，以及恶意浏览器扩展的发现与禁用。在这种情况下，浏览器扩展的作用变得尤为重要。通过部署浏览器安全扩展，组织能够在生成式AI工具（如ChatGPT）中实施监控和治理措施。这包括限制访问、触发警报以及防止如粘贴或填写敏感信息等特定操作。这些控制手段在提升员工工作效率的同时，也确保了敏感信息的安全。由于生成式AI工具通常通过网页会话进行访问，浏览器扩展能够监督和管理用户与这些工具的互动，包括基于特定情境判断并允许或禁止某些行为。这样的措施有助于在不牺牲生产力的前提下，加强对敏感数据的保护。在讨论企业未来如何采纳人工智能/大型语言模型（LLMs）时，同样关键的是评估企业在选择开源或闭源模型时的考量，以及这一选择将如何影响其发展和安全策略。目前，关于开源与闭源模型哪一种将成为市场的主导选择业界尚无定论。主要的云服务提供商（CSPs）和AI公司正投入巨额资金，力图在市场上占据领导地位。当前，市场上主流的模型大多由闭源公司开发，例如OpenAI的ChatGPT、Anthropic的Claude，以及谷歌的BERT/Gemini等。到目前为止，像OpenAI这样的闭源模型在全球企业中的应用占据主导地位。根据Emergence Capital最近发布的“Beyond Benchmarks报告”预测，OpenAI目前占据了大约70-80%的大型语言模型（LLM）部署市场份额，而谷歌的Gemini则以大约10%的市场份额紧随其后。企业倾向于选择像OpenAI这样的闭源模型，因为它们在大规模部署中的稳定性和性能已经得到了验证。这些模型提供全面的技术支持、定期的更新和集成服务，这使得它们成为关键任务型应用的首选。同时，Anthropic的Claude专注于道德AI领域，致力于为注重道德AI的企业客户提供一个更安全、更符合其价值观的选择。像OpenAI这样的闭源模型提供的即插即用解决方案，可以轻松地与现有企业系统相集成，这对那些希望快速实现部署且缺乏广泛内部AI专业技能的企业来说具有极大的吸引力。摩根士丹利的研究指出，微软在生成式人工智能（GenAI）产品领域正成为显著的受益者。在他们最近发布的第二季度调查报告中，有94%的首席信息官（CIO）表明他们计划在未来12个月内至少采用一种微软的生成式AI产品，尤其是Microsoft 365 Copilot和Azure OpenAI服务受到了广泛的欢迎。这一数字相较于2023年第四季度的63%和2023年第二季度的47%，呈现出显著的增长。对于未来三年的展望，同样有94%的CIO计划部署微软的生成式AI产品，这显示出企业对这种技术的采纳可能会持续稳定增长。此外，微软在AI/大型语言模型（LLM）安全产品方面也引起了市场的关注。在微软最近一次的财报电话会议中透露，已经有超过1000名付费客户开始使用其安全领域的Copilot产品，这表明微软在AI安全领域的产品和服务正逐渐获得企业用户的认可和采用。当前，流行的开源模型包括Meta的LLaMA 2和Mistral。对于开源模型的讨论通常集中在它们提供的灵活性上，即企业可以根据自身特定需求对模型进行定制和微调。这种灵活性对于那些有独特业务需求或者希望在AI应用上与竞争对手有所区别的企业来说，是非常关键的。开源模型的最大优势在于，企业能够在其自身的基础设施中完全部署这些模型，从而确保对数据隐私和安全的全面控制。这一点对于那些受到严格数据保护法规约束的行业来说尤其重要。在成本考虑方面，虽然部署开源模型可能需要较高的初始设置成本和专业知识，但长期来看，成本通常较低，因为不需要支付持续的许可费用，这是与闭源模型相比的一个显著优势。因此，那些拥有内部AI专业知识的企业往往更倾向于选择开源模型，以获得成本上的优势。在一个由开源或闭源模型主导的市场中，网络安全厂商扮演着至关重要的角色。在开源模型的领域中，网络安全厂商面临着多样化模型部署的挑战。由于每个企业都可能以不同的方式对模型进行修改，这就要求厂商提供能够适应并定制的安全解决方案。这种需求增加了实施的复杂性，但同时也为特定行业或企业需求量身定制的解决方案创造了机会。由于开源模型提供了对模型架构和代码的完全透明性，网络安全厂商能够对模型进行深入的分析和保护。对于那些部署开源模型并对其数据拥有完全控制权的企业，厂商必须专注于保护本地基础设施并确保数据隐私。在闭源模型的环境中，企业部署的模型往往更加标准化，这有助于简化安全解决方案的开发。然而，对于闭源模型，厂商可能难以获得模型的内部结构，这使得开发深度集成的安全解决方案变得困难。他们可能需要依赖模型所有者提供的API或其他接口，这可能会限制能够实施的安全措施的深度。此外，网络安全厂商是否需要与如OpenAI这样的闭源模型提供商合作以提供深入的安全保护，或者OpenAI是否会自行购买更深入的安全解决方案，这也是一个值得考虑的问题。生成式AI和大型语言模型（LLMs）的流行，强化了将AI的安全性和可靠性作为核心议题的必要性。企业在采用AI/LLMs的过程中，可能会带来新的风险和安全漏洞，这些可能被恶意攻击者所利用。虽然这些安全问题已经存在一段时间，但过去常被忽视，有人仅将其视为理论上的讨论而非实际的威胁。现在，关于谁应该对AI安全性负责的不确定性——是否属于安全团队的职责，还是应由机器学习（ML）和工程团队来承担——已经逐渐清晰。AI，尤其是生成式模型，带来的一个细微却影响深远的挑战是应用中控制层面与数据层面的融合。在传统的软件架构中，控制应用的代码与其处理的数据之间存在着明确的界限。这种界限对于降低未授权访问或数据篡改的风险至关重要。生成式AI模型打破了这一界限，将控制逻辑与数据融合在模型内部。这种融合通常将推理过程直接展现给用户，建立了用户输入与模型输出的直接联系。这种直接联系引入了新类型的安全漏洞，类似于传统应用中SQL注入的风险。一个典型的场景是提示注入攻击，攻击者通过精心构造的输入来操纵模型的行为。这类攻击在大型语言模型（LLMs）的应用中构成了一种新的威胁。此外，使用第三方模型也引发了对数据安全的担忧。在推理过程中，经常会输入包括个人身份信息（PII）在内的敏感数据，这可能会使数据暴露给安全措施不明确或不充分的第三方提供商。无论是模型提供商滥用数据还是意外泄露，数据泄露的风险都凸显了在AI系统中实施严格数据安全措施的重要性。行业正在努力对顶级风险和攻击进行标准化，但到目前为止，我们尚未遇到能够彻底改变行业格局的重大安全漏洞。目前，行业中广泛采用的标准包括针对AI/LLMs的OWASP十大风险和MITRE ATLAS。我们将在后续的讨论中更深入地探讨这些风险。突出的风险包括成员推断攻击、模型提取攻击、规避攻击、后门攻击、越狱攻击以及数据强化风险。在最基本的层面上，许多企业面临的最大挑战是如何管理员工在使用聊天机器人和访问生成式AI应用程序时企业数据的流入和流出，尤其是在员工使用生成式AI应用程序的增长率达到44%的背景下。然而长远来看，组织在生产环境中管理自主代理和大型语言模型（LLMs）时将面临重大风险。理解AI风险因素的有效方法之一是全面审视整个供应链以及模型开发的各个阶段。谷歌开发的AI安全框架为我们提供了一个视角，类似于我们审视软件供应链中的风险的方式，企业在机器学习（ML）供应链中可能会面临多种类型的攻击。在更广泛的层面上，我们需要对机器学习（ML）供应链攻击的风险进行评估。模型可能遭到操纵，从而提供带有偏见、不准确或有害的信息。这些信息不仅可能被用来制造有害内容，如恶意软件、网络钓鱼攻击和宣传材料，还可能被用于开发深度伪造的图像、音频和视频。任何恶意行为者都可能利用这些技术来获取敏感或非法的信息。这些攻击手法极为复杂，攻击者通过巧妙地操纵输入数据来欺骗AI模型，导致模型做出错误的预测或决策。这类攻击利用了模型对输入数据中特定特征的敏感性。攻击者通过引入细微的、通常难以被察觉的变化——比如，改变图像中的几个像素——就能让AI模型错误地分类数据。例如，在图像识别系统中，一次精心策划的对抗性攻击可能诱使模型将停车标志误判为限速标志，这在现实世界中可能引发严重的后果。这类攻击在自动驾驶车辆、医疗诊断和安全系统等关键领域尤为令人担忧，因为在这些领域中，AI模型的可靠性和准确性是至关重要的。对抗性攻击能够在不显露明显受损迹象的情况下，隐蔽地破坏AI模型的性能，这强调了采用先进的防御策略的必要性，比如对抗性训练和稳健的模型评估技术。模型反演攻击是另一种威胁，攻击者可以通过分析AI模型的输出，重建出敏感的输入数据，例如图像或个人信息。这在隐私保护方面构成了重大风险，特别是在医疗保健和金融等领域。为了防范这类攻击，必须谨慎管理模型的暴露程度和输出处理方式。数据投毒是AI系统可能遭遇的一项重大安全威胁，它指的是将恶意或带有误导性的数据故意掺入AI模型的训练数据集中。攻击者通过这种手段旨在破坏模型的学习过程，使其产生带有偏见或错误的输出。例如，若AI模型用于识别欺诈交易，攻击者可能会通过注入投毒数据，让模型错误地将一些欺诈行为识别为正常行为。这导致模型在实际应用中无法有效识别真正的欺诈行为。数据投毒的危险性在于，它能够从本质上损害AI模型的准确性和可靠性。一旦模型基于这些被篡改的数据进行了训练，其判断中的误差和偏见将根深蒂固，难以被察觉和纠正。这种攻击方式的隐蔽性在于，它可能在模型部署前一直未被发现，而一旦模型部署并投入使用，其造成的损害可能已经难以挽回。因此，确保数据的清洁和安全对于维护AI系统的完整性至关重要。生成式AI模型的核心特性是它们能够产生几乎无限多样的输出结果。这种灵活性是它们的一大优势，但同时也带来了众多潜在的挑战。对于判别模型的评估通常更直接，主要关注于模型在特定类别上的准确性。与此相比，生成式AI模型的评估则要复杂得多，涉及多个维度。仅仅确认模型输出在技术层面的正确性是不够的；利益相关者还需要考虑输出的安全性、与特定上下文的相关性、是否符合品牌价值、产生有害内容的可能性，以及是否有生成误导性或不准确信息的风险。这种复杂性意味着确保AI系统的可靠性需要面临更大的挑战，并且需要采用更为细致和全面的评估方法。判别模型的性能评估通常依赖于成熟的统计指标，以量化模型预测与实际结果的一致性。这些模型通常在有明确标注的数据集上进行训练，因此可以基于历史数据进行清晰、客观的性能评估。然而，生成式模型（如用于聊天机器人和其他自然语言处理（NLP）应用的模型）则面临一系列不同的挑战。其输出的质量和适当性不仅多维，而且往往具有高度的主观性。在不同的上下文、受众和个人偏好中，“好”、“安全”或“有用”的内容标准可能会有显著差异。在我们的调研过程中，我们与多位首席信息安全官（CISO）、首席信息官（CIO）以及负责评估AI安全解决方案的决策者进行了深入交流。我们观察到，尽管AI安全工具的采用目前还处于相对早期的阶段，但已经开始逐步走向成熟。大多数CISO倾向于采购新的生成式AI解决方案，主要基于以下几个考虑：首先，市场上采购现成解决方案的趋势依然明显，这比自建解决方案更为普遍。这种情况的出现是因为企业内部的AI专业人才主要集中在模型开发或大型语言模型（LLMs）的研究上。同时，安全团队需要具备构建解决方案的能力，这不仅涉及到安全团队，还包括数据团队、商业智能（BI）团队，以及有时甚至是新成立的生成式AI团队。这种倾向于采购而非自建的策略反映了企业在迅速发展的AI领域中需要快速响应的需求。在这种环境下，采购生成式AI安全工具不仅可以加快部署速度，还能确保安全团队拥有足够的资源和专业知识来应对新出现的安全挑战。这种跨部门的合作和工具的快速采纳也表明了企业在AI安全领域的成熟度正在逐步提高。组织和企业正在努力确保员工和数据的安全。我们观察到，传统的方法正在借鉴零信任网络访问（ZTNA）框架，包括数据丢失防护（DLP）、云访问安全代理（CASB）以及安全Web网关（SWG）等解决方案。这些解决方案作为员工与AI工具（如ChatGPT）之间的代理，同时处理基于SaaS的工具（如Canva）中使用的AI流量。简而言之，这是关于AI的数据进出管理。当询问这些领导者如何在众多初创公司中辨别最佳解决方案时，他们通常提到以下几点：2. 数据安全：确保没有敏感数据被共享到外部的AI/LLM平台。3. 访问控制：实现基本的基于角色的访问控制（RBAC），以管理谁可以访问什么内容（通常称为“影子AI”）。企业开始在实际需求出现之前就购买AI安全解决方案。虽然这听起来有些违反直觉，但我们从几位上市公司的CISO那里了解到，董事会/股东要求事先设置AI护栏和安全措施。我们喜欢用的比喻是：这就像雇佣了一组保镖来保护一块空白画布，但普遍的信念是，一旦画布被绘制，它将几乎成为毕加索或蒙娜丽莎。同样，我们听说更大、更复杂的企业将要求公司拥有“AI软件物料清单（AI-SBOM）”，即创建和部署AI或LLM时所使用的所有组件、依赖项和元素的详细清单。在AI背景下，SBOM包括以下内容：- 数据源：用于训练AI模型的数据集，包括数据来源、处理方式以及任何偏见或限制的元数据。- 算法和模型：开发过程中使用的特定机器学习算法、模型或框架（如TensorFlow、PyTorch），包括版本和配置。- 软件库和依赖项：AI系统依赖的所有软件库、包和依赖项，包括它们的版本信息。- 训练过程：关于训练过程的详细信息，包括环境、资源以及使用的任何特定超参数。- 硬件依赖性：如果AI系统需要特定的硬件（如GPU），这些信息也会包含在SBOM中。- 安全性和合规信息：与安全漏洞、合规性以及对AI系统进行的任何认证或审计相关的信息。一些先进的客户是AI采用的先行者。例如，我们与一位客户交流时得知，他们使用AWS和LangChain创建了首批面向客户的聊天机器人之一。为了确保没有敏感信息被外部共享，他们目前在聊天机器人前端使用了一个生成式AI安全解决方案（通过API）。同样，买家在评估确保敏感信息不泄露的有效性时也变得更加聪明。这些公司（我们将在下文中提及）也在应用他们的LLMs，并不断进行微调，以确保高效性（>90%的POC通过率），同时保持低延迟（尽管目前还没有统一的度量标准）。与微调相关的是，我们从CISOs/CIOs和买家处了解到，他们在确定这属于购买类别后，开始询问厂商其模型经历了多少对抗性测试，以及是否有任何结果可以分享。一些行业已经开始采用这些解决方案：政府、金融服务、汽车、石油/能源、旅游和技术/电商。在所有这些行业中，使用案例通常集中在模型安全、外围防御和用户安全上。我们看到旅游业成为采用聊天代理的快速行动者之一，因此采用AI安全厂商显得尤为重要。尽管对于聊天机器人在行业中的长期用例持怀疑态度是容易的，但这清楚地表明，市场对使用一种全面解决方案的需求很大，该解决方案可以保护员工、敏感数据以及面向客户和内部的AI应用程序。AI安全的下一个明显的进化方向是保护自主代理应用程序。帮助企业安全开发和部署他们的首个非确定性计算应用程序（超越首批聊天机器人的应用）感觉像是一个巨大的机会，尽管目前仍处于非常初期的阶段。我们开始看到一些公司迈出了这一步，例如Apex Security，其推出的新AI代理风险与缓解服务。我们注意到了Gartner最近发布的关于AI对网络安全和首席信息安全官（CISO）影响的报告提供了全面的分析，深入探讨了企业中现存的相关攻击面。利用Gartner的分析框架可以将相关公司根据它们的业务领域进行分类，并探讨它们如何帮助企业保护其攻击面。治理是企业在实施人工智能安全过程中的关键第一步。它确立了一个坚实的框架，用以明确角色、责任和政策，确保合规性和道德指导方针得到遵守，同时增强人工智能模型的透明度和可解释性。在人工智能治理中，IT风险不仅包括传统意义上的安全漏洞，还包括由生成式AI带来的新挑战，例如知识产权的侵权问题和有害内容的输出。全球有超过58个国家已经提出了各自的人工智能法规，这进一步增加了企业在遵守法规方面的复杂性。有效的人工智能治理需要采取双管齐下的策略：首先，全面了解组织内生成式AI的使用情况；其次，制定并执行明确定义的政策，以识别和减轻相关风险。这包括跟踪AI许可证的使用、识别组织内部的AI项目以及监控第三方AI集成的情况，从而构建一个安全的AI生态系统。通过这种全面的方法，企业能够更好地管理和降低与人工智能相关的风险。一些厂商专注于帮助企业实施针对SaaS应用程序和非人类身份的访问权限和控制的治理策略。Knostic AI、Antimatter.io、Unbound Security 和 Protopia AI 等公司提供的解决方案，对于确保大型语言模型数据的正确访问配置和维护强大的数据安全性至关重要。在合规性和治理领域，有多家厂商提供服务，包括 Arthur.ai、Askvera、Fairnow、Cranium、Credo AI、Holistic AI 和 Knostic 等。厂商：Antimatter, Gretel, Skyflow, BigID, Bedrock Security and Nightfall AI.· Enkrypt AI：他们确保在向大型语言模型（LLM）发送任何提示之前，对个人身份信息（PII）进行编辑，而DAXA则对LLM的响应启用了业务感知策略保护。· Antimatter：他们通过确保适当的访问控制、加密、分类和库存管理来管理LLM数据。· Protecto：它们保护检索增强生成（RAG）管道，实现基于角色的访问控制（RBAC），并帮助编辑PII。· 合成数据保护：Gretel等公司提供API支持，允许您使用“假数据”训练生成式人工智能（GenAI）模型，并使用质量和隐私评分验证用例。此外，像Tonic这样的公司帮助去识别数据集，转换生产数据使其适合培训，同时维护一个管道以保持合成数据的最新状态。一些厂商已经崭露头角，成为提供端到端可见性或最后一英里支持的公司，这些服务包括测试、评估和性能监控，尤其是在多模型环境中，这些公司特别受到关注。例如，Prompt Security、Portal26、Lasso Security、Troj.AI、Hidden Layer 和 Robust Intelligence 就是其中的佼佼者。红队评估已经成为实施这些模型时的一个核心组成部分。企业正在利用拜登的人工智能行政命令和欧盟法案等监管要求，来构建红队解决方案。在这一领域中，Mindgard、Prompt Security、Repello AI 和 SydeLabs（ProtectAI）等公司正在提供相关服务。在模型开发的初始阶段以及部署阶段，以下公司提供了关键的安全支持：HiddenLayer：该公司为生成式AI和预测性AI模型提供检测和响应能力，专注于检测提示注入、对抗性攻击和数字供应链漏洞。HiddenLayer的优势在于其基于代理的AI平台安全性，包括AI模型扫描仪和AI检测与响应解决方案。Radiant AI：Radiant AI位于模型层和应用层之间。虽然Radiant AI不直接竞争安全预算，但他们帮助团队识别模型中的异常以提高性能和安全性。由于其“模型网关”位于沙箱环境和AI模型之间，因此他们还提供警报（带有框架）和模型访问控制等功能，这对需要基本RBAC（基于角色的访问控制）的CISO特别具有吸引力。Prompt Security 专注于三个主要应用场景的安全：通过浏览器保护员工安全、通过代理保护开发者安全，以及通过 SDK/代理保护大型语言模型（LLM）应用程序的安全。该公司被视为生命周期和 AI 应用安全模块的早期领导者之一。Protect AI 是该领域的先行者之一，构建了一个从应用层到端到端模型开发的平台。他们专注于在模型本身中提供零信任安全性，并具备红队测试能力。Mindgard 的核心优势在于其 AI 红队测试平台，该平台能够识别风险、提供标准化评估，并为生成式和预测性 AI 系统提供有效的缓解措施。他们帮助企业在合规和责任优先的情况下运行安全的 AI 应用程序，能够动态地对托管在任何位置的 AI 模型进行红队测试。Liminal 的重点是通过浏览器和桌面应用程序保护员工与 AI/LLM 的互动，特别是帮助公司安全部署 AI 应用程序。Swift Security 专注于保护三种类型的应用场景：LLM 应用程序、使用 AI 的开发者以及 LLM 应用程序本身。Swift 可以作为一个内联代理部署，还专注于检查数据流动中的安全性。AI Sentry 致力于通过强制访问控制来保护生成式 AI 应用程序，包括 RAG（检索增强生成）和 AI 应用程序及代理本身。Apex Security 的产品设计覆盖从数据泄露（员工）到 AI 漏洞和提示注入的应用场景，通常发生在应用层。目前的产品基于无代理架构，可以快速插入多个云环境，从而增强其检测引擎。Calypso 专注于保护 LLM 和 AI 模型本身，而不是员工。该公司通过 API 充当多个 LLM 和企业应用程序之间的代理，可以在不影响延迟的情况下部署于本地和云端，并提供全面的可见性。Troj.ai 是一家专注于企业级 AI 安全的公司，通过安装在客户环境中的软件（本地或云端）提供服务。他们的解决方案特别关注企业使用任何模型（自定义或现成）构建自己的应用程序，并在运行时通过分析模型的输入和输出来保护它们。他们的解决方案基于一个核心前提：大多数企业希望将模型更靠近用户，并且不希望数据离开企业。Lasso Security 的策略是能够在 LLM 和各种数据消费者（包括内部团队、员工、软件模型和外部应用程序）之间运行。Unbound Security 致力于通过全面的可见性和控制来加速企业对 AI 应用的采用。它提供了一个浏览器插件，用于监控员工对 AI 应用的使用情况，以及一个用于基于应用程序交互的 AI 网关。其他值得注意的公司包括 AI Shield、Meta、Cadea、AppSOC、Credal、Encrypt AI 等，它们也在不同程度上为 AI 和 LLM 应用程序的安全性做出贡献。企业需要全面的监控和日志记录AI系统的活动，以便实时检测异常和潜在的安全事件。持续监控AI模型对于识别模型漂移、偏差及其他可能危及安全性和可靠性的问题至关重要。以下是一些提供相关解决方案的初创公司：· Prompt Security、Lasso 和 Helicone：这些公司提供监控解决方案，帮助企业实时跟踪AI系统的运行状态。· SuperAlign：专注于所有使用中的模型和特性提供治理，跟踪合规性并进行风险评估。· Lynxius：聚焦于评估和监控模型性能，特别是对模型漂移和幻觉等关键参数的监控。· Harmonic Security：帮助组织跟踪生成式AI的采用情况，并识别“影子AI”（未经授权的生成式AI应用使用）。通过预训练的“数据保护LLM”防止敏感数据泄露。其创新方法是直接与员工互动进行纠正，而不仅仅是向安全团队发出警报。· Unbound Security：不仅记录正在使用的AI应用，还主动引导员工使用IT批准的AI应用程序。在员工尝试分享敏感信息时，Unbound Security还进行即时的员工主导的纠正。我们对人工智能（AI）安全的未来充满期待。虽然在实际需求、首席信息安全官（CISO）的关注重点以及长期可行性方面，AI安全尚在蹒跚学步，但与历史上的技术浪潮相比，当前的态势已经清晰：企业更倾向于“购买”而非“自建”解决方案。基于此，我们预测市场将涌现出一批主导力量，同时也会有少数掉队者，后者可能触发一连串并购事件。我们预计，这一趋势将在2025财年下半年变得尤为显著。选择这个时间节点的原因是，届时我们将对大型语言模型（LLM）应用在生产环境（尤其是面向客户的领域）的普及程度有更明确的了解。尽管如此，AI在提升生产力和成本效益方面的潜力仍存在不确定性。在行业整合的大潮中，我们大胆预测，像Palo Alto Networks、Zscaler、思科等业界巨头将大举进军AI安全领域。随着LLM、AI及AI安全技术的突飞猛进，我们相信这些大公司将积极收购那些能够敏捷响应市场需求并拥有宝贵人才的初创企业。这些团队因其在AI/ML和安全领域的专业能力而成为收购的热门目标。展望明年，这将是至关重要的一年，我们将更加清晰地洞察AI在实际生产中的应用状况。随着高层对AI的重视以及对安全部署需求的增加，众多企业正顺势而为。可以把这看作是“第一垒”，而要冲向“第二垒”，AI安全厂商必须打造出极致流畅的产品，这些产品既不能妨碍生产流程，也不能带来额外延迟，同时还要为员工和应用程序提供全面的透明度。尽管目前AI安全仍处于早期发展阶段，但前景正日益明朗。对安全行业而言，这是一个激动人心的时代——我们正经历一场新的技术革命，它将释放出巨大的生产力和商业潜力，同时也会暴露出新的安全隐患。一些隐患已经显现，而其他一些则是前所未有的挑战。我们对AI安全领域的未来充满期待，并希望在未来几年中，能够有机会回顾并验证我们的预测——哪些是误判，哪些又是出奇的准确。
https://indiscretemusings.substack.com/p/deep-dive-into-the-security-for-ai
文章来源：安全喵喵站
文章来源: https://mp.weixin.qq.com/s?__biz=MzI4NDY2MDMwMw==&mid=2247513278&idx=1&sn=4e162c3b65d38f11b11e5e80dd363434&chksm=ebfaf39edc8d7a882d2caeb4fb31f63175221edc003c5bbcc40a85be836e2db9852bed265866&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh