导语：生成式人工智能工具开启了一个恐怖的新时代！
“在人工智能比我们更聪明之前，我认为应该鼓励开发它的人投入大量的工作来理解它可能会被控制和滥用的方式。”
——杰弗里·辛顿（Geoffrey Hinton），人工智能教父
生成式人工智能工具已经为首席信息安全官（CISO）开启了一个恐怖的新时代，从为难辨真伪的deepfakes提供支持，到创建复杂的网络钓鱼电子邮件，生成式人工智能的恐怖表演已经超出了身份和访问管理的范畴，其攻击载体涉及渗透代码的更智能方式以及暴露敏感的专有数据。
根据世界大型企业联合会（Conference Board）的一项调查显示，56%的员工在工作中使用生成式人工智能，但只有26%的人表示他们的组织制定了生成式人工智能政策。虽然许多公司正试图限制在工作中使用生成式人工智能，但长期以来对生产力的追求意味着，在没有IT部门批准或考虑潜在影响的情况下使用人工智能的员工比例令人担忧。例如，在一些员工在ChatGPT上输入敏感公司信息后，三星已经禁止使用ChatGPT以及类似的人工智能工具。
不过，即便苹果、Spotify和三星等大公司都限制了员工在工作场所使用生成式人工智能（generative AI）技术，但数据显示，许多员工似乎正在反其道而行。例如，戴尔（Dell）最近的一项研究显示，91%的受访者使用过生成式人工智能，其中71%的受访者甚至专门在工作中使用该技术。
这种现象催生了一个新名词：影子人工智能（Shadow AI），它是新版本的“影子IT”。只是这一次，风险更大。如果不加以控制，影子AI对企业风险管理和网络安全的破坏性可能比其前身更严重。
从影子IT到影子AI
IT团队和员工之间存在根本性的紧张关系，前者希望控制应用程序和访问敏感数据，以保护公司，后者总是寻求帮助他们更快完成更多工作的工具。
公共云的出现，开启了影子IT时代。由于急于加快运营速度，业务部门将个人预算转向谷歌Drive、Teams和slack等软件即服务（SaaS）解决方案，此举通常会绕过传统的IT采购流程。
积极的一面是，这种转变催生了一波创新浪潮，使快速决策、协作和沟通成为可能。然而，与此同时，它也导致了数据丢失和泄露事件的急剧增加，致使品牌声誉受损、合规罚款、集体诉讼和经济损失等后果。
尽管市场上有无数解决方案通过使员工更难以访问未经批准的工具和平台来应对影子IT，但去年仍有超过十分之三的员工报告使用了未经授权的通信和协作工具。
虽然大多数员工的意图是正确的——完成更多的工作——但其代价可能是可怕的。据估计，成功的网络攻击中有三分之一来自影子IT，可能造成数百万美元的损失。此外，91%的IT专业人员感受到为了加快业务运营而牺牲安全的压力，83%的IT团队认为网络安全策略不可能得到落实。
值得庆幸的是，影子IT 1.0已经不再像以前那样是个问题。下一代数据丢失预防（DLP）工具为组织提供了防止云应用程序中数据泄漏所需的可见性和控制。
然而，正当组织开始掌握云驱动的影子IT时，影子AI也进入了这场“混战”，给这种困境增添另一个可怕的维度。
影子AI：复杂性加剧
生成式人工智能带来了一个独特的挑战：每个员工都有可能成为数据泄露的来源。这意味着，从实习生到首席执行官，每个人在使用这些平台时都必须始终做出具有安全意识的决定。
这里存在几个问题：首先，我们从心理学研究中得知，人类每天所做的选择中，约有70%依赖于本能决策。正因为如此，期望员工总是做出安全的选择是在为他们和你自己设置不可能完成的挑战。
此外，生成式人工智能运作的内在本质带来了更复杂的风险，这是我们在最初的影子IT时代甚至不必考虑的。例如，所有云计算的复杂性都基于众所周知的IT原语，如网络、存储和计算。很少有专家了解生成式人工智能是如何工作的，但就像云计算一样，许多业内人士将参与其中。以前，只有数据科学家与这些复杂的人工智能模型密切合作，但现在出现了一类新的“公民数据科学家”。每个人都可以使用像ChatGPT这样的工具使用复杂的技术。如果任由其蔓延和不加管理，影子AI将大大增加数据和隐私泄露、模型中毒、剽窃和版权侵权。该系统的不透明无疑会引发新的安全担忧。
此外，生成式人工智能平台从用户提供给它们的数据中学习，所以组织员工输入到这些模型中的任何数据都很难跟踪，也不可能完全恢复。
影子AI的主要风险
那么，在实践中影子AI究竟会带来什么后果呢？以下是你需要了解的风险：
· 输入数据的再现：当员工在未经适当授权的情况下使用人工智能工具时，他们可能无法完全理解数据使用方式的复杂性。以免费版本的ChatGPT为例，输入提示和响应对于完善和训练平台的人工智能模型至关重要。因此，当另一个用户提交提示时，输入这些系统的任何数据都有可能作为输出重新出现，这一现实令人不安。研究显示，在2023年初，一个组织的员工在一周内与ChatGPT共享机密商业信息超过200次。
· 缺陷和漏洞：就像任何其他软件一样，人工智能工具也很容易受到缺陷和漏洞的影响。例如，在2023年3月，一个错误无意中允许一些ChatGPT用户查看其他用户聊天记录中的标题。这次事故还泄露了一些ChatGPT Plus用户的支付信息。
· 合规性问题：使用生成式人工智能会使组织违反行业标准，如HIPAA、PCI、GLBA和GDPR。像共享带有个人身份信息的提示这样简单的事情都可能被归类为违规行为，并导致巨额罚款。
管理影子AI
对于面临广泛的影子AI的组织来说，管理这种无休止的威胁可能就像试图在《行尸走肉》的影片中生存下来一样。随着新的人工智能平台不断涌现，IT部门可能深感无从入手。
幸运的是，IT领导者和CISO可以实施一些历经考验且有效的策略，以根除未经授权的生成人工智能工具，并在它们开始蔓延之前遏制它们。
· 承认AI工具的好处：企业可以通过主动为员工提供有用的人工智能工具来受益，这些工具可以帮助他们提高生产力，但也可以在IT治理下进行审查、部署和管理。通过提供安全的生成式人工智能工具，并为上传的数据类型制定政策，企业可以更有效管理这些工具，并创造一种支持和透明的文化，以更好地推动长期安全性和提高生产力。
· 加强认知：许多员工根本不明白，使用生成式人工智能会让他们的公司面临巨大的财务风险。有些人可能不清楚不遵守规则的后果，或者觉得自己没有责任遵守规则。令人担忧的是，安全专业人员比其他员工（37% VS 25%）更有可能表示，他们在试图解决IT问题时，会绕过公司的政策。从首席执行官到一线员工，所有员工都必须定期接受培训，了解所涉及的风险以及他们自己在预防方面的作用。
· 组建专业管理团队：组织需要重新评估现有的身份和访问管理能力，以确保有能力监控未经授权的人工智能解决方案，并在必要时快速派遣他们的顶级团队。
· 开发新的可观测模式来检测异常、破坏和数据泄漏。
好消息
幸运的是，有一些积极的进展。生成式人工智能和LLM培训已呈爆炸式发展，将这种复杂性整合到更直接的内部培训解决方案中变得越来越容易。此外，OpenAI已宣布将不再使用通过ChatGPT API提交的数据来训练人工智能模型。而且，该公司正在为API用户实施30天的数据保留政策，并根据用户需求提供更严格的保留选项，简化其条款并确保用户掌控自己的数据。OpenAI还计划承诺提供额外的保障和保护，以及他们所谓的负责任的人工智能原则。
许多新的LLM工具，包括谷歌、Facebook和无数其他工具，每天都在加速创新。就像云计算和DevOps的发展一样，随着时间的推移，随着我们的学习和推动更多的企业创新，所有的LLM应用程序都会变得更好、更安全。
最近的创新也减少了检索增强工具中的LLM幻觉。组织可以通过使用Langchain和AI矢量数据库从用户提供的知识库中检索相关信息。这些工具不依赖于已经训练好的模型，而是依赖于用户定义的文本和用户提供的嵌入。风险控制和合规性监控数据可以传递到LLM中，这样内部组织就可以利用生成式人工智能，而不会暴露于内部信息泄露的风险之中。
结语
影子人工智能正在困扰着企业，我们有必要抵御它。精明的计划、谨慎的监督、主动的沟通和更新的安全工具可以帮助组织领先于潜在的威胁。这将帮助他们抓住生成式人工智能的变革性商业价值，而不会成为它所引入的安全漏洞的受害者。
本文翻译自：https://www.darkreading.com/vulnerabilities-threats/what-lurks-in-the-dark-taking-aim-at-shadow-ai 与 https://www.polymerhq.io/blog/saas-dlp/what-you-need-to-know-about-shadow-ai-the-new-shadow-it/ 与 https://techstrong.ai/aiops/the-rise-of-shadow-ai/如若转载，请注明原文地址
