圆桌对话实录

✦

人工智能技术在网络安全的创新应用

首先，我认为AI大模型技术绝非噱头。从我们公司平时对身份的研究来看，AI大模型在实际应用中已经展现出其强大的能力。例如，在欺诈行为或银行卡盗用等领域，传统的KYC技术可能已经无法应对新型的深度伪造技术，如deepfake，这些技术可以通过AI的方式实现，绕过传统的人脸识别等安全措施。

其次，AI大模型在攻击技术上的先进性已经不容忽视。黑客可以利用这些技术做更坏的事情，而且成本很低。因此，作为防御者，我们也需要升级我们的武器，提高我们的防御能力。

再者，AI大模型在防御方面的应用也已经取得了显著进展。例如，阿里兄弟提到的防御模型，可能不再需要依赖正则表达式，而是通过各种模型和方式去做检测。此外，AI大模型的出现也引申出新的需求，如大模型本身的安全问题。

最后，我认为AI大模型是社会发展的一个必然产物，它会在整个社会的各个领域都有应用。社会里的所有事物都有安全属性，既然有安全属性就会有对立，那么我们就需要不断地去升级我们的方法。在运营效率、运营效果方面，我们需要在安全检测的能力上面进行提升，否则我们就会落后。

听到各位的讨论，无论是在检测还是防御方面，AI大模型都能够实际落地并有很好的应用场景。

接下来的问题，就如各位刚刚所说一个应届毕业生利用大模型的能力，可能表现得像经验丰富的老师傅。我以自己最近使用无图NOA自动驾驶功能的经历作为类比，说明即使是新手，也能在某些情况下表现得像老司机。

那这个东西对于在座的各位老司机们来说会是一种挑战吗？或者说这个大模型就是未来是不是能够取代诸位绝大多数的工作？

我认为，AI大模型作为一种工具，对新手和资深安全专家都是一个平等的东西。我们可以将大模型视作一个放大器，它既能让新手的能力提升10倍，也能让我们这些资深安全专家的能力提升10倍。

对于新手来说，大模型能够帮助他们快速上手，表现得像经验丰富的专家。而对我们这些资深专家而言，大模型能够极大提高我们的工作效率，将原本需要长时间才能完成的任务缩短至几个小时甚至更短的时间内。

目前来看，AI大模型确实对整体劳动就业来说产生了一定的冲击，无论新手或老手，比如说简单机械性、规律性比较强的工作，大模型能够很方便地处理这些任务。对于资深专家来说，学习使用大模型和创造大模型将成为未来的两大方向。大模型不是一成不变的，它需要持续的调优，而这个过程中需要人的经验输入，这些经验是长时间积累的结果。例如，在写作领域，大模型的加持使得创作不再需要苦思冥想，也能产生独特作品。对于未来发展方向，大模型既是工具，也需要持续调优，因为其本身是一个学习的过程。

之前也有提到一个大模型训练的论据，数据语料到底填成什么样？其实第一是新，第二是全。新的数据是在生产过程中产生的，而这个过程需要人来喂数据。全，即全面性，不是一开始就具备的，而是在积累过程中迭代体系化。只有体系化加上全新的数据，才能体现精准，因为现在我们不缺信息，缺的是精准信息。将精准信息与体系化结合，可以在广度和深度上匹配得更完美。大模型在某种意义上也可以被视为一种产品，它从深度和广度上解决了漏报和误报的问题，使得大模型越来越智能化，提高了人的工作效率和质量，对人类的发展也起到了共同促进的作用。

我作为人工智能和大模型技术的坚定支持者，智能驾驶技术已经让我几乎不再自己开车，甚至倒车都不会了，但我认为这实际上进步的体现。

大模型技术是对人类大脑潜能的进一步挖掘。我们特别需要一种新型的安全运营分析师，我期望他能够一个人控制20个智能体来解决安全运营问题，并愿意为此支付高额的薪酬。我认为，这不是简单的替代，而是效率的迭代和进步。人类在某些方面与计算机相比存在天然劣势，比如在计算和记忆能力上，人类无法与计算机竞争。然而，人类在关联分析和复杂思考方面具有独特的优势，这是我们可以进一步挖掘的潜力。

比如有人说有了人工智能和大模型技术，哈利波特的编剧可以成为导演，因为人工智能可以帮助他们将创意转化为视觉作品。对于那些只会画图的专业人员来说，他们的工作可能会被替代，除非他们增加设计感和创造力，将这些知识输入给大模型，因为大模型没有人的驱动，目前还无法自我迭代。

最后还是呼吁大家应该以更积极的态度看待人工智能和大模型技术的发展，因为这是不可阻挡的趋势。我们应该看到它的积极面，并朝着那个方向发展，而不是沮丧。我们应该拥抱这种进步，而不是抗拒它。

我认为，这些挑战实际上是相对的，每次有新技术出现时，人们都会讨论类似的问题。以网约车取代出租车为例，这种变化确实带来了挑战，但首先它显著提升了整个行业的效率。

另外，虽然挑战确实存在，但它们是随着技术进步而变化的。我们面临的新挑战不会是过去那些低效率的问题。从安全的角度来看，10年或20年前，我们没有这么多的安全工具、自动化利用工具和漏洞，那时的研究可能更为初级。随着时间的推移，我们的研究领域变得更加高级，比如10年后，我们的研究方向将会与时俱进。尽管AI大模型可能会带来新的挑战，但这些挑战也将推动我们向更高级的研究领域发展。

安全大模型本身的安全问题

其实各位聊到的一个核心问题，就是大模型的训练需要大量数据和经验，但如果数据源头被投毒，那么在训练阶段就可能出现问题。这不仅关系到模型的准确性，还涉及到模型的安全性。刚刚佳峰也有提到说，可能有很多公司就因此而诞生，他专门针对这个大模型去做他本身的安全。

那我们这样攻防团队，是不是平时也是非常需要考虑这些东西？我们平时在这块是怎么做的？

在我们360公司，我们采用“以模制模”的安全理念，即利用大模型对抗大模型的安全威胁，在这个以模制模的过程中，我们提出了三个方面的三个不同深度的安全，一个是清洗模型的语料的安全，对每一条语料可以自动地去判别这一条语料是否是安全的，给它打个分，那么对于一些危险性比较高的，我们会自动去清洗掉。那么第二个是在使用的过程中的安全，包括就是对输入模型的数据，我们会做一个安全检测。第三个是模型生成之后内容的安全，包括防止黄赌毒、还有宗教、政治等等这种内容的产生。我们是这三个方面也是纵深防御的这种理念。

其实是两个维度，大模型的安全和安全大模型。其实我们现在做的，包括公司里大多数的工作，都是围绕安全大模型。这其实就跟做产品一样，我们做安全产品，另一个维度是产品的安全。目前来看大多数还是在做安全产品，大模型也可以看作是一个产品。我们现在对外输出的，体感比较强的，就是这些安全大模型，就像刚才提到的0day大模型、钓鱼大模型，因为这些在实战攻击过程中是最快速、最主流的两种方式。还有运营大模型，当然，现在还在输出的有一个是数据大模型，因为现在数据安全是一个需求热点，这几个需求都比较主流。

至于大模型的安全，就像赋能性产业，它的强弱取决于它关联的场景。比如现在新能源汽车很火，那么新能源的安全和攻防就是一个趋势。那后面如果大模型这个方向，包括人工智能整体都起来了，那么大模型的安全、大模型的攻防，这些也会随之兴起。这跟前几年攻防的发展也是一样的。

现在大模型的应用情况到底跟以往相比差别有多大？比如现在到底能够有多大的提升我们的效率？我们现在这个攻防的过程可能玩法跟以前都不太一样了，所以现在大概是什么样的情况？

从攻击或红队的角度来看，自动化渗透在每次攻防活动中占据了相当大的比重，我认为至少能够占到一半的时间。

首先，在信息收集阶段，我们可以利用大模型进行一些通用的扫描能力。其次，在攻击过程中，比如需要编写木马或绕过免杀等代码层面的操作，大模型也能提供帮助。此外，如果对某个业务系统不熟悉，大模型可以指导如何使用这个系统。还有，当我们需要将特定格式的数据导入到某个工具中使用时，大模型也能快速帮助我们实现这些需求。过去，我们可能需要在CSDN等论坛上搜索代码片段来完成任务，但现在大模型的介入大大提高了我们的工作效率。

在攻击这个方向上，大模型的应用确实覆盖了很多模块，包括信息收集、钓鱼、免杀、后渗透以及漏洞挖掘等，这些都是红队细分领域的一部分。目前，虽然不能说所有的工程化都已经完成，但是在市场上以及整体的应用视角来看，已经有了一些积极的进展和成果。

例如，在代码审计方面，尽管大模型还没有达到直接输入就能立即发现所有0day漏洞的水平，但它们已经能够提供相当大的帮助。大模型可以根据代码段提示潜在的风险点，这在代码审计中已经是一个很大的进步。如果我们将这些提示汇总，形成一个针对代码审计的大模型，效率提升将不止50%。这是一个循序渐进的过程，而且我们在使用时也需要巧妙地避开模型的一些触发机制，因为有些模型可能不会直接告诉你存在哪些漏洞，但会指出可能存在的风险（毕竟大模型需要正义的视角）。在审计漏洞挖掘这方面，也有了一些进展，特别是在区分静态、动态和交互式的，在大模型的推动下得到了加强，对于漏洞挖掘和检测来说，确实提升了一个档次。在信息收集方面，国内top的攻击队基本上都有自动化扫描工具，虽然可能没有大模型那么智能和强化，但已经在信息收集这个方向实现了从0到1，甚至从1到n的飞跃。至少在效率上提升了30%，这是非常明显的进步。此外，大模型在自动化渗透测试、还有免杀的这些细分领域的应用也在不断发展，欠缺点就是目前没有完全工程化，其实有没有工程化的来源大多数是取决于需求，是否有必要去所有工程化。

从攻击的角度来看与防守相比，攻击视角没有防守视角产生的收益高。攻击方的产品大多数还是攻击队在使用，或者某些特殊部门在使用，而防守模型则是大多数政企都需要的。这个需求的变化，导致了攻防两端在做大模型的应用上有所不同。目前来看，代码审计这个方向的应用，无论是应用率还是深度效果，都比没有大模型之前提升了很多。

我们目前主要在两个方向上发力：安全运营平台和智能体的应用。具体来说在安全运营过程当中，我们关注事件调查和多元数据处理，通过多智能体的方式来解决这些问题。比如在调查分析或者数据孵化时，我们希望智能体能够自动调取数据，然后直接给出结果。如果是一个更大规模的调查分析，我们可以通过编排引擎将不同的智能体组合起来，生成我们想要的结果，这是我们现在主要在做的应用场景。

实际上，我们的产品中不仅大量集成了安全大模型，也包括了大模型技术的应用。比如我们360的搜索，我们推出了一个人工智能搜索，叫做sou.com。我现在基本上是一个重度用户，因为它相比于以往的搜索引擎，能够直接帮我找到正确的答案并总结，而不需要我去翻很多搜索页。不过，就像刚才各位老师提到的，大模型技术在带给我们便利性的同时，也确实存在一些隐患。

我们之前对各种开源的大模型进行了专门的安全性测试，包括国外的LLAMA、Grok，以及国内的一些开源模型，我们都做过测试。在安全性方面，无论是国内外，对于色情暴力等内容，大模型确实能在很大程度上保证安全。但在一些政治性问题上，国外的模型会有自己的价值观和意识形态。

我们360有自己训练的预训练大模型：360智脑，所以我们的安全大模型也是基于360智脑团队给我们定制的基座。在这方面，安全性会提高很多。但就像我日常中使用大模型一样，我现在很多代码的实现都完全依赖大模型。这个时候我们就会思考，这个地方其实是有很大安全隐患的。如果使用ChatGPT，那么我们国内的很多想法、很多代码实际上都相当于传到了OpenAI的服务器，所以这个实际上还是需要去注意的。我们最好是使用公司内部的这种，比如我们公司内部有360的代码大模型，能够帮我们解决这个问题。如果是客户那边的话，我们推荐他们自己去搭建一个自己的代码服务器或者是大模型的服务器，尽量不要直接调用国外的或是LLAMA的模型，或者是ChatGPT的模型，确实会有很大的隐患。

圆桌嘉宾风采

✦