前沿 | 美国国防部再次发起AI安全“军备竞赛” 加速建立AI安全攻防研究、验证机制迫在眉睫
2024-7-15 19:59:5 Author: mp.weixin.qq.com(查看原文) 阅读量:2 收藏

 扫码订阅《中国信息安全》

邮发代号 2-786

征订热线:010-82341063

2024年8月,美国国防部高级研究计划局(DARPA)发起的AIxCC人工智能网络安全挑战赛将迎来半决赛。该赛事将大语言模型等最新AI技术引入网络安全竞赛,希望验证大语言模型技术在智能攻防领域的应用价值,以此研发出一个针对开源代码的自动化漏洞发现系统,从而实现智能挖掘、检测和修复关键基础设施的软件安全问题。

在大模型技术突飞猛进的今天,作为一个具有极高战略视野的机构,DARPA再一次将目光锁定在人工智能和网络安全领域,他们要如何颠覆AI自动化攻防技术创新?

新一代信息技术革命浪潮下,我们又应如何加速创新技术孵化,缩小与美国网络安全产业界间的技术差距?本文将通过观察分析DARPA的一系列探索实践,分享我们的前沿思考。

DARPA试图“改变游戏规则”

以“举国体制”推动自动化攻防技术跨越发展

作为美国国防部下属的一个研究机构,DARPA的使命是开展“改变游戏规则”的高风险、高价值、高回报技术研发,以保持美国在各个科技领域的领先,顺便谋求未来能够在全球范围内实现技术垄断和封锁。数十年来,DARPA已经在互联网技术、全球定位系统(GPS)、隐身战机技术等领域取得了一系列创新研究成果,在国家安全领域也发挥了重要作用。
在人工智能领域,DARPA也一直在不断探索新的理论和应用,对自然语言理解和识别研究(AI实时翻译、情报数据分析)、图像理解学习与感知(自动驾驶)、人工智能基础设施研究(大语言模型、人工智能鲁棒性)等方向进行了深入的研究和投资。
在DARPA背后,实际上有一整套美国特色的“举国体制”在支持,其并非传统意义上的计划体制,而是一种国家层面的战略规划和资源配置,通过政府、市场和社会力量三者间的协同,以政府引导和市场投资的方式,实现在关键技术领域的突破和领先。
DARPA的成功之处在于,其不断地通过自身超越行业、领域的格局和战略视野,为学术界和产业界指明未来的方向,去锚定高风险、高价值、高收益的项目,投入大量的资源和资金支持,激发科研团队和社会力量的研究兴趣。一旦证实这些项目具备可行性,DARPA就会通过持续的投资,将这些创新技术成果转化成为美国科技领先的动力。这也是DARPA的核心价值所在。
在整个过程中,DARPA并不追求利益回报,而是以国家利益为最高目标,希望在不同的技术领域点燃火种,通过公平竞争培育出能够“改变游戏规则”的创新技术成果和科技人才。

2014年举办CGC网络超级挑战赛

点燃自动化漏洞检测技术研究的火种

2014年,DARPA发起CGC网络超级挑战赛(Cyber Grand Challenge),试图推动建立一套自动攻防系统对软件的漏洞进行检测和修复,从而提高网络安全专家的工作效率。该赛事历时两年,2016年夏季,在全球知名的DEF CON黑客大赛期间进行了最终决赛。
该赛事促使全球网络安全科研院机构开启自动化测试技术研究,让模糊测试(fuzz testing)这项技术受到前所未有的关注,对全球网络安全行业发展具有十分重要的意义,堪称开启了AI安全的新时代。
在长达两年的赛程中,DARPA在CGC赛事的初赛、半决赛及决赛各阶段,为参赛团队提供了大量的资金支持,据美国媒体报道,这项赛事最终耗资高达数千万美元。并且在赛事结束后,DARPA还直接主导了美国国防部与冠军队伍ForAllSecure的合作,通过注资和采购,将该团队在比赛中打造的Mayhem智能化漏洞扫描系统引入国防部武器军事系统,推广至美国军方多个部门。
Mayhem智能化漏洞扫描系统
CGC网络超级挑战赛是一次非常成功的探索,其耗时2年斥资数千万美元,不计成本不计回报的长期投入,促使“自动化测试技术”从一个AI安全技术框架,转向技术路径可行性验证,最终落地应用到产业界。通过竞赛的形式选拔和培育全国最优秀的网络安全科研人才和技术产品,推广转化为整个国家的科技竞争力,整个赛事历程展现了DARPA在助推产业创新技术发展方面的巨大能量。
值得注意的是,DARPA在CGC的竞赛手册中提到,“参赛团队必须包含一名美国队员”,并且“团队负责人必须讲英语”,这让我们看到DARPA的在技术封锁方面的企图,他们希望由美国政府花钱花时间培育出来的技术成果,未来一定要掌握在美国自己手中。

2023年发起AIxCC人工智能网络安全挑战赛

推动自动化漏洞检测技术进入新一轮变革

2022年底开始,以大语言模型为核心的生成式人工智能(AIGC,Artificial Intelligence Generated Content)带来了一场划时代的产业变革。在网络安全行业,大模型也被寄予厚望,期待能够解决过去困扰行业多年的安全防御人才短缺的问题。
在这样的时代背景下,DARPA再次率先宣布,启动AIxCC人工智能网络安全挑战赛,联合Anthropic、谷歌和OpenAI等当前大模型行业巨头共同开启第二次围绕AI安全的探索。DARPA表示,发起AIxCC的目的是凝聚人工智能和网络安全领域最优秀的人才,保卫与全体美国公民息息相关的软件安全。
相比CGC竞赛而言,DARPA这次点燃的火种更具确定性。
AIxCC竞赛官网-赛事介绍
DARPA在赛事背景中透露,AIxCC旨在启引导技术专家跨行业合作,利用当前拥有的所有工具,找出解决基础设施面临的一些关键问题的解决方案。在比赛中鼓励参与者使用大语言模型、模糊测试和程序分析技术,发掘和利用开源软件中的漏洞,评估大语言模型在网络安全攻防中的潜力。
可见,DARPA举办AIxCC的目的十分明确:其一是想要研发出一个能够工程化地对开源代码进行审计的自动化漏洞发现、验证和修复系统;其二是探究AI大语言模型在协助机器人程序开展代码审计方面的价值。最终通过将LLM大语言模型与自动化系统的结合,以实现更高效的漏洞发现、验证和修复的闭环。
其中,“开源软件”“大语言模型”“攻防”是三个不容忽视的关键词。如果说上一次举办CGC竞赛时,DARPA是想开发一批能够实时发现、验证和修复软件缺陷的自动防御系统,促进自动化漏洞检测技术的进步,那么,举办AIxCC竞赛就是想以大语言模型技术和算力推动这项技术进入新一轮变革,以更加工程化的方式识别、验证和修复关键软件漏洞。
同时,在AIxCC竞赛说明中,也明确提到“每个参赛团队必须包括至少1名美国公民”“团队负责人必须讲英语”的规定。

AIxCC竞赛官网-赛制说明
AIxCC官网公布的赛制说明中也介绍,在比赛中所有参赛团队都会获得一个挑战项目集,其中每个挑战项目都会基于现实世界中正在运行的开源项目引入漏洞,再以GitHub存储库的形式发放,参赛团队编写的CRS自动化推理系统需要对代码存储库中的代码进行程序分析(代码审计),通过编写新的代码来实现对漏洞的发现、验证和修复,最终提交一个修复补丁文件证明自身能够独立实现整个漏洞发现到修复的闭环。
在整个比赛的过程中,Anthropic、谷歌和OpenAI作为联合主办方会给参赛团队提供大模型算力资源,帮助参赛的这些自动化程序能够更高效地完成代码审计工作。
事实上,除了Anthropic、谷歌和OpenAI这三家大模型巨头外,DARPA还邀请了微软作为联合主办方。在比赛中,作为GitHub开源软件开发平台的实际拥有者,微软扮演的角色也耐人寻味。
据公开数据显示,当前,GitHub平台中已有数千万个开源代码仓库,这些开源项目又被开发人员纳入全球各个领域的数字化应用中。一旦证实将LLM大语言模型用于自动化漏洞发现和修复具备可行性,那么这也就意味着,DARPA背后的美国国防部能够同时得到“最锋利的矛”和“最坚固的盾”。在大国对抗的背景下,美国将占据更多的优势和主动权。

在中国,RHG竞赛已开启实践先河

AI自动化攻防技术发展挑战与机遇并存

受到DARPA和CGC赛事的启发和鼓舞,2017年,永信至诚春秋GAME发起了Robo Hacking Game(RHG)人工智能网络安全竞赛。
对比来看,2016年CGC竞赛决赛落幕后,DARPA便停办了该赛事,直至新一轮AI浪潮来临才顺势启动该赛事的进化版本——AIxCC竞赛,以更深入地推进AI安全自动化攻防技术创新。
但在中国,永信至诚打造的RHG竞赛在2017年初次举办后,后续在“黄鹤杯”RHG机器人网络安全大赛、百度网络安全技术对抗赛BCTF、“纵横杯”网络安全竞赛、“网鼎杯”网络安全大赛、“陇剑杯”网络安全大赛等大规模赛事中都得到了延续。RHG持续吸引了众多国内一线科研机构积极响应并参与到人工智能网络安全对抗研究中来。
基于RHG竞赛的相关技术沉淀,永信至诚还推出了拥有自主知识产权的RHG(Robo Hacking Game)智能靶场平台,为人工智能相关技术在网络安全攻防领域的创新应用提供科研、效能验证基础设施。永信至诚赛事团队也不断将自身对人工智能攻防的新思考和新成果投入到RHG平台中,为网络安全领域人工智能创业团队的成长提供了土壤,协助孕育出了多项人工智能堆溢出漏洞的分析及利用等国际领先的技术成果。

作为全球唯一持续运营的AI网络安全竞赛

RHG长期受到美国国家安全智库跟踪研究

作为全球唯一在持续运营的人工智能网络安全领域的专业竞赛及测试平台,RHG的影响力和专业水平还长期受到美国国家安全智库——安全与新兴技术中心(Center for Security and Emerging Technology,CSET)的跟踪研究,成为了全球网络安全攻防技术发展的重要研究对象。

CSET发布针对RHG的跟踪研究报告
在大语言模型和人工智能技术推动网络安全产业深入变革的今天,新一代信息技术的浪潮下蕴含着巨大机遇,也存在着巨大的挑战。
从2017年初次举办至今,RHG已不仅仅是一个竞赛模式和智能靶场平台的简称,它还成为国内各界乃至国际对于人工智能网络安全攻防赛事的简称。作为中国网络安全竞赛的主要推动者和引领者,永信至诚也希望通过此次DARPA举办AIxCC网络安全竞赛的行业热点话题,再次呼吁社会各界提高对AI安全的关注,加注AI安全自动化攻防技术创新研究、验证。
在国家战略层面,掌握先进的AI安全自动化技术对于维护国家安全和网络空间的主权至关重要。在美国网络安全技术的快速发展,特别是美国国防部AIxCC挑战赛所展现的AI与网络安全深度融合的趋势下,中国人工智能网络安全赛事的升级和创新势在必行,以不断适应新的技术环境,融合最新的AI技术发展成果,更好地服务于国家网络安全战略需求。
美国国防部这样以高水平网络安全竞赛带动技术创新,进而推动国防安全技术进步的创新合作模式也同样值得参考借鉴,我们也需要继续探索建立一套政产学研用协同的机制,推动AI安全智能攻防技术的研究成果转化为实际应用,特别是在国防、关键基础设施保护等重要领域的落地。也唯有这样,方能迅速缩小与美国网络安全行业之间的差距,方能在大国战略竞争中站稳脚跟,抢占先机。

作为RHG赛事的创始者和组织者,永信至诚也希望充分发挥在测试评估、赛事演练和人才培养方面的优势,推动RHG人工智能网络安全竞赛升级,创新人工智能竞赛模式,为人工智能网络安全人才的成长提供土壤,为AI安全智能攻防研究提供测评评估试验床,为网络强国战略奉献一份力量。

分享网络安全知识 强化网络安全意识

欢迎关注《中国信息安全》杂志官方抖音号

《中国信息安全》杂志倾力推荐

“企业成长计划”

点击下图 了解详情


文章来源: https://mp.weixin.qq.com/s?__biz=MzA5MzE5MDAzOA==&mid=2664219992&idx=2&sn=f7c5292ee3c8611025865fd9be11cb70&chksm=8b59c7a1bc2e4eb7c9e564d2a4dcadf9048d5d46f41b6aafaabbd263814033a3d11e638fbb7f&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh