邮发代号 2-786
征订热线：010-82341063
2024年12月5日，中国工程院院士邬江兴在2024第三届北外滩网络安全论坛发表主旨演讲。本次演讲聚焦AI应用系统的内生安全问题，深入剖析当前网络安全理论面临的瓶颈，围绕内生安全理论、动态异构冗余的拟态构造方法及其在AI算法个性化安全中的应用，探讨AI健康发展的理论与技术路径。邬江兴院士提出，AI应用系统存在的安全风险分为两类：一是内生安全问题，源于计算机体系结构的固有缺陷，这些缺陷在AI应用中表现为存储程序控制机理的内生安全缺陷，导致未知风险不可避免，传统网络安全理论在面对未知的未知威胁时无能为力。二是非内生安全问题，由外部环境或操作带来的威胁，尽管严重但仍有应对方法。![]()
传统安全理论主要依赖先验知识，通过漏洞修补等“亡羊补牢”的方式防范已知威胁。然而，这一理论框架存在“天花板效应”，在应对未知威胁时显得力不从心，尤其在人工智能等高风险技术领域，设计之外的伴生功能与副作用难以完全消除，成为构建可信AI的主要障碍。针对网络安全面临的难题，邬江兴院士提出了内生安全理论，并提出基于拟态构造方法的技术解决方案：一是要以内生安全理论为基础，研究如何在充满内毒和未知风险的网络环境中，构建安全质量可承诺的信息物理系统。理论的核心在于，不消除所有隐患，而是将威胁转化为可控的形式进行管理。二是要通过拟态构造方法，实现安全技术的新突破。利用动态异构冗余机制，将未知的未知问题转化为已知的未知问题，变不可控为可量化，从而提升系统的弹性和可靠性。三是要打破传统黑盒测试的局限，创新提出白盒插桩测试方法，借助量化验证手段直接评估系统安全性能。![]()
实验数据表明，基于内生安全的AI应用系统在攻击场景下展现出显著的网络弹性，综合识别率超过90%，相较于单一模型技术，防护效果提升显著。邬江兴院士强调，AI算法模型普遍存在不可解释性、不可判识性和不可推论性“三不可”问题。这些缺陷使得AI模型极易受到攻击，也极难进行定位与修复。在这一背景下，AI深度应用中暴露的风险主要集中在以下方面：一是技术本身的脆弱性问题，例如算法攻击、模型鲁棒性不足等，使得AI在复杂环境中易失效。二是推广应用可能遭遇的现实威胁，如隐私数据被窃取、模型劫持攻击或推理路径破坏等，严重危害AI技术的安全性和公信力。三是AI潜在的伦理与社会风险，算法歧视、信息茧房、结构性失业等问题，都对社会公平与治理构成考验。![]()
为解决这些问题，邬江兴院士提出了多样化模型构建方法，通过差异化的网络结构和算法训练，构建出具有特异性和鲁棒性的AI模型，有效增强系统对攻击的弹性。邬江兴院士强调，构建可信AI是实现智能化健康发展的重要前提，他提出以下建议：一是要重视安全理论研究，深挖内生安全理论和动态异构技术的潜力，为未来提供科学理论依据和技术路线支撑。二是要加强数据安全保障，数据既是AI应用的基础，又是AI安全的关键，确保数据安全是维护AI系统可信性的重要举措。三是要完善监管标准与技术生态，汲取国际经验，加速安全标准制定与实施，提高AI技术在实际应用中的可信度和保障性。四是要构建协同防护体系，借助AI技术构建智能化网络防御手段，以更智能的安全策略，支撑网络安全体系升级，促进智能化持续发展。最后，邬江兴院士总结表示，内生安全理论从技术到系统方法论的创新，为应对AI时代复杂多变的安全挑战提供了新的理论支撑。该理论不仅打破了传统安全方法的限制，还为可信AI构建与安全治理提供了可靠的技术保障和实践指南。（来源：风起江河）
分享网络安全知识 强化网络安全意识
欢迎关注《中国信息安全》杂志官方抖音号
文章来源: https://mp.weixin.qq.com/s?__biz=MzA5MzE5MDAzOA==&mid=2664232219&idx=3&sn=6aa7586faae5491b04f2078f742d2fe4&chksm=8b59f7e2bc2e7ef499f3b47cfa62b29e5950c7ef4ddb83601ffd4e84888f01bf8df2fdf5547f&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh