邮发代号 2-786
征订热线：010-82341063
当前，人工智能技术的迅速发展，正在对经济发展、社会治理、人民生活产生重大而深刻的影响，给世界带来巨大机遇。与此同时，人工智能技术也带来日益严峻和复杂的风险挑战。防范应对人工智能安全风险，已经成为人类社会面临的共同挑战。2023年10月，我国提出《全球人工智能治理倡议》，围绕人工智能发展、安全、治理三方面系统阐述了人工智能治理中国方案，其中明确提出各国应推动“形成具有广泛共识的人工智能治理框架和标准规范”。
为了贯彻落实这一倡议主张，全国网络安全标准化技术委员会于近日在2024年国家网络安全宣传周主论坛上，发布了《人工智能安全治理框架》1.0版（以下简称《框架》）。《框架》基于风险管理的理念，针对人工智能技术的新发展和新特性，识别分析了当前人工智能风险的来源和类型，从内生安全和应用安全两个维度提出了应对这些风险的技术措施和管理措施，并在此基础上对人工智能研发应用给出了安全指引，是我国推动人工智能治理从原则走向实践、促进人工智能创新发展的又一有力举措。总结起来，这主要体现在以下几个方面：《框架》贯彻《全球人工智能治理倡议》，遵循“以人为本、智能向善”的基本立场，秉持共同、综合、合作、可持续的安全观，坚持发展和安全并重，以促进人工智能创新发展为第一要务，以有效防范化解人工智能安全风险为出发点和落脚点，系统阐述了我国人工智能安全治理的主要目标和基本原则。其中，安全治理目标在于：构建各方共同参与、技管结合、分工协作的治理机制，压实相关主体安全责任，打造全过程全要素治理链条，培育安全、可靠、公平、透明的人工智能技术研发和应用生态，推动人工智能健康发展和规范应用，进而实现“切实维护国家主权、安全和发展利益，保障公民、法人和其他组织的合法权益，确保人工智能技术造福于人类”。
为了实现上述目标，《框架》明确了人工智能安全治理的四项基本原则：一是包容审慎、确保安全。强调既鼓励发展创新，又严守安全底线，及时对危害国家安全、社会公共利益、公众合法权益的风险采取措施。二是风险导向、敏捷治理。强调密切跟踪技术发展趋势，动态精准调整治理措施，以快速响应安全风险的发展变化。三是技管结合、协同应对。强调综合运用技术和管理措施，明确研发应用生态链各参与方的安全责任，形成政府、行业、社会协同治理机制。四是开放合作、共治共享。强调推动国际合作，共享最佳实践，建立开放性平台，推动形成具有广泛共识的全球人工智能治理体系。《框架》在借鉴国内外相关研究成果基础上，将人工智能系统研发应用全生命周期的风险，识别区分为人工智能技术本身缺陷不足引发的风险与人工智能技术应用滥用引发的风险，并将前者称为“人工智能内生安全风险”，将后者称为“人工智能应用安全风险”。《框架》在梳理这两大方面风险时，聚焦了近期生成式人工智能技术的新发展和新特性，尤其是大模型的数据训练和部署应用带来的新威胁和新挑战。具体而言：
对于人工智能内生安全风险，《框架》围绕人工智能技术自身核心构成要素，概括为三个方面：一是模型算法安全风险，包括可解释性差；存在偏见、歧视；鲁棒性弱；被窃取、篡改；输出不可靠；对抗攻击等。二是数据安全风险，涉及违规收集使用数据；训练数据含不当内容、被“投毒”；训练数据标注不规范；数据泄露等。三是系统安全风险，包括缺陷、后门被攻击利用；算力安全风险；供应链安全风险等。对于人工智能应用安全风险，《框架》围绕人工智能技术应用主要影响领域，列举为四个方面：一是网络域安全风险，包括信息内容安全风险；混淆事实、误导用户、绕过鉴权；不当使用引发信息泄露；滥用于网络攻击；模型复用的缺陷传导等。二是现实域安全风险，涉及诱发传统经济社会安全风险；用于违法犯罪活动；两用物项和技术滥用等。三是认知域安全风险，包括加剧“信息茧房”效应、用于开展认知战等。四是伦理域安全风险，包括加剧社会歧视偏见、扩大智能鸿沟；挑战传统社会秩序；未来脱离控制等。针对上述内生安全风险和应用安全风险，《框架》提出了技术措施与管理措施双管齐下的综合防治举措。当然，技术措施与管理措施并非截然割裂，而是相辅相成的：技术措施往往是为了落实管理措施，很多管理措施需要以技术可行为前提。以下按先管理措施后技术措施的顺序对《框架》风险防治措施做一梳理。
就应对人工智能内生安全风险而言。对于模型算法安全风险，管理措施包括两个方面：一是推进人工智能可解释性研究，二是构建以负责任的人工智能研发应用体系。而相应的技术措施包括明确说明人工智能系统的推理逻辑、建立实施安全开发规范等。对于数据安全风险，管理措施是完善人工智能数据安全和个人信息保护规范。而涉及的技术措施包括确保不包含核生化导武器等高危领域敏感数据、加强敏感训练数据管理以及使用合法正当的训练数据等。对于系统安全风险，管理措施包括两个方面：一是强化人工智能供应链安全保障，二是构建人工智能安全风险威胁信息共享和应急处置机制。而落实的技术措施包括提高系统透明性、加强平台和服务的安全维护以及确保芯片、软件等供应链安全。就应对人工智能应用安全风险而言。共通的管理措施包括五个方面：一是实施人工智能应用分类分级管理，二是建立人工智能服务可追溯管理制度，三是加大人工智能安全人才培养力度，四是建立健全人工智能安全宣传教育、行业自律、社会监督机制，五是促进人工智能安全治理国际交流合作。考虑到不同应用领域的风险特点，需要采取针对性的技术措施，例如对网络域风险应建立安全防护机制和数据护栏，对现实域风险应根据实际应用场景设置服务提供边界，对认知域风险判别不正当的输出结果，对伦理域风险应防范产生地域、性别等方面歧视等。《框架》在上述技术措施和管理措施基础上，还就安全开发应用人工智能技术对模型算法研发者、服务提供者、重点领域使用者和社会公众作出了明确指引，以推动人工智能研发应用生态链各参与方实现风险共治。这些指引除了重申前述要求和举措外，还提出了一些更为具体的要求，简要概括如下：
对于模型算法研发者，要求在关键环节践行科技伦理规范，重视数据安全和个人信息保护；确保模型算法训练环境的安全性，评估模型算法潜在偏见，设计有效、可靠的对齐算法；结合目标市场适用法律要求和风险管理要求，定期开展安全评估测试，生成测试报告并提出改进方案。对于人工智能服务提供者，要求公开产品和服务的能力、局限性，支持使用者行使监督和控制责任；提高风险防范意识，建立健全实时风险监控管理机制；发现安全事故、安全漏洞等及时向主管部门报告，确保异常条件下最低限度有效功能；发现误用滥用时要进行纠正或终止服务，防范对使用者造成危害。对于重点领域使用者，要求审慎评估人工智能技术应用的影响，定期进行系统审计，加强风险防范意识与应对处置能力；合理限制人工智能系统对数据的访问权限，制定数据备份和恢复计划，确保操作符合保密规定；确保人的有效监督，避免完全依赖人工智能的决策，在遭遇事故时及时切换到人工或传统系统。对于社会公众，要求提高对人工智能产品安全风险的认识，准确认知所用产品做出判断决策的局限性；避免在不必要时输入敏感信息，避免使用不符合隐私保护原则的产品，避免所用产品成为网络攻击的目标；预防沉迷及过度使用。总之，《框架》最大程度凝聚风险治理共治，为人工智能安全风险治理提供了基础性、框架性指南，有利于在严守安全底线的前提下培育安全、可靠、公平、透明的人工智能产业生态，进而切实促进人工智能规范应用和创新发展。同时，《框架》也有利于进一步推动人工智能安全治理国际合作，进而有助于在全球范围推动形成具有广泛共识的人工智能治理体系，确保人工智能技术造福于人类。（来源：全国网安标委）
分享网络安全知识 强化网络安全意识
欢迎关注《中国信息安全》杂志官方抖音号
文章来源: https://mp.weixin.qq.com/s?__biz=MzA5MzE5MDAzOA==&mid=2664226718&idx=2&sn=8b2575f6d81233965c3600429701c891&chksm=8b59dd67bc2e54713391125ebdb81bd6effcdfa5301a76887c1bfe287fe471e35e5a84561493&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh