邮发代号 2-786
征订热线：010-82341063
大模型技术的发展，掀起了生成式人工智能的新浪潮。该技术在各个行业、领域快速应用，催生出新场景、新业态、新模式和新市场，加快了数实融合和产业升级。数据是生成式人工智能的核心要素，与算力、算法融合释放出巨大潜能，但也带来了数据泄露、有害内容生成和侵犯公民个人信息等安全问题。有效解决生成式人工智能的安全风险，需要全社会的共同努力和协作配合。通过聚焦生成式人工智能面临的数据安全挑战，剖析数据处理各环节存在的安全风险，可揭示当前数据安全保护工作的紧迫性和复杂性，为生成式人工智数据安全风险治理思路和有效路径提供参考。以 ChatGPT 为代表的生成式人工智能，在语言理解、文本生成和知识推理等方面表现出超强的能力，具有规模性、通用性、扩展性等典型特点。它利用复杂的算法、深度神经网络和大量的模型参数，从海量的数据中识别、提取、分析潜在的语言规则、模式和结构，并根据用户指令生成文本、图片、音频、视频等内容，具备强大的迁移和交互能力，成为实现通用人工智能的一条重要路径。
生成式人工智能飞速发展的同时，也引发了关于数据安全、知识产权、算法偏见和有害内容生成等问题的担忧。特别是大模型需要海量数据进行训练和优化，以不断提高其预测和决策的准确性，由此带来的数据非法获取、敏感信息泄露、数据偏见以及有害内容生成等安全风险成为讨论的焦点，相关安全事件频发。2023 年 3 月，韩国三星电子员工因违规使用 ChatGPT，在短短 20 天内便发生了三起半导体机密资料外泄事件。2023 年 6 月，美国科技新闻网站 CNET 被发现使用人工智能软件生成了 70 多篇文章，其中包含严重的事实错误。2023 年 10 月，科大讯飞 AI 学习机因内容审核不严格导致不当内容被用于数据训练，引发舆情事件，致使市值蒸发 120 亿。出于数据安全考虑，各国非常重视生成式人工智能的数据安全措施。意大利数据监管机构 Garante 于 2023 年 3 月宣布禁用 ChatGPT，并在 OpenAI 做出相应改进后，才恢复了在意大利的常规服务。随后，德国、法国、爱尔兰、西班牙、日本、韩国等国也采取了相关措施，加强对数据安全的要求。2024 年 5 月，欧盟理事会正式批准《人工智能法案》，在规定统一监管框架的基础上，划分了人工智能系统风险等级，用于识别、评估人工智能系统可能引发的风险，并提出了针对不同风险的应用场景和监管措施，包括在加强隐私和数据治理、建立数据管理制度、提高数据处理效率、遵守数据透明度义务等方面的具体要求。美国白宫、国会和部分联邦机构，包括美国联邦贸易委员会（FTC）、美国消费者金融保护局（CFPB）和美国国家标准与技术研究院（NIST），先后提出了一系列与人工智能相关的倡议、法律和政策，要求提高生成式人工智能的数据质量，加强数据安全和隐私保护。在我国，除《网络安全法》《数据安全法》《个人信息保护法》等法律要求外，《生成式人工智能服务管理暂行办法》《互联网信息服务深度合成管理规定》等规章对生成式人工智能的数据采集、输入、训练和生成提出了更为具体的要求，细化了在数据来源、数据质量和个人信息保护等方面的措施。国内外学者也针对生成式人工智能的数据安全问题展开了深入研究，分别提出了回应型、集中型和敏捷型的安全治理思路，构建了大模型新型风险规制框架和数据安全监管框架，提出了规则性治理、程序性治理和技术性治理的思路。然而，大多研究思路和内容比较类似，主要集中在识别数据安全风险并提出对应措施，缺乏对数据处理全过程的系统化分析，这限制了治理方案在实际应用中的效果。数据、算力和算法是生成式人工智能的三大核心要素，庞大的数据资源是支撑算力和算法的基础（如图1所示）。通过使用大量的数据进行训练，模型能够学习到更加广泛的上下文语言规律，从而提高其泛化能力，增加输出的实用性和可靠性。数据贯穿生成式人工智能的研发、训练、部署到运行全过程，在数据采集、标注、训练和优化、内容生成、数据销毁等各个环节均可能产生不同程度的数据安全风险（如图2所示），这些风险威胁人工智能的应用效果，直接或间接挑战我国的数据主权，甚至影响国家安全。
《生成式人工智能服务管理暂行办法》明确提出，生成式人工智能要“使用具有合法来源的数据”，并按要求对数据来源予以说明。数据采集存在以下风险：一是通过数据窃取、违规爬取、灰色交易等手段获取数据。特别是通过爬虫技术违规采集未公开数据、明确禁止爬取或涉及商业利益的数据；二是超范围收集、过度索权等行为。如对个人信息的采集应当限于实现处理目的的最小范围，不得“未经授权”和“超越授权”获取数据，即使处理个人自行公开或者其他已经合法公开的个人信息，也应当在合理范围内；三是数据投毒风险。攻击者通过在采集的数据里投递伪装数据、不良数据、恶意样本等，破坏数据的完整性、真实性和可靠性，干扰模型的训练过程，使其产生错误的预测结果；四是采集低质量数据。采集人工制造伪造、深度合成、来源单一、样本不均衡的数据，甚至采集虚假或有意误导的数据，将严重影响训练数据的真实性、准确性、客观性和多样性，数据质量直接影响模型的输出效果；五是侵害知识产权的风险。如在未获得作者明确授权的情况下，采集图书资源、专利信息或学术文献，容易被认定为侵害知识产权，引起法律纠纷。数据标注是提升人工智能精确度和智能程度的重要因素，大多数原始数据只有经过人工标注和加工，才能激活其价值。标注存在以下风险：一是标注规则不清晰的风险。若缺乏清晰、具体、可操作的标注规则，会导致标注质量参差不齐，影响标注内容的准确性和客观性；二是人工标注不当的风险。若缺乏必要的培训、合理的工作分配和严格的审核制度，标注人员可能会随意标注、错误标注或歧视性标注，影响标注质量；三是缺乏监督审核机制的风险。若缺乏有效的监督审核过程，会影响标注人员的操作规范性和标注内容的准确性。特别是很多标注工作委托给第三方或采用众包形式雇佣标注人员，存在数据污染和数据投毒的可能。生成式人工智能的输出效果受到模型的影响，而模型本质上依靠算法的选择和大规模数据训练。数据训练与优化存在以下风险：一是数据偏见风险。训练数据的选择和数据质量的把控会直接影响结果的客观性和全面性。生成式人工智能技术服务提供者可能出于特定的政治利益考虑，故意选择有偏见的数据用于模型训练，或者采用裁剪、合成等手段构建带有偏见的语料库，试图操纵用户观念，影响公众舆论，以传播特定的政治立场或观点；二是算法黑箱风险。一方面，海量数据、庞大参数和复杂的网络结构加深了数据处理过程的不透明性和不可解释性，使得违规违法操作难以察觉；另一方面，模型的持续迭代加大了模型的复杂程度，超出了生成式人工智能服务提供者和数据主体的可控范围；三是数据泄露风险。尽管在生成式人工智能模型训练和优化过程中采用了参数裁剪、脱敏脱密等方法，但仍不可避免地会将敏感数据、个人信息和商业机密等内容用于训练和优化，并在模型运行时输出，造成数据泄露事件的发生。生成式人工智能虽然具备强大的能力和通用性，但其生成内容受到不同环节、不同方面因素的制约，并非完全客观、准确、真实。生成内容要注意以下风险：一是产生偏见、歧视等有害内容的风险。如训练数据主要来自某个特定群体或某种特定语言，生成内容可能会偏向该群体特征或语言特征，引发文化和价值观冲突；二是错误和误导性信息传播的风险。生成式人工智能拥有强大的自然语言处理能力，可以生成具有较强逻辑性的文本，但是其准确性、客观性和价值倾向难以完全保障，容易产生错误或误导性信息。若不加以甄别，则会引发舆情风险；三是敏感数据、个人信息泄露风险。如生成式人工智能服务提供者将用户输入提示作为训练数据，或使用包含身份证号、生物识别、行踪轨迹等敏感信息和高风险数据进行训练，都可能导致数据泄露和侵害个人隐私；四是欺骗操纵等滥用的风险。若将生成式人工智能应用于间谍活动、操纵政治舆论、破坏选举等活动，或生成恶意软件代码实施网络攻击，会干扰国家政治稳定和社会公共利益；五是法律风险。目前，关于生成内容的知识产权归属、侵害他人权益的责任认定、损害救济与赔偿等仍存在争议，导致相关权益的保护和违法违规行为的追责较为模糊。数据销毁是建立针对数据内容的清除和净化机制，本质上是保护敏感信息不被泄露、滥用或非法获取的一种手段。数据销毁要注意以下风险：一是数据的非法留存。为提高模型输出质量，可能选择性地保留用户的输入信息和使用记录；二是销毁制度不清晰。部分生成式人工智能服务提供者表示不会采集个人信息用于训练，并承诺及时删除相关记录，但删除方式和验证过程并不明确；三是销毁不彻底。数据销毁一般应采用专业的方法和设备进行存储介质和涉密硬盘的销毁，包括物理性损毁或化学销毁等手段，简单的数据删除或数据覆盖仍可能被专业工具恢复。生成式人工智能数据安全的治理需要厘清治理主体、治理范式、治理规则和治理措施（如图3所示）。
《数据安全法》建立了以中央国家安全领导机构负责的国家数据安全工作协调机制，完善了数据安全协同治理体系。各地区、各部门对本地区、本部门工作中收集和产生的数据及数据安全负责。生成式人工智能采集、训练的数据由于体量庞大、领域较多、环节复杂，在治理思路上需要统筹并进，既要有效发挥相关主管部门与法律法规的作用，又要充分调动各方自觉、自律的积极性。一是明确主体责任。数据安全治理工作要符合《数据安全法》《网络安全法》《个人信息保护法》等法律、行政法规的有关规定和相关主管部门的监管要求。网信、发展改革、教育、科技、工业和信息化、公安、广播电视、新闻出版等部门，依据各自职责依法加强对生成式人工智能服务的管理。生成式人工智能的研发者、服务提供者、使用者，依法承担相应的安全责任，履行网络与数据安全义务，涉及个人信息的，依法承担个人信息处理者责任，履行个人信息保护义务。二是建立多部门配合的协同机制。统筹网络安全、数据安全、人工智能安全之间的联系和协作模式，明确监管主体的职责任务和具体分工，避免监管单位之间的权责不明确或内容重叠，减少重复性工作。三是鼓励企业、研究机构、社会组织和个人等多元主体积极参与。承担与自身角色相匹配的工作，参与生成式人工智能数据安全治理体系的构建和实施。四是提升公众素养。通过会议、活动宣传、公开征求意见、社会调查等多元化的参与机制，让公众更广泛地了解到生成式人工智能面临的安全风险。2023 年 7 月，中共中央政治局会议强调“促进人工智能安全发展”，体现了坚持发展和安全并重的理念，释放了以人工智能技术激发数实融合新动能、打造新质生产力的积极信号。当前，人工智能发展迅速，安全问题呈现出前所未有的复杂性，网数智三者交织融合，形成了全新的安全图景。这需要我们积极转变安全治理观念：一是从单一安全向总体安全转变。坚持总体国家安全观是习近平新时代中国特色社会主义思想的重要内容，也是指导新时代国家安全工作的强大思想武器。人工智能影响范围广泛，涉及政治、国土、军事等传统安全领域，以及经济、文化、科技、网络等非传统安全领域。我们需要以总体国家安全观为指导，系统、全面、辩证地把握人工智能带来的机遇与挑战。二是从基础管理向综合管控转变。人工智能安全涵盖数据安全、网络安全、算法安全、隐私安全等多个维度，涉及研发、训练、部署、运行、优化等多个环节。它集合了软硬件设备、数据、平台和人等多个因素，在不同业务系统中又有新的变化，与不同设施和应用形成了缠绕与交织。人工智能的安全需要整体性、系统性、协同性保障。三是从传统治理向敏捷治理转变。传统的安全保障可以通过配置、计算和控制，达到确定的安全状态。但人工智能的复杂性引发了风险之间相互渗透和相互影响，风险呈现出动态性、多样性和不确定性。这导致相关治理措施和成本难以准确评估，风险难以有效消除。敏捷治理提供了“基础设施-专业模型-服务应用”的全面性治理结构，通过构建“管理-技术-法律”相结合的灵活性治理工具，实现事前检测预防、事中预警控制、事后应对处置的适应性治理机制。生成式人工智能的数据安全保障需要通过法律法规和标准规范等形成的规则予以引导和约束，这是确保数据治理有效性的先决条件。一是落实包容审慎和分类分级监管的要求。《生成式人工智能服务管理暂行办法》第三条提出“坚持发展和安全并重、促进创新和依法治理相结合的原则，采取有效措施鼓励生成式人工智能创新发展，对生成式人工智能服务实行包容审慎和分类分级监管。”国家有关主管部门依据各自职责依法加强对生成式人工智能服务的管理，完善与创新发展相适应的科学监管方式，制定相应的分类分级监管规则或者指引。二是落实提供和使用生成式人工智能服务的相关责任。在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取有效措施防止违法违规、歧视偏见和违反社会公德、伦理道德的行为；尊重知识产权和商业道德，保守商业秘密，不得利用优势实施垄断和不正当竞争行为；尊重他人合法权益，不得危害他人身心健康，有效保护个人隐私；提升生成式人工智能训练数据的真实性、准确性、客观性、多样性，增强数据质量和标注质量，提高生成内容的准确性和可靠性。三是落实生成式人工智能服务规范。明确并公开其服务的适用人群、场合和用途，指导使用者依法、科学理性地使用，防范未成年人过度依赖或沉迷；在服务过程中依法保护个人信息，不得非法收集、留存能够识别使用者身份的输入信息和使用记录，不得非法向他人提供个人信息，及时受理和处理个人关于查阅、更正、删除其个人信息等的请求；对图片、视频等生成内容进行标识；提供安全、稳定、持续的服务，保障用户正常使用；建立健全投诉、举报机制，及时受理、处理公众投诉举报并反馈处理结果。四是落实违法违规行为的处置要求。有关主管部门依据职责对生成式人工智能服务进行监督检查时，提供者应依法配合，提供必要的技术、数据等支持和协助；对境外向境内提供生成式人工智能服务的违法违规行为，采取技术和必要措施予以处置；发现违法违规内容时，及时采取停止生成、停止传输、消除等处置措施，并进行模型优化训练等整改；发现使用者利用生成式人工智能服务从事违法活动的，应依法采取有关处置措施，保存有关记录，并向主管部门报告。生成式人工智能的数据安全治理应平衡好安全与发展的关系，发挥事前安全审查、事中监测审计和事后处置问责的作用。一是构建多元主体参与的闭环管理模式，由政府主导，行业组织、研究机构、企业和公民等多元主体共同参与。通过广泛合作，监管单位能够及时吸收行业创新成果和市场反馈，将有效的监管措施、要求和步骤反映到新的法规和政策中，从而进一步指导行业自我管理。二是采取动态调整和快速响应的治理手段。生成式人工智能的不断迭代带来不确定性，使得治理过程不断变化，宜采用动态调整快速响应的治理方式，及时跟进技术和应用的发展，分析和识别各种潜在安全风险及严重程度，防患于未然。三是实施多阶段融合的风险监管策略。在数据采集和训练阶段，根据所采集和使用数据的敏感度以及训练数据集的规模，建立以数据安全风险为主的分级监管路径；在部署和运行阶段，根据数据在生成式人工智能中的流转过程，建立完整的数据安全责任机制。治理路径主要从领导机构、基本原则、合作模式、敏捷治理、基础设施、管控手段、测评服务等方面开展，旨在实现多方协同、多维融合、注重实效的治理效果。
明确主责机构积极引导人工智能的发展、评估与风险应对，加强与各监管部门的协作配合，统筹各项工作；运用好政府和企业、科研院所的资源，促进人工智能良性发展；开展宣传培训工作，提升公众素养；加强对人工智能风险的监测预警和应急处置；组织对重要人工智能系统、产品或服务开展风险评估工作，并督促整改。遵循公平公正、包容共享、尊重隐私的基本原则，以增进人类共同福祉为目标，符合人类的价值观和伦理道德，促进人机和谐，服务人类文明进步。同时，生成式人工智能应以保障社会安全、尊重人类权益为前提，避免误用，禁止滥用、恶用。积极鼓励跨学科、跨领域、跨地区、跨国别的交流与合作，推动国际组织、政府部门、科研机构、企业、社会组织、公众在生成式人工智能的发展与治理中加强互动。在国际层面，加强交流沟通，充分尊重其他国家人工智能治理的原则和实践，推动形成具有广泛共识的生成式人工智能数据安全治理架构和标准规范。根据风险情况及时调整治理策略和实施措施，建立具有柔韧性、灵活性、适应性和全面性的敏捷型治理路径，在构建多元主体共治架构基础上，由政府主导构建有利于多方沟通协调的协作平台和反馈机制，加强跨部门和跨领域的协同治理，解决不同监管主体间职能交叉和信息不共享的问题。提升治理效能，实现监管与自律的有效融合。鼓励生成式人工智能算法、框架、芯片及配套软件平台等基础技术的自主创新，打造安全可靠的生成式人工智能基础底座，在算法、框架、芯片、数据等方面形成创新生态。不断提高整体的鲁棒性和抗干扰性，不断提升模型透明性、可靠性、可解释性，促进数据的可管控、可监督、可追溯和可信赖，实现数据的智能化监测和管控能力。确保训练数据的来源和内容可信。建立训练数据来源的黑名单和白名单，白名单应包括设置可信度高、导向正确、高质量的数据来源；确保训练数据的收集、聚合和使用是可靠的，防止数据泄露和数据投毒等事件；确保生成内容可信，通过加强解释说明、提供客观依据、注明生成概率和提供备选结果来增强生成内容的可信度；确保生成结果可追溯，在生成内容中嵌入鲁棒性的隐藏水印或提供明显标识，使生成内容具备辨识性和可追溯性；确保数据处理全过程合规，遵循国家法律法规和相关标准，并通过自评估验证合规性；确保供应链上下游必要数据的共享，生成式人工智能的上下游环节应通过必要的技术文件和使用说明增强彼此的信任程度，提升数据安全共治水平，共享的信息包括但不限于数据来源、数据质量、数据结构、系统结构、设计规格、算法及其相互关系和整体逻辑等。以现有的围绕数据安全开展的检测评估认证为基础，加快生成式人工智能数据安全测评体系建设，研究相关测评技术、测评标准和测评服务，在多方共识基础上，支持第三方机构开展测评工作。加快标准体系构建，推进《网络安全技术生成式人工智能服务安全基本要求》《网络安全技术生成式人工智能数据标注安全规范》《网络安全技术生成式人工智能预训练和优化训练数据安全规范》等标准的制定。加强第三方评估和自评估相结合，推进评估工作的规范化、科学化、系统化。提供具有舆论属性或社会动员能力的生成式人工智能服务，应按照国家有关规定开展安全评估。针对涉及国计民生的重要生成式人工智能产品、系统或服务，监管机构应建立联合审核机制，组织权威测评机构定期开展风险评估，排查隐患，堵塞漏洞。生成式人工智能的数据安全治理应深入把握总体国家安全观的战略思想，既要立足当下，又要着眼人工智能发展趋势。既要有目标导向的治理思路和治理路径，又要善于根据人工智能的动态变化及时调整改进。整体来看，安全治理具有长期性与复杂性，不仅需要掌握网络安全、数据安全与人工智能安全的内在逻辑，还要深入洞悉网数智的技术特点，兼具静态性与动态性。因此，我们需要持续创新和完善治理模式，积极拥抱新思维、新方法、新技术。在明确治理主体、治理范式、治理规则和治理手段的基础上，采取可行路径强化安全措施和管控方法，携手并进，共同构建安全、敏捷、可信的生成式人工智能发展生态。（本文刊登于《中国信息安全》杂志2024年第6期）
分享网络安全知识 强化网络安全意识
欢迎关注《中国信息安全》杂志官方抖音号
文章来源: https://mp.weixin.qq.com/s?__biz=MzA5MzE5MDAzOA==&mid=2664226102&idx=1&sn=82dbc74fd7fd143086f4d3f70d45e792&chksm=8b59dfcfbc2e56d97bb94efcbb4f085a56c88539a46c238bb75c185e969d8147dd50bf01e6de&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh