图2：典型政务大模型应用场景

• 数据的违规收集：政务大模型使用数据往往涉及公众的个人信息和国家机密，若这些数据的收集和使用不符合法律规定，将面临严重的法律后果。
• 违规使用数据：使用未授权或违规数据进行大模型训练或内容检索增强，违反相关规定。
• 数据泄露：政务大模型在研发和应用过程中，因数据处理不当、非授权访问、恶意攻击等问题，可能导致政务数据和个人信息的泄露。勒索风险：大模型使用的政务数据若被黑客攻破，可能遭遇数据勒索或数据流失，直接威胁政府运作和社会稳定。
• 标注规则风险：数据标注规则不完善或模糊会导致标注人员理解不一致，进而影响数据的准确性和一致性。标注规则的不清晰还可能导致关键信息被忽略或误标，影响模型的性能与决策能力，尤其是在政务领域，错误的数据标注可能导致政策误判或公共服务偏差。
• 标注人员风险：标注人员的安全意识直接关系到数据的安全性。若标注人员缺乏安全意识，可能无意中泄露敏感数据，或在标注过程中引发信息泄露。此外，恶意标注人员可能通过窃取数据、投放恶意信息（数据投毒）或篡改标注内容，故意破坏数据的完整性和准确性。
• 标注数据质量风险：数据标注的准确性、一致性和完整性不足，会导致模型在实际应用中的表现不佳，产生偏差或错误判断。 

• 数据投毒：攻击者可能通过投放恶意或虚假数据干扰大模型的训练，导致模型输出错误或产生不当内容。
• 内容违规风险：训练语料的内容包含个人敏感信息、误导性信息等不当内容，导致模型生成违规或不合规的内容。

• 使用不合规的基础模型：使用不合规的基础模型可能导致违规操作，并面临法律和行政处罚。如：根据国家监管要求，政务大模型的基础模型应进行备案，确保其合法合规。
• 生成不当内容风险：政务大模型在生成文本或提供建议时，可能输出带有误导性、不当或风险性内容。
• 模型泄露风险：政务大模型的模型权重、参数和架构一旦泄露，可能被不法分子利用进行攻击或伪造内容，甚至可以通过模型反向推测训练数据，甚至还原敏感信息。威胁政务大模型的正常运行。
• 模型篡改风险：政务大模型一旦被攻击者通过恶意手段进行未经授权的修改，会导致大模型生成错误或误导性信息，甚至故意篡改政策解读或数据分析结果。 

• 代码安全风险：政务大模型代码的安全性直接影响系统的稳定性和可信性。如果代码开发中缺乏安全措施，可能引发数据篡改、系统崩溃等问题。
• 代码泄露：政务系统中包含大量涉及政务信息或民生服务的敏感内容，代码一旦泄露，可能造成重大安全风险。
• Web/API攻击：大模型通常通过Web接口和API为政务系统提供服务，若防护措施不足，可能遭遇恶意攻击。针对政务系统的API攻击可能导致服务中断、数据泄露或功能失效。 

• 开源软件漏洞：政务大模型应用中使用的开源软件可能存在未修复的漏洞，这些漏洞可能被恶意利用，导致安全隐患。
• 恶意代码植入：第三方组件或开发工具可能被植入恶意代码，危及系统安全。
• 供应商管理不善：供应商的安全能力差异也带来风险，如代码质量低、漏洞未及时修复等。
• 模型复用的缺陷传导风险：依托基础模型进行二次开发或微调，是常见的大模型应用建设模式，如果基础模型存在安全缺陷，将导致风险传导至下游模型。
• 恶意植入模型后门：攻击者通过在大模型的训练或部署阶段植入恶意代码或逻辑，使得模型在接收到特定的触发提示词时，执行未授权的操作，绕过正常的安全限制。这类后门攻击尤其危险，它可以让模型在表面上正常工作，但当特定条件满足时，模型会进入类似越狱状态，允许执行几乎任何操作。 

• 内容违反社会主义核心价值观：政务大模型涉及政策解读、公众沟通等方面，生成的内容必须符合社会主义核心价值观，确保正确的政治导向和舆论引导。如果大模型生成的内容出现违背国家政策或不符合主流价值观的情况，可能影响社会稳定。
• 侵犯知识产权：政务大模型在生成政策文件、解读报告时，可能无意间使用了受版权保护的文本或资料，导致知识产权纠纷。
• 泄露个人信息：政务大模型处理大量个人信息，如果在生成内容时无意间泄露个人身份信息或其他敏感数据，将严重违反数据保护法律法规。
• 包含歧视内容：大模型可能由于训练数据的偏差，生成包含性别、种族或宗教等方面歧视的内容。 

• 提示注入攻击：恶意用户可能通过特定提示引导政务大模型生成错误或有害内容，导致政府发布不当信息。
• 拒绝服务攻击：通过向政务大模型发送大量无效或恶意请求，使得系统资源被耗尽，导致模型响应缓慢或完全无法工作。一旦政务大模型因为拒绝服务攻击而无法及时处理请求，可能会导致政务服务中断，影响政府部门与公众的沟通效率，甚至拖延重要的决策流程。
• 提示词泄露：政务大模型中可能包含特定的提示词，这些提示词用于触发某些关键功能或提供额外的上下文信息。如果这些提示词被泄露，攻击者可能利用这些信息访问模型的内部机制或绕过安全限制，获取敏感数据。
• 通用越狱漏洞：攻击者通过利用模型中的安全漏洞或设计缺陷，试图突破模型原有的限制。在政务大模型场景下，攻击者可能通过复杂的交互引导模型生成或揭露本不该公开的机密信息，从而威胁到国家安全或重要的政务数据隐私。

表1：政务大模型安全风险总结

图3：政务大模型安全治理框架 

• 统筹方：由政数局负责整体安全战略的制定与统筹，协调各方资源，确保政务大模型的安全目标能够达成。 
• 业务方：各委办局及区县负责具体政务场景中的大模型应用，确保其在使用过程中符合政务要求和安全标准。 
• 支撑方：包括模型商、数据商、应用开发商和第三方安全机构，为大模型的开发、数据管理和安全技术提供支持。支撑方需按照政府制定的安全标准，确保技术产品和服务的合规性。 
• 监管方：由政数局和网信办共同监管，确保政务大模型的运行符合国家相关法规及安全要求，承担监督和审查责任。 

• 市区两级协同联动机制，确保不同区县和委办局之间的信息共享和协同应对。 
• 大模型应用分类分级管理制度对不同类型的模型进行分级，确保针对不同应用场景采取适当的管理措施。 
• 大模型应用全过程安全管控制度贯穿应用的各个阶段，从模型开发、测试、部署到使用及维护，确保安全风险得到全方位监控和防范，保障数据安全和政务服务的稳定性。 

• 数据集安全评估：确保用于训练和运行大模型的数据集来源合法合规，并进行严格的数据隐私保护和清洗审核，避免模型从源头引入安全风险或敏感信息泄露。 
• 生成内容安全测评：对模型生成的文本、图像等内容进行合规性和伦理审查，确保输出不涉及敏感、虚假或不当信息，防止传播错误信息或违反社会主义核心价值观。 
• 模型及应用安全测评：对模型本身及其在具体应用场景中的安全性进行全面评估，保障大模型供应链、大模型接口、大模型自身防攻击能力等进行安全测评。 
• 安全措施评估：评估模型部署过程中的各类安全措施，包括数据加密、身份验证、防护机制等，确保有效防止数据泄露、攻击入侵等安全威胁。 
• 定期开展监测与抽查：通过定期安全审查和动态监控，及时发现和解决潜在的安全隐患，并随机抽查模型的表现，保障其在长期运行中的安全性和可靠性。 

• 纵深防御：在政务云和网络层面完善纵深防御体系，通过多层次的安全防护措施阻止外部攻击，确保大模型的基础设施安全。 
• 身份管理与授权：通过严格的身份验证与访问控制机制，确保只有经过授权的用户才能访问大模型和相关数据，防止权限滥用或外部恶意访问。 

• 数据来源合规：所有数据的来源必须符合法律法规，确保数据合法、合规地用于政务大模型的训练与应用。 
• 内容安全合规：用于大模型训练的和知识增强的数据的内容必须符合法律法规，确保用于大模型训练和知识增强的数据内容合规。 
• 敏感数据识别过滤：对输入的敏感数据进行自动识别和过滤，确保隐私数据不会被误用于大模型训练或输出，防止泄漏风险。 
• 训练数据标注安全：对标注人员进行严格的访问控制和管理，制定完善的标注规范，以确保高质量的数据标注成果，保障顺利标注数据的保密性和合规性，避免敏感信息外泄。 
• 数据分类分级与安全保护：根据数据的重要性和敏感性进行分类分级管理，不同级别的数据需采取相应的安全保护措施。 
• 数据访问控制：严格控制对数据的访问权限，确保只有经过授权的用户或系统能够访问敏感数据，防止未经授权的访问或篡改。 

• 模型训练安全：对大模型的训练过程进行安全管控。在训练过程中，需采取严格的安全措施以防止数据泄露和非法访问。同时确保数据来源内容的安全合规，避免训练数据投毒等风险。 
• 模型资产保护：对模型的算法、参数、结构以及相关文档进行严格的保密和安全防护。对模型实施多重安全防护措施，包括访问权限控制、模型加密存储以及防泄露技术对模型资产进行保护，防止模型被非法复制、篡改或盗用。 
• 模型安全评测：对训练完成或拟上线的政务大模型进行安全测试与评估，包括语料安全评估，生成内容安全评估，模型安全评测，安全措施评估。 
• 模型登记备案：应按照网信办相关管理要求，开展上线备案或登记工作。
• 模型分类分级管理：根据大模型的功能、使用范围和敏感程度，将模型划分为不同的等级，并针对各个级别设定相应的安全管理要求。分类分级管理机制能够根据实际需要灵活调整管理力度，确保每个模型的安全性都能得到充分保障。 

• 需求阶段：在模型应用开发的需求分析阶段，同步进行安全需求分析，并设计相应的安全方案，确保项目从一开始就考虑到安全因素。 
• 供应链安全：确保政务大模型应用系统的软件供应链安全，确保软件组件和工具来源可信，防止恶意代码和供应链攻击。供应商需符合安全标准并定期审查，严格控制软件版本管理，避免未经授权的修改，保障系统的稳定和安全运行。 
• 数据准备阶段：在数据收集、清洗和处理过程中，确保数据安全，包括数据加密、脱敏处理等。 
• 模型适配阶段：在适配过程中，必须确保所用的大模型和数据符合安全合规要求，防止数据泄露和模型被恶意操控。实施严格大模型的权限管理和访问控制。
• 应用开发阶段：确保政务大模型在应用开发中的代码和系统架构安全，通过审查与测试，防范安全漏洞。 
• 上线部署与评审：在大模型上线前进行严格的安全评审，并对模型进行分类分级管控。上线后，持续对模型运行进行监控，防止潜在风险。 

• 输入内容过滤：确保大模型在接收到输入前经过严格的内容审查，过滤掉潜在的敏感词、违法内容或其他不合规信息，防止恶意输入导致的不良输出。 
• 输出内容审核：大模型的输出内容必须经过人工或自动化的审核机制，确保生成的内容符合社会主义核心价值观、不涉及敏感话题，避免因不当内容带来的社会风险。 

• Web安全防护：政务大模型通过Web平台提供服务时，需采取完备的Web安全措施，防止跨站脚本、SQL注入等网络攻击。 
• API安全防护：大模型与政务系统通过API连接，需确保API调用的安全性，防止未授权访问或API滥用。 
• 应用访问控制：严格限制对大模型应用的访问权限，确保只有经过授权的政务人员或系统可以访问和使用大模型。 
• 个人信息保护：政务大模型应用在处理个人信息时，需严格遵循相关法律法规，采取加密、脱敏和安全存储等措施，确保个人信息安全。 

• 大模型监管沙盒体系：通过搭建监管沙盒环境，测试大模型在实际场景中的运行表现，识别潜在的安全问题和内容风险。这有助于在模型正式上线前发现并修复潜在漏洞，减少风险暴露。 
• 风险监测与事件处置：通过实时监控系统，对大模型的运行状态、数据流动、应用访问等情况进行监测。一旦发现异常行为或安全事件，能够及时启动应急响应机制，采取适当的措施进行处置，防止事态扩大。 

本文节选自《政务大模型安全治理框架》，下载请点 阅读原文