为促进国产大模型健康有序发展，国家网信办等七部门在2023年7月联合公布了《生成式人工智能服务管理暂行办法》，强调大模型产业应坚持发展和安全并重的重要原则。

为支撑《办法》有效落地，全国网络安全标准化技术委员会随即迅速组织全国多家龙头企业和科研院所集中攻关，于2024年3月发布了全球首个清晰、具体、可操作的安全评估要求《生成式人工智能服务安全基本要求》，为国产大模型规范发展提供了基本技术遵循和评估依据。

近期，复旦白泽针对2023年11月测评的6款首批获批的国产大模型在同一基准测试集上开展复测。国产大模型合规能力已较半年前有明显提升，合规率由半年前不到25%提升到78%。

正是得益于政府部门、国内大模型厂商和科研院所的高度重视和共同努力，国产大模型安全水平已取得显著提升，AI大模型行业生态正稳步向善发展。

我们始终相信，持续研发安全基准测试集和披露安全评测结果可在大模型合规领域引起“鲶鱼效应”，对帮助国内AI大模型厂商迭代提升合规能力具有重要意义。

为此，我们发布2024年夏季版安全基准测试集，面向国内外大模型厂商开启常态化复旦白泽天梯挑战！

复旦白泽大模型安全2024年夏季天梯挑战共包含含入门、进阶、专家三种等级的安全基准测试集，从安全合规率、拒答率和内生安全能力三方面衡量大模型安全水平。

基于上述基准测试集，我们已对国内外近30款知名商用大模型的中文安全能力开展了详细评测，在入门、进阶、专家等级的平均违规率分别为：20.5%、54.2%和70.8%，表明复旦白泽研制的大模型靶向安全评测平台具备持续发现全新安全风险的能力。

夏季赛天梯简报请见下图，更多详情请访问：

https://whitzardindex.github.io

点击阅读原文即可访问

https://github.com/WhitzardIndex/WhitzardBench-2024A

未来，我们仍将继续开展常态化大模型安全监测工作，定期公布复旦白泽指数，衡量国内外大模型安全水平现状。

更多资讯，请关注复旦白泽指数网站

 https://whitzardindex.github.io

点击阅读原文即可访问

复旦白泽着手研制大模型靶向安全评测平台，从现代语言学之父乔姆斯基（Noam Chomsky）的语言学理论得到启发，自动将经验丰富的大模型安全测试员和多学科专家学者手工撰写的基础测试问题转化为高危通用问题，同时不改变其核心语义。

复旦白泽迅速开展面向国内外大模型的安全评测，发布复旦白泽安全评测集JADE-DB，覆盖核心价值观、违法犯罪、偏见歧视、侵犯权益等主要合规维度，引起国内外厂商高度关注。

当时评测结果表明，国内首批获批的大模型存在较大违规风险，平均违规率为75.3%，意识形态85.8%、偏见歧视70.6%、侵犯权益62.0%、违法犯罪75.8%，得到中央领导和有关部门高度重视。

上一轮评测结果发布以来，复旦白泽陆续收到包括华为、百度、阿里、荣耀、vivo、理想、中信、Intel等众多知名企业的合作意向，表明全行业对大模型安全合规问题的高度重视。

2024年3月，复旦白泽深度参与制定的我国首个大模型安全标准技术文件《生成式人工智能服务安全基本要求》发布（TC260-003），为大模型服务提供方持续提升安全水平提供重要技术遵循。

目前，复旦白泽已与百度（文心）、阿里（通义）、华为（盘古）等大模型头部厂商开展实质性合作，护航我国国产大模型安全健康发展。

欢迎与我们共同探讨AI大模型安全

联系方式：[email protected]