随着人工智能技术的迅猛发展，尤其是生成对抗网络（GAN）等深度学习技术的广泛应用，深度伪造和合成媒体技术已从科幻领域走向现实应用。在过去一年间，深度伪造和合成媒体技术在产业化应用和技术研发等层面取得了显著进展，同时也暴露出日益复杂的安全威胁。安全问题的突出性与技术发展的双重驱动，使得这一领域成为全球关注的焦点，也为创新解决方案提供了新机遇。

为帮助企业更好地应对深度伪造和合成媒体安全带来的威胁，同时也是为技术厂商提供市场参考，为监管机构提供决策支持依据，《AI时代深度伪造和合成媒体的安全威胁与对策（2024版）》报告通过广泛的调研与案例分析，系统梳理了该领域的最新发展动态和核心问题，旨在为应对深度伪造和合成媒体的安全威胁提供全面洞见，并助力产业界和社会各界在AI技术的新时代构建更加安全、可信的信息生态。

12月5日，报告正式发布。

关键发现

1、深度伪造和合成媒体安全可分为四个发展阶段：大众认知阶段、监管介入阶段、技术对抗阶段、立法明确阶段。

每个阶段具有持续性特点，并且会有重叠，这体现了深度伪造和合成媒体安全治理的复杂性和长期性。  

2、国内对现有的深度伪造安全防御技术主要有主动式防御（信任类）和被动式防御（检测类）两类。

检测类是当前应对深度伪造负面对抗的主要形式。具体的检测技术有多种，目前基于多模态的检测方法是业内公认的有效手段。

3、2023年我国深度伪造和合成媒体安全市场规模达到1.19亿元，预计2024年同比增长243%，达到4.08亿元。

各部委、公检法、传媒集团、银行和运营商是深度伪造和合成媒体安全市场的主要采购客户。从投融资信息角度来看，2020年是资方看好深度伪造和合成媒体创新厂商的主要时机。在这一年，瑞莱智慧、深信科创获得了天使轮投资，中关村科金获得了股权投资。2024年，获得投融资的两家企业为中科睿鉴和瑞莱智慧，两家企业均为国家队成员。

4、研究侧和服务侧是深度伪造和合成媒体安全市场重度参与者。

深度伪造技术领域的重度参与者可以按照研究侧和服务侧两部分进行划分。研究侧包括拥有深度伪造专利认证的金融机构、科研院所和高校；服务侧则涵盖了提供深度伪造和合成媒体安全服务的企业，可分为以网络和数据安全为主营业务的企业，以及以人工智能为核心的企业和满足自我检测需求的互联网企业。目前，这三类服务企业均处于初级阶段。在整体能力上来看，存在各自的优势及问题，融合发展有望是未来的解决之道。

5、大众普遍意识到风险，对深度伪造和合成媒体技术安全现状的平均打分为58分。

根据安全牛于2024年9-10月发起的《大众对深度伪造和合成媒体技术安全认知、态度及影响调研问卷》回收数据，当被问及如果对深度伪造和合成媒体技术安全现状进行打分，满分100分，受访者打出的平均分是58分。报告认为，从消费者对深度伪造和合成媒体技术的敏感度来看，89%受访者对当前深度伪造和合成媒体技术对个人安全产生影响表示担忧；45%受访者对当前安全现状打出低于50分的分数，这表明大众普遍认识到这些技术可能带来的风险，包括但不限于隐私侵犯、名誉损害、信息误导、财产损失等。

6、生成对抗网络（GAN）是深度伪造和合成媒体安全最核心技术。

生成对抗网络（GAN）是深度伪造最为核心的技术。这是人工神经网络(Artificial Neural Network，ANN)的一个特殊类型，与传统深度学习技术的单链条模式不同，GAN 引入了独特的“对抗”机制，通过采用两条并行的学习神经网络，在互动式对抗中逐步优化学习成果。根据《深度伪造人脸生成与检测技术综述》论文观点，深度伪造人脸生成可以分为四类：人脸完全生成技术、人脸属性编辑技术、人脸身份替换技术和人脸面部重演技术，这些不同分类运用了不同的“变体GAN” 。

7、检测类型是深度伪造技术发明专利的主要类型，未来防护技术和系统实现有较大发展空间。

公开调研数据显示，从深度伪造专利技术角度来看，检测类型是深度伪造发明专利的主要类型，占比达到77%；其他大类，如防护类型、溯源和鉴别、系统实现占比共23%。在检测类型申请专利中，视频检测占比42%，图像检测占比26%，音频检测3%，其他未能明确归结的视音频和图像的检测类别占比达29%。报告认为，未来深度伪造技术在防护技术和系统实现方面还有较大发展空间。

8、深度伪造和合成媒体安全市场中标金额增长迅猛，2023年为4713万元，2024年仅1-10月就达到2.1亿元。

根据公开信息，自2019年至今，围绕数字内容深度伪造检测与防范关键技术验证所进行采购的中标信息总共为126项，其中，2019年2项，2020年和2021年各16项，2022年29项，2023年32项，2024年（1-10月）30项。从中标金额来看，2019年中标金额仅有183万元，2020年为865万元，2021年为1171万元，2022年为2873万元，2023年为4713万元。2024年仅截至10月份，已同比增长高达345%，为2.1亿元。

9、深度伪造和合成媒体安全能力建设是全生态问题，需多方通力合作。

深度伪造和合成媒体安全能力建设是个全生态问题，需要监管侧、研究侧和服务侧的共同配合。通过多方合作，可以更好地促进深度伪造技术的健康发展，同时保护社会大众的利益。

10、构建深度伪造和合成媒体安全防控体系，三大角色变革任重道远。

报告认为，针对当前实际场景中的深度伪造和合成媒体安全问题，需要构建一个由监管者变革、内容方变革和消费者变革组成的深度伪造和合成媒体安全防控体系，从治理层面、管理层面和技术层面三个层面进行防控：监管机构需要探索不同的开放制度、平台和模型，以精准管控深度伪造和合成媒体的具体方向和落地细节；内容方需要满足消费者的多重需求，同时提前布局、审查加固和建立举报制度；消费者需要接受“安全”也需要付费的现实，并对看到的内容持怀疑态度。

11、深度伪造和合成媒体安全市场潜在规模巨大，安全市场在2026年迎来“爆发”点。

短期来看（3年），B端（主要是监管方、企业和机构）和C端（消费者）的联合市场规模可达到30亿元。虽然目前市场尚处于初期阶段，但产业发展迅速，预计2026年将会迎来 “爆发”。报告推算，2023年深度伪造和合成媒体安全市场规模为1.2亿元；2024年为4.1亿元，同比增长超过200%；预计2025年，随着深度伪造和合成媒体技术合成的内容呈指数级增长，安全市场会在滞后一段时间后有所反应，预计在2026年迎来“爆发”点。需要注意的是，深度伪造和合成媒体市场不同于其他市场，它的增长是超越常规的，各方需抓紧布局。

未来趋势预测和展望

1. 深度伪造和合成媒体安全潜在市场规模巨大，预计从B端（主要是监管方、企业和机构）和C端（消费者）来看，市场规模可达到30亿元；
2. 未来三年，企业和大众将会深刻感受到深度伪造和合成媒体安全带来的挑战；
3. 技术创新和应用创新双轮驱动，将推动深度伪造和合成媒体安全行业快速发展；
4. 国内深度伪造相关安全技术应用会短期领先，但长期发展需全生态协同推进；
5.  “融合”是深度伪造和合成媒体安全关键词。

我国深度伪造和合成媒体安全厂商典型案例