2023 SDC 议题预告 | 从逻辑计算到神经计算:针对LLM角色扮演攻击的威胁分析以及防御实践
2023-10-9 17:55:11 Author: mp.weixin.qq.com(查看原文) 阅读量:7 收藏

2023 SDC 议题抢先看

01 议题前瞻
从逻辑计算到神经计算:针对LLM角色扮演攻击的威胁分析以及防御实践

以GPT-4为代表的大型语言模型(LLM)给社会带来了革命性的变革,安全方面也不例外。笔者在研究LLM安全过程中,有些绕不过、无法不去思考的问题:

1) 导致LLM有如此能力和潜力的本质原因是什么?

2) 为什么LLM 输入与输出之间有如不同以往的特性?

3) 这些改变对于网络安全意味着什么?

经过对于学术界、工业界最新研究成果的学习、研究,笔者找到一个可能的答案是:从逻辑计算到神经计算的底层计算范式转移是本质原因之一。从逻辑计算到神经计算的转变导致对于绝大多数企业和个人,他们需要更关注LLM的输入输出,一定程度需要弱化对于LLM内部可解释性的深入研究。而这导致prompt安全成为未来的重点之一。

本报告包含如下内容:

  • 深度神经网络带来变革的可能的本质原因之一的分析:从形式逻辑计算到神经计算;

  • 结合当前与未来基于LLM构建应用的体系的分析,对其进行较全面威胁建模;

  • 对于prompt越狱的多维风险进行了分析,并进一步聚焦到LLM角色扮演攻击,笔者进行了较深入的威胁分析,实测该类攻击能以近50%概率突破GPT3.5模型。

结合LLM技术原理、prompt工程和微调技术,笔者提出在2个关键防御点上通过3种防御方案进行防御的框架。实验数据显示,这些方案能有效降低LLM角色扮演攻击的成功率高达90%。

LLM使得网络安全变得更复杂、风险更大,未来的攻防博弈也会更智能、更残酷。最后,笔者展望了未来在LLM prompt安全研究方向上的思考,特别是从自动对抗到智能对抗的转变。

02 演讲嘉宾

张栋-vivo安全研究员

目前专注AIGC安全研究,曾任职某通信网络集团、某金融集团,从事网络安全与隐私保护研究工作。

听众收获

1、对LLM在网络安全方面的影响有更深入的了解,特别是其输入和输出的重要性。

2、掌握了一套全面的威胁建模方法,可以应用于自己的网络安全分析。

3、获得了实用的防御方案和框架,可以直接应用于减少LLM相关的安全风险。

4、对未来网络安全的攻防趋势有更全面的认识,特别是从自动对抗到智能对抗的转变。

扫码报名参会

更多议题细节,欢迎来 SDC 现场聆听

球分享

球点赞

球在看

点击阅读原文查看更多


文章来源: https://mp.weixin.qq.com/s?__biz=MjM5NTc2MDYxMw==&mid=2458521559&idx=1&sn=af5b4c974133c617cbd19e791084aa32&chksm=b18d3f5d86fab64b57836d460999ce9d8e077668b0e4e97a192c6a964a961b3aad424e64206d&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh