当你问AI工具一个问题时……
提示：“9.11和9.8哪个大？”输出：“9.11大于9.8。”
提示:“说出美国的三个城市。”输出:“纽约、洛杉矶、多伦多。”
……
时至今日，大模型仍然经常出现“一本正经地胡说八道”的现象，这在专业领域被称为大模型幻觉。业内普遍认为，目前大模型的幻觉率仍然较高，这是产业界缺乏真正颠覆性应用的原因之一，业界都在共同解决这一核心问题，让大模型在业务流程中变得更可控，解决行业深度应用的瓶颈。
11月28日，DataCon2024大数据安全分析竞赛落下帷幕，五大赛道中的所有冠军战队均已揭晓。在706支战队、1556位专业选手角逐中，AI安全赛道堪称最热门、最激烈的赛道之一。最终，来自中国科学院信息工程研究所的“啊对对对”战队技高一筹，以总成绩第一斩获该赛道的冠军，同时也给大模型的安全攻防对抗，提供了极有价值的参考。
夺冠之路：构造《指环王》语境，脑洞大开出奇制胜
“这次夺冠之路可谓一波三折，甚至一度遇到困境。”来自中国科学院信息工程研究所的冠军“啊对对对”战队相关负责人表示，“赛方提供模型的鲁棒性较高，因此在最初，模型很好地防御了我们的幻觉触发与越狱攻击，这也导致开赛前几天我们队伍排名并不是很理想。”
33.9、45.05……“啊对对对”战队先后尝试了反转触发幻觉、利用近义词替换触发幻觉等多种方法，但得分很低。直到最后一天，一位队员突发奇想、脑袋大开，一个神奇的big idea出现了。
这个idea叫做利用语义背景触发幻觉，就是将将大模型的语义背景引导到她很喜欢的一个作品《指环王》之下。换句话说，让该方法旨在让大模型忘记自己是一个网络安全专家，而是转到另一个幻觉，比如《指环王》的中土世界。
在这样的语义背景下，大模型的确忘记了它的身份，其输出充满了“符文”、“魔法”、“邪恶力量”等科幻词汇，其原本的网络安全环境过滤器近乎失效。它不再是网络安全专家，而是熟悉中土世界的“大神”，就给触发幻觉制造了条件。最终，“啊对对对”战队凭借《指环王》的意外灵感，一举拿下高分，最后一天实现排名大反转，成绩一跃成为榜首。
“思考问题不一定要过于复杂化，简单的方法也能有不错的效果。”这场“AI安全赛道”的夺冠之旅，一方面说明了本次大赛提供的奇安信安全大模型（QAX AI），其幻觉问题已经得到一定程度上的缓解，触发幻觉即便对于专业战队也颇有难度；另一方面，由于选手设计的问题千奇百怪，要彻底解决大模型幻觉等安全问题，依然有很长的路要走。
尽信书不如无书，大模型幻觉导致AI成为双刃剑
“幻觉问题一直以来都是语言模型需要面临的挑战，在大模型时代，流畅的生成内容让这个问题被大多用户低估，甚至是忽视。”AI安全赛道负责人兼出题人刘敬楷表示，“作为使用者，过于依赖大模型的回复，不加思考与验证地一味相信生成模型的结果是不妥的。尽信书，不如无书。希望大家能够意识到大模型面临的幻觉挑战，对于生成的内容能够带着疑问，多多思考与验证。”
图：大模型幻觉诱导赛题流程示意图
刘敬楷认为，当前限制大模型发展的一个重要问题是，在没有更深层次的理解模型作用机制的情况下，就进行了大规模的使用。像一个黑盒运转的机器，即使大多情况下都是正常运作，但没有人能够确保下次使用不会出现问题，出现问题也难以解释与解决。理解大模型产生幻觉的内在原因，理解大模型的运作机制，有助于大模型的应用和发展，能够更可控地为人们增添便利。如同教育，比起条条框框的约束，提高素质、理解道理才是更好、更长远的选择。
对于大模型的幻觉缓解方法，刘敬楷表示，幻觉现象的成因复杂，涉及模型结构、训练数据、训练策略、生成策略等多个方面。检测和防范大模型幻觉成为当前研究的热点和难点。有效的解决方案不仅需要深入理解幻觉的成因，还需要开发出高效的检测和防范技术。
奇安信：聚焦三大挑战，多手段破解幻觉难题
在to C领域，特别是一些简单、通用的场景中，AI作为一种提升效率、实现自动化的工具已经得到认可，比如，利用AI生成图片、制作PPT等。但是在to B领域，情况则复杂得多。尤其是像网络安全这样“差之毫厘、谬之千里”的行业，任何微小的失误或错误，都可能导致整个业务受到影响。
作为本次DataCon2024 AI安全赛道的大模型靶标，奇安信提供的安全大模型经受了上百个国内顶级战队的轮番攻防考验，给选手们制造了相当难度，也使得这场大赛含金量十足！同时，经过这些顶尖的实战攻防考验和历练，帮助奇安信安全大模型提前发现了问题和不足，在不断优化改进中更加健壮和可靠。
奇安信人工智能安全专家葛成宇表示，大模型幻觉现象是AI安全领域不可忽视的重要挑战。从本质上看，这种现象反映了当前大模型在知识表达、逻辑推理和事实依据方面的局限性，包括训练数据的不完备性和噪声、模型架构的固有缺陷、推理过程的不确定性等三个层面。
为了缓解大模型幻觉问题，奇安信围绕上述三个层面，采取了针对性技术方案：
01
数据层面的优化方面
奇安信建立了专业的知识图谱体系，确保核心领域知识的准确性和完整性；并实施严格的数据清洗流程，降低训练数据中的噪声；通过引入数据溯源机制，建立知识可信度评估体系；构建领域专家审核机制，保证专业知识的权威性。
02
模型训练改进方面
奇安信安全大模型强化特定场景的微调训练，提升模型的可靠性和专业性；并优化自适应注意力机制，提高知识关联的准确度；通过实现动态上下文窗口，增强长程依赖的处理能力。
03
推理策略优化方面
奇安信安全大模型采用检索增强生成(RAG)技术，提供可靠的外部知识支持；实现多源信息交叉验证机制，显著提高输出可信度；通过建立答案不确定性评估体系，识别潜在的幻觉风险。
04
工程层面的实践方面
奇安信基于细粒度的意图识别分类，强化理解用户需求的本质和约束条件，从源头上降低因理解偏差导致的幻觉风险；通过将用户问题改写为更规范的形式(Query Rewrite)，帮助精准定位知识库中的相关事实信息，减少由问题理解偏差导致的幻觉；依托多阶段检索策略(粗排+精排)提高知识召回的准确性，确保模型回答建立在可靠的知识基础上；并建立多层级的内容过滤机制，拦截明显违背事实的生成内容。
回答准确性提高50%，优化效果显著
经过一年多的实践探索，奇安信安全大模型在幻觉发生率实现了显著降低，其中事实性陈述准确率提升达40%，专业领域回答准确性提高50%。在安全性能方面，敏感信息识别准确率达98%，异常响应实时拦截率超过90%；在用户体验优化方面，回答可信度提示准确率达85%，知识溯源覆盖率提升更是达到了60%。
在DataCon2024大数据安全分析竞赛的AI安全赛道中，奇安信安全大模型作为本次数十个国内最强战队的攻防目标，在大模型幻觉触发方面制造了足够高的难度和门槛，充分体现了该模型的可靠性和专业性。目前，奇安信安全大模型已经深度应用于QAX-GPT安全机器人，以及AISOC，NDR（天眼）、EDR（天擎）、服务器安全（椒图）等产品，打造最强的AI安全助手,帮助广大客户在未来AI时代的攻防对抗中立于不败之地。
关于DataCon2024
感谢合作伙伴的助力 让我们走得更高更远
如有侵权请联系:admin#unsafe.sh