6000次引擎迭代,长亭雷池开启语义分析2.0时代
2023-10-20 19:32:31 Author: mp.weixin.qq.com(查看原文) 阅读量:9 收藏

6000次 
这是语义分析引擎迭代的次数
3260次  
这是检测模型调整的次数
106783行 
这是累计优化的代码数量
6406次

这是累计的commit次数

以上这组数字,是截至2023年9月,长亭雷池(SafeLine)下一代Web应用防火墙核心引擎做出的更新。

2014年,公司成立之初,长亭科技就尝试将语义分析应用于流量检测上,落地SQLChop,并迅速集成多种语法检测,推出首个基于智能语义分析的下一代WAF。

发布至今,雷池(SafeLine)已累计服务数百家企业级用户,在不同行业、不同网络架构场景的打磨下,其核心安全检测能力也在不断更迭,进一步提升检测精准程度。

No
-Number-
01

HTTP协议解析算法

100+次解析逻辑调整

从引擎发布至今,雷池(SafeLine)持续优化HTTP解析及语义识别准确性,完善对rfc标准支持,适配常见HTTP解析库与rfc实现不一致的特性。

No
-Number-
02

解码器30次解码逻辑调优

长亭发明了智能推测嵌套编码专利,目前可支持解析十层嵌套编码的攻击载荷,百倍提升检测效率。

解码模型

No
-Number-
03

安全检测模块持续调优

单点极致

常规漏洞检测精准度稳步提升,脆弱性分析引擎加强。

以下列举6个核心安全检测模块新增核心能力。

今天,雷池(SafeLine)已经可以做到:

1

百万请求检出率99.9956%,百万请求误报率0.0076%,误拦率始终小于0.0001%。

2

天然防护高危漏洞数量月均10+个。在2023年的国家攻防演练中,雷池(SafeLine)防护0day漏洞23个,天然防护率大于50%。

3

最快0.5小时内提供虚拟补丁,6小时内完成应急响应。2012年12月,Apache Log4j2远程代码执行漏洞突然爆发,雷池(SafeLine)在120分钟内发布虚拟补丁,并在24小时内完善检测引擎。

4

在OWASP 2021首届WAF攻防大师赛中,以低于0.1%的优异表现在误报检测单项能力测试中摘得冠军。

一直以来,雷池(SafeLine)的检测都是黑盒形式,在这些指标提升的背后,都有长亭研发团队在不懈努力。
今天我们邀请其核心研发人员来揭开背后的故事。

1

one

融合更多维度技术
综合提升WAF的能力天花板
WAF是一种比较成熟的防护手段,在应对Web应用攻击上“亲测”好用,但是受限于早期技术水平,部分遗留下的不能解决的问题,随着技术栈的变化升级成为了“硬伤”。
“大包绕过”就是个典型问题。因为其普遍性,甚至被称为绕过WAF的通杀方案。

Q: 何谓“大包绕过”?

大包绕过,指WAF遇到大请求时,不能完整检测请求被迫直接放行,或者检测耗时很长中断业务。
产生的主要原因,是WAF 对请求的检测通常要经过 HTTP 协议解析、解码和模式匹配三个主要环节,而每一个环节通常都需要前一个环节完整输出。这些限制让 WAF 不得不等到请求接收完整后,再对其进行检测。当遇到大请求时,内存就成为了最大的瓶颈,限制了 WAF 对完整请求做检测。同时,由于WAF需要接收完整请求后再一次性检测,也给请求的转发带来了较高的延迟。
长亭科技综合利用语义分析引擎可重入技术、数据分片流式接收技术和深度解码栈快照技术,并取得实质性突破,将协议解析、解码和模式匹配三个阶段彻底改造为“流式”,真正实现了“边接收、边检测、边转发”的流式检测模式,全球首创流式语义分析技术,预计可将攻击绕过率降低95%以上。
至此,WAF将不再依赖完整的 HTTP 请求数据,而是可以“流式”地、一个片段一个片段地进行检测+转发,在解决大包绕过问题的同时,不牺牲任何检测效果,同时极大地降低了请求的检测延迟,不影响业务。

2

two

与大模型结合
让安全检测能力自然语言化和自动化
语义分析引擎的原理是,首先查找可能存在的载荷,然后提取载荷的语义特征,最后识别并输出攻击类型和威胁等级。
这运用到WAF上已经质变的提升了检测精准度,但是对于安全研判和运营仍然不够。
对于安全运营来说,至少要知道攻击者打算做什么,才能知道哪里是短板,进而针对性改善。
大模型可以对攻击载荷进行自然语言解释,和实际攻击意图的分析和联想,而语义分析引擎则为大模型提供语义特征,大幅提升攻击意图识别效率和准确度。不同类型的攻击载荷对应的语义特征不同,所以当大模型同时接收到攻击载荷和语义特征时,分析和联想的准确率更高,幻视率更低。同时语义分析引擎的持续迭代,以及语义特征的进一步丰富,会让大模型的安全能力进一步提升。
基于多年安全能力积累,长亭训练出安全大模型,在语义分析引擎的加持下,可自动解释攻击原理,并分析出可能受影响的资产和留下的攻击痕迹,生成自然语言的描述信息。这些信息可以辅助安全人员或人工智能进行有效研判和处置,让整个安全检测更加智能。
彩蛋


文章来源: https://mp.weixin.qq.com/s?__biz=MzIwNDA2NDk5OQ==&mid=2651385787&idx=1&sn=0c61d23289aa40070943875cbf98d04c&chksm=8d399e33ba4e17258b62fb4541b593b5d566f7505f7c046c7d3870622b41293ba59965c58632&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh