基于人机协同的漏洞挖掘框架设计
2024-3-15 15:25:33 Author: mp.weixin.qq.com(查看原文) 阅读量:7 收藏

近年来,随着模糊测试的不断发展,模糊测试工具在实际应用上取得了很好的效果,但是现有模糊测试工具容易陷入停滞状态或无法探索某些路径。基于群体智能的思想,提出了一种基于人机协同的二进制漏洞挖掘框架,该框架实现了基于知识图谱描述的个体库、任务自动化拆解和分配模型、并行化 Fuzz 引擎 3 个部分。大量实验结果证明,人的先验知识对模糊测试有益,在覆盖率和 crash 数量上有更好的表现。

模糊测试是现代漏洞挖掘最有效的技术之一,其为被测程序提供大量输入,并监视其出现的异常行为,例如堆栈溢出、越界读写、内存泄漏等 。自从模糊测试的方法问世以来,其在业界和学界受到广泛关注并不断发展,基于此,研究人员开发了各种工具应用于不同的测试场景。近年来,随着AFL家族的出现,灰盒模糊测试的发展不断完善,并取得了优秀的成果。

群体智能思想是近年来热门的研究方向,研究人员将人的先验知识与机器的算力相结合,在部分领域取得了很好的成果。基于此,本文在模糊测试中引入人机协同的思想,让专家来解决模糊测试执行中遇到的问题。首先,对每一个专家的特点和经验进行量化描述并绘制知识图谱,以此作为任务分配的依据;其次,实现了任务自动化拆分和分配模块,将每一个漏洞挖掘任务自动化拆分为若干子任务,再对每一个子任务分配相应的专家或机器;最后,每一个漏洞挖掘任务都由若干台底层机器完成,每一台机器都配有若干个漏洞挖掘工具,按照专家的建议选择某种工具。在 LAVA-M 测试集和两个真实程序上进行实验,底层使用 20 台并行化的主机,结果远优于 AFL。

1.1 模糊测试

模糊测试是指向待测程序提供大量畸形数据作为输入,监视程序的异常情况,并基于导致异常的输入分析发现漏洞的一种方法 。根据测试用例生成的方法,模糊测试可以分为基于生成的模糊测试和基于变异的模糊测试。前者需要已知的数据格式,在不破坏格式的前提下生成测试用例;后者是将初始数据进行大量变异,生成测试用例。按照对待测程序的分析程度,模糊测试方法可以分为白盒模糊测试、灰盒模糊测试和黑盒模糊测试。白盒模糊测试需要全部源代码,黑盒模糊测试则不需要任何待测程序的信息,灰盒模糊测试介于二者之间,通过运行时的反馈来指导模糊测试。模糊测试已在漏洞挖掘领域发挥重要作用,但其仍然面临着许多问题,如代码覆盖率不高,不能完全探索程序空间等。目前主流的模糊测试工具有 Peach、AFL、AFLGo等。

1.2 符号执行

符号执行是指将程序的约束条件转化为抽象的符号,则一个程序的输出即可转化为一个关于输入的函数。符号执行可以得出到达目标代码段所需要的输入条件。符号执行分为静态符号执行和动态符号执行,其中静态符号执行是通过符号值模拟程序执行,而动态符号执行是在程序运行时进行约束求解。虽然符号执行可以达到较高的代码覆盖率,但是其状态空间爆炸、复杂约束无法求解、资源开销过大等问题限制了符号执行的实际使用。目前,主流的符号执行工具有 KLEE、CUTE、DART、angr 等。

1.3 污点分析

污点分析的核心思想是跟踪污点数据在程序执行中的传播情况。污点分析可以分为静态污点分析和动态污点分析。静态污点分析通过对源码或者汇编代码进行分析,建立寄存器和数据之间的顺序依赖关系,依次判断污点数据的传播路径;动态污点分析是指在程序执行过程中,结合插桩的手段跟踪污点数据的流向。污点分析同样面临着隐式流、污点清除和开销过大的问题。目前主流的污点分析工具有 TaintCheck、Dytan、libdft 等。

该框架整体流程如图 1 所示。首先,当框架收到一个 Fuzz 任务时,该框架将 Fuzz 任务和其相关信息传入漏洞智能拆分模块。该模块依据环节不同、策略不同,将一个 Fuzz 任务拆分为若干子任务。

图 1 基于人机协同的漏洞挖掘框架

其次,当任务拆分结束后,该框架将每一个子任务与相关信息传入漏洞智能分配模块。该模块通过任务类型、个体特长、任务完成情况等信息对每一个个体进行打分,得出结果后,将每一个子任务分配给相应的个体。其中每一个个体都由事先的个体建模得到。

再次,当每一个个体收到子任务后,开始执行相关的漏洞挖掘任务,其中,机器自动化执行过程中,遇到问题可以参考专家意见或者由专家介入代为处理。

最后,在所有机群和人群个体完成任务后,将所有任务进行汇总。汇聚的结果经过去重后传入结果与 crash 分析,以详细获取漏洞信息。根据每个个体产生的结果,系统会评估每一个个体的工作情况并打分。该分数将不断积累并影响接下来的任务分配,如果某一个体在其从事的任务上效果并不理想,则根据相关算法降低其再次接受同种任务的概率。

2.1 基于知识图谱的个体库

个体库从多个维度对专家和机器进行描述,其中,专家个体库的特征维度如表 1 所示,机器个体库的特征维度如表 2 所示。

表 1  专家个体库的特征维度

表 2  机器个体库的特征维度

基于上述维度,对每个个体进行建模,并基于neo4j 数据库建立知识图谱。在后续的任务分配算法中,会根据各个维度的值对子任务进行合理的分配,每个子任务会选择最合适的专家或机器。

2.2 自动化任务拆解和分配模型

如图 2 所示,将一个漏洞挖掘任务拆分为若干个子任务,这样每一个个体可以寻找到最适合其自身优势的子任务。以模糊测试为例,将一个模糊测试任务拆分为种子选取、测试过程、异常处理和crash 分析 4 个子任务。其中,测试过程是通过并行若干台模糊测试终端实现。种子选取是指,由被指派该子任务的专家个体对当前待测试程序进行静态分析,得出哪些种子可能对模糊测试效果更好,对初始种子队列进行精简和增添。异常处理是指,当模糊测试工具长时间陷入覆盖率停滞状态时,该框架允许专家介入程序现场,通过逆向分析的方法判断当前程序是已经达到了覆盖率饱和状态,还是无法通过某些路径,专家可以手动分析该路径的约束条件,从而修改种子或修改模糊测试工具的字典,以通过该路径约束,crash 分析是指当模糊测试工具发现 crash 时,需要对所得的种子进行 crash 分析,判断 crash 成因并生成 poc。虽然对不同的模糊测试工具存在不同的子任务拆解策略,但是模糊测试的大体拆解思路按照上述实现。当任务拆解完成后,根据各项维度的值选择最合适的个体进行任务分配,并在每一次任务完成后,根据评估算法调整个体的表现情况,以便在下一次任务分配时可以制订更加合理的分配方案。

图 2 自动化任务拆解和分配模型(以 Fuzzing 任务为例)

2.3 并行化漏洞挖掘引擎

如图 3 所示,当专家完成种子选择后,即开始模糊测试。每一台机器中都包含如 AFL、AFL-Fast、InsFuzz 等开源模糊测试工具,按照专家的建议采用相应的模糊测试工具。在并行化中,最重要的问题是解决 bitmap 合并,本文采用的方法是在服务器端不断地轮询每一个节点,从中取出位图和种子文件,然后在服务器端进行合并,合并后再分发给每一个节点。如此一来,实现了位图和种子队列的同步。虽然在过程中会因为轮询顺序导致节点存在同步的滞后性,但是从长时间来看,每一个节点都会分配到其他节点具有价值的种子,并且位图保持一致。

此外,本文在某些节点提供了若干符号执行和污点分析工具,虽然这二者由于代价问题不可能每次漏洞挖掘任务都会应用,但是针对某些特殊的场景,需要二者与模糊测试工具相互配合。其中,符号执行工具包括 KLEE、S2E、angr 等,污点分析工具包括 TaintCheck、TaintDroid 等。

图 3 并行化漏洞挖掘引擎框架

为了验证基于人机协同的漏洞挖掘框架的有效性,选择 LAVA-M 测试集和真实世界的两个程序nm-new、readelf 进行测试。为了体现人的先验知识的效果,本次实验采用专家进行预先的静态分析,针对每一次比较指令的判断做出处理,将比较指令的值作为字典加入模糊测试工具中。本次模糊测试使用添加了人工字典的 20 台 AFL 和 20 台 AFL 运行 5 h 进行对比,体现人的先验知识的效果。

如表 3 所示,加入人工先验知识的 AFL 效果远优于原版 AFL,因此证明,这种基于人机协同的漏洞挖掘框架会大幅度提高漏洞挖掘的效率。

同时,进行另一个实验测试,将专家指导的快速到达目标点的策略引入 AFLGo,专家在不同阶段进行不同的种子筛选策略。在 Binutils 测试集上与 AFLGo 进行对比,将每个实验运行 20 次取平均值,时间预算设置为 8 h。观察专家指导下的漏洞挖掘框架在通用漏洞披露(Common Vulnerabilities & Exposures,CVE)复现上的能力。

表 3  AFL 与 AFL(含专家知识)运行 5 h 的覆盖率和 crash 数量对比

如表 4 所示,引入专家知识后的 AFLGo 效果优于原始 AFLGo,这是因为 AFLGo 并没有对更有价值的种子进行排序,而专家知识改变了 AFLGo原始的种子选择策略,优先运行更有价值的种子,从而提高了命中目标点的次数,并缩短了 CVE 的复现时间。

表 4  AFLGo 与 AFLGo(含专家知识)的命中目标点次数和 CVE 复现时间对比

本文实现了一种基于人机协同的漏洞挖掘框架设计,该框架主要由基于知识图谱的个体库、任务智能拆解与分配、并行化漏洞挖掘引擎 3 个模块组成。在人的参与下,实验证明其结果要优于传统的漏洞挖掘工具,这种人机结合的思想发挥了作用。在未来的工作中,将会进一步完善人的参与过程,将人机交互接口化,构成一个完整的人机交互漏洞挖掘系统。

原文来源:信息安全与通信保密杂志社
“投稿联系方式:孙中豪 010-82992251   [email protected]


文章来源: https://mp.weixin.qq.com/s?__biz=MzkyMzAwMDEyNg==&mid=2247542764&idx=1&sn=e554b0f49130a582bb664ef055dba234&chksm=c1e9abbdf69e22ab8814100e69cf6c97fde14686ffb4d24d0cf92811d7285aae89d7574fe5ab&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh