Go语言模糊测试工具:Go-Fuzz
2022-9-22 08:5:28 Author: LemonSec(查看原文) 阅读量:18 收藏


本文为看雪论坛优秀文章
看雪论坛作者ID:ZxyNull

go环境配置

Go 安装包下载地址在:https://golang.org/dl/
 
① 下载二进制包,本次使用的是 go1.14.4.linux-amd64.tar.gz。

② 将下载的二进制包解压至指定目录,比如 /usr/local目录。
$ tar -C /usr/local -xzf go1.14.4.linux-amd64.tar.gz
③ 配置环境变量,进入.bashrc 配置:
$ vim ~/.bashrc
④ 在最后面添加如下代码:
# GOROOT:go的安装路径export GOROOT="/usr/local/go"# GOPATH:go的开发路径(自定义就好)export GOPATH="/home/xxx/gowork"# GOBIN:go工具程序存放路径export GOBIN=$GOPATH/binexport PATH=$PATH:${GOPATH//://bin:}/bin:/usr/local/go/bin
⑤ 保存,退出,使环境变量生效:
$ source ~/.bashrc
⑥ 查看环境变量是否生效:
$ go env
⑦ 接着在开发目录创建文件夹:
cd /home/xxx/goworkmkdir bin # bin是生产目录mkdir src # src 是开发目录mkdir pkg # pkg 是包目录
完成,之后构建的go项目源代码就放到src下面, 生成的安装包会自动放在bin目录下,生成过程中的中间文件会放在pkg下面。

go-fuzz安装

2.1 使用 go get 安装

$ go get github.com/dvyukov/go-fuzz

2.2 源码安装

创建/home/xxx/gowork/src/github.com/dvyukov/目录,手动下载 zip 包上传到该目录进行安装,解压文件:
$ unzip go-fuzz-master.zip
路径是
$GOPATH/src/github.com/dvyukov/go-fuzz
接下来下载 go-fuzz提供的语料库(https://github.com/dvyukov/go-fuzz-corpus)。存放路径是
$GOPATH/src/github.com/dvyukov/go-fuzz-corpus
下载的东西准备好了,执行安装:
$ go install $GOPATH/src/github.com/dvyukov/go-fuzz/go-fuzz$ go install $GOPATH/src/github.com/dvyukov/go-fuzz/go-fuzz-build

go-fuzz基本流程

package png
import ( "bytes" "image/png")
func Fuzz(data []byte) int { png.Decode(bytes.NewReader(data)) return 0}
$GOPATH/bin/go-fuzz -bin=./mypackage-fuzz.zip -workdir= .
2015/04/25 12:39:53 workers: 500, corpus: 186 (42s ago), crashers: 3,     restarts: 1/8027, execs: 12009519 (121224/sec), cover: 2746, uptime: 1m39s
corpus :语料库中的有效种子数量, 括号中的时间表示发现最后一个有趣输入的时间
crashers:已发现bug的数量(workdir/crashes 目录下)
restarts:fuzzer重新启动测试过程的速率, 速率应接近 1/10000(即计划的重启速率);如果它大大高于 1/10000,请考虑修复已发现的导致频繁重启的错误
execs :测试执行的总数,括号中的数字是测试执行的平均速度 。
cover :在散列覆盖位图中设置的位数,如果这个数字增长,Fuzzer会发现新的代码行;位图大小为 64K;理想情况下cover 值应小于 5000,否则由于哈希冲突,Fuzzer可能会错过新的有趣输入。
uptime :进程的正常运行时间,该信息也通过 http 提供(见-http标志)
⑦ Fuzz结果
Fuzz执行结束后,如果发现crash,会在工作文件夹下出现新的两个文件夹,分为是 suppressions 和 crashers 。suppressions 中包含崩溃日志。它的作用是让go-fuzz跳过导致相同崩溃的输入 , crashers 文件中放着战利品,每次崩溃都会产生三个文件,文件名为输入的SHA-1哈希,无后缀名的文件为导致崩溃的实际输入、output为 crash dump 、 quoted 中放的是导致崩溃的输入,不过是以字符串形式展示 。

go-fuzz项目实战

4.1 ase

项目简介

用于解码和编码 ASE (Adobe Swatch Exchange) 文件的 Golang 包, ASE 包公开了 Decode 和 Encode 方法,只需将 io.Reader 接口传递给 ase.Decode,它将返回解码数据的 ASE 结构 ,我们可以将Decode作为我们的Fuzz目标。
 
项目地址:https://github.com/arolek/ase

Fuzz 流程

① 首先将下载项目到本地,并重置git到漏洞修复点之前
$ go get github.com/arolek/ase$ cd `go list -f '{{.Dir}}' github.com/arolek/ase`$ git reset --hard b1bf7d7a70445821722b29395f07fcd13e940f8c
② 编写Fuzz.go
// +build gofuzzpackage aseimport "bytes"func Fuzz(data []byte) int { if _, err := Decode(bytes.NewReader(data)); err != nil { return 0 } return 1}
③ Build
$ go-fuzz-build github.com/arolek/ase
④ 创建工作文件夹,语料库选择作者给出的samples,并开始Fuzz
$ mkdir -p workdir/corpus$ cp samples/*.ase workdir/corpus$ go-fuzz -bin=ase-fuzz.zip -workdir=workdir
⑤ Fuzz执行过程中的显示,下面表明并行运行的数量为2,语料库中有3个有效种子,发现了1个crash 等。
2022/03/10 18:01:40 workers: 2, corpus: 3 (1m15s ago), crashers: 1, restarts: 1/11, execs: 299360 (3991/sec), cover: 221, uptime: 1m15s

Crash 分析

此时workdir文件夹下多了两个目录:crashers和suppressions。查看crashers中的内容, 崩溃以输入的 sha1 命名,导致崩溃的实际数据是没有扩展名的文件,如下面的19cd42975df835d9a41f76a1ae4dd2d17916ea9。“.quoted”文件是作为字符串常量的数据,因此可以轻松地将其添加到测试文件中。'.output' 文件是 panic() 或一些 go-fuzz 确定崩溃的输出。
null@ubuntu:~/gowork/src/github.com/arolek/ase/workdir$ ll crashers/total 20drwxrwx--- 2 null null 4096 Mar 10 05:33 ./drwxrwxr-x 5 null null 4096 Mar 10 05:32 ../-rw-rw---- 1 null null   20 Mar 10 05:33 919cd42975df835d9a41f76a1ae4dd2d17916ea9-rw-rw---- 1 null null  885 Mar 10 05:33 919cd42975df835d9a41f76a1ae4dd2d17916ea9.output-rw-rw---- 1 null null   42 Mar 10 05:33 919cd42975df835d9a41f76a1ae4dd2d17916ea9.quoted
查看919cd42975df835d9a41f76a1ae4dd2d17916ea9.output的内容。
panic: runtime error: slice bounds out of range [:-1]goroutine 1 [running]:github.com/arolek/ase.(*Color).readName(0xc0000580500x4e66000xc00005a1500x59a7c00x4a8080)    /home/null/gowork/src/github.com/arolek/ase/color.go:67 +0x21fgithub.com/arolek/ase.(*Color).read(0xc0000580500x4e66000xc00005a1500x00x0)    /home/null/gowork/src/github.com/arolek/ase/color.go:33 +0xfegithub.com/arolek/ase.Decode(0x4e66000xc00005a1500x44d9c9, 0x1160437af97c4, 0x191f107c, 0x191f107c00000000, 0x6229fe1c, 0xc000074e980x46c5260x6229fe1c, ...)    /home/null/gowork/src/github.com/arolek/ase/ase.go:56 +0x69egithub.com/arolek/ase.Fuzz(0x7f5cadcdf000, 0x14, 0x14, 0x4)    /home/null/gowork/src/github.com/arolek/ase/fuzz.go:7 +0xb5go-fuzz-dep.Main(0xc000074f70, 0x1, 0x1)    go-fuzz-dep/main.go:36 +0x1admain.main()    github.com/arolek/ase/go.fuzz.main/main.go:15 +0x52
根据堆栈跟踪,查看color.go内容源码,可以看到如下代码,很明显对name[:len(name)-1])的切面访问导致了越界错误。
color.Name = string(utf16.Decode(name[:len(name)-1]))
接着,我们使用 919cd42975df835d9a41f76a1ae4dd2d17916ea9.quoted中的数据编写测试代码重现该漏洞,编写fuzz_test.go,内容如下:
package ase
import ( "strings" "testing")
func TestFuzzCrashers(t *testing.T) {
var crashers = []string{ "ASEF00\x00\x000000\x00\x010000\x00\x00", }
for _, f := range crashers { Decode(strings.NewReader(f)) }}
go test 启动测试,很容易发现此时的len(name) = 0 , 因此 len(name)-1 不是有效的切片索引。
$ go test--- FAIL: TestFuzzCrashers (0.00s)panic: runtime error: slice bounds out of range [:-1] [recovered]    panic: runtime error: slice bounds out of range [:-1]goroutine 6 [running]:testing.tRunner.func1.1(0x5354e0, 0xc000012340)    /usr/local/go/src/testing/testing.go:940 +0x2f5testing.tRunner.func1(0xc00008e120)    /usr/local/go/src/testing/testing.go:943 +0x3f9panic(0x5354e0, 0xc000012340)    /usr/local/go/src/runtime/panic.go:969 +0x166github.com/arolek/ase.(*Color).readName(0xc0000580a00x5707200xc00000c0c00x66d3c8, 0x511340)    /home/null/gowork/src/github.com/arolek/ase/color.go:67 +0x1bagithub.com/arolek/ase.(*Color).read(0xc0000580a00x5707200xc00000c0c00x00x0)    /home/null/gowork/src/github.com/arolek/ase/color.go:33 +0x9egithub.com/arolek/ase.Decode(0x5707200xc00000c0c00x4c0b400x6030900x6308400x00x10xc0000307480x451fd9, 0x16b13735d06, ...)    /home/null/gowork/src/github.com/arolek/ase/ase.go:56 +0x4e3github.com/arolek/ase.TestFuzzCrashers(0xc00008e120)    /home/null/gowork/src/github.com/arolek/ase/ase_test.go:15 +0xdftesting.tRunner(0xc00008e120, 0x550370)    /usr/local/go/src/testing/testing.go:991 +0xdccreated by testing.(*T).Run    /usr/local/go/src/testing/testing.go:1042 +0x357exit status 2FAIL    github.com/arolek/ase    0.006s

4.2 iprange

项目简介

iprange是一个库,可用于从nmap格式的字符串中解析IPv4地址 , 它接收一个字符串,并返回一个“Min-Max”格式的列表 , iprange支持以下格式:
10.0.0.110.0.0.0/2410.0.0.*10.0.0.1-1010.0.0.1, 10.0.0.5-10, 192.168.1.*, 192.168.10.0/24
iprange的使用方法示例:
package mainimport (    "log"    "github.com/malfunkt/iprange")func main() {    list, err := iprange.ParseList("10.0.0.1, 10.0.0.5-10, 192.168.1.*, 192.168.10.0/24")    if err != nil {        log.Printf("error: %s", err)    }    log.Printf("%+v", list)    rng := list.Expand()    log.Printf("%s", rng)}
该示例中,调用了 ParseList 函数 ,该函数十分合适作为我们Fuzz的对象。该函数来自于 iprange/y.go 文件中,下为该函数源码,这个函数的功能是:ParseList接收一个目标规格的列表,并返回一个范围列表。
// ParseList takes a list of target specifications and returns a list of ranges,// even if the list contains a single element.func ParseList(in string) (AddressRangeList, error) {    lex := &ipLex{line: []byte(in)}    errCode := ipParse(lex)    if errCode != 0 || lex.err != nil {        return nil, errors.Wrap(lex.err, "could not parse target")    }    return lex.output, nil}

Fuzz 流程

① 下载项目到本地,并执行hard reset。
$ go get github.com/malfunkt/iprange$ git reset --hard 3a31f5ed42d2d8a1fc46f1be91fd693bdef2dd52
② 准备Fuzz函数,在项目文件夹下创建文件Fuzz.go。
package iprange
func Fuzz(data []byte) int { _, err := ParseList(string(data)) if err != nil { return 0 } return 1}
③ 编译,编译成功后,会在当前文件夹下生成iprange-fuzz.zip。
$ go-fuzz-build ~/gowork/src/github.com/malfunkt/iprange
 
④ 准备语料库, 为了进行有意义的 fuzz,我们需要尽可能提供格式正确的样本。可以直接从iprange 项目 README文件中复制示例,并创建一下3个文件,放入corpus文件夹。
 
test1
10.0.0.1, 10.0.0.5-10, 192.168.1.*, 192.168.10.0/24
test2
10.0.0.1-10,10.0.0.0/24,10.0.0.0/24
test3
10.0.0.*, 192.168.0.*, 192.168.1-256
⑤ 运行Fuzz

Crash 分析

发现crash后,查看crasher文件夹下出现了3个文件,打开.out文件查看堆栈跟踪:
panic: runtime error: index out of range [3] with length 0goroutine 1 [running]:encoding/binary.bigEndian.Uint32(...)    /usr/local/go/src/encoding/binary/binary.go:112github.com/malfunkt/iprange.(*ipParserImpl).Parse(0xc0000af800, 0x53db40, 0xc000064ff0, 0x0)    /home/null/gowork/src/github.com/malfunkt/iprange/y.go:504 +0x29d7github.com/malfunkt/iprange.ipParse(...)    /home/null/gowork/src/github.com/malfunkt/iprange/y.go:306github.com/malfunkt/iprange.ParseList(0xc000043e780xa0xa0xa0xc000043e780xa0xc000043e98)    /home/null/gowork/src/github.com/malfunkt/iprange/y.go:61 +0x127github.com/malfunkt/iprange.Fuzz(0x7f2a2627b000, 0xa0xa0x3)    /home/null/gowork/src/github.com/malfunkt/iprange/fuzz.go:4 +0x7dgo-fuzz-dep.Main(0xc000043f70, 0x1, 0x1)    go-fuzz-dep/main.go:36 +0x1admain.main()    github.com/malfunkt/iprange/go.fuzz.main/main.go:15 +0x52
首先是encoding/binary/binary.bigEndian.Uint32,它是 go 的标准库,定位到源码 /usr/local/go/src/encoding/binary/binary.go:112
111    func (bigEndian) Uint32(b []byte) uint32 {112        _ = b[3// bounds check hint to compiler; see golang.org/issue/14808113        return uint32(b[3]) | uint32(b[2])<<8 | uint32(b[1])<<16 | uint32(b[0])<<24114    }
_ = b[3] 这一句很是可疑, 注意到它的注释中提到“给编译器的边界检查提示”,根据它提到的链接,去看看是什么情况 https://github.com/golang/go/issues/14808。在 issues 中讲到了边界检查,这是为了检查输入是否有足够的字节,如果没有,它将在字节被访问时发生 panic 异常。这说明这句可能存在漏洞。
 
于是构造下面这一小段可以引起 panic 的代码来测试下:
// Small program to test panic when calling Uint32(nil).package main
import ( "encoding/binary")
func main() { _ = binary.BigEndian.Uint32(nil)}
发现错误和之前的很相似,那么漏洞位置基本确定了。
$ go run test.gopanic: runtime error: index out of range [3] with length 0
goroutine 1 [running]:encoding/binary.bigEndian.Uint32(...) /usr/local/go/src/encoding/binary/binary.go:112main.main() /home/null/gowork/src/test.go:9 +0x1aexit status 2
接下来再看看这个漏洞的触发前提,即调用 bigEndian.Uint32 的函数iprange.Parse。查看github.com/malfunkt/iprange/y.go:504附近代码:
case 5: ipDollar = ipS[ippt-3 : ippt+1] //line ip.y:54 { mask := net.CIDRMask(int(ipDollar[3].num), 32) min := ipDollar[1].addrRange.Min.Mask(mask) maxInt := binary.BigEndian.Uint32([]byte(min)) + 0xffffffff - binary.BigEndian.Uint32([]byte(mask)) maxBytes := make([]byte, 4) binary.BigEndian.PutUint32(maxBytes, maxInt) maxBytes = maxBytes[len(maxBytes)-4:] max := net.IP(maxBytes) ipVAL.addrRange = AddressRange{ Min: min.To4(), Max: max.To4(), } }
传入 bigEndian.Uint32 的参数是 min,min 来自于 mask,而mask 又来自于 net.CIDRMask。
 
查看 net.CIDRMask 的解释,https://golang.org/pkg/net/#CIDRMask
 
在 go 源码中可以查看到 CIDRMask 的源码:
// CIDRMask returns an IPMask consisting of `ones' 1 bits// followed by 0s up to a total length of `bits' bits.// For a mask of this form, CIDRMask is the inverse of IPMask.Size.func CIDRMask(ones, bits int) IPMask { if bits != 8*IPv4len && bits != 8*IPv6len { return nil } if ones < 0 || ones > bits { return nil } // removed}
可以发现如果ones 无效,函数将会返回nil。Mask 为 nil 便是会是我们想要的结果,为了研究如何使 ones 无效,我们可以通过修改iprange包的源码,把 ipDollar[3] 打印出来看看。
case 5:    ipDollar = ipS[ippt-3 : ippt+1]    //line ip.y:54    {        fmt.Printf("ipdollar[3]: %v\n", ipDollar[3].num) // print ipdollar[3]        mask := net.CIDRMask(int(ipDollar[3].num), 32)        fmt.Printf("mask: %v\n", mask)                   // print mask        min := ipDollar[1].addrRange.Min.Mask(mask)        fmt.Printf("min: %v\n", min)                     // print min        maxInt := binary.BigEndian.Uint32([]byte(min)) +            0xffffffff -            binary.BigEndian.Uint32([]byte(mask))        maxBytes := make([]byte, 4)        binary.BigEndian.PutUint32(maxBytes, maxInt)        maxBytes = maxBytes[len(maxBytes)-4:]        max := net.IP(maxBytes)        ipVAL.addrRange = AddressRange{            Min: min.To4(),            Max: max.To4(),        }    }
代码修改完毕后,接着用 fuzz时导致 crash 的输入复现一下,代码在之前 fuzz 程序的基础上稍加改动即可,创建文件test2.go,内容如下:
// Small program to investigate a panic in iprange for invalid masks.package mainimport "github.com/malfunkt/iprange"func main() {    _ = Fuzz([]byte("0.0.0.0/50")) //.quoted的内容}func Fuzz(data []byte) int {    _, err := iprange.ParseList(string(data))    if err != nil {        return 0    }    return 1}
运行
$ go run test2.goipdollar[3]:50mask:<nil>min:<nil>panic: runtime error: index out of range [3] with length 0
goroutine 1 [running]:encoding/binary.bigEndian.Uint32(...) /usr/local/go/src/encoding/binary/binary.go:112github.com/malfunkt/iprange.(*ipParserImpl).Parse(0xc0000b6000, 0x515080, 0xc0000800a0, 0x0) yaccpar:354 +0x1e8egithub.com/malfunkt/iprange.ipParse(...) yaccpar:153github.com/malfunkt/iprange.ParseList(0xc00003ef58, 0xa, 0xa, 0xa, 0xc00003ef58, 0xa, 0x4063df) ip.y:93 +0xdfmain.Fuzz(...) /home/null/gowork/src/test2.go:10main.main() /home/null/gowork/src/test2.go:6 +0x75exit status 2
可以看出,程序中将 50 传递给 net.CIDRMask ,会导致 mask 为 nil ,进而导致 min 也为 nil,这样的 min 再作为参数传入bigEndian.Uint32 便会出现越界索引 。

4.3 gocmpp

项目简介

gocmpp 是一个实现中国移动点对点(cmpp)协议的库 , 可以使用该库来实现任何在客户端和服务器端都使用 cmpp 协议的应用程序、工具或系统。gocmpp中的每种协议包都实现了Packer接口,其中的Unpack尤其适合模糊测试。
 
项目地址:https://github.com/bigwhite/gocmpp

Fuzz 流程

下载项目到本地, 并在gocmpp下专门建立fuzztest目录,用于存放fuzz test的代码,将各个协议包的fuzz test分到各个子目录中:

$ go get github.com/bigwhite/gocmpp
github.com/bigwhite/gocmpp/fuzztest]$tree.├── fwd│ ├── corpus│ │ └── 0│ ├── fuzz.go│ └── gen│ └── main.go└── submit ├── corpus │ ├── 0 ├── fuzz.go └── gen └── main.go
先说说每个fuzz test单元(比如fwd或submit)下的gen/main.go,这是一个用于生成初始语料的可执行程序,我们以submit/gen/main.go为例:
package mainimport (    "github.com/dvyukov/go-fuzz/gen")func main() {    data := []byte{        0x00, 0x00, 0x00, 0x17, 0x00, 0x00, 0x00, 0x00,        0x000x000x000x000x010x010x010x010x740x650x730x740x000x000x000x00,        0x000x000x020x310x330x350x300x300x300x300x320x360x390x360x000x00,        0x000x000x000x000x000x000x000x000x000x000x080x390x300x300x300x30,        0x310x300x320x310x300x000x000x000x000x310x350x310x310x300x350x31,        0x330x310x350x350x350x310x300x310x2b0x000x000x000x000x000x000x00,        0x000x000x000x000x000x000x000x000x000x000x000x390x300x300x300x30,        0x310x000x000x000x000x000x000x000x000x000x000x000x000x000x000x00,        0x010x310x330x350x300x300x300x300x320x360x390x360x000x000x000x00,        0x000x000x000x000x000x000x1e0x6d0x4b0x8b0xd50x000x670x000x6f0x00,        0x630x000x6d0x000x700x000x700x000x200x000x730x000x750x000x620x00,        0x6d0x000x690x000x740x000x000x000x000x000x000x000x00,    }    gen.Emit(data, nil, true)}
在这个main.go中,我们借用submit包的单元测试中的数据作为fuzz test的初始语料数据,通过go-fuzz提供的gen包将数据输出到文件中:
$cd submit/gen$go run main.go -out ../corpus/$ll ../corpus/total 8drwxr-xr-x 3 tony staff 102 12 7 22:00 ./drwxr-xr-x 5 tony staff 170 12 7 21:42 ../-rw-r--r-- 1 tony staff 181 12 7 22:00 0
该程序在corpus下生成了一个文件“0”,作为submit fuzz test的初始语料。
 
接下来我们看看submit/fuzz.go:submit/fuzz.go:
// +build gofuzz
package cmppfuzz
import ( "github.com/bigwhite/gocmpp")
func Fuzz(data []byte) int { p := &cmpp.Cmpp2SubmitReqPkt{} if err := p.Unpack(data); err != nil { return 0 } return 1}
接下来就是go-fuzz-build和go-fuzz登场。
$cd submit$go-fuzz-build github.com/bigwhite/gocmpp/fuzztest/submit$go-fuzz -bin=./cmppfuzz-fuzz.zip -workdir=./

参考链接

https://github.com/dvyukov/go-fuzz
https://parsiya.net/blog/2018-04-29-learning-go-fuzz-1-iprange/
https://dgryski.medium.com/go-fuzz-github-com-arolek-ase-3c74d5a3150c
https://studygolang.com/articles/5461
http://blog.nsfocus.net/go-fuzz-0806/
侵权请私聊公众号删文

 热文推荐  

欢迎关注LemonSec
推荐阅读↓↓↓
觉得不错点个“赞”、“在看“

文章来源: http://mp.weixin.qq.com/s?__biz=MzUyMTA0MjQ4NA==&mid=2247535532&idx=2&sn=82c35b626ca4975255f9eb6111a30958&chksm=f9e324f7ce94ade16da433b29359530bfbfdfe038d1636b2c06f4c9b4e7e7cd671da0daa1ba5#rd
如有侵权请联系:admin#unsafe.sh