一个面向纯 Ruby 代码和 Ruby C 扩展的覆盖率引导模糊测试器。
Ruzzy 深受 Google 的 Python 模糊测试器 Atheris 启发。Ruzzy 使用 libFuzzer(或 LibAFL)作为其覆盖率插桩和模糊测试引擎。在对 C 扩展进行模糊测试时,Ruzzy 还支持 AddressSanitizer 和 UndefinedBehaviorSanitizer。如果你想进一步了解 Ruzzy 背后的灵感来源,请参阅我们的论文:Design and Implementation of a Coverage-Guided Ruby Fuzzer。
目录:
Ruzzy 支持 Linux(x86-64、AArch64/ARM64)和 macOS(Apple Silicon)。在 Windows 上,你可以构建 Dockerfile 和/或使用开发环境。Ruzzy 需要较新版本的 clang(已测试至 14.0.0),最好是最新版本。有关 macOS 特有的设置,请参阅 macOS 用户注意事项。
使用以下命令安装 Ruzzy:
MAKE="make --environment-overrides V=1" \
CC="/path/to/clang" \
CXX="/path/to/clang++" \
LDSHARED="/path/to/clang -shared" \
LDSHAREDXX="/path/to/clang++ -shared" \
gem install ruzzy
这里涉及的内容很多,让我们逐一分析:
MAKE 环境变量会覆盖 make 命令。这会告诉 make 在编译扩展时遵循后续的环境变量。clang 二进制文件。这确保我们拥有最新的 clang 特性,这些特性对于正确的模糊测试是必要的。如果你在安装时遇到问题,可以运行以下命令来获取调试输出:
RUZZY_DEBUG=1 gem install --verbose ruzzy
如果你的纯 Ruby 模糊测试目标大量使用正则表达式,请安装 regexp_parser:
gem install regexp_parser
安装完成后,Ruzzy 会自动使用此功能对模糊测试过程中遇到的 regexp 进行采样(即求解)。这使得模糊测试器能够越过 regexp 条件并解锁额外的覆盖率。
Ruzzy 包含一个玩具示例来演示其工作原理。首先,设置以下环境变量:
export ASAN_OPTIONS="allocator_may_return_null=1:detect_leaks=0:use_sigaltstack=0"
ASAN_OPTIONS然后你可以使用以下命令运行示例:
LD_PRELOAD=$(ruby -e 'require "ruzzy"; print Ruzzy::ASAN_PATH') \
ruby -e 'require "ruzzy"; Ruzzy.dummy'
LD_PRELOAD 是必需的,原因与 Atheris 相同。不过,与 ASAN_OPTIONS 不同,你大概不希望用 export 导出它,因为它可能会干扰其他程序。
它应该会很快产生如下所示的崩溃:
INFO: Running with entropic power schedule (0xFF, 100).
INFO: Seed: 2527961537
...
==45==ERROR: AddressSanitizer: heap-use-after-free on address 0x50c0009bab80 at pc 0xffff99ea1b44 bp 0xffffce8a67d0 sp 0xffffce8a67c8
...
SUMMARY: AddressSanitizer: heap-use-after-free /var/lib/gems/3.1.0/gems/ruzzy-0.9.0/ext/dummy/dummy.c:18:24 in _c_dummy_test_one_input
...
==45==ABORTING
MS: 4 EraseBytes-CopyPart-CopyPart-ChangeBit-; base unit: 410e5346bca8ee150ffd507311dd85789f2e171e
0x48,0x49,
HI
artifact_prefix='./'; Test unit written to ./crash-253420c1158bc6382093d409ce2e9cff5806e980
Base64: SEk=
我们可以看到它正确地找到了导致内存违规的输入("HI")。有关更多信息,请参阅 dummy.c 以了解此违规发生的原因。
你可以使用以下命令重新运行该崩溃用例:
LD_PRELOAD=$(ruby -e 'require "ruzzy"; print Ruzzy::ASAN_PATH') \
ruby -e 'require "ruzzy"; Ruzzy.dummy' \
./crash-253420c1158bc6382093d409ce2e9cff5806e980
以下 sanitizer 可用:
Ruzzy::ASAN_PATH 用于 AddressSanitizerRuzzy::UBSAN_PATH 用于 UndefinedBehaviorSanitizer让我们以一个小型 Ruby 脚本为例进行模糊测试。对纯 Ruby 代码进行模糊测试需要两个 Ruby 脚本:一个追踪脚本和一个模糊测试 harness。由于 Ruby 解释器的实现细节,追踪脚本是必需的。
首先是追踪脚本,我们将其命名为 test_tracer.rb:
# frozen_string_literal: true
require 'ruzzy'
Ruzzy.trace('test_harness.rb')
接下来是模糊测试框架,我们称之为 test_harness.rb:
# frozen_string_literal: true
require 'ruzzy'
def fuzzing_target(input)
if input.length == 4
if input[0] == 'F'
if input[1] == 'U'
if input[2] == 'Z'
if input[3] == 'Z'
raise
end
end
end
end
end
end
test_one_input = lambda do |data|
fuzzing_target(data) # Your fuzzing target would go here
return 0
end
Ruzzy.fuzz(test_one_input)
你可以运行此文件,并使用以下命令开始模糊测试:
LD_PRELOAD=$(ruby -e 'require "ruzzy"; print Ruzzy::ASAN_PATH') \
ruby test_tracer.rb
它应当会迅速产生如下所示的崩溃:
INFO: Running with entropic power schedule (0xFF, 100).
INFO: Seed: 2311041000
...
/app/ruzzy/bin/test_harness.rb:12:in `block in <top (required)>': unhandled exception
from /var/lib/gems/3.1.0/gems/ruzzy-0.9.0/lib/ruzzy.rb:15:in `c_fuzz'
from /var/lib/gems/3.1.0/gems/ruzzy-0.9.0/lib/ruzzy.rb:15:in `fuzz'
from /app/ruzzy/bin/test_harness.rb:35:in `<top (required)>'
from bin/test_tracer.rb:7:in `require_relative'
from bin/test_tracer.rb:7:in `<main>'
...
SUMMARY: libFuzzer: fuzz target exited
MS: 1 CopyPart-; base unit: 24b4b428cf94c21616893d6f94b30398a49d27cc
0x46,0x55,0x5a,0x5a,
FUZZ
artifact_prefix='./'; Test unit written to ./crash-aea2e3923af219a8956f626558ef32f30a914ebc
Base64: RlVaWg==
我们可以看到它正确地找到了产生异常的输入("FUZZ")。
要对自己的目标进行模糊测试,请修改 test_one_input 的 lambda,使其调用你的目标函数。
以 msgpack-ruby 库为例进行模糊测试。首先,安装该 gem:
MAKE="make --environment-overrides V=1" \
CC="/path/to/clang" \
CXX="/path/to/clang++" \
LDSHARED="/path/to/clang -shared" \
LDSHAREDXX="/path/to/clang++ -shared" \
CFLAGS="-fsanitize=address,fuzzer-no-link -fno-omit-frame-pointer -fno-common -fPIC -g" \
CXXFLAGS="-fsanitize=address,fuzzer-no-link -fno-omit-frame-pointer -fno-common -fPIC -g" \
gem install msgpack
除了编译 Ruzzy 时使用的环境变量外,我们还指定了 CFLAGS 和 CXXFLAGS。这些标志有助于模糊测试过程。它们启用了诸如地址消毒器(address sanitizer)和改进的堆栈跟踪信息等有用功能。更多信息请参阅 AddressSanitizerFlags。
接下来,我们需要一个用于 msgpack 的模糊测试 harness。以下内容对于有 libFuzzer 经验的人可能比较熟悉:
# frozen_string_literal: true
require 'msgpack'
require 'ruzzy'
test_one_input = lambda do |data|
begin
MessagePack.unpack(data)
rescue Exception
# We're looking for memory corruption, not Ruby exceptions
end
return 0
end
Ruzzy.fuzz(test_one_input)
我们把这个文件称为 fuzz_msgpack.rb。你可以运行这个文件,并使用以下命令开始模糊测试:
LD_PRELOAD=$(ruby -e 'require "ruzzy"; print Ruzzy::ASAN_PATH') \
ruby fuzz_msgpack.rb
libFuzzer 选项可以像这样传递给 Ruby 脚本:
LD_PRELOAD=$(ruby -e 'require "ruzzy"; print Ruzzy::ASAN_PATH') \
ruby fuzz_msgpack.rb /path/to/corpus
有关更多信息,请参阅 libFuzzer 选项。
要对自己的目标进行模糊测试,请修改 test_one_input lambda 以调用你的目标函数。
Ruzzy 模块暴露顶层入口点。