퍼즈 타깃 생성 및 평가를 위한 프레임워크

이 프레임워크는 다양한 대규모 언어 모델(LLM)을 사용하여 실제 C/C++/Java/Python 프로젝트를 위한 퍼즈 타깃을 생성하고, OSS-Fuzz 플랫폼을 통해 벤치마킹합니다.

자세한 내용은 AI 기반 퍼징: 버그 사냥 장벽을 허무는 방법에서 확인할 수 있습니다:

현재 지원되는 모델은 다음과 같습니다:

• Vertex AI code-bison
• Vertex AI code-bison-32k
• Gemini Pro
• Gemini Ultra
• Gemini Experimental
• Gemini 1.5
• OpenAI GPT-3.5-turbo
• OpenAI GPT-4
• OpenAI GPT-4o
• OpenAI GPT-4o-mini
• OpenAI GPT-4-turbo
• OpenAI GPT-3.5-turbo (Azure)
• OpenAI GPT-4 (Azure)
• OpenAI GPT-4o (Azure)

생성된 퍼즈 타깃은 프로덕션 환경의 최신 데이터를 기준으로 네 가지 지표로 평가됩니다:

• 컴파일 가능성
• 런타임 크래시
• 런타임 커버리지
• 기존에 사람이 작성한 OSS-Fuzz 퍼즈 타깃 대비 런타임 라인 커버리지 차이

다음은 2024년 1월 31일 실험 결과 샘플입니다. 이 실험에는 297개의 오픈소스 프로젝트에서 가져온 1300개 이상의 벤치마크가 포함되었습니다.

전반적으로 이 프레임워크는 LLM을 활용하여 160개의 C/C++ 프로젝트에 대해 유효한 퍼즈 타깃(0이 아닌 커버리지 증가를 생성하는 타깃)을 성공적으로 생성할 수 있었습니다. 최대 라인 커버리지 증가율은 기존 사람이 작성한 타깃 대비 29%입니다.

이 보고서는 공개되지 않은 취약점을 포함할 수 있으므로 공개되지 않습니다.

사용법

이 프레임워크를 실행하고 결과를 기반으로 보고서를 생성하는 방법은 자세한 사용 가이드를 확인하세요.

독립 에이전트 실행 및 평가

통합 에이전트 실행 프레임워크를 사용하면 전체 실험을 실행하지 않고도 개별 에이전트를 실행하거나 평가할 수 있습니다. 개별 에이전트 또는 에이전트 시퀀스를 실행하는 방법에 대한 자세한 지침은 프레임워크 문서를 참조하세요.

협업

연구 또는 오픈소스 커뮤니티 협업에 관심이 있으신가요? 부담 없이 이슈를 등록하거나 [email protected]으로 이메일을 보내주세요.

발견된 버그

지금까지 이 프레임워크로 구축된 자동 생성 타깃으로 발견한 30개의 새로운 버그/취약점을 보고했습니다:

프로젝트	버그	LLM	프롬프트 빌더	타깃 오라클
cJSON	OOB 읽기	Vertex AI	Default	멀리 도달, 낮은 커버리지
libplist	OOB 읽기	Vertex AI	Default	멀리 도달, 낮은 커버리지
hunspell	OOB 읽기	Vertex AI	default	멀리 도달, 낮은 커버리지
zstd	OOB 쓰기	Vertex AI	default	멀리 도달, 낮은 커버리지
gdbm	스택 버퍼 언더플로	Vertex AI	default	멀리 도달, 낮은 커버리지
hoextdown	초기화되지 않은 메모리 사용	Vertex AI	default	멀리 도달, 낮은 커버리지
pjsip	OOB 읽기	Vertex AI	Default	퍼즈 키워드 + 쉬운 매개변수로 낮은 커버리지, 멀리 도달
pjsip	OOB 읽기	Vertex AI	Default	퍼즈 키워드 + 쉬운 매개변수로 낮은 커버리지, 멀리 도달
gpac	OOB 읽기	Vertex AI	Default	퍼즈 키워드 + 쉬운 매개변수로 낮은 커버리지, 멀리 도달
gpac	OOB 읽기/쓰기	Vertex AI	Default	전체
gpac	OOB 읽기	Vertex AI	Default	전체
gpac	OOB 읽기	Vertex AI	Default	전체
sqlite3	OOB 읽기	Vertex AI	Default	전체
htslib	OOB 읽기	Vertex AI	Default	전체
libical	OOB 읽기	Vertex AI	Default	전체
croaring	OOB 읽기	Vertex AI	Test-to-harness	전체
openssl	CVE-2024-9143 - OOB 읽기/쓰기	Vertex AI	Default	전체
liblouis	초기화되지 않은 메모리 사용	Vertex AI	Test-to-harness	테스트 식별자
libucl	OOB 읽기	Vertex AI	Default	퍼즈 키워드 + 쉬운 매개변수로 낮은 커버리지, 멀리 도달
openbabel	해제 후 사용	Vertex AI	Default	퍼즈 키워드 + 쉬운 매개변수로 낮은 커버리지, 멀리 도달
libyang	OOB 읽기	Vertex AI	Default	전체
openbabel	OOB 읽기	Vertex AI	Default	전체