퍼즈 타깃 생성 및 평가를 위한 프레임워크

이 프레임워크는 다양한 대규모 언어 모델(LLM)을 사용하여 실제 C/C++/Java/Python 프로젝트를 위한 퍼즈 타깃을 생성하고, OSS-Fuzz 플랫폼을 통해 벤치마킹합니다.

자세한 내용은 AI 기반 퍼징: 버그 사냥 장벽을 허무는 방법에서 확인할 수 있습니다:

현재 지원되는 모델은 다음과 같습니다:

• Vertex AI code-bison
• Vertex AI code-bison-32k
• Gemini Pro
• Gemini Ultra
• Gemini Experimental
• Gemini 1.5
• OpenAI GPT-3.5-turbo
• OpenAI GPT-4
• OpenAI GPT-4o
• OpenAI GPT-4o-mini
• OpenAI GPT-4-turbo
• OpenAI GPT-3.5-turbo (Azure)
• OpenAI GPT-4 (Azure)
• OpenAI GPT-4o (Azure)

생성된 퍼즈 타깃은 프로덕션 환경의 최신 데이터를 기준으로 네 가지 지표로 평가됩니다:

• 컴파일 가능성
• 런타임 크래시
• 런타임 커버리지
• 기존에 사람이 작성한 OSS-Fuzz 퍼즈 타깃 대비 런타임 라인 커버리지 차이

다음은 2024년 1월 31일 실험 결과 샘플입니다. 이 실험에는 297개의 오픈소스 프로젝트에서 가져온 1300개 이상의 벤치마크가 포함되었습니다.

전반적으로 이 프레임워크는 LLM을 활용하여 160개의 C/C++ 프로젝트에 대해 유효한 퍼즈 타깃(0이 아닌 커버리지 증가를 생성하는 타깃)을 성공적으로 생성할 수 있었습니다. 최대 라인 커버리지 증가율은 기존 사람이 작성한 타깃 대비 29%입니다.

이 보고서는 공개되지 않은 취약점을 포함할 수 있으므로 공개되지 않습니다.

사용법

이 프레임워크를 실행하고 결과를 기반으로 보고서를 생성하는 방법은 자세한 사용 가이드를 확인하세요.

독립 에이전트 실행 및 평가

통합 에이전트 실행 프레임워크를 사용하면 전체 실험을 실행하지 않고도 개별 에이전트를 실행하거나 평가할 수 있습니다. 개별 에이전트 또는 에이전트 시퀀스를 실행하는 방법에 대한 자세한 지침은 프레임워크 문서를 참조하세요.

협업

연구 또는 오픈소스 커뮤니티 협업에 관심이 있으신가요? 부담 없이 이슈를 등록하거나 [email protected]으로 이메일을 보내주세요.

발견된 버그

지금까지 이 프레임워크로 구축된 자동 생성 타깃으로 발견한 30개의 새로운 버그/취약점을 보고했습니다:

이 버그들은 새로 생성된 타깃으로만 발견할 수 있었습니다. 기존 OSS-Fuzz 타깃으로는 도달할 수 없었습니다.

프로젝트별 최고 커버리지 개선 현황

* "총 프로젝트 라인 수"는 OSS-Fuzz의 기존 사람이 작성한 퍼즈 타깃에 의해 컴파일 및 링크된 테스트 대상 프로젝트의 소스 코드를 측정한 것입니다.

* "총 커버리지 증가율"은 "총 프로젝트 라인 수"를 분모로 사용하여 계산됩니다. "총 상대 증가율"은 기존 커버된 라인 수와 비교한 커버리지 증가분입니다.

* 테스트 대상 프로젝트의 추가 코드는 새 퍼즈 타깃을 컴파일할 때 포함되어 높은 백분율 증가를 초래할 수 있습니다.

이 작업 인용하기

인용 세부 정보를 보려면 이 GitHub 페이지 오른쪽에 있는 'Cite this repository' 버튼을 클릭하세요.