
코드 diff를 컨텍스트와 함께 스캔하여 영향 그래프를 구축하고 LLM을 사용해 취약점을 찾아내며, 다중 저장소 스캔과 SARIF 출력을 통한 CI 게이팅을 지원합니다.
zairo의 단위 테스트는 올바른 프롬프트를 생성하고 답변을 올바르게 처리하는지 확인합니다. 하지만 그 프롬프트를 받은 모델이 변경 사항으로 도입된 취약점을 찾아내는지, 또는 존재하지 않는 취약점을 표시하는지는 알려주지 못합니다. 이 디렉터리가 바로 그 역할을 합니다: 레이블이 지정된 변경 사항 모음과, 각 변경 사항을 실제 모델로 여러 번 스캔하고 결과를 채점하는 러너입니다.
pip install -e . # from the repo root
export GEMINI_API_KEY=... # whichever key your --model needs
python evals/run.py --model gemini/gemini-2.5-flash --repeats 3 --out results.json
각 케이스는 변경된 심볼당 반복당 대략 한 번의 요청이 소요됩니다. 여기 있는 16개의 케이스는 각각 1~4개의 심볼을 변경하므로, 3회 반복 실행 시 약 100번의 요청이 발생합니다. 모든 실행은 모델에 매번 새로 요청합니다: 캐시도, 워밍업 노트도 없습니다.
cases/의 각 디렉터리는 하나의 변경을 나타냅니다: before/와 after/는
각 측의 전체 (작은) 저장소를 담고 있으며, case.json이 이를 표시합니다:
{
"description": "What the change does, and why it's vulnerable or not.",
"vulnerable": true,
"symbol": "search_users",
"cwe": "CWE-89",
"source": "synthetic"
}
취약한 케이스는 취약점이 존재하는 변경된 symbol과 그 cwe를 명시하며, 추가로 also_cwe에는 이를 함께 설명하는 다른 CWE들을 명시합니다. 스푸핑 가능한 헤더는 CWE-290이지만, CWE-287과 CWE-306도 틀린 것은 아닙니다. 깨끗한 케이스에는 이러한 항목이 없으며, 논란의 여지 없이 깨끗해야 합니다. high에서는 안전하지만 medium 수준의 타당한 발견이 있는 변경은 오탐이 아니라 노이즈를 측정합니다. 러너는 before를 커밋한 다음 after를 새 저장소에 커밋하고, PR 스캔에서처럼 HEAD~1..HEAD를 스캔합니다.
취약한 케이스는 9개(SQL 인젝션, 경로 순회, 누락된 테넌트 검사, 안전하지 않은 YAML 로딩, 명령 인젝션, 오픈 리다이렉트, SSRF, 비활성화된 TLS 검증, 스푸핑 가능한 헤더를 통한 인증 우회)이고 깨끗한 케이스는 7개입니다. 깨끗한 케이스 중 몇 개는 위험해 보이도록 만들어졌습니다. 수정 중인 SQL 인젝션, 허용 목록에서 포맷된 ORDER BY, 고정된 인자 목록을 가진 subprocess 호출 등입니다.
이 파일들은 의도적으로 취약한 샘플 코드입니다. 패키징되거나 실행되는 일은 없지만, 이 저장소를 향한 스캐너는 이들을 발견할 것입니다.
발견 사항은 --fail-on이 해당 발견 사항으로 PR을 차단할 때 게이트됩니다. 즉, introduced_by_change: true로 표시되고 --fail-on(기본값 high) 이상인 경우입니다. 각 실행에는 판정이 부여됩니다.
symbol에 대한 게이트 발견 사항), 게이트 미만에서 발견했거나(변경이 도입한 해당 위치의 발견 사항, 더 낮은 심각도), 놓쳤습니다.실행은 어느 쪽으로도 아무 말도 하지 않을 때만 점수가 매겨지지 않습니다. 중요한 심볼을 평가할 수 없었거나, 깨끗한 케이스가 플래그되지 않았지만 일부 심볼이 실패한 경우입니다. 게이트 발견 사항은 다른 무엇이 실패했든 간에 집계됩니다. 게이트가 여전히 해당 발견 사항으로 PR을 차단했을 것이기 때문입니다. 러너는 심볼이 실패한 가장 흔한 이유를 출력하며, --out은 이를 실행별로 보관합니다. --max-tokens 전부를 사고에 쓰는 추론 모델은 결코 답하지 않으므로, 그것이 주어진 이유라면 값을 올리십시오(예: 16384).
name과 sort).--out은 모든 실행의 발견 사항(심볼, 제목, 심각도, CWE, 줄, 변경이 도입했는지 여부와 게이트 여부), 실패한 심볼과 그 이유, 토큰 수, 비용, 타이밍을 기록하므로, 두 실행(예: 두 모델 또는 프롬프트 변경 전후)을 케이스별로 비교할 수 있습니다.
열여섯 개의 작은 합성 케이스는 탐지 품질에 대한 스모크 테스트이지 벤치마크가 아닙니다. 각각은 실제 서비스보다 훨씬 단순한 코드에서 단일 의도된 버그를 가진 단일 변경이며, 취약한 케이스들은 리뷰어가 잡기를 바랄 만한 종류의 버그입니다. 실제 취약점을 도입하는 커밋(예: CVE 수정의 반대)이 추가하기에 가장 좋은 케이스입니다. 그것이 건드린 파일들을 변경 전후로 새 디렉터리에 넣고 레이블을 붙이십시오. 변경 자체가 핵심이 될 만큼 작게 유지하십시오.
tests/test_evals.py는 모델 없이 모든 케이스를 검사합니다. 케이스가 빌드되는지, zairo가 변경하는 모든 파일을 파싱하는지, 그리고 취약한 케이스의 symbol이 변경 사항이 건드린 심볼들 중에 포함되는지를 확인합니다. 그렇지 않으면 어떤 스캔도 해당 케이스를 잡아낸 것으로 채점될 수 없습니다.