
कोड डिफ़्स को संदर्भ के साथ स्कैन करके एक प्रभाव ग्राफ़ बनाता है और कमज़ोरियों का पता लगाने के लिए LLM का उपयोग करता है, जो मल्टी-रेपो स्कैन और SARIF आउटपुट के साथ CI गेटिंग का समर्थन करता है।
zairo के यूनिट टेस्ट जाँचते हैं कि यह सही प्रॉम्प्ट बनाता है और उत्तरों को सही ढंग से संभालता है। वे आपको यह नहीं बता सकते कि कोई मॉडल, उन प्रॉम्प्ट्स को देखते हुए, किसी बदलाव द्वारा पेश की गई कमज़ोरी को खोज पाता है या नहीं, या ऐसी कमज़ोरी को चिह्नित करता है जो मौजूद ही नहीं है। इसी उद्देश्य के लिए यह डायरेक्टरी है: लेबल किए गए बदलावों का एक सेट, और एक रनर जो हर एक को एक वास्तविक मॉडल के साथ कई बार स्कैन करता है और परिणामों को स्कोर करता है।
pip install -e . # from the repo root
export GEMINI_API_KEY=... # whichever key your --model needs
python evals/run.py --model gemini/gemini-2.5-flash --repeats 3 --out results.json
प्रत्येक केस में प्रति परिवर्तित प्रतीक प्रति पुनरावृत्ति लगभग एक अनुरोध लगता है। यहाँ के 16 केस प्रत्येक में 1 से 4 प्रतीक बदलते हैं, इसलिए 3 पुनरावृत्तियों का एक रन लगभग 100 अनुरोध करता है। प्रत्येक रन मॉडल से नए सिरे से पूछता है: कोई कैश नहीं, कोई वार्म-अप नोट्स नहीं।
cases/ में प्रत्येक निर्देशिका एक परिवर्तन है: before/ और after/
प्रत्येक पक्ष पर पूरा (छोटा) रेपो रखते हैं, और case.json इसे लेबल करता है:
{
"description": "What the change does, and why it's vulnerable or not.",
"vulnerable": true,
"symbol": "search_users",
"cwe": "CWE-89",
"source": "synthetic"
}
एक कमज़ोर केस उस बदले गए symbol का नाम बताता है जिसमें कमज़ोरी है और उसका cwe, साथ ही also_cwe में, कोई भी अन्य जो उसका वर्णन करते हैं: एक spoofable हेडर CWE-290 है, लेकिन CWE-287 और CWE-306 गलत नहीं हैं। एक साफ़ केस में इनमें से कोई नहीं होता, और उसे बिना विवाद के साफ़ होना चाहिए। एक बदलाव जो high पर सुरक्षित है लेकिन उसमें एक उचित medium निष्कर्ष है, शोर मापता है, झूठे अलार्म नहीं। रनर before, फिर after को एक नए रेपो में कमिट करता है और HEAD~1..HEAD को स्कैन करता है, जैसे कोई PR स्कैन करता।
9 कमज़ोर केस हैं (SQL इंजेक्शन, पाथ ट्रैवर्सल, एक हटाया गया टेनेंट चेक, असुरक्षित YAML लोडिंग, कमांड इंजेक्शन, एक ओपन रीडायरेक्ट, SSRF, अक्षम TLS सत्यापन, और एक spoofable हेडर के माध्यम से ऑथ बायपास) और 7 साफ़। कई साफ़ केस जोखिम भरे दिखने के लिए बनाए गए हैं: एक SQL इंजेक्शन जिसे ठीक किया जा रहा है, एक ORDER BY जिसे allowlist से फ़ॉर्मेट किया गया है, एक subprocess कॉल जिसमें एक निश्चित आर्ग्युमेंट सूची है।
ये फ़ाइलें जानबूझकर कमज़ोर नमूना कोड हैं। इन्हें कभी पैकेज या चलाया नहीं जाता, लेकिन इस रेपो की ओर इंगित किया गया कोई स्कैनर इन्हें पाएगा।
एक निष्कर्ष गेट करता है जब --fail-on उस पर PR को ब्लॉक कर देता: introduced_by_change: true के रूप में चिह्नित, --fail-on (डिफ़ॉल्ट high) पर या उससे ऊपर। प्रत्येक रन को एक निर्णय मिलता है:
symbol पर एक गेटिंग निष्कर्ष), इसे गेट के नीचे पाया (बदलाव ने वहाँ जो निष्कर्ष पेश किया, कम गंभीरता पर), या इसे चूक गया।एक रन बिना स्कोर के केवल तब छोड़ा जाता है जब वह किसी भी तरह से कुछ नहीं कहता: जो महत्वपूर्ण symbol है उसका आकलन नहीं हो सका, या एक साफ़ केस फ़्लैग नहीं हुआ लेकिन कोई symbol विफल रहा। एक गेटिंग निष्कर्ष इस बात की परवाह किए बिना गिना जाता है कि और क्या विफल रहा, क्योंकि गेट अभी भी उस पर PR को ब्लॉक कर देता। रनर symbols के विफल होने के सबसे सामान्य कारणों को प्रिंट करता है, और --out उन्हें प्रति रन रखता है। एक रीज़निंग मॉडल जो पूरा --max-tokens सोचने में खर्च कर देता है, कभी उत्तर नहीं देता, इसलिए यदि यही दिया गया कारण है तो इसे बढ़ाएँ (मान लीजिए, 16384 तक)।
name और sort एक ही क्वेरी में)।--out प्रत्येक रन के निष्कर्ष (symbol, शीर्षक, गंभीरता, CWE, पंक्ति, क्या बदलाव ने इसे पेश किया और क्या यह गेट करता है), विफल हुए symbols और क्यों, टोकन गणना, लागत और समय लिखता है, ताकि दो रन, जैसे दो मॉडल या किसी प्रॉम्प्ट बदलाव से पहले और बाद, केस-दर-केस तुलना किए जा सकें।
सोलह छोटे, सिंथेटिक केस डिटेक्शन गुणवत्ता के लिए एक स्मोक टेस्ट हैं, बेंचमार्क नहीं। प्रत्येक एक एकल बदलाव है जिसमें एक एकल इच्छित बग है, वास्तविक सेवा की तुलना में बहुत सरल कोड में, और कमज़ोर वाले उस प्रकार के बग हैं जिन्हें एक समीक्षक पकड़ने की आशा करेगा। वास्तविक कमज़ोरी-पेश करने वाले कमिट (मान लीजिए, किसी CVE फ़िक्स का उल्टा) जोड़ने के लिए सबसे अच्छे केस हैं। जिन फ़ाइलों को इसने छुआ, पहले और बाद में, उन्हें एक नई डायरेक्टरी में रखें, और उसे लेबल करें। उन्हें इतना छोटा रखें कि बदलाव ही मुद्दा हो।
tests/test_evals.py हर केस को बिना किसी मॉडल के जाँचता है: कि वह बनता है,
कि zairo उसके द्वारा बदली गई हर फ़ाइल को पार्स करता है, और यह कि किसी भेद्य केस का
symbol उन सिंबल्स में से है जिन्हें परिवर्तन ने छुआ। अन्यथा किसी भी स्कैन को
उसे पकड़ने वाला नहीं माना जा सकता।
हमारे समुदाय द्वारा सबसे अधिक उपयोग किए जाने वाले उपकरण खोजें।
अभी तक कोई लोकप्रियता डेटा नहीं है।