
ओपन SAST बेंचमार्क कॉर्पस: 2,938,418 संतुलित केस, 11 भाषाएँ, 21 फ्रेमवर्क लक्ष्य, 242 उत्सर्जित श्रेणियाँ, और 231 विशिष्ट CWE ID। SARIF 2.1.0 आउटपुट को TPR, FPR, और Youden's J के साथ स्कोर करें।
SAST के लिए ग्राउंड ट्रुथ। मशीन-पठनीय ग्राउंड ट्रुथ और नियतात्मक SARIF स्कोरर के साथ एक खुला बेंचमार्क, जो यह मापने के लिए है कि एक स्टैटिक विश्लेषण टूल बेंचमार्क कोड में वास्तविक भेद्यताओं की पहचान कितनी सटीकता से करता है और यह सुरक्षित कोड को कितनी बार फ़्लैग करता है।
benchproctor.com · ब्लॉग · Apache-2.0
रिलीज़ स्थिति
रिलीज़ 2026.11.16 वर्तमान रिलीज़ है। यह एक क्यूरेटेड रिलीज़ है:
- 21 फ़्रेमवर्क लक्ष्यों में 11 भाषाओं में 2,142 स्टैंडअलोन केस, ठीक 1,071 भेद्य और 1,071 सुरक्षित;
- पाँच भाषाओं में 60 मल्टी-सर्विस एप्लिकेशन, जिनमें 860 लेबल किए गए फ़्लो हैं।
रिलीज़ इस क्यूरेटेड रूप में फिर से शुरू होती हैं। प्रत्येक रिलीज़ एक छोटा, ताज़ा नमूना है: केवल आसान और मध्यम कठिनाई, फ़्रेमवर्क और कमज़ोरी वर्गों की एक निश्चित सूची पर। जिस बड़े कॉर्पस से यह लिया गया है, वह प्रकाशित नहीं है। देखें इस रिलीज़ में क्या शामिल नहीं है।
रिलीज़ 2026.07.22 वापस ली गई है। एक ऑडिट में उन परिवारों में लेबल और यथार्थवाद संबंधी दोष पाए गए जिनसे इसे बनाया गया था। इसके विरुद्ध स्कोर की रिपोर्ट न करें। देखें सुधार और ग्राउंड-ट्रुथ विवाद।
एक SAST टूल केवल उतना ही भरोसेमंद होता है जितना उसका मापा गया प्रदर्शन, और उस प्रदर्शन को मापने के लिए
ग्राउंड ट्रुथ आवश्यक है। BenchProctor vulnerable या safe लेबल वाले केस प्रदान करता है, ताकि आप
संगत SARIF 2.1.0 आउटपुट को स्कोर कर सकें और उसकी ट्रू-पॉज़िटिव दर, फ़ॉल्स-पॉज़िटिव दर, और
Youden's J की गणना कर सकें।
# 1. extract one language bundle
unzip Benchmarks/standalone/benchproctor-java-2026.11.16.zip -d benchproctor-java
# 2. scan one framework's testcode and export SARIF 2.1.0
your-tool scan ./benchproctor-java/spring/testcode --format sarif -o results.sarif
# 3. score against its answer key (standard-library Python, zero dependencies)
python ./benchproctor-java/score_sarif.py results.sarif \
./benchproctor-java/spring/expectedresults-2026.11.16.csv
# 4. read category-averaged and flat-aggregate TPR, FPR, and Youden's J
स्कोरर प्रत्येक फाइंडिंग का CWE SARIF ruleId, परिणाम या नियम properties या
tags (उदाहरण के लिए external/cwe/cwe-089), या CWE taxa से पुनर्प्राप्त करता है। यह बिना कॉन्फ़िगरेशन के कई सामान्य SARIF
एन्कोडिंग का समर्थन करता है। यदि आपका टूल कोई CWE उत्सर्जित नहीं करता है, तो --match-mode filename जोड़ें (किसी भी कमज़ोर फ़ाइल पर कोई भी फाइंडिंग गिनी जाती है; यह अधिक-फ़्लैगिंग को पुरस्कृत करता है, इसलिए डिफ़ॉल्ट को प्राथमिकता दें)। वही
score_sarif.py हर स्टैंडअलोन बंडल के अंदर शामिल होता है। एप्लिकेशन का अपना स्कोरर है; देखें
Applications।
कई मौजूदा सार्वजनिक SAST बेंचमार्क इनमें से एक या अधिक संरचनात्मक सीमाएँ प्रदर्शित करते हैं:
sqli/Test01729_true_positive.java पर स्थित होता है, तो एक स्कैनर कोड का विश्लेषण करने के बजाय पथ से मिलान करके अच्छा स्कोर कर सकता है।BenchProctor निर्माण द्वारा सटीक-केस रटने और लेबल लीकेज को कम करता है, 11 भाषाओं को कवर करता है, और बहु-सेवा एप्लिकेशन जोड़ता है जिनके फ़्लो एक प्रक्रिया सीमा को पार करते हैं।
| रिलीज़ | 2026.11.16 |
| स्टैंडअलोन केस | 2,142: 1,071 कमज़ोर और 1,071 सुरक्षित |
| भाषाएँ | 11: Java, Python, Go, Rust, TypeScript, JavaScript, PHP, Ruby, Bash, C, C++ |
| फ़्रेमवर्क लक्ष्य | 21 (नीचे तालिका देखें) |
| कमज़ोरी वर्ग | 22, 22 विशिष्ट CWE IDs पर मैप किए गए |
| सैंपलिंग | प्रत्येक फ़्रेमवर्क और वर्ग जोड़ी के लिए 3 कमज़ोर + 3 सुरक्षित केस: 357 जोड़ियाँ |
| एप्लिकेशन | 4 सेवा ग्राफ़ पर 60 दो-सेवा एप्लिकेशन, TypeScript, JavaScript, Python, Java और C++ में |
| एप्लिकेशन फ़्लो | 860 लेबल किए गए फ़्लो: 234 कमज़ोर और 626 सुरक्षित |
| कठिनाई | आसान और मध्यम |
प्रत्येक फ़्रेमवर्क और वर्ग जोड़ी बिल्कुल संतुलित है। Youden's J के अंतर्गत, एक सब-कुछ-फ़्लैग करने वाला टूल 0 स्कोर करता है क्योंकि इसकी ट्रू-पॉज़िटिव और फ़ॉल्स-पॉज़िटिव दरें दोनों 100% हैं। कुछ केस अपनी भाषा या फ़्रेमवर्क द्वारा आवश्यक साझा रनटाइम या सहायक फ़ाइलों का उपयोग करते हैं; इन फ़ाइलों को अलग से स्कोर नहीं किया जाता है।
यह एक क्यूरेटेड रिलीज़ है, और यह जानबूझकर संकीर्ण है। इसमें शामिल नहीं है:
इस रिलीज़ पर स्कोर को व्यापक रूप से ज्ञात वर्गों पर एक न्यूनतम-स्तर जाँच के रूप में पढ़ें, पूर्ण मूल्यांकन के रूप में नहीं।
| भाषा | फ्रेमवर्क लक्ष्य | लक्ष्य | प्रति लक्ष्य क्लास | केस |
|---|---|---|---|---|
| Java | Spring, Jakarta EE | 2 | 18 | 216 |
| Python | Flask, Django, FastAPI | 3 | 18 | 324 |
| Go | Gin, net/http | 2 | 15 | 180 |
| Rust | Actix-web, Axum | 2 | 15 | 180 |
| TypeScript | NestJS, Express | 2 | 18 | 216 |
| JavaScript | Express, Koa | 2 | 18 | 216 |
| PHP | Laravel, Symfony | 2 | 18 | 216 |
| Ruby | Rails, Sinatra | 2 | 17 | 204 |
| C++ | cpp-httplib, standalone | 2 | 19 | 228 |
| C | standalone | 1 | 16 | 96 |
| Bash | standalone | 1 | 11 | 66 |
| कुल | 21 | संघ में 22 | 2,142 |
एक फ्रेमवर्क लक्ष्य उन क्लासों को वहन करता है जो उसकी भाषा में होती हैं। C और C++ में मेमोरी-सुरक्षा क्लासें शामिल हैं; प्रबंधित भाषाओं में नहीं।
हमारे समुदाय द्वारा सबसे अधिक उपयोग किए जाने वाले उपकरण खोजें।
अभी तक कोई लोकप्रियता डेटा नहीं है।