
مجموعة بيانات معيارية مفتوحة لـ SAST: 2,938,418 حالة متوازنة، و11 لغة، و21 هدفًا إطاريًا، و242 فئة مُصدَرة، و231 معرّف CWE مميزًا. قيّم مخرجات SARIF 2.1.0 باستخدام TPR وFPR وYouden's J.
الحقيقة المرجعية لـ SAST. معيار مفتوح يتضمن حقيقة مرجعية قابلة للقراءة آليًا ومُقيِّمات SARIF حتمية، لقياس مدى دقة أداة التحليل الساكن في تحديد الثغرات الحقيقية في شيفرة المعيار ومدى تكرار إشارتها إلى الشيفرة الآمنة.
benchproctor.com · blog · Apache-2.0
حالة الإصدار
الإصدار 2026.11.16 هو الإصدار الحالي. وهو إصدار مُنتقى:
- 2,142 حالة مستقلة في 11 لغة عبر 21 هدفًا من أطر العمل، بواقع 1,071 حالة معرّضة للخطر بالضبط و1,071 حالة آمنة؛
- 60 تطبيقًا متعدد الخدمات في خمس لغات، تحتوي على 860 مسارًا مُصنَّفًا.
تُستأنف الإصدارات بهذه الصيغة المُنتقاة. كل إصدار هو عيّنة صغيرة وحديثة: بمستوى صعوبة سهل ومتوسط فقط، على قائمة ثابتة من أطر العمل وفئات نقاط الضعف. أما المجموعة الأكبر التي تُستقى منها فلا تُنشر. راجع ما لا يحتويه هذا الإصدار.
الإصدار 2026.07.22 مسحوب. كشف تدقيق وجود عيوب في التصنيف والواقعية في العائلات التي بُني منها. لا تُبلِّغ عن نتائج مقابل هذا الإصدار. راجع التصحيحات ونزاعات الحقيقة المرجعية.
أداة SAST لا تكون جديرة بالثقة إلا بقدر أدائها المقاس، وقياس ذلك الأداء يتطلب حقيقة مرجعية. يوفّر BenchProctor حالات مُصنَّفة vulnerable أو safe، بحيث يمكنك تقييم مخرجات SARIF 2.1.0 المتوافقة وحساب معدل الإيجابيات الحقيقية، ومعدل الإيجابيات الكاذبة، ومعامل Youden's J.
# 1. extract one language bundle
unzip Benchmarks/standalone/benchproctor-java-2026.11.16.zip -d benchproctor-java
# 2. scan one framework's testcode and export SARIF 2.1.0
your-tool scan ./benchproctor-java/spring/testcode --format sarif -o results.sarif
# 3. score against its answer key (standard-library Python, zero dependencies)
python ./benchproctor-java/score_sarif.py results.sarif \
./benchproctor-java/spring/expectedresults-2026.11.16.csv
# 4. read category-averaged and flat-aggregate TPR, FPR, and Youden's J
يستعيد أداة التقييم CWE لكل نتيجة من ruleId في SARIF، أو من properties أو tags الخاصة بالنتيجة أو القاعدة (على سبيل المثال external/cwe/cwe-089)، أو من taxa الخاصة بـ CWE. يدعم هذا العديد من ترميزات SARIF الشائعة دون إعداد. إذا كانت أداتك لا تُصدر CWE، فأضف --match-mode filename (تُحتسب أي نتيجة على ملف مصاب؛ وهذا يكافئ الإفراط في الإبلاغ، لذا يُفضَّل الوضع الافتراضي). تُشحن نفس أداة score_sarif.py داخل كل حزمة مستقلة. وللتطبيقات أداة تقييم خاصة بها؛ راجع التطبيقات.
تُظهر العديد من معايير تقييم SAST العامة الحالية واحدًا أو أكثر من هذه القيود البنيوية:
sqli/Test01729_true_positive.java، يمكن لأداة فحص أن تحقق نتيجة جيدة عبر مطابقة المسار بدلًا من
تحليل الشيفرة.يقلل BenchProctor من حفظ الحالات الدقيقة وتسرب التسميات بحكم التصميم، ويغطي 11 لغة، ويضيف تطبيقات متعددة الخدمات تعبر تدفقاتها حدود عملية.
| الإصدار | 2026.11.16 |
| الحالات المستقلة | 2,142: 1,071 مصابة و1,071 آمنة |
| اللغات | 11: Java، Python، Go، Rust، TypeScript، JavaScript، PHP، Ruby، Bash، C، C++ |
| أهداف الأطر | 21 (انظر الجدول أدناه) |
| فئات الضعف | 22، مرتبطة بـ 22 معرّف CWE مختلف |
| العينات | 3 حالات مصابة + 3 حالات آمنة لكل زوج من الإطار والفئة: 357 زوجًا |
| التطبيقات | 60 تطبيقًا ثنائي الخدمة على 4 رسوم بيانية للخدمات، بلغات TypeScript وJavaScript وPython وJava وC++ |
| تدفقات التطبيقات | 860 تدفقًا موسومًا: 234 مصابًا و626 آمنًا |
| الصعوبة | سهلة ومتوسطة |
كل زوج من الإطار والفئة متوازن تمامًا. وفقًا لـ Youden's J، تحقق أداة تُبلّغ عن كل شيء نتيجة 0 لأن معدلي النتائج الإيجابية الحقيقية والسلبية الكاذبة لديها كلاهما 100%. تستخدم بعض الحالات ملفات وقت تشغيل مشتركة أو ملفات مرافقة تتطلبها لغتها أو إطارها؛ ولا تُقيَّم هذه الملفات بشكل منفصل.
هذا إصدار منسّق، وهو محدود النطاق عمدًا. لا يتضمن:
اقرأ النتيجة على هذا الإصدار على أنها فحص للحد الأدنى على الفئات المعروفة على نطاق واسع، وليس تقييمًا كاملًا.
| اللغة | أهداف أطر العمل | الأهداف | الفئات لكل هدف | الحالات |
|---|---|---|---|---|
| Java | Spring, Jakarta EE | 2 | 18 | 216 |
| Python | Flask, Django, FastAPI | 3 | 18 | 324 |
| Go | Gin, net/http | 2 | 15 | 180 |
| Rust | Actix-web, Axum | 2 | 15 | 180 |
| TypeScript | NestJS, Express | 2 | 18 | 216 |
| JavaScript | Express, Koa | 2 | 18 | 216 |
| PHP | Laravel, Symfony | 2 | 18 | 216 |
| Ruby | Rails, Sinatra | 2 | 17 | 204 |
| C++ | cpp-httplib, standalone | 2 | 19 | 228 |
| C | standalone | 1 | 16 | 96 |
| Bash | standalone | 1 | 11 | 66 |
| الإجمالي | 21 | 22 في الاتحاد | 2,142 |
يحمل هدف إطار العمل الفئات التي تحدث في لغته. تتضمن C وC++ فئات أمان الذاكرة؛ بينما لا تتضمنها اللغات المُدارة.
| الفئة | CWE | الفئة | CWE |
|---|---|---|---|
| حقن SQL | CWE-89 | تزوير الطلب من جانب الخادم | CWE-918 |
| حقن أوامر نظام التشغيل | CWE-78 | حقن الشيفرة | CWE-94 |
| اجتياز المسار | CWE-22 | إلغاء تسلسل البيانات غير الموثوقة | CWE-502 |
| البرمجة النصية عبر المواقع | CWE-79 | كيان XML الخارجي | CWE-611 |
| حقن LDAP | CWE-90 | إعادة توجيه مفتوحة | CWE-601 |
| حقن XPath | CWE-643 | تجاوز سعة الأعداد الصحيحة | CWE-190 |
| تشفير ضعيف | CWE-327 | إلغاء مرجع مؤشر NULL | CWE-476 |
| تجزئة ضعيفة | CWE-328 | تجاوز سعة المخزن المؤقت على المكدس | CWE-121 |
| عشوائية ضعيفة | CWE-330 | تجاوز سعة المخزن المؤقت على الكومة | CWE-122 |
| ملف تعريف ارتباط دون السمة الآمنة | CWE-614 | قراءة زائدة من المخزن المؤقت | CWE-126 |
| انتهاك حدود الثقة | CWE-501 | الاستخدام بعد التحرير | CWE-416 |
التطبيق مشروع صغير مكوّن من خدمتين تستدعي إحداهما الأخرى عبر HTTP، ولكل منهما
ملف حاوية خاص بها. يبدأ تدفق أساسي واحد عند خدمة الدخول وينتهي عند مصب في
خدمة الواجهة الخلفية. وتحيط به تدفقات أخرى أحادية الملف، قابلة للاستغلال وآمنة، ووحدات آمنة بسيطة،
جميعها موسومة، لذا على الأداة أن تميّز التدفقات المهمة عن الشيفرة
المحيطة بها. يحمل كل تطبيق أيضًا ملف docker-compose.yml.