Skip to content
KitploitKITPLOIT
أدواتعمليات الاستغلالالمدونة
Log in
إرسال
أدواتعمليات الاستغلالالمدونة
إرسال

أدوات الاختراق واختبار الاختراق والأمن السيبراني لترسانتك الأمنية!

Kitploit هو دليل لأدوات الاختراق والأمن السيبراني واختبار الاختراق. اكتشف آخر تحديثات المشاريع للعثور على الثغرات وتحليل الأنظمة وأتمتة الاختبارات وتعزيز أمنك.

الخلاصاتاتصالالخصوصية© 2026 Kitploit

دليل الأدوات

الفئات

عرض جميع الفئات
Loading categories
CyBiasBench — قياس التحيّز في وكلاء النماذج اللغوية الكبيرة في سيناريوهات الهجمات السيبرانية | Kitploit
أدوات/GitHubGitHub/harry24k/cybiasbench
تحليل الثغرات الأمنيةاستغلال تطبيقات الويباختبار الاختراقتعلم الآلةالأوراق والأبحاثالتعلم والتعليمموارد منسقةأمن الذكاء الاصطناعيمختبرات وتدريب عملي
GitHubharry24k/cybiasbench

CyBiasBench

قياس التحيّز في وكلاء النماذج اللغوية الكبيرة في سيناريوهات الهجمات السيبرانية

5منذ 25 أياملم تتم المراجعة بعد
عرض المستودع
مشاركة

CyBiasBench

معيار قياسي لـالتحيّز السلوكي في وكلاء الأمن الهجومي القائمين على نماذج اللغة الكبيرة (LLM). يلخّص كل سجل جلسة وكيل واحد مقابل تطبيق هدف واحد قابل للاستغلال عن قصد، ويلتقط ليس فقط ما إذا نجحت الهجمات بل كيف اختار الوكيل عائلات الهجوم وتسلسلها وتشبّث بها.

الحالة: إصدار عام مصاحب لورقة مسار التقييمات ومجموعات البيانات في NeurIPS 2026. الورقة: https://arxiv.org/abs/2605.07830. لوحة النتائج التفاعلية: https://trustworthyai.co.kr/CyBiasBench/. مجموعة البيانات على Hugging Face: https://huggingface.co/datasets/taeng0204/CyBiasBench.

ما الذي يتضمنه الإصدار

  • 5 وكلاء — claude، codex، gemini، kimi، glm
  • 3 تطبيقات هدف قابلة للاستغلال — juice-shop، mlflow، vuln-shop
  • إعدادان:
    • ملاحظة التحيّز (الاختيار الحر): 4 شروط توجيه × 3 تكرارات = 180 جلسة. تدمج الشروط بين إرشادات التوجيه (guided / unguided) وبين بنية المخرجات (structured / unstructured).
    • حقن التحيّز (العائلة المطلوبة): 10 عائلات هجوم × 3 تكرارات = 450 جلسة. يُطلب من كل جلسة التركيز على عائلة محددة (SQLi، CMDi، SSRF، IDOR، …).
  • 11 عمودًا لكل صف في إعداد ملاحظة التحيّز (الأعداد، معدل نجاح الجلسة ASR، الإنتروبيا، العائلة الأكثر اختيارًا، Selection CR1، إجمالي الرموز). 13 عمودًا لكل صف في إعداد حقن التحيّز (الامتثال، معدل نجاح الجلسة للعائلة المطلوبة، والأعداد نفسها).
  • جداول مرافقة مطوّلة مع تفصيلات لكل (جلسة، عائلة هجوم).
  • تتبعات على مستوى الطلب بعد التنقية (مخطط الجدول 5 في الورقة): 19,116 صفًا (الملاحظة) + 258,019 صفًا (الحقن) من طلبات HTTP مع تسميات عائلات الهجوم، ومعرّفات قواعد المصنّف، وتعيينات CAPEC / CWE، وعلامات النجاح إضافة إلى ترتيب الطلبات لكل جلسة. تُزال الأجسام والترويسات والطوابع الزمنية المطلقة والتوقيتات الدقيقة.

تحلّل الورقة 10 عائلات هجوم (sqli، xss، cmdi، path_traversal، auth_bypass، idor، ssrf، csrf، file_upload، info_disclosure) اختيرت عبر تحليل CAPEC + CWE + OWASP WSTG بوصفها العائلات الأكثر قابلية للاختبار مباشرةً مقابل التطبيقات الهدف الثلاثة. يرث مصنّف مستوى التتبّع تسمية حادية عشرة (deserialization) من عائلة قواعد OWASP CRS رقم 944؛ وهي ليست هدفًا مطلوبًا قط وتمثّل <0.1% من صفوف التتبّع. راجع schema/glossary.md §"نطاق عائلات الهجوم" للتفاصيل الكاملة.

إجمالي الإصدار: 630 سجلًا مجمّعًا + 277,135 صف تتبّع ≈ 48 ميغابايت.

التفسير والحدود

تصف هذه القياسات خمس لقطات لوكلاء منشورين على ثلاثة أهداف ويب، وليست تصنيفات مستقرة للنماذج. يعكس التوزيع النموذج، وموجّه النظام، وواجهة سطر الأوامر، والأدوات، والتفاعل مع الهدف. كما تؤثر إتاحة الثغرات وقابلية اكتشافها وصعوبة تنفيذها وتكاليف الطلبات في حصص العائلات؛ ولا يحدّد التصميم التفضيل الجوهري ولا يفصل هذه العوامل سببيًا.

لا يجد تحليل تهيئة الجلسة في ظل التسميات التلقائية الأصلية أي تحسّن في المتوسط الإجمالي لمعدل نجاح الجلسة ASR تحت التوجيه. ولا يثبت انخفاضًا موثوقًا لكل وكيل. تحافظ وحدات عدّ الطلبات البديلة على الفصل بين الوكلاء، مع تغيير مقداره. ويبقى كل من قيمة القرار على نطاق أوسع، والتفوّق على الاستدلالات البسيطة للتنوّع، والتعميم على أهداف غير مرئية مسائل مفتوحة. راجع HOW_TO_REPRODUCE.md للتحليلات القابلة لإعادة الإنتاج.

البدء السريع

git clone https://github.com/Harry24k/CyBiasBench.git
cd CyBiasBench
pip install -e .          # loader: pandas + pyarrow
pip install -e '.[jsd]'   # add matplotlib + scipy + numpy for re-analysis

python -c "
from cybiasbench import load_bias_observation, load_bias_injection
obs = load_bias_observation()
inj = load_bias_injection()
print(obs.wide.shape, inj.wide.shape)               # (180, 11) (450, 13)
print(obs.wide.groupby('agent').session_asr.mean()) # mean session ASR per agent
"

أو حمّل CSV / Parquet مباشرةً:

import pandas as pd
obs = pd.read_parquet("data/bias_observation_records.parquet")

يتوفر الإصدار نفسه أيضًا على Hugging Face. مع تثبيت datasets (pip install datasets):

from datasets import load_dataset
obs = load_dataset("taeng0204/CyBiasBench", "bias_observation_records",
                   split="test", revision="v1.0.0")

كل جدول من الجداول الستة هو إعداد منفصل. يحتوي قسم test على الجدول الكامل؛ وهو لا يشير إلى قسم محجوز.

إعادة الإنتاج: راجع HOW_TO_REPRODUCE.md للاطلاع على دليل إعادة الإنتاج ذي المستويين (R1 إعادة التحليل من الآثار الصادرة؛ R3 إعادة التجربة الكاملة عبر benchmark/).

التخطيط

CyBiasBench/
├── data/                                 # tabular release (CSV + Parquet)
│   ├── bias_observation_records.{csv,parquet}        180 rows
│   ├── bias_observation_family_long.{csv,parquet}    1,082 rows
│   ├── bias_observation_traces.{csv,parquet}         19,116 rows (request-level)
│   ├── bias_injection_records.{csv,parquet}          450 rows
│   ├── bias_injection_family_long.{csv,parquet}      1,597 rows
│   └── bias_injection_traces.{csv,parquet}           258,019 rows (request-level)
├── schema/
│   ├── glossary.md                       metric definitions
│   ├── columns_bias_observation.md
│   ├── columns_bias_injection.md
│   └── columns_traces.md
├── src/cybiasbench/                      python loader package
├── scripts/                              R1 re-analysis + R3 post-processing
│   ├── build_records.py                  final_stats JSON → aggregate CSV/Parquet
│   ├── build_traces.py                   labeled JSONL → request-level CSV/Parquet
│   ├── verify_consistency.py             sanity suite (+ --round-trip closure)
│   ├── reviewer_revisions.py             bootstrap CIs + request-unit robustness
│   ├── momentum_repro.py                 compliance correlations + estimator comparison
│   ├── agent_identification.py           random-forest agent identification
│   ├── temporal_repro.py                 response to failure in request order
│   ├── classify/                         OWASP CRS + victim-specific classifiers
│   ├── verify/                           response heuristics + session verifier
│   ├── aggregate/                        final_stats.json generator
│   └── jsd_repro/                        Prompt-stability JSD reproduction
│       ├── table2_jsd_robustness.py      paper Table 2 (within/between-agent JSD)
│       └── prompt_profile_stability.py   paper appendix per-condition JSD
├── benchmark/                            R3 re-experiment harness (Docker + agents)
│   ├── run.sh                            one invocation = one (agent, target, prompt) session
│   ├── agents/                           6 agent CLI Dockerfiles (CLI versions pinned)
│   ├── metrics/                          LiteLLM proxy + mitmproxy HTTP logger
│   ├── prompts/                          guided/unguided + 10 injection prompts
│   ├── output_formats/                   4 condition templates
│   └── victims/                          locally-built target images
├── HOW_TO_REPRODUCE.md                   R1 + R3 reproduction walkthrough
├── DATASHEET.md                          Gebru et al. datasheet
├── RESPONSIBLE_USE.md                    dual-use guidance
├── croissant.json                        Croissant metadata (core + RAI)
├── LICENSE                               CC BY-NC-ND 4.0 (data / docs)
├── LICENSE-CODE                          MIT (code)
└── dashboard/                            Next.js source of the interactive result dashboard

الإعدادات (تتوافق مع مصطلحات الورقة البحثية)

يتوافق الإعدادان هنا مع القسمين 4 و5 من الورقة البحثية المرافقة:

الإعدادقسم الورقة البحثيةالسجلاتالتصميم
ملاحظة التحيّز§4 ("إعداد الاختيار الحر")1805 وكلاء × 3 أهداف × 4 شروط × 3 تكرارات
حقن التحيّز§54505 وكلاء × 3 أهداف × 10 عائلات مطلوبة × 3 تكرارات

تتوافق أسماء الأعمدة مع مخطط ملخّص الجلسة في الورقة البحثية (الجدول 4): agent، target، condition، entropy، attack_total، session_asr، compliance، requested_family، إلخ. راجع schema/glossary.md للاطلاع على التعيين الكامل.

طبقات المقاييس

ثلاث طبقات من الجدول 1 في الورقة البحثية:

تنزيل الأداة

الأكثر شعبية

عرض الكل →

اكتشف الأدوات الأكثر استخدامًا من قبل مجتمعنا.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 مجموعة أدوات OSINT المثالية: رسم بياني للتحقيق، وتقييم الثقة، وعائلات الأسماء المستعارة، وخريطة، وخط زمني، وتقارير. 49 وحدة، وأكثر من 400 موقع، دون الحاجة إلى مفاتيح API.

    546
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # تطبيق GhostLock للتنفيذ بنقرة واحدة (CVE-2026-43499)

    477
  • 3

    ARTEX

    baarai/artex

    منصة اختبار اختراق مستقلة متعددة الوكلاء تعتمد على LLM، مع وكلاء تخطيط وتنفيذ، ومخططات للأصول والاستكشاف، وتسجيل حركة مرور MITM، وإعادة اختبار الثغرات.

    377
  • 4

    redforge

    cybersecurity91/redforge

    مجموعة أدوات الفريق الأحمر في المتصفح مع 102 أداة دون اتصال للاستطلاع، وتوليد الحمولات، وهجمات بيانات الاعتماد، والتشفير، والترميز، وإعداد تقارير المهام.

    324
  • 5

    estorides

    grisuno/estorides

    يجمع أكثر من 99 مصدرًا مجانيًا من مصادر OSINT بالتوازي، ويحوّل الكيانات إلى رسم بياني معرفي، ويصدّر بصيغة STIX 2.1 أو MISP أو GraphML مع تحليل بمساعدة LLM.

    269
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    نظام العمل للأمن السيبراني الأصلي بالذكاء الاصطناعي — حيث تتحول النية إلى تنفيذ محكوم، وتصبح الأدلة ذاكرة تشغيلية، وكل عملية تحسن التي تليها.

    252

استكشف جميع الأدوات

تصفح مجموعتنا من الأدوات

عرض جميع الأدوات →