Skip to content
KitploitKITPLOIT
उपकरणएक्सप्लॉइटब्लॉग
Log in
जमा करें
उपकरणएक्सप्लॉइटब्लॉग
जमा करें

हैकिंग, पेनटेस्ट और साइबर सुरक्षा उपकरण आपके सुरक्षा शस्त्रागार के लिए!

Kitploit हैकिंग, साइबर सुरक्षा और पेंटेस्टिंग टूल्स की एक निर्देशिका है। कमजोरियों को खोजने, सिस्टम का विश्लेषण करने, परीक्षण को स्वचालित करने और अपनी सुरक्षा को मजबूत करने के लिए नवीनतम प्रोजेक्ट अपडेट खोजें।

फ़ीडसंपर्कगोपनीयता© 2026 Kitploit

टूल निर्देशिका

श्रेणियाँ

सभी श्रेणियाँ देखें
Loading categories
उपकरण/GitHubGitHub/harry24k/cybiasbench
भेद्यता विश्लेषणवेब एप्लिकेशन शोषणपेनिट्रेशन टेस्टिंगमशीन लर्निंगपेपर और शोधलर्निंग और शिक्षाचयनित संसाधनAI सुरक्षालैब और अभ्यास
GitHubharry24k/cybiasbench

CyBiasBench

साइबर-आक्रमण परिदृश्यों के लिए LLM एजेंट्स में पूर्वाग्रह का बेंचमार्किंग

525 दिन पहलेअभी तक समीक्षित नहीं
रिपॉजिटरी देखें
साझा करें

CyBiasBench

LLM आक्रामक-सुरक्षा एजेंटों में व्यवहारिक पूर्वाग्रह के लिए एक बेंचमार्क। प्रत्येक रिकॉर्ड एक जानबूझकर कमज़ोर लक्ष्य एप्लिकेशन के विरुद्ध एक एजेंट के सत्र का सारांश प्रस्तुत करता है, जो न केवल यह दर्ज करता है कि हमले सफल हुए या नहीं, बल्कि यह भी कि एजेंट ने हमला परिवारों को कैसे चुना, क्रमबद्ध किया और उन पर कैसे टिका रहा।

स्थिति: NeurIPS 2026 Evaluations & Datasets Track पेपर के साथ सार्वजनिक रिलीज़। पेपर: https://arxiv.org/abs/2605.07830. इंटरैक्टिव परिणाम डैशबोर्ड: https://trustworthyai.co.kr/CyBiasBench/. Hugging Face पर डेटासेट: https://huggingface.co/datasets/taeng0204/CyBiasBench.

बॉक्स में क्या है

  • 5 एजेंट — claude, codex, gemini, kimi, glm
  • 3 कमज़ोर लक्ष्य ऐप्स — juice-shop, mlflow, vuln-shop
  • दो सेटिंग्स:
    • पूर्वाग्रह अवलोकन (मुक्त-चयन): 4 प्रॉम्प्ट स्थितियाँ × 3 प्रतिकृति = 180 सत्र। स्थितियाँ प्रॉम्प्ट मार्गदर्शन (guided / unguided) को आउटपुट संरचना (structured / unstructured) के साथ मिलाती हैं।
    • पूर्वाग्रह इंजेक्शन (अनुरोधित-परिवार): 10 हमला परिवार × 3 प्रतिकृति = 450 सत्र। प्रत्येक सत्र से एक विशिष्ट परिवार (SQLi, CMDi, SSRF, IDOR, …) पर ध्यान केंद्रित करने के लिए कहा जाता है।
  • पूर्वाग्रह अवलोकन सेटिंग में प्रति पंक्ति 11 कॉलम (गणनाएँ, सत्र ASR, एन्ट्रॉपी, सर्वाधिक-चयनित परिवार, Selection CR1, कुल टोकन)। पूर्वाग्रह इंजेक्शन सेटिंग में प्रति पंक्ति 13 कॉलम (अनुपालन, अनुरोधित-परिवार ASR, समान गणनाएँ)।
  • लंबी-प्रारूप सहयोगी तालिकाएँ जिनमें प्रति-(सत्र, हमला परिवार) विवरण हैं।
  • सैनिटाइज़्ड अनुरोध-स्तरीय ट्रेस (पेपर तालिका 5 स्कीमा): 19,116 पंक्तियाँ (अवलोकन) + 258,019 पंक्तियाँ (इंजेक्शन) HTTP अनुरोधों की, जिनमें हमला परिवार लेबल, क्लासिफायर नियम पहचानकर्ता, CAPEC / CWE मैपिंग, और सफलता फ़्लैग तथा प्रति-सत्र अनुरोध क्रम शामिल हैं। बॉडी, हेडर, निरपेक्ष टाइमस्टैम्प, और सूक्ष्म-स्तरीय टाइमिंग हटा दिए गए हैं।

पेपर 10 हमला परिवारों (sqli, xss, cmdi, path_traversal, auth_bypass, idor, ssrf, csrf, file_upload, info_disclosure) का विश्लेषण करता है, जिन्हें CAPEC + CWE + OWASP WSTG विश्लेषण के माध्यम से उन परिवारों के रूप में चुना गया है जो तीन लक्ष्य एप्लिकेशनों के विरुद्ध सबसे सीधे परीक्षण योग्य हैं। ट्रेस-स्तरीय क्लासिफायर OWASP CRS नियम परिवार 944 से एक ग्यारहवाँ लेबल (deserialization) विरासत में प्राप्त करता है; यह कभी अनुरोधित लक्ष्य नहीं होता और ट्रेस पंक्तियों के <0.1% के लिए ज़िम्मेदार है। पूर्ण विवरण के लिए schema/glossary.md §"Attack-family scope" देखें।

कुल रिलीज़: 630 एकत्रित रिकॉर्ड + 277,135 ट्रेस पंक्तियाँ ≈ 48 MB।

व्याख्या और सीमाएँ

ये माप तीन वेब लक्ष्यों पर पाँच तैनात-एजेंट स्नैपशॉट का वर्णन करते हैं, स्थिर मॉडल रैंकिंग का नहीं। आवंटन मॉडल, सिस्टम प्रॉम्प्ट, CLI, टूल्स, और लक्ष्य इंटरैक्शन को दर्शाता है। भेद्यता की उपलब्धता, खोज-क्षमता, निष्पादन कठिनाई, और अनुरोध लागतें भी परिवार हिस्सों को प्रभावित करती हैं; डिज़ाइन अंतर्निहित प्राथमिकता की पहचान नहीं करता और न ही इन कारकों को कारणात्मक रूप से अलग करता है।

मूल स्वचालित लेबलों के अंतर्गत सत्र-बूटस्ट्रैप विश्लेषण को स्टीयरिंग के अंतर्गत समग्र औसत सत्र ASR में कोई सुधार नहीं मिलता। यह प्रत्येक एजेंट के लिए विश्वसनीय कमी स्थापित नहीं करता। वैकल्पिक अनुरोध-गणना इकाइयाँ एजेंटों के बीच पृथक्करण को संरक्षित रखती हैं, जबकि उसका परिमाण बदल देती हैं। बड़े पैमाने पर निर्णय मूल्य, सरल विविधता अनुमानों पर श्रेष्ठता, और अदृश्य लक्ष्यों पर सामान्यीकरण खुले प्रश्न बने हुए हैं। पुनरुत्पादनीय विश्लेषणों के लिए HOW_TO_REPRODUCE.md देखें।

त्वरित शुरुआत

git clone https://github.com/Harry24k/CyBiasBench.git
cd CyBiasBench
pip install -e .          # loader: pandas + pyarrow
pip install -e '.[jsd]'   # add matplotlib + scipy + numpy for re-analysis

python -c "
from cybiasbench import load_bias_observation, load_bias_injection
obs = load_bias_observation()
inj = load_bias_injection()
print(obs.wide.shape, inj.wide.shape)               # (180, 11) (450, 13)
print(obs.wide.groupby('agent').session_asr.mean()) # mean session ASR per agent
"

या सीधे CSV / Parquet लोड करें:

import pandas as pd
obs = pd.read_parquet("data/bias_observation_records.parquet")

यही रिलीज़ Hugging Face पर भी उपलब्ध है। datasets इंस्टॉल होने पर (pip install datasets):

from datasets import load_dataset
obs = load_dataset("taeng0204/CyBiasBench", "bias_observation_records",
                   split="test", revision="v1.0.0")

छह तालिकाओं में से प्रत्येक एक अलग कॉन्फ़िगरेशन है। test स्प्लिट में पूरी तालिका शामिल है; यह किसी held-out विभाजन को निरूपित नहीं करता।

पुनरुत्पादन: दो-स्तरीय पुनरुत्पादन गाइड के लिए HOW_TO_REPRODUCE.md देखें (R1 जारी किए गए ट्रेस से पुनः-विश्लेषण; R3 benchmark/ के माध्यम से पूर्ण पुनः-प्रयोग)।

लेआउट

CyBiasBench/
├── data/                                 # tabular release (CSV + Parquet)
│   ├── bias_observation_records.{csv,parquet}        180 rows
│   ├── bias_observation_family_long.{csv,parquet}    1,082 rows
│   ├── bias_observation_traces.{csv,parquet}         19,116 rows (request-level)
│   ├── bias_injection_records.{csv,parquet}          450 rows
│   ├── bias_injection_family_long.{csv,parquet}      1,597 rows
│   └── bias_injection_traces.{csv,parquet}           258,019 rows (request-level)
├── schema/
│   ├── glossary.md                       metric definitions
│   ├── columns_bias_observation.md
│   ├── columns_bias_injection.md
│   └── columns_traces.md
├── src/cybiasbench/                      python loader package
├── scripts/                              R1 re-analysis + R3 post-processing
│   ├── build_records.py                  final_stats JSON → aggregate CSV/Parquet
│   ├── build_traces.py                   labeled JSONL → request-level CSV/Parquet
│   ├── verify_consistency.py             sanity suite (+ --round-trip closure)
│   ├── reviewer_revisions.py             bootstrap CIs + request-unit robustness
│   ├── momentum_repro.py                 compliance correlations + estimator comparison
│   ├── agent_identification.py           random-forest agent identification
│   ├── temporal_repro.py                 response to failure in request order
│   ├── classify/                         OWASP CRS + victim-specific classifiers
│   ├── verify/                           response heuristics + session verifier
│   ├── aggregate/                        final_stats.json generator
│   └── jsd_repro/                        Prompt-stability JSD reproduction
│       ├── table2_jsd_robustness.py      paper Table 2 (within/between-agent JSD)
│       └── prompt_profile_stability.py   paper appendix per-condition JSD
├── benchmark/                            R3 re-experiment harness (Docker + agents)
│   ├── run.sh                            one invocation = one (agent, target, prompt) session
│   ├── agents/                           6 agent CLI Dockerfiles (CLI versions pinned)
│   ├── metrics/                          LiteLLM proxy + mitmproxy HTTP logger
│   ├── prompts/                          guided/unguided + 10 injection prompts
│   ├── output_formats/                   4 condition templates
│   └── victims/                          locally-built target images
├── HOW_TO_REPRODUCE.md                   R1 + R3 reproduction walkthrough
├── DATASHEET.md                          Gebru et al. datasheet
├── RESPONSIBLE_USE.md                    dual-use guidance
├── croissant.json                        Croissant metadata (core + RAI)
├── LICENSE                               CC BY-NC-ND 4.0 (data / docs)
├── LICENSE-CODE                          MIT (code)
└── dashboard/                            Next.js source of the interactive result dashboard

सेटिंग्स (पेपर की शब्दावली से मेल खाती हैं)

यहाँ दी गई दो सेटिंग्स संलग्न पेपर के अनुभाग 4 और 5 से मेल खाती हैं:

टूल डाउनलोड करें

सबसे लोकप्रिय

सभी देखें →

हमारे समुदाय द्वारा सबसे अधिक उपयोग किए जाने वाले उपकरण खोजें।

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 अंतिम OSINT टूलकिट: जाँच ग्राफ़, विश्वास स्कोरिंग, उपनाम परिवार, मानचित्र, टाइमलाइन और रिपोर्ट। 49 मॉड्यूल, 400+ साइटें, किसी API कुंजी की आवश्यकता नहीं।

    546
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # घोस्टलॉक वन-टैप निष्पादन ऐप (CVE-2026-43499)

    477
  • 3

    ARTEX

    baarai/artex

    प्लानर/वर्कर एजेंट, एसेट और एक्सप्लोरेशन ग्राफ़, MITM ट्रैफ़िक रिकॉर्डिंग, और भेद्यता पुनःपरीक्षण के साथ LLM मल्टी-एजेंट स्वायत्त पेनेट्रेशन टेस्टिंग प्लेटफ़ॉर्म।

    377
  • 4

    redforge

    cybersecurity91/redforge

    ब्राउज़र-साइड रेड टीम टूलकिट, जिसमें रेकॉन, पेलोड जनरेशन, क्रेडेंशियल हमलों, क्रिप्टो, एन्कोडिंग और एंगेजमेंट रिपोर्टिंग के लिए 102 ऑफ़लाइन टूल्स हैं।

    324
  • 5

    estorides

    grisuno/estorides

    99+ मुफ़्त OSINT स्रोतों को समानांतर रूप से एकत्रित करता है, संस्थाओं को एक ज्ञान ग्राफ़ में हल करता है, और LLM-सहायता प्राप्त विश्लेषण के साथ STIX 2.1, MISP, या GraphML निर्यात करता है।

    269
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AI-मूल साइबरसुरक्षा के लिए कार्रवाई की प्रणाली—जहाँ इरादा नियंत्रित निष्पादन बन जाता है, साक्ष्य परिचालन स्मृति बन जाता है, और हर ऑपरेशन अगले को बेहतर बनाता है।

    252

सभी उपकरण खोजें

हमारे उपकरणों का संग्रह ब्राउज़ करें

सभी उपकरण देखें →