Skip to content
KitploitKITPLOIT
उपकरणएक्सप्लॉइटब्लॉग
Log in
जमा करें
उपकरणएक्सप्लॉइटब्लॉग
जमा करें

हैकिंग, पेनटेस्ट और साइबर सुरक्षा उपकरण आपके सुरक्षा शस्त्रागार के लिए!

Kitploit हैकिंग, साइबर सुरक्षा और पेंटेस्टिंग टूल्स की एक निर्देशिका है। कमजोरियों को खोजने, सिस्टम का विश्लेषण करने, परीक्षण को स्वचालित करने और अपनी सुरक्षा को मजबूत करने के लिए नवीनतम प्रोजेक्ट अपडेट खोजें।

फ़ीडसंपर्कगोपनीयता© 2026 Kitploit

टूल निर्देशिका

श्रेणियाँ

सभी श्रेणियाँ देखें
Loading categories
उपकरण/GitHubGitHub/psm-defense/psm
रक्षात्मक उपकरणमशीन लर्निंगपेपर और शोधAI सुरक्षा
GitHubpsm-defense/psm

psm

बड़े भाषा मॉडल (LLM) सिस्टम प्रॉम्प्ट को प्रतिकूल निष्कर्षण हमलों से बचाने के लिए एक ब्लैक-बॉक्स अनुकूलन दृष्टिकोण।

रिपॉजिटरी देखें
211 साल पहलेअभी तक समीक्षित नहीं
साझा करें

प्रॉम्प्ट संवेदनशीलता न्यूनीकरण (PSM)

बड़े भाषा मॉडल (LLM) सिस्टम प्रॉम्प्ट को प्रतिकूल निष्कर्षण हमलों से बचाने के लिए एक ब्लैक-बॉक्स अनुकूलन दृष्टिकोण।

अवलोकन

यह रिपॉज़िटरी प्रॉम्प्ट संवेदनशीलता न्यूनीकरण (PSM) को लागू करती है, एक रक्षा तंत्र जो सिस्टम प्रॉम्प्ट के चारों ओर स्वचालित रूप से सुरक्षात्मक "शील्ड" उत्पन्न करने के लिए LLM-को-ऑप्टिमाइज़र का उपयोग करता है। PSM एक पुनरावृत्त अनुकूलन प्रक्रिया के माध्यम से कार्य उपयोगिता को संरक्षित करते हुए अवलोकनीय लीकेज को न्यूनतम करता है।

मुख्य विशेषताएँ

  • LLM-को-ऑप्टिमाइज़र: सुरक्षात्मक शील्ड उत्पन्न और परिष्कृत करने के लिए भाषा मॉडल का उपयोग करता है
  • बहु-उद्देश्यीय अनुकूलन: लीकेज न्यूनीकरण को उपयोगिता संरक्षण के साथ संतुलित करता है
  • व्यापक मूल्यांकन: कई हमला प्रकारों और रक्षा रणनीतियों के विरुद्ध परीक्षण करता है
  • स्मूथ एग्रीगेशन: विभिन्न लीकेज स्कोर एग्रीगेशन विधियों (logsumexp, top-k mean, max) को लागू करता है
  • कुशल कैशिंग: बुद्धिमान परिणाम कैशिंग के माध्यम से अनावश्यक API कॉल को कम करता है
  • एकाधिक मेट्रिक्स: ROUGE-आधारित और LLM जज मूल्यांकन मेट्रिक्स दोनों का समर्थन करता है

विषय-सूची

  • इंस्टॉलेशन
  • त्वरित शुरुआत
  • उपयोग
  • आर्किटेक्चर
  • कॉन्फ़िगरेशन
  • पुनरुत्पादनशीलता

इंस्टॉलेशन

पूर्वापेक्षाएँ

  • Python 3.8+
  • वर्चुअल एनवायरनमेंट (अनुशंसित)

सेटअप

  1. रिपॉज़िटरी को क्लोन करें:
git clone <repository-url>
cd psm
  1. एक वर्चुअल एनवायरनमेंट बनाएँ और सक्रिय करें:
python -m venv venv
source venv/bin/activate  # On Windows: venv\Scripts\activate
  1. निर्भरताएँ इंस्टॉल करें:
pip install -r requirements.txt
  1. API कुंजियाँ कॉन्फ़िगर करें: अपने LLM API कॉन्फ़िगरेशन के साथ एक config/config.yaml फ़ाइल बनाएँ:
llms:
  gpt-4o-mini:
    model: "gpt-4o-mini"
    model_provider: "openai"
    api_key: "your-api-key"
    temperature: 0.7
  # Add other model configurations as needed

त्वरित शुरुआत

PSM Defense चलाना

PSM का उपयोग करके संरक्षित सिस्टम प्रॉम्प्ट उत्पन्न करें:

python run.py

यह निम्नलिखित कार्य करेगा:

  1. data/victim_prompts/ से सिस्टम प्रॉम्प्ट लोड करेगा
  2. LLM अनुकूलन का उपयोग करके सुरक्षात्मक शील्ड उत्पन्न करेगा
  3. अनुकूलित प्रॉम्प्ट को data/defense_prompts/ में सहेजेगा

रक्षा तंत्रों का मूल्यांकन

प्रतिकूल हमलों के विरुद्ध रक्षा तंत्रों का मूल्यांकन करें:

python experiments/evaluate_defenses.py

यह निम्नलिखित कार्य करेगा:

  1. कई रक्षा रणनीतियों का परीक्षण करेगा (None, Baseline, PSM, N-gram Filter, FAKE)
  2. विभिन्न प्रकार के हमलों को चलाएगा (RACCON, LIANG, ZHANG, आदि)
  3. results/ में व्यापक परिणाम उत्पन्न करेगा

उपयोग

प्रोग्रामेटिक उपयोग

एकल प्रॉम्प्ट के लिए PSM चलाना

from run import PSMRunner, RunPSMConfig

# Configure PSM
config = RunPSMConfig(
    dataset_name="unnatural-test",
    attack_samples=50,
    validation_samples=10,
    target_dataset_samples=30,
    llm_target="gpt-5-mini",
    llm_optimizer="gpt-4o-mini",
    llm_validation="gpt-4o",
    llm_judge="gpt-4o-mini",
    n_optimization_iterations=10,
    n_initial_shields=5,
    n_shields_per_step=5,
    max_candidates_per_step=10,
    target_utility_threshold=0.9,
    target_leakage_threshold=0.65,
    leakage_aggregation="logsumexp",
    logsumexp_temperature=10.0
)

# Run PSM
runner = PSMRunner(config)
runner.run_experiments()

एक रक्षा रणनीति का मूल्यांकन

from experiments.evaluate_defenses import (
    DefenseEvaluator, ExperimentConfig, 
    DefenseConfig, DefenseStrategy, 
    AttackType, Dataset, TargetModel
)

# Configure experiment
config = ExperimentConfig(
    attack_types=[AttackType.RACCON, AttackType.LIANG],
    defense_configs=[
        DefenseConfig(DefenseStrategy.PSM, Dataset.UNNATURAL_TEST, TargetModel.GPT_4O_MINI)
    ],
    max_victim_samples=30,
    max_attack_samples=60,
    use_am_metric=True,
    am_threshold=0.9,
    use_jm_metric=True,
    jm_threshold=0.7
)

# Run evaluation
evaluator = DefenseEvaluator(config)
await evaluator.run_experiments()
evaluator.save_results()
evaluator.print_results_summary()

आर्किटेक्चर

मुख्य घटक

1. PSM (src/defense/psm/psm.py)

मुख्य ऑप्टिमाइज़ेशन इंजन जो:

  • प्रारंभिक सुरक्षात्मक शील्ड उत्पन्न करता है
  • LLM-as-optimizer का उपयोग करके शील्ड को पुनरावृत्त रूप से परिष्कृत करता है
  • उपयोगिता और लीकेज मेट्रिक्स पर उम्मीदवारों का मूल्यांकन करता है
  • बहु-उद्देश्यीय फिटनेस फ़ंक्शन के लिए ऑप्टिमाइज़ करता है

मुख्य क्लासेस:

  • PSM: मुख्य ऑप्टिमाइज़ेशन क्लास
  • PromptCandidate: स्कोर के साथ एक उम्मीदवार समाधान का प्रतिनिधित्व करता है
  • PSMConfig: कॉन्फ़िगरेशन पैरामीटर

2. डेटा क्रिएशन (src/defense/psm/psm_data_creation.py)

इन्हें संभालता है:

  • बेसलाइन वैलिडेशन इनपुट का जनरेशन
  • अटैक इनपुट संग्रह
  • क्वेरी-उत्तर जोड़ी निर्माण

3. मेट्रिक्स (src/metrics.py)

मूल्यांकन मेट्रिक्स:

  • ROUGE Recall: टोकन ओवरलैप के आधार पर लीकेज मापता है
  • LLM Judge: LLM को जज के रूप में उपयोग करके बाइनरी मूल्यांकन
  • Approximate Match: थ्रेशोल्ड-आधारित सफलता पहचान

4. मूल्यांकन (experiments/evaluate_defenses.py)

व्यापक मूल्यांकन फ्रेमवर्क:

  • कई डिफ़ेंस रणनीतियों का समर्थन करता है
  • विभिन्न अटैक प्रकारों का परीक्षण करता है
  • परिणाम कैशिंग लागू करता है
  • विस्तृत रिपोर्ट उत्पन्न करता है

डिफ़ेंस रणनीतियाँ

  1. None: कोई डिफ़ेंस नहीं (बेसलाइन)
  2. Baseline: सरल निर्देश जोड़ना (Liang et al., 2024)
  3. PSM: Prompt Sensitivity Minimization (यह कार्य)
  4. N-gram Filter: प्रॉम्प्ट n-grams वाले प्रतिक्रियाओं को फ़िल्टर करता है
  5. FAKE: डिकॉय प्रॉम्प्ट इंसर्शन (Liang et al., 2024)

अटैक प्रकार

समर्थित अटैक डेटासेट:

  • raccon.json: RACCON अटैक प्रॉम्प्ट
  • liang.json: Liang et al. अटैक पैटर्न
  • zhang.json: Zhang et al. अटैक पैटर्न
  • ours.json: कस्टम अटैक प्रॉम्प्ट
  • raccon_language.json: भाषा-विशिष्ट RACCON अटैक

कॉन्फ़िगरेशन

PSM कॉन्फ़िगरेशन पैरामीटर

@dataclass
class RunPSMConfig:
    # Dataset
    dataset_name: str = "unnatural-test"
    
    # Sample sizes
    attack_samples: int = 50              # Attack inputs to use
    validation_samples: int = 10          # Baseline validation queries
    target_dataset_samples: int = 30      # System prompts to process
    
    # Model selection
    llm_target: str = "gpt-5-mini"       # Target model to protect
    llm_optimizer: str = "gpt-4o-mini"   # Model for shield generation
    llm_validation: str = "gpt-4o"       # Model for validation
    llm_judge: str = "gpt-4o-mini"       # Model for judging
    
    # Optimization parameters
    n_optimization_iterations: int = 10  # Max optimization iterations
    n_initial_shields: int = 5           # Initial shield population
    n_shields_per_step: int = 5          # New shields per iteration
    max_candidates_per_step: int = 10    # Max candidates to consider
    
    # Thresholds
    target_utility_threshold: float = 0.9    # Minimum utility score
    target_leakage_threshold: float = 0.65  # Maximum leakage score
    utility_penalty_weight: float = 100.0   # Weight for utility penalty
    
    # Leakage aggregation
    leakage_aggregation: str = "logsumexp"   # Aggregation method
    logsumexp_temperature: float = 10.0     # LogSumExp temperature
    top_k: int = 3                          # Top-k for top_k_mean

लीकेज एग्रीगेशन विधियाँ

  1. max: अधिकतम लीकेज स्कोर (नॉन-स्मूथ)
  2. logsumexp: max का स्मूथ अनुमान (अनुशंसित)
  3. top_k_mean: शीर्ष-k सबसे खराब स्कोर का औसत
  4. mean: साधारण औसत (सबसे स्मूथ)

प्रयोग कॉन्फ़िगरेशन

config = ExperimentConfig(
    # Attack and defense selection
    attack_types=[AttackType.RACCON, AttackType.LIANG],
    defense_configs=[...],
    
    # Sample limits
    max_victim_samples=30,
    max_attack_samples=60,
    
    # AM metric
    use_am_metric=True,
    am_threshold=0.9,
    
    # JM metric
    use_jm_metric=True,
    jm_threshold=0.7,
    
    # Output options
    output_dir="results",
    save_detailed_results=True,
    save_per_prompt_results=True
)
टूल डाउनलोड करें

सबसे लोकप्रिय

सभी देखें →

हमारे समुदाय द्वारा सबसे अधिक उपयोग किए जाने वाले उपकरण खोजें।

अभी तक कोई लोकप्रियता डेटा नहीं है।

सभी उपकरण खोजें

हमारे उपकरणों का संग्रह ब्राउज़ करें

सभी उपकरण देखें →