DVDR-LLM: जब LLM सॉफ़्टवेयर भेद्यता का पता लगाने और मरम्मत के लिए एक साथ बेहतर होते हैं?

शोध पत्र के लिए आधिकारिक कार्यान्वयन और कलाकृति:
"DVDR-LLM: जब LLM सॉफ़्टवेयर भेद्यता का पता लगाने और मरम्मत के लिए एक साथ बेहतर होते हैं?"

🎯 अवलोकन

DVDR-LLM एक समूह ढांचा है जो सॉफ़्टवेयर भेद्यता का पता लगाने और मरम्मत के लिए कई बड़े भाषा मॉडल (LLM) को एकत्रित करने में मूलभूत व्यापार-बंदों की व्यवस्थित रूप से जांच करता है। हमारा व्यापक मूल्यांकन सटीकता-रीकॉल संतुलन, मॉडल विविधता लाभ और सुरक्षा-महत्वपूर्ण अनुप्रयोगों में सर्वसम्मति-आधारित दृष्टिकोणों के बारे में महत्वपूर्ण अंतर्दृष्टि प्रकट करता है।

मुख्य निष्कर्ष

• सटीकता-रीकॉल व्यापार-बंद: समूह पैच वैधता मूल्यांकन में गलत सकारात्मक को कम करता है (+10-12% सटीकता) लेकिन भेद्यता पहचान में गलत नकारात्मक बढ़ाता है
• जटिलता लाभ: कोड अमूर्तता स्तर बढ़ने पर मॉडल विविधता लाभ बढ़ते हैं (+18% रिकॉल, +11.8% F1 बहु-फ़ाइल भेद्यताओं के लिए)
• रूढ़िवादी पूर्वाग्रह: 80% मॉडल व्यवस्थित रूप से रूढ़िवादी व्यवहार प्रदर्शित करते हैं (भेद्यताओं का पता न लगाना बनाम अति-पता लगाना)
• कोई अद्वितीय विशेषज्ञ नहीं: सभी भेद्यता पहचान समूह में ओवरलैप होती हैं, जो बहुमत मतदान रणनीतियों को मान्य करती हैं

📁 रिपॉजिटरी संरचना

DVDR_LLM/
├── dvdr_llm/                  # Main package (professional structure)
│   ├── __init__.py            # Package exports
│   ├── cli.py                 # Command-line interface
│   ├── config.py              # Configuration settings
│   ├── core/                  # Core functionality
│   │   ├── api_client.py      # LLM API communication
│   │   ├── detector.py        # VulnerabilityDetector class
│   │   └── prompts.py         # Prompt generation utilities
│   ├── analysis/              # Analysis modules
│   │   ├── consensus.py       # Consensus analysis
│   │   └── metrics.py         # Performance metrics
│   ├── evaluation/            # Model evaluation
│   │   └── evaluator.py       # ModelEvaluator class
│   ├── visualization/         # Plotting and visualization
│   │   └── plotter.py         # ResultsPlotter class
│   └── tools/                 # Additional utilities
├── utils/                     # Original utility modules
│   ├── api.py                 # LLM API interaction helpers
│   ├── database.py            # SQLite helper functions
│   └── config.py              # Configuration constants
├── data/                      # Datasets and databases
│   ├── vulnerabilities.csv    # Vulnerability data
│   └── vulnerable and patched codes.sqlite
├── output/                    # Generated results and databases
│   ├── database_*.sqlite      # Model-specific databases
│   ├── consensus_analysis/    # Consensus analysis results
│   ├── metrics/              # Performance metrics
│   └── database_exports/     # Exported data
├── examples/                  # Usage examples
│   └── basic_usage.py         # Basic usage demonstration
├── docs/                      # Documentation
│   └── README_consensus_analysis.md
├── paper/                     # Research paper
│   ├── main.pdf               # Published paper
│   └── main.tex               # LaTeX source
├── setup.py                   # Package installation
├── requirements.txt           # Dependencies
├── CHANGELOG.md              # Change log
├── LICENSE                   # MIT License
└── README.md                 # This file

🚀 त्वरित प्रारंभ

आवश्यक शर्तें

• Python 3.8+
• LLM API तक पहुंच (Ollama, OpenAI, आदि)
• भेद्यता डेटाबेस के लिए SQLite

स्थापना

1. रिपॉजिटरी को क्लोन करें:

   git clone https://github.com/Erroristotle/DVDR_LLM.git
   cd DVDR_LLM
   

2. निर्भरताएं स्थापित करें:

   pip install -r requirements.txt
   pip install -e .  # पैकेज को डेवलपमेंट मोड में स्थापित करें
   

3. स्थापना सत्यापित करें:

   python verify_package.py
   

बुनियादी उपयोग

कमांड लाइन इंटरफ़ेस

# भेद्यता का पता लगाने के लिए समूह के साथ चलाएं
dvdr-llm detect --models llama3-8b,codellama-7b --database data/vulnerabilities.sqlite

# सर्वसम्मति पैटर्न का विश्लेषण करें (RQ2)
dvdr-llm analyze consensus --input results/metrics/model_predictions.csv --threshold 0.6

# विरोध पैटर्न विज़ुअलाइज़ेशन उत्पन्न करें (पेपर में चित्र)
python dvdr_llm/visualization/conflict_pattern_plot.py results/metrics/reviewer_insights_disagreement_patterns.csv -o reviewer_insights

# अमूर्तता स्तरों पर समूह प्रदर्शन का मूल्यांकन करें (RQ3)
dvdr-llm evaluate --models-dir output/ --abstraction-analysis

Python API

from dvdr_llm import VulnerabilityDetector, ConsensusAnalyzer, ModelEvaluator

# भेद्यता डिटेक्टर को आरंभ करें
detector = VulnerabilityDetector("llama3-8b-instruct")

# डेटाबेस से कनेक्ट करें
detector.connect_to_database("data/vulnerabilities.sqlite")

# भेद्यताओं के लिए कोड का विश्लेषण करें
code = """
void vulnerable_function(char *input) {
    char buffer[100];
    strcpy(buffer, input);  // Buffer overflow
}
"""

# CVE भविष्यवाणियां प्राप्त करें
cve_names = detector.analyze_code_for_cves(code, 2023)
print(f"Identified CVEs: {cve_names}")

# भेद्यता का पता लगाएं
is_vulnerable = detector.detect_vulnerability(code)
print(f"Is vulnerable: {is_vulnerable}")

# डेटाबेस प्रविष्टियां संसाधित करें
stats = detector.process_database_entries(limit=100)
print(f"Processed {stats['processed']} entries")

# साफ करें
detector.close()

# बहु-मॉडल सर्वसम्मति विश्लेषण
model_databases = {
    "llama3-8b": "output/database_llama3-8b-instruct.sqlite",
    "codellama-7b": "output/database_codellama-7b-instruct.sqlite",
    "gemma2-9b": "output/database_gemma2-9b.sqlite"
}

analyzer = ConsensusAnalyzer()
consensus_results = analyzer.run_full_analysis(model_databases)

# मॉडल मूल्यांकन
evaluator = ModelEvaluator()
evaluation_results = evaluator.evaluate_multiple_models(
    model_databases, 
    "data/ground_truth.csv"
)

📊 पेपर परिणामों को पुन: प्रस्तुत करना

शोध प्रश्न

RQ1: एकाधिक LLM को एकत्रित करने का प्रभाव

# तालिका 2 उत्पन्न करें (डेल्टा प्रतिशत के साथ मॉडल तुलना)
python dvdr_llm/tools/model_contribution_analysis.py results/metrics/model_predictions.csv --compare-ensemble --threshold 0.7

# व्यक्तिगत बनाम समूह प्रदर्शन का विश्लेषण करें
dvdr-llm evaluate --comparison-analysis --threshold 0.7

RQ2: इष्टतम सर्वसम्मति सीमा

# चित्र 3 उत्पन्न करें (सीमा संवेदनशीलता विश्लेषण)
python dvdr_llm/tools/threshold_analysis.py results/metrics/model_predictions.csv --range 0.3-0.8

# सीमा चयन का सांख्यिकीय सत्यापन
python dvdr_llm/analysis/statistical_validation.py --threshold-analysis

RQ3: अमूर्तता स्तरों पर प्रदर्शन

# तालिका 3 उत्पन्न करें (अमूर्तता स्तर विश्लेषण)
python dvdr_llm/evaluation/evaluator.py --abstraction-analysis --threshold 0.6

# स्तर-विशिष्ट प्रदर्शन मूल्यांकन
dvdr-llm evaluate --abstraction-levels 1,2,3 --ensemble

RQ4: पैच गुणवत्ता के लिए भारित एकत्रीकरण

# पैच गुणवत्ता मेट्रिक्स का विश्लेषण करें (ROUGE, CodeBLEU, जटिलता)
python dvdr_llm/tools/patch_quality_analysis.py results/patches/ --weighted-scoring

# चित्र 4 उत्पन्न करें (पैच समानता और जटिलता विश्लेषण)
dvdr-llm visualize --patch-analysis --metrics results/patch_metrics.csv

मुख्य आंकड़े उत्पन्न करना

# मुख्य विरोध पैटर्न विश्लेषण आकृति (चित्र 2)
python dvdr_llm/visualization/conflict_pattern_plot.py results/metrics/reviewer_insights_disagreement_patterns.csv -o reviewer_insights

# सीमा संवेदनशीलता विश्लेषण (चित्र 3)
python dvdr_llm/visualization/enhanced_figure3_generator.py results/metrics/model_predictions.csv

# सांख्यिकीय सत्यापन प्लॉट (परिशिष्ट)
python dvdr_llm/analysis/statistical_significance_analysis.py --generate-plots

🔧 कॉन्फ़िगरेशन

मॉडल कॉन्फ़िगरेशन

LLM एंडपॉइंट्स को कॉन्फ़िगर करने के लिए dvdr_llm/config.py संपादित करें: