
LLM आंतरिक अवस्थाओं और 100+ अटेंशन/प्रोबेबिलिटी फीचर्स का विश्लेषण करके RAG प्रणालियों में दस्तावेज़ विषाक्तता हमलों का पता लगाने वाले क्लासिफायर को प्रशिक्षित करता है।
SIGIR 2026 पेपर When Context Bites: Detecting RAG Poisoning via Document-Level Attention Collapse का आधिकारिक कार्यान्वयन।
D-SCAN, RAG (Retrieval-Augmented Generation) प्रणालियों में दस्तावेज़ विषाक्तता हमलों का पता लगाने के लिए एक विश्लेषण ढाँचा है। यह जनरेशन के दौरान LLM की आंतरिक अवस्थाओं (टोकन प्रायिकताएँ और ध्यान भार) को एकत्र करता है, बहु-आयामी विशेषताएँ निकालता है, और स्वच्छ तथा विषाक्त पुनःप्राप्त दस्तावेज़ों के बीच अंतर करने के लिए क्लासिफायर प्रशिक्षित करता है।
यह प्रोजेक्ट डिफ़ॉल्ट रूप से Llama-3.1-8B-Instruct का उपयोग करता है। मॉडल को स्थानीय पथ पर डाउनलोड करें और collect_inner_state.py में MODEL_ID वेरिएबल को अपडेट करें:
MODEL_ID = "/your/path/to/Llama-3.1-8B-Instruct"
पूरा वर्कफ़्लो तीन चरणों में होता है: आंतरिक अवस्थाएँ एकत्र करें → विशेषताएँ गणना करें → क्लासिफायर प्रशिक्षित करें। प्रश्न और संबंधित पुनर्प्राप्त दस्तावेज़ https://huggingface.co/datasets/An998/D-SCAN में प्रदान किए गए हैं।
# Update configuration parameters in collect_inner_state.py, then run
python collect_inner_state.py
# Analyze both attack and clean data, compute all features, and save results
python compute_feature.py \
--attack_dir ./saved_reppl_weights_serial_query1_attack2_2wiki \
--clean_dir ./saved_reppl_weights_serial_query1_pure1_5_2wiki \
--output_dir ./analysis_results/2wiki_all \
--max_attack_samples 3000 \
--max_clean_samples 3000
fit_D-SCAN.ipynb खोलें और क्रमिक रूप से सेल निष्पादित करें ताकि:
collect_inner_state.py)प्रत्येक प्रश्न-दस्तावेज़ इनपुट के लिए, LLM बहु-नमूना जनरेशन करता है (डिफ़ॉल्ट: 10 नमूने, temperature=1.0) और निम्नलिखित आंतरिक स्थितियाँ एकत्र करता है:
| फ़ील्ड | प्रकार | विवरण |
|---|---|---|
outer_ppl_probs | List[Tensor] | प्रत्येक नमूने के लिए टोकन जनरेशन प्रायिकता |
inner_ppl_matrix | List[List[Tensor]] | प्रत्येक जनरेशन चरण पर इनपुट अनुक्रम पर अटेंशन भार (लेयर-औसत) |
doc_ranges | Dict[str, List[int]] | इनपुट अनुक्रम में प्रत्येक दस्तावेज़ के लिए टोकन स्थिति सीमा |
generated_sequences | List[List[int]] | प्रत्येक नमूने के लिए उत्पन्न टोकन ID अनुक्रम |
MODEL_ID = "/path/to/model" # Model path
NUM_SAMPLES = 10 # Number of samples per question
MAX_NEW_TOKENS = 50 # Maximum generated tokens
TEMPERATURE = 1.0 # Sampling temperature
data_type = 'pure1_5' # Data type: 'pure1_5' (clean) or 'attack2' (attack)
dataset_name = 'hotpotqa' # Dataset: 'hotpotqa', '2wiki', 'musique'
आउटपुट data_{batch_id}_reppl.pt फ़ाइलों और results_stats_*.jsonl सांख्यिकी फ़ाइलों के रूप में सहेजे जाते हैं।
compute_feature.py)एकत्र किए गए आंतरिक स्थितियों (internal states) से 100+ आयामी फ़ीचर्स वाली 10 श्रेणियाँ निकालता है। क्लासिफ़ायर इन फ़ीचर्स का उपयोग यह निर्धारित करने के लिए करता है कि किसी दिए गए क्वेरी के लिए प्राप्त दस्तावेज़ों के बीच ज़हरीले (poisoned) दस्तावेज़ मौजूद हैं या नहीं।
| # | श्रेणी | क्लास नाम | # फ़ीचर्स | मूल विचार |
|---|---|---|---|---|
| 1 | जनरेशन प्रायिकता सांख्यिकी | PerplexityMetrics | 8 | ज़हरीले दस्तावेज़ जनरेशन के दौरान मॉडल की अनिश्चितता बढ़ा सकते हैं, जो प्रायिकता वितरण में परिवर्तन के रूप में प्रतिबिंबित होता है |
| 2 | अटेंशन एंट्रॉपी | AttentionEntropyMetrics | 4 | उच्च एंट्रॉपी = बिखरा हुआ अटेंशन = संभावित परस्पर विरोधी जानकारी; निम्न एंट्रॉपी = केंद्रित अटेंशन |
| 3 | अटेंशन संकेंद्रण | AttentionConcentrationMetrics | 8 | Top-K अनुपात और गिनी गुणांक के माध्यम से मापता है कि अटेंशन कुछ टोकनों पर केंद्रित है या नहीं |
| 4 | दस्तावेज़ अटेंशन घनत्व | DocumentAttentionDensityMetrics | 6 | अटेंशन योग को दस्तावेज़ की लंबाई से विभाजित किया जाता है, जिससे अटेंशन आवंटन में लंबाई पूर्वाग्रह समाप्त होता है |
| 5 | बहु-नमूना संगति | SampleConsistencyMetrics | 4 | ज़हरीलेपन के अंतर्गत, नमूनों के बीच अटेंशन पैटर्न असंगत हो सकते हैं (कोसाइन समानता, JS विचलन) |
| 6 | अटेंशन गतिकी | AttentionDynamicsMetrics | 4 | जनरेशन के दौरान प्रमुख-दस्तावेज़ स्विच की आवृत्ति और एंट्रॉपी परिवर्तन का परिमाण |
| 7 | टोकन-स्तरीय अटेंशन उतार-चढ़ाव | TokenLevelAttentionMetrics | 16 | जनरेशन चरणों में प्रत्येक इनपुट टोकन स्थिति पर अटेंशन की स्थिरता (std, एंट्रॉपी) |
| 8 | उत्तर प्रायिकता गहन सांख्यिकी | AnswerProbabilityMetrics | 18 | प्रायिकता क्वांटाइल, उच्च/निम्न प्रायिकता टोकन अनुपात, लॉग प्रायिकता, परप्लेक्सिटी, आदि |
| 9 | प्रायिकता गतिकी | ProbabilityDynamicsMetrics | 14 | जनरेशन अनुक्रम में प्रवृत्ति ढलान, ऑटोकोरिलेशन, अस्थिरता, स्पाइक अनुपात |
| 10 | क्रॉस-नमूना प्रायिकता संगति | CrossSampleProbabilityConsistencyMetrics | 13 | नमूनों के बीच कोसाइन समानता, पियर्सन सहसंबंध, MSE, विचलन सूचकांक |
1. PerplexityMetrics (जनरेशन प्रायिकता सांख्यिकी)
outer_ppl_probs (प्रत्येक जनरेट किए गए टोकन की प्रायिकता) से गणना की जाती है:
ppl_mean_prob: सभी जनरेट किए गए टोकनों की औसत प्रायिकताppl_std_prob: प्रायिकता मानक विचलनppl_min_prob: न्यूनतम प्रायिकता (अत्यधिक अनिश्चितता)ppl_low_prob_ratio: निम्न-प्रायिकता टोकनों (<0.1) का अनुपातppl_cross_sample_var: नमूनों के बीच औसत प्रायिकताओं का प्रसरणppl_coef_variation: भिन्नता का गुणांक (CV = std/mean)ppl_skewness: प्रायिकता वितरण की विषमता (skewness)ppl_kurtosis: प्रायिकता वितरण की कुर्टोसिस2. AttentionEntropyMetrics (अटेंशन एंट्रॉपी)
inner_ppl_matrix (प्रत्येक चरण पर अटेंशन भार) से गणना की जाती है:
attn_entropy_mean/std/max: अटेंशन वितरण एंट्रॉपी का माध्य, मानक विचलन और अधिकतमattn_entropy_cv: अटेंशन एंट्रॉपी का भिन्नता गुणांक3. AttentionConcentrationMetrics (अटेंशन संकेंद्रण)
attn_top5/10/20_ratio_mean/std: Top-K% टोकनों द्वारा प्राप्त अटेंशन हिस्साattn_gini_mean/std: अटेंशन वितरण का गिनी गुणांक (असमानता माप)4. DocumentAttentionDensityMetrics (दस्तावेज़ अटेंशन घनत्व)
doc_attn_dens_std/range/max/min: दस्तावेज़ों में attention density का Std, range, max और mindoc_attn_dens_entropy: दस्तावेज़ attention density वितरण की एंट्रॉपीdoc_attn_dens_temporal_var_mean: दस्तावेज़ attention density का औसत टेम्पोरल वेरिएंस5. SampleConsistencyMetrics (बहु-नमूना संगति)
sample_attn_consistency/std: टोकन-स्तरीय attention की क्रॉस-सैंपल कोसाइन समानताsample_doc_consistency: दस्तावेज़-स्तरीय attention की क्रॉस-सैंपल कोसाइन समानताsample_doc_js_divergence: दस्तावेज़-स्तरीय attention का क्रॉस-सैंपल JS विचलन6. AttentionDynamicsMetrics (attention गतिकी)