RAGSieve

RAGSieve: विश्वसनीय संदर्भ के बिना RAG में ज्ञान-जहरीले दस्तावेज़ों का पता लगाना के लिए कोड।

RAGSieve एक retrieval-augmented generation (RAG) प्रणाली में दो बिंदुओं पर knowledge-poisoning दस्तावेज़ों का पता लगाता है। RSQ एक ऑनलाइन फ़िल्टर है: यह जनरेशन के लिए चुने गए पाँच दस्तावेज़ों को वर्तमान क्वेरी के लिए रैंक 6--20 के विरुद्ध स्कोर करता है। RSG एक ऑफ़लाइन स्कैनर है: यह प्रत्येक कॉर्पस दस्तावेज़ को उसके स्वयं के semantic--lexical पड़ोस के विरुद्ध स्कोर करता है। इस पैकेज में पेपर में उपयोग किए गए RSQ और RSG कार्यान्वयन, सटीक पूर्ण-कॉर्पस रिट्रीवल, Top-5 फ़िल्टरिंग और रीफ़िल, दस्तावेज़-स्तरीय मूल्यांकन, और एक संक्षिप्त रन करने योग्य उदाहरण शामिल हैं।

रिपॉज़िटरी की सामग्री

data/datasets/       NQ, HotpotQA, और MS MARCO टेक्स्ट नॉलेज बेस
data/demo/           चार लक्ष्य क्वेरी और 20 उदाहरण पॉइज़न दस्तावेज़
src/ragsieve/     RSQ, RSG, रिट्रीवल, फ़िल्टरिंग, और मेट्रिक्स
install.sh           वातावरण इंस्टॉलेशन
data_preparation.sh  नौ डेंस इंडेक्स का स्थानीय निर्माण
run_demo.sh          एंड-टू-एंड RSQ और RSG कार्यक्षमता जाँच

तीन जारी किए गए नॉलेज बेस में 128,044 NQ दस्तावेज़, 9,961 HotpotQA दस्तावेज़, और 8,239 MS MARCO पैसेज शामिल हैं। इनमें कच्चा टेक्स्ट, 1,000 नमूना क्वेरी, qrels, लक्ष्य उत्तर, और निश्चित 100-क्वेरी हमला सबसेट शामिल हैं। डेंस वेक्टर स्थानीय रूप से उत्पन्न होते हैं और रिपॉज़िटरी का कभी हिस्सा नहीं होते।

डेमो में NQ से दो PR-W और दो CEM-C रियलाइज़ेशन शामिल हैं, प्रति क्वेरी पाँच पॉइज़न दस्तावेज़ों के साथ। ये हमले दोनों डिटेक्टरों के माध्यम से एक संक्षिप्त, निरीक्षण योग्य पथ प्रदान करते हैं, बिना पूर्ण हमला संग्रह या हमला-जनरेशन कार्यान्वयन भेजे।

इंस्टॉलेशन

Python 3.11 या 3.12, uv, और CUDA-सक्षम GPU की सिफारिश की जाती है।

bash install.sh

डिटेक्टर पहले उपयोग पर पेपर में नामित Hugging Face मॉडल डाउनलोड करता है।

एंड-टू-एंड QA के लिए, साझा OpenAI-संगत कॉन्फ़िगरेशन कॉपी करें और तीन मान भरें:

cp .env.example .env

OPENAI_BASE_URL=https://api.openai.com/v1
OPENAI_MODEL=your-model-name
OPENAI_API_KEY=your-api-key

वही एंडपॉइंट और मॉडल उत्तर उत्पन्न करते हैं और semantic ASR निर्णय करते हैं।

त्वरित मूल्यांकन

bash run_demo.sh

यह कमांड 520-दस्तावेज़ RSG स्नैपशॉट के लिए एक स्थानीय BGE-M3 इंडेक्स बनाता है, तैयार पूर्ण-कॉर्पस रिट्रीवल संदर्भों पर RSQ चलाता है, जनरेशन Top-5 को फ़िल्टर और रीफ़िल करता है, और दोनों डिटेक्टरों का मूल्यांकन करता है। परिणाम outputs/demo/ में लिखे जाते हैं:

• rsq-metrics.json: RSQ AUROC और 5% क्लीन रिमूवल पर पॉइज़न डिटेक्शन;
• rsg-metrics.json: क्वेरी-मुक्त कॉर्पस स्नैपशॉट पर RSG मेट्रिक्स;
• filtered-top5.jsonl: RSQ के बाद जनरेशन के लिए रखे गए पाँच दस्तावेज़।
• rsg-*-top5.jsonl और joint-*-top5.jsonl: प्रत्येक डेमो हमले के लिए RSG अकेले और संयुक्त फ़िल्टरिंग के बाद रखे गए संदर्भ। QA एक अलग, ऑप्ट-इन कमांड है।

जारी किए गए उदाहरणों के साथ, RSQ PR-W और CEM-C दोनों के लिए 5% क्लीन रिमूवल पर 100% AUROC और 100% पॉइज़न डिटेक्शन तक पहुँचता है। RSG उसी क्लीन-रिमूवल बजट पर 100% AUROC और 100% पॉइज़न डिटेक्शन तक पहुँचता है; इसका निश्चित नियम 85% पॉइज़न दस्तावेज़ों और 0% क्लीन दस्तावेज़ों को हटाता है। ये मान क्यूरेटेड डेमो पर एक कार्यक्षमता जाँच हैं, पेपर का समग्र परिणाम नहीं।

Ground-truth फ़ील्ड केवल मूल्यांकन कमांड द्वारा पढ़े जाते हैं। वे RSQ या RSG को पास नहीं किए जाते।

पूर्ण स्थानीय इंडेक्स बनाएँ

bash data_preparation.sh

डिफ़ॉल्ट रूप से, यह पेपर में मूल्यांकित 3 डेटासेट x 3 रिट्रीवर बनाता है: BGE-M3, E5-large-v2, और all-MiniLM-L6-v2। आउटपुट अनदेखी की गई data/indices/ निर्देशिका के अंतर्गत रखा जाता है। स्क्रिप्ट को संपादित किए बिना एक सबसेट चुना जा सकता है:

DATASETS="nq" ENCODERS="bge-m3" DEVICE="cuda:0" bash data_preparation.sh

प्रत्येक इंडेक्स पूर्ण जारी कॉर्पस से पेपर की pooling, prefix, truncation, और cosine-normalization सेटिंग्स के साथ उत्पन्न होता है।

RSQ: ऑनलाइन क्वेरी-टाइम फ़िल्टरिंग

एक क्लीन रिट्रीवल और बंडल किए गए हमलों के साथ एक रिट्रीवल तैयार करें:

uv run ragsieve prepare-contexts \
  --dataset-dir data/datasets/nq \
  --index-dir data/indices/nq/bge-m3 \
  --subset data/demo/subset.json \
  --attacks data/demo/attacks.jsonl \
  --output outputs/demo/contexts.jsonl \
  --device cuda:0

prepare-contexts प्रत्येक क्वेरी के लिए पूर्ण कॉर्पस पर एक बार सटीक खोज करता है, इंजेक्ट किए गए दस्तावेज़ों को अलग से स्कोर करता है, और शीर्ष 100 को उनके मूल क्रम में सहेजता है। RSQ उम्मीदवारों 1--5 को रैंक 6--20 के विरुद्ध स्कोर करता है; शेष रैंक रीफ़िल के लिए उपलब्ध हैं। RSQ चलाएँ, दस्तावेज़-स्तरीय मेट्रिक्स की गणना करें, और जनरेशन संदर्भ रीफ़िल करें:

uv run ragsieve detect \
  --input outputs/demo/contexts.jsonl \
  --output outputs/demo/rsq-predictions.jsonl \
  --device cuda:0

uv run ragsieve evaluate \
  --predictions outputs/demo/rsq-predictions.jsonl \
  --output outputs/demo/rsq-metrics.json

uv run ragsieve filter-contexts \
  --contexts outputs/demo/contexts.jsonl \
  --predictions outputs/demo/rsq-predictions.jsonl \
  --output outputs/demo/filtered-top5.jsonl

uv run ragsieve qa \
  --input outputs/demo/filtered-top5.jsonl \
  --output outputs/demo/qa-records.jsonl \
  --summary outputs/demo/qa-summary.json \
  --env-file .env

RSQ चार साक्ष्य स्रोतों को जोड़ता है: answer-anchor concentration, writing-system integrity, local language-model surprisal, और एक query-alignment transition। CLI डिफ़ॉल्ट में सभी सेटिंग्स पेपर सेटिंग्स हैं।

RSG: ऑफ़लाइन कॉर्पस निरीक्षण

RSG दस्तावेज़ टेक्स्ट और RAG इंडेक्स द्वारा पहले से बनाए रखे गए वेक्टर का उपभोग करता है:

uv run ragsieve detect-graph \
  --documents data/demo/corpus.jsonl \
  --embeddings data/indices/demo/bge-m3/embeddings.npy \
  --output outputs/demo/rsg-predictions.jsonl \
  --device cuda:0

uv run ragsieve evaluate-graph \
  --predictions outputs/demo/rsg-predictions.jsonl \
  --labels data/demo/labels.jsonl \
  --output outputs/demo/rsg-metrics.json

RSG सटीक cosine top-16 ग्राफ़ बनाता है, semantic-near और lexical-far पड़ोसियों को बनाए रखता है, प्रत्येक दस्तावेज़ के घनत्व वृद्धि को उसके स्वयं के पड़ोस तल के विरुद्ध मापता है, और empirical corpus tail को writing-system integrity के साथ जोड़ता है।

संयुक्त परिनियोजन

संयुक्त परिनियोजन क्रमिक है: RSG पहले दस्तावेज़ों को बाहर करता है, फिर RSQ नए शीर्ष पाँच को जीवित रैंक 6--20 के विरुद्ध स्कोर करता है। चिह्नित उम्मीदवारों को हटा दिया जाता है और संदर्भ को जीवित रैंकिंग से एक बार रीफ़िल किया जाता है; प्रतिस्थापन दस्तावेज़ों को पुनः स्कोर नहीं किया जाता। bash run_demo.sh के बाद, PR-W उदाहरण है:

uv run ragsieve quarantine-contexts \
  --contexts data/demo/contexts.jsonl \
  --graph-predictions outputs/demo/rsg-predictions.jsonl \
  --condition pr_w \
  --output outputs/demo/serial-pr_w-contexts.jsonl
uv run ragsieve detect \
  --input outputs/demo/serial-pr_w-contexts.jsonl \
  --output outputs/demo/serial-pr_w-rsq.jsonl --device cuda:0
uv run ragsieve filter-contexts \
  --contexts outputs/demo/serial-pr_w-contexts.jsonl \
  --predictions outputs/demo/serial-pr_w-rsq.jsonl \
  --output outputs/demo/joint-pr_w-top5.jsonl

uv run ragsieve qa \
  --input outputs/demo/joint-pr_w-top5.jsonl \
  --output outputs/demo/joint-pr_w-qa.jsonl \
  --summary outputs/demo/joint-pr_w-qa-summary.json \
  --env-file .env

RSG अकेले के लिए, मूल संदर्भों पर केवल --graph-predictions और --condition के साथ filter-contexts चलाएँ। CEM-C के लिए, --condition ipi_cem_c और अलग आउटपुट पथ का उपयोग करें। --condition एक RSG स्कैन को मूल्यांकित किए जा रहे रिट्रीवल कंडीशन से बाँधता है; unpoisoned QA क्लीन कॉर्पस के एक अलग RSG स्कैन का उपयोग करता है। बंडल किया गया RSG स्नैपशॉट दोनों डेमो हमलों को शामिल करता है। पूर्ण-कॉर्पस और क्लीन-QA चरण आर्टिफ़ैक्ट गाइड में हैं।

घटक एब्लेशन

सहेजा गया साक्ष्य मॉडल को फिर से लोड किए बिना प्रकाशित एब्लेशन चलाने के लिए पर्याप्त है: