Signed but Steerable: ऑफ़लाइन RAG में टेक्स्ट-वेक्टर इंटीग्रिटी गैप

पेपर Signed but Steerable: Measuring and Closing the Text-Vector Integrity Gap in Offline Retrieval-Augmented Generation (G. Feretzakis, A. Papaspyridis, securagen.ai) के लिए कोड, डेटा और परिणाम।

Zenodo पर संग्रहीत: 10.5281/zenodo.23945569 (सभी संस्करण; रिलीज़ v1.0.2, पेपर में उद्धृत: 10.5281/zenodo.23948839)। पेपर का arXiv पहचानकर्ता उपलब्ध होने पर जोड़ा जाएगा।

यहाँ क्या है

• ragtrust/ साझा लाइब्रेरी, जिसमें codeverify.py शामिल है — हर कोड-सत्यापन परिणाम के लिए उपयोग किया गया संदर्भ कोड-स्तरीय सत्यापनकर्ता (अस्पष्टता केवल सत्यापनकर्ता की पुनर्गणना से तय होती है; केवल-पड़ोसी स्वीकृति; विहितीकरण)।
• desktop/ डेस्कटॉप पर चलाए गए प्रयोग: परिहार स्कोरिंग (E1) और उसका MS MARCO जाँच, वेक्टर डीसिंक्रोनाइज़ेशन हमला और मार्जिन नियम (E7), BEIR मार्जिन, वेक्टर-डेटाबेस एक्सपोज़र, FAISS प्रदर्शन, कोड-स्तरीय सत्यापन और फ्लोट पाइपलाइनों की नियतात्मकता।
• device/ Raspberry Pi 5 CPU पर चलाए गए प्रयोग: संदर्भ प्रूनिंग (E2), भाषा मॉडल के साथ-साथ सत्यापन की लागत (E4), डिवाइस-साइड एम्बेडिंग और INT8 निष्ठा (E5), एंड-टू-एंड हमला (E7) और पैक अपडेट (E8)।
• analysis/ विश्लेषण, परिशुद्धता और इकाई जाँचें, और make_figures.py, जो आकृतियों को पुनः उत्पन्न करता है।
• data/ SQuAD-व्युत्पन्न कॉर्पस, विंडो, प्रश्न और वेक्टर; results/ प्रति-प्रयोग आउटपुट; tests/ इकाई परीक्षण; remote/ डेस्कटॉप से Pi को चलाने के लिए सहायक स्क्रिप्ट (होस्ट नाम अनुकूलित करें)।
• PROTOCOL.md डेटा संग्रह से पहले तय की गई परिकल्पनाएँ और विचलनों तथा खोजपूर्ण विश्लेषणों का लॉग। प्रयोग संख्याएँ प्रोटोकॉल का पालन करती हैं; E3 और E6 इस रिलीज़ का हिस्सा नहीं हैं।
• pins.json मॉडलों और टूल्स के पिन किए गए संशोधन।

त्वरित शुरुआत

• परीक्षण: python tests/test_codeverify.py।
• डेस्कटॉप वातावरण: bash desktop/setup_desktop.sh; आकृतियाँ: python analysis/make_figures.py।
• डिवाइस प्रयोग: एक Raspberry Pi 5, device/requirements_device.txt के साथ Python, और pins.json में दिए कमिट पर llama.cpp।

डिवाइस प्रयोग चलाना

Raspberry Pi पर, cp device/config.env.example device/config.env (पथ अनुकूलित करें) करने और device/requirements_device.txt को venv_device में इंस्टॉल करने के बाद:

• E2 और E7 जनरेशन: bash device/inner_generate.sh llama-server शुरू करता है और k3_full (पहले 60 प्रश्न, पुनरुत्पादन जाँच), k5_ce3, k10_ce3, k10_ce5, k5_bi3, ऑनलाइन INT8 सेलेक्टर के साथ k5_ce3, और E7 कॉन्फ़िगरेशन चलाता है; केवल CPU-INT8 एंड-टू-एंड कॉन्फ़िगरेशन: bash device/run_e7_cpu_int8.sh। वेरिएंट k5_ce3w, k3_ce3 और k3_ce3w llama-server के चलते समय python device/e2_generate.py --config <name> से चलाए जाते हैं (शुरुआत device/inner_generate.sh की तरह)। जब results/e2/status_<name>.json मौजूद हो तो कॉन्फ़िगरेशन छोड़ दिया जाता है; रिलीज़ किए गए परिणामों को पुनः उत्पन्न करने के लिए उन फ़ाइलों को हटा दें।
• E4: python device/e4_contention.py; E5: python device/e5_reindex.py --backends ort-fp32,ort-int8 --batch 32 (रिलीज़ किए गए परिणामों का बैच आकार: डायनामिक INT8 बैच पर निर्भर करता है, और 64 के बैच भिन्न वेक्टर देते हैं); E8: python device/e8_device_verify.py --vector-backend ort-fp32।
• डेस्कटॉप से, remote/pi_sync.sh रिपॉज़िटरी को Pi पर कॉपी करता है और remote/pi_fetch.sh परिणाम प्राप्त करता है।

पेपर के आंकड़े कहाँ हैं

• SQuAD पर मार्जिन नियम (तालिका 2): results/e7/margin_law_squad.json; अन्य कॉर्पोरा और चित्र 1: results/e7/beir_margins.json और results/e7/margins/; CPU-INT8 संदर्भ सीमा पर एक्सपोज़र: results/e7/cpu_int8_exposure.json; संख्यात्मक परिशुद्धता और इकाई जाँच: results/e7/margin_precision_check.json; INT8 संदर्भ सीमा का कैलिब्रेशन (सटीक क्वांटाइल, उससे नीचे ईमानदार विंडो, बैच 32 पर बिट-दर-बिट पुनः-एन्कोडिंग): results/e5/int8_calibration_check.json (analysis/e5_int8_calibration_check.py)।
• संपीड़ित स्टोर: results/e7/vecdb_quant.json; FAISS ऑडिट और निष्पादित हमला: results/e7/faiss_integrity.json; अवशिष्ट बजट: results/e7/guard_budget.json।
• डिवाइस पर एंड टू एंड: results/e7/analysis.json (सही उत्तर और इनकार) और results/e7/e2e_checks.json (वही प्रश्न, कोणीय बजट, शीर्ष-3 संदर्भ में पेलोड)।
• संदर्भ छँटाई (E2): results/e2/decomposition.json; भाषा मॉडल के साथ लागत (E4): results/e4/।
• चित्र: results/figures/fig_margin_law.pdf (चित्र 1) और results/figures/fig_vdb.pdf (चित्र 2), जिन्हें analysis/make_figures.py द्वारा पुनः उत्पन्न किया जाता है।

शामिल नहीं है

• मॉडल वेट और निर्यात किए गए ONNX ग्राफ़ (लाइसेंस): स्क्रिप्ट द्वारा पिन किए गए रिवीज़न पर डाउनलोड और पुनर्निर्मित।
• BEIR और MS MARCO डेटा तथा व्युत्पन्न वेक्टर (लाइसेंस): स्क्रिप्ट द्वारा डाउनलोड किए जाते हैं।
• बड़ी वेक्टर फ़ाइलें और कैश, जिन्हें स्क्रिप्ट द्वारा पुनः उत्पन्न किया जाता है: results/e7/squad_question_vectors.npz (analysis/margin_law_squad.py) और results/e7/proxy_vectors.npz (analysis/margin_law.py)।
• स्क्रिप्ट द्वारा पुनः उत्पन्न या डाउनलोड किए गए मध्यवर्ती इनपुट: results/e7/vecs/ (desktop/beir_margins.py द्वारा लिखा गया), results/e7/scale_*.npy (कोड-सत्यापन स्क्रिप्ट द्वारा लिखा गया), data/beir/ और artifacts/models/ (desktop/export_onnx.py द्वारा लिखा गया)।
• रन लॉग।

कुछ विश्लेषण स्क्रिप्ट ऐसे कैश लोड करती हैं जो उन्होंने स्वयं numpy.load(..., allow_pickle=True) से बनाए थे; ऐसी फ़ाइलें केवल अपने स्वयं के रन से लोड करें, कभी भी अविश्वसनीय स्रोतों से नहीं।

तृतीय-पक्ष संसाधन

मॉडल, डेटासेट और उनके लाइसेंस DATA_LICENSES.md में सूचीबद्ध हैं। संबंधित भागों का उपयोग करते समय कृपया SQuAD 2.0 (Rajpurkar et al., 2018), BEIR (Thakur et al., 2021), MS MARCO (Bajaj et al., 2016), BGE-M3 (Chen et al., 2024) और Sentence-BERT (Reimers and Gurevych, 2019) का भी उल्लेख करें।

नोट्स

• FAISS पूरे समय अपने डिज़ाइन के अनुसार व्यवहार करता है: यह स्टोरेज फ़ॉर्मेट और खोज प्रदान करता है, इंटीग्रिटी ऑडिट नहीं। खतरे का मॉडल संग्रहीत वेक्टरों का एक समझौता-ग्रस्त प्रकाशक या लेखक है, किसी भी लाइब्रेरी या उत्पाद का दोष नहीं।
• यह शोध कोड है, जैसा है वैसा ही प्रदान किया गया और बिना किसी वारंटी के (देखें LICENSE)।
• Raspberry Pi, Raspberry Pi Ltd. का ट्रेडमार्क है। अन्य उत्पाद नाम उनके संबंधित स्वामियों के ट्रेडमार्क हैं।

लाइसेंस

Copyright 2026 securagen.ai P.C. कोड और हमारे परिणामों के लिए MIT; SQuAD-व्युत्पन्न डेटा, SQuAD पाठ और उत्पन्न उत्तरों वाली परिणाम फ़ाइलें CC BY-SA 4.0 बनी रहती हैं; विवरण और अन्य डेटासेट और मॉडलों की शर्तों के लिए LICENSE और DATA_LICENSES.md देखें।