
CyberRAG — साइबर सुरक्षा नोट्स और पुस्तकों पर 100% स्थानीय RAG (Ollama): हाइब्रिड रिट्रीवल, उद्धरणों के साथ उत्तर, चरण-वार पेंटेस्ट सहायक और रीइंडेक्स मॉनिटर। कोई भारी फ्रेमवर्क नहीं।
आपके साइबरसुरक्षा नोट्स (Obsidian vault, HTB writeups, टिप्पणियाँ) को प्राकृतिक भाषा में पूछताछ करने के लिए RAG (Retrieval-Augmented Generation) प्रणाली। सब कुछ आपकी मशीन पर चलता है: embeddings और generation स्थानीय Ollama का उपयोग करते हैं, आपके नेटवर्क से कोई डेटा बाहर नहीं जाता। और langchain के बिना: प्रत्येक भाग अपना समझने योग्य कोड है।
पूर्ण तकनीकी दस्तावेज़ीकरण →
docs/ARQUITECTURA.mdमूल अवधारणाओं (RAG, embeddings, हाइब्रिड खोज, उचित वितरण, rerank), स्तरित आर्किटेक्चर, प्रारूप निष्कर्षण, वृद्धिशील सूचकांक, ज्ञान स्थान और कंप्यूट क्षमता को कवर करता है।चरणों द्वारा पेंटेस्ट सहायक →
docs/ASISTENTE-PENTEST.mdचरण (Recon / Enumeration / Exploitation / Privesc / Post / Report) और वेक्टर (web, SMB, AD, Linux, Windows…) के अनुसार HTB मेंटर, सहायता स्तर (empuja/explica/directo) के साथ ताकि ऑटोपायलट के बिना मैन्युअल रूप से समझ सकें, और अपने पोर्ट/सेवाएँ पेस्ट करने के लिए मशीन स्थिति फ़ील्ड। अधिकृत आक्रामक कार्य + ISO 27001 रिपोर्ट के लिए डिज़ाइन किया गया।आर्किटेक्चर रिपोर्ट (L2/शिक्षार्थी के लिए) →
docs/INFORME-ARQUITECTURA.mdएक ही पठन में अवलोकन: यह क्या है, अंदर से कैसे बना है और इसका उपयोग कैसे करें, साथ ही इसे 20 मिनट में सिखाने की योजना।सर्वर रनबुक →
docs/RUNBOOK-SERVIDOR.mdहोस्ट का संचालन: अपरिवर्तनीय नियम, नेटवर्क/फ़ायरवॉल, xRDP/faillock और GPU की रिकवरी (Xid 31)।रीइंडेक्स मॉनिटर →
web/monitor.py(ब्राउज़र में डैशबोर्ड: प्रगति, गति, ETA, GPU और मॉडल लाइव, GPU को छुए बिना)।
numpy + Ollama का HTTP API।Tus documentos (.md/.txt/.log)
│
▼
┌────────────┐ chunking con solape ┌──────────────────┐
│ Chunks │ ─────────────────────▶ │ Embeddings │
│ (pedazos) │ │ nomic-embed-text│
└────────────┘ └────────┬─────────┘
▼
┌──────────────┐
│ Índice .npz │ (output/indice.npz)
└──────┬───────┘
┌───────────────────────┘
▼
Pregunta ───▶ vector ──▶ similitud coseno ──▶ top-k chunks
│
▼
Respuesta ◀── generación con contexto ◀───────────┘
(qwen2.5-coder / mistral, local)
RAG के 3 भाग:
search_document: ) के साथ वेक्टराइज़ किया जाता है जो खोज में
एम्बेडिंग की गुणवत्ता बढ़ाता है।nomic-embed-text का
एम्बेडिंग, स्थानीय)। किसी प्रश्न पर (search_query: के रूप में
वेक्टराइज़्ड), आप उन चंक्स को खोजते हैं जिनमें सबसे अधिक कोसाइन समानता हो, साथ में शब्दों के
शाब्दिक मिलान (हाइब्रिड खोज) का संयोजन। केवल कोसाइन तुलनात्मक प्रश्नों के लिए
पर्याप्त नहीं है; शाब्दिक घटक उस सटीक चंक को बचा लेता है जहाँ शब्द हैं।127.0.0.1:11434 पर चल रहा होnomic-embed-text (setup.sh इसे स्वचालित रूप से डाउनलोड करता है)qwen2.5-coder:7b। यही वह मॉडल है जो
सिद्धांत (ISO/किताबों का हवाला देते हुए) और प्रयोगशालाओं (HTB) के आक्रामक विषयों का
इनकार किए बिना उत्तर देता है। कोड बदले बिना env var RAG_CHAT_MODEL से बदला जा सकता है
(जैसे RAG_CHAT_MODEL=llama3.1:8b rag web बारीक सैद्धांतिक गद्य के लिए — हालाँकि
आक्रामक सामग्री के साथ यह स्वयं को सीमित कर लेता है; mistral:latest अच्छी तरह हवाला देता है लेकिन कभी-कभी
कच्चा संदर्भ चिपका देता है)।pdftotext (poppler-utils) यदि आप PDFs को इंडेक्स करना चाहते हैं./setup.sh
# Indexar los documentos de ejemplo en document[o]s/
python3 rag_ollama.py index
# Indexar otra carpeta (ej.: tu vault de Obsidian) — en vivo, sin copiar
python3 rag_ollama.py --docs-dir ~/vault index
# Preguntar (usá SIEMPRE el mismo --docs-dir que el index)
python3 rag_ollama.py --docs-dir ~/vault ask "¿Qué flag de hashcat crackea un hash ASREProast?"
# Chat continuo contra tu base — sin repetir el comando
python3 rag_ollama.py --docs-dir ~/vault interactive
# Estadísticas del índice
python3 rag_ollama.py stats
इस मशीन पर rag नाम का उपनाम भी है, जो ज्ञान के दो स्थान रखता है: आपके नोट्स (vault) और पुस्तकों की क्यूरेटेड लाइब्रेरी (libros)।
rag "pregunta sobre tus apuntes" # espacio vault (default)
rag libros "pregunta sobre libros" # espacio libros (PDFs curados)
rag --rerank "pregunta" # con reranker local (reordena fuentes)
rag chat # modo interactivo (vault)
rag chat libros # modo interactivo (libros)
rag index # reindexar VAULT (incremental: rápido)
rag index libros # reindexar libros (tarda minutos)
rag stats # estado del índice del vault
rag analizar # dupes + solapamiento + temas (vault)
rag fuentes "término" # en qué documentos aparece el término
दोनों स्पेस output/indices/indice_<espacio>.npz में सहेजे जाते हैं और एक-दूसरे को अधिलेखित नहीं करते।
rag web # → http://localhost:8787 (alias local en /etc/hosts)
# o: RAG_HOST=0.0.0.0 rag web para exponerlo a la LAN (con UFW)
UI (शुद्ध Python stdlib सर्वर, शून्य निर्भरताएँ) प्रदान करता है:
.md/.pdf।02-redhat-security-rh342.pdf) अपने मानवीय शीर्षक से प्रदर्शित और उद्धृत किए जाते हैं
("Red Hat RH342 — Security: सर्वर हार्डनिंग"); प्रॉम्प्ट मॉडल से प्रत्येक विचार का स्रोत उद्धृत करने के लिए कहता है।biblioteca), पुस्तकों
(biblioteca-libros) या todo (दोनों संयुक्त, डिफ़ॉल्ट) के बीच स्विच करते हैं। todo मोड में
खोज कोटा दोनों इंडेक्स के बीच वितरित करती है — बहुत अधिक चंक्स वाला स्पेस (~138k पुस्तकें) छोटे स्पेस (581 नोट्स) को कुचलता नहीं है — और प्रत्येक स्रोत
अपनी उत्पत्ति के साथ लेबल किया जाता है (📚 पुस्तक / 📝 नोट)।web/web.py (API + static), web/index.html, web/style.css,
web/app.js — सभी हॉट-एडिटेबल।