CyberRAG — RAG 100% locale (Ollama) su appunti e libri di cybersecurity: recupero ibrido, risposte con citazioni, assistente di pentest per fasi e monitor di reindicizzazione. Senza framework pesanti.
Sistema RAG (Retrieval-Augmented Generation) per consultare le tue note di cybersicurezza (vault Obsidian, writeup HTB, appunti) con linguaggio naturale. Tutto gira sulla tua macchina: embeddings e generazione usano Ollama locale, senza nessun dato che esca dalla tua rete. E senza langchain: ogni pezzo è codice proprio comprensibile.
Documentazione tecnica completa →
docs/ARQUITECTURA.mdCopre i concetti di fondo (RAG, embeddings, ricerca ibrida, ripartizione equa, rerank), l'architettura a livelli, l'estrazione dei formati, l' indice incrementale, gli spazi di conoscenza e la capacità di calcolo.Assistente di pentest per fasi →
docs/ASISTENTE-PENTEST.mdMentore di HTB per fase (Recon / Enumerazione / Sfruttamento / Privesc / Post / Report) e vettore (web, SMB, AD, Linux, Windows…), con livello di aiuto (spingi/spiega/diretto) per capire manualmente senza autopilota, e campo di stato macchina per incollare le tue porte/servizi. Pensato per lavoro offensivo autorizzato + report ISO 27001.Report di architettura (per L2/apprendista) →
docs/INFORME-ARQUITECTURA.mdPanoramica in una sola lettura: cos'è, come è costruito internamente e come si usa, più un piano per insegnarlo in 20 minuti.Runbook del server →
docs/RUNBOOK-SERVIDOR.mdOperatività dell'host: regole non negoziabili, rete/firewall, xRDP/faillock e recupero della GPU (Xid 31).Monitor del reindex →
web/monitor.py(dashboard nel browser: progresso, ritmo, ETA, GPU e modelli in tempo reale, senza toccare la GPU).
numpy + l'API HTTP di Ollama.Tus documentos (.md/.txt/.log)
│
▼
┌────────────┐ chunking con solape ┌──────────────────┐
│ Chunks │ ─────────────────────▶ │ Embeddings │
│ (pedazos) │ │ nomic-embed-text│
└────────────┘ └────────┬─────────┘
▼
┌──────────────┐
│ Índice .npz │ (output/indice.npz)
└──────┬───────┘
┌───────────────────────┘
▼
Pregunta ───▶ vector ──▶ similitud coseno ──▶ top-k chunks
│
▼
Respuesta ◀── generación con contexto ◀───────────┘
(qwen2.5-coder / mistral, local)
Le 3 parti del RAG:
search_document: ) che aumenta la
qualità dell'embedding nella ricerca.nomic-embed-text, locale). Data una domanda (vettorizzata come
search_query: ), cercate i chunk con maggiore similarità coseno combinata
con la corrispondenza lessicale delle parole (ricerca ibrida). Il coseno da solo non
basta per le domande di confronto; la componente lessicale recupera il chunk
esatto in cui si trovano i termini.127.0.0.1:11434nomic-embed-text (setup.sh lo scarica automaticamente)qwen2.5-coder:7b. È quello che risponde alla
teoria (citando ISO/libri) E ai temi offensivi dei laboratori (HTB) senza
rifiutarsi. Modificabile senza toccare il codice con la variabile d'ambiente RAG_CHAT_MODEL
(ad es. RAG_CHAT_MODEL=llama3.1:8b rag web per prosa teorica raffinata — anche se
con contenuti offensivi si autolimita; mistral:latest cita bene ma a
volte incolla contesto grezzo).pdftotext (poppler-utils) se volete indicizzare PDF./setup.sh
# Indexar los documentos de ejemplo en document[o]s/
python3 rag_ollama.py index
# Indexar otra carpeta (ej.: tu vault de Obsidian) — en vivo, sin copiar
python3 rag_ollama.py --docs-dir ~/vault index
# Preguntar (usá SIEMPRE el mismo --docs-dir que el index)
python3 rag_ollama.py --docs-dir ~/vault ask "¿Qué flag de hashcat crackea un hash ASREProast?"
# Chat continuo contra tu base — sin repetir el comando
python3 rag_ollama.py --docs-dir ~/vault interactive
# Estadísticas del índice
python3 rag_ollama.py stats
Su questa macchina è inoltre presente l'alias rag, che mantiene due spazi di
conoscenza: i tuoi appunti (vault) e la libreria curata di libri (libros).
rag "pregunta sobre tus apuntes" # espacio vault (default)
rag libros "pregunta sobre libros" # espacio libros (PDFs curados)
rag --rerank "pregunta" # con reranker local (reordena fuentes)
rag chat # modo interactivo (vault)
rag chat libros # modo interactivo (libros)
rag index # reindexar VAULT (incremental: rápido)
rag index libros # reindexar libros (tarda minutos)
rag stats # estado del índice del vault
rag analizar # dupes + solapamiento + temas (vault)
rag fuentes "término" # en qué documentos aparece el término
I due spazi vengono salvati in output/indices/indice_<espacio>.npz e non si
sovrascrivono a vicenda.
rag web # → http://localhost:8787 (alias local en /etc/hosts)
# o: RAG_HOST=0.0.0.0 rag web para exponerlo a la LAN (con UFW)
La UI (server puro de la stdlib de Python, cero dependencias) ofrece: