CyberRAG — RAG 100 % local (Ollama) sur des notes et des livres de cybersécurité : récupération hybride, réponses avec citations, assistant de pentest par phases et moniteur de réindexation. Sans frameworks lourds.
Système RAG (Retrieval-Augmented Generation) pour interroger tes notes de cybersécurité (vault Obsidian, writeups HTB, notes) en langage naturel. Tout tourne sur ta machine : les embeddings et la génération utilisent Ollama en local, sans aucune donnée qui sorte de ton réseau. Et sans langchain : chaque pièce est du code propre compréhensible.
Documentation technique complète →
docs/ARQUITECTURA.mdCouvre les concepts de fond (RAG, embeddings, recherche hybride, répartition équitable, rerank), l'architecture par couches, l'extraction de formats, l' index incrémental, les espaces de connaissance et la capacité de calcul.Assistant de pentest par phases →
docs/ASISTENTE-PENTEST.mdMentor HTB par phase (Recon / Énumération / Exploitation / Privesc / Post / Rapport) et par vecteur (web, SMB, AD, Linux, Windows…), avec niveau d'aide (empuja/explica/directo) pour comprendre manuellement sans pilote automatique, et un champ d'état de machine pour coller tes ports/services. Pensé pour le travail offensif autorisé + rapport ISO 27001.Rapport d'architecture (pour L2/apprenti) →
docs/INFORME-ARQUITECTURA.mdPanorama en une seule lecture : ce que c'est, comment c'est assemblé à l'intérieur et comment on l'utilise, plus un plan pour l'enseigner en 20 minutes.Runbook du serveur →
docs/RUNBOOK-SERVIDOR.mdExploitation de l'hôte : règles non négociables, réseau/pare-feu, xRDP/faillock et récupération du GPU (Xid 31).Moniteur du reindex →
web/monitor.py(dashboard dans le navigateur : progression, rythme, ETA, GPU et modèles en direct, sans toucher au GPU).
numpy + l'API HTTP d'Ollama.Tus documentos (.md/.txt/.log)
│
▼
┌────────────┐ chunking con solape ┌──────────────────┐
│ Chunks │ ─────────────────────▶ │ Embeddings │
│ (pedazos) │ │ nomic-embed-text│
└────────────┘ └────────┬─────────┘
▼
┌──────────────┐
│ Índice .npz │ (output/indice.npz)
└──────┬───────┘
┌───────────────────────┘
▼
Pregunta ───▶ vector ──▶ similitud coseno ──▶ top-k chunks
│
▼
Respuesta ◀── generación con contexto ◀───────────┘
(qwen2.5-coder / mistral, local)
Les 3 pièces du RAG :
search_document: ) qui augmente la
qualité de l'embedding lors de la recherche.nomic-embed-text, local). Face à une question (vectorisée comme
search_query: ), vous cherchez les chunks avec la plus grande similarité cosinus combinée
avec une correspondance lexicale des mots (recherche hybride). Le cosinus seul ne
suffit pas pour les questions de comparaison ; le composant lexical récupère le chunk
exact où se trouvent les termes.127.0.0.1:11434nomic-embed-text (setup.sh le télécharge automatiquement)qwen2.5-coder:7b. C'est celui qui répond à la
théorie (en citant ISO/livres) ET aux sujets offensifs de laboratoires (HTB) sans
refuser. Modifiable sans toucher au code avec la variable d'environnement RAG_CHAT_MODEL
(p. ex. RAG_CHAT_MODEL=llama3.1:8b rag web pour une prose théorique fine — bien que
avec du contenu offensif il s'autorestreint ; mistral:latest cite bien mais
parfois colle du contexte brut).pdftotext (poppler-utils) si vous voulez indexer des PDFs./setup.sh
# Indexar los documentos de ejemplo en document[o]s/
python3 rag_ollama.py index
# Indexar otra carpeta (ej.: tu vault de Obsidian) — en vivo, sin copiar
python3 rag_ollama.py --docs-dir ~/vault index
# Preguntar (usá SIEMPRE el mismo --docs-dir que el index)
python3 rag_ollama.py --docs-dir ~/vault ask "¿Qué flag de hashcat crackea un hash ASREProast?"
# Chat continuo contra tu base — sin repetir el comando
python3 rag_ollama.py --docs-dir ~/vault interactive
# Estadísticas del índice
python3 rag_ollama.py stats
Sur cette machine, il existe également l'alias rag, qui maintient deux espaces de connaissance : tes notes (vault) et la bibliothèque curatée de livres (libros).
rag "pregunta sobre tus apuntes" # espacio vault (default)
rag libros "pregunta sobre libros" # espacio libros (PDFs curados)
rag --rerank "pregunta" # con reranker local (reordena fuentes)
rag chat # modo interactivo (vault)
rag chat libros # modo interactivo (libros)
rag index # reindexar VAULT (incremental: rápido)
rag index libros # reindexar libros (tarda minutos)
rag stats # estado del índice del vault
rag analizar # dupes + solapamiento + temas (vault)
rag fuentes "término" # en qué documentos aparece el término
Les deux espaces sont enregistrés dans output/indices/indice_<espacio>.npz et ne s'écrasent pas mutuellement.
rag web # → http://localhost:8787 (alias local en /etc/hosts)
# o: RAG_HOST=0.0.0.0 rag web para exponerlo a la LAN (con UFW)
L'interface (serveur pur de la stdlib de Python, zéro dépendance) offre :