CyberRAG — RAG 100% local (Ollama) sobre apuntes y livros de cibersegurança: recuperação híbrida, respostas com citações, assistente de pentest por fases e monitor de reindexação. Sem frameworks pesados.
Sistema RAG (Retrieval-Augmented Generation) para consultar suas notas de cibersegurança (vault Obsidian, writeups HTB, anotações) com linguagem natural. Tudo roda na sua máquina: embeddings e geração usam Ollama local, sem nenhum dado que saia da sua rede. E sem langchain: cada peça é código próprio compreensível.
Documentação técnica completa →
docs/ARQUITECTURA.mdCobre os conceitos de fundo (RAG, embeddings, busca híbrida, reparto justo, rerank), a arquitetura por camadas, a extração de formatos, o índice incremental, os espaços de conhecimento e a capacidade de computação.Assistente de pentest por fases →
docs/ASISTENTE-PENTEST.mdMentor de HTB por fase (Recon / Enumeração / Exploração / Privesc / Post / Relatório) e vetor (web, SMB, AD, Linux, Windows…), com nível de ajuda (empuja/explica/directo) para entender manualmente sem piloto automático, e campo de estado da máquina para colar suas portas/serviços. Pensado para trabalho ofensivo autorizado + relatório ISO 27001.Relatório de arquitetura (para L2/aprendiz) →
docs/INFORME-ARQUITECTURA.mdPanorama em uma única leitura: o que é, como está montado por dentro e como se usa, mais um plano para ensiná-lo em 20 minutos.Runbook do servidor →
docs/RUNBOOK-SERVIDOR.mdOperação do host: regras não negociáveis, rede/firewall, xRDP/faillock e recuperação da GPU (Xid 31).Monitor do reindex →
web/monitor.py(dashboard no navegador: progresso, ritmo, ETA, GPU e modelos ao vivo, sem tocar na GPU).
numpy + a API HTTP do Ollama.Tus documentos (.md/.txt/.log)
│
▼
┌────────────┐ chunking con solape ┌──────────────────┐
│ Chunks │ ─────────────────────▶ │ Embeddings │
│ (pedazos) │ │ nomic-embed-text│
└────────────┘ └────────┬─────────┘
▼
┌──────────────┐
│ Índice .npz │ (output/indice.npz)
└──────┬───────┘
┌───────────────────────┘
▼
Pregunta ───▶ vector ──▶ similitud coseno ──▶ top-k chunks
│
▼
Respuesta ◀── generación con contexto ◀───────────┘
(qwen2.5-coder / mistral, local)
As 3 peças do RAG:
search_document: ) que aumenta a
qualidade do embedding na busca.nomic-embed-text, local). Diante de uma pergunta (vetorizada como
search_query: ), vocês buscam os chunks com maior similaridade de cosseno combinada
com correspondência léxica de palavras (busca híbrida). O cosseno sozinho não
é suficiente para perguntas de comparação; o componente léxico resgata o chunk
exato onde estão os termos.127.0.0.1:11434nomic-embed-text (setup.sh o baixa automaticamente)qwen2.5-coder:7b. É o que responde a
teoria (citando ISO/livros) E os temas ofensivos de laboratórios (HTB) sem
se recusar. Alterável sem tocar no código com a env var RAG_CHAT_MODEL
(p. ex. RAG_CHAT_MODEL=llama3.1:8b rag web para prosa teórica refinada — embora
com conteúdo ofensivo se autorrestrinja; mistral:latest cita bem mas às
vezes cola contexto bruto).pdftotext (poppler-utils) se quiser indexar PDFs./setup.sh
# Indexar los documentos de ejemplo en document[o]s/
python3 rag_ollama.py index
# Indexar otra carpeta (ej.: tu vault de Obsidian) — en vivo, sin copiar
python3 rag_ollama.py --docs-dir ~/vault index
# Preguntar (usá SIEMPRE el mismo --docs-dir que el index)
python3 rag_ollama.py --docs-dir ~/vault ask "¿Qué flag de hashcat crackea un hash ASREProast?"
# Chat continuo contra tu base — sin repetir el comando
python3 rag_ollama.py --docs-dir ~/vault interactive
# Estadísticas del índice
python3 rag_ollama.py stats
Neste equipamento há também o alias rag, que mantém dois espaços de
conhecimento: as tuas notas (vault) e a biblioteca curada de livros (libros).
rag "pregunta sobre tus apuntes" # espacio vault (default)
rag libros "pregunta sobre libros" # espacio libros (PDFs curados)
rag --rerank "pregunta" # con reranker local (reordena fuentes)
rag chat # modo interactivo (vault)
rag chat libros # modo interactivo (libros)
rag index # reindexar VAULT (incremental: rápido)
rag index libros # reindexar libros (tarda minutos)
rag stats # estado del índice del vault
rag analizar # dupes + solapamiento + temas (vault)
rag fuentes "término" # en qué documentos aparece el término
Os dois espaços são salvos em output/indices/indice_<espacio>.npz e não se
sobrescrevem entre si.
rag web # → http://localhost:8787 (alias local en /etc/hosts)
# o: RAG_HOST=0.0.0.0 rag web para exponerlo a la LAN (con UFW)
La UI (servidor puro de la stdlib de Python, cero dependencias) ofrece:
.md/.pdf citados.02-redhat-security-rh342.pdf) se muestran y citan por su título humano
("Red Hat RH342 — Security: hardening de servidores"); el prompt le pide al
modelo citar la fuente de cada idea.biblioteca), libros
(biblioteca-libros) o todo (ambos combinados, el default). En modo
todo la búsqueda reparte la cuota entre los dos índices — un espacio con
muchos chunks (~138k libros) no aplasta al chico (581 apuntes) — y cada fuente
se etiqueta con su procedencia (📚 libro / 📝 apunte).web/web.py (API + static), web/index.html, web/style.css,
web/app.js — todo editable en caliente.