CyberRAG — 基于网络安全笔记和书籍的 100% 本地 RAG(Ollama):混合检索、带引用的回答、分阶段渗透测试助手和重建索引监控器。无重型框架。
RAG(检索增强生成) 系统,用于以自然语言查询你的网络安全笔记(Obsidian vault、HTB writeups、笔记)。 一切都在你的机器上运行:嵌入和生成使用本地 Ollama,没有任何数据离开你的网络。而且不用 langchain:每个组件都是自己编写的、易于理解的代码。
完整技术文档 →
docs/ARQUITECTURA.md涵盖底层概念(RAG、嵌入、混合搜索、公平分配、rerank)、分层架构、格式提取、增量索引、知识空间和计算能力。分阶段渗透测试助手 →
docs/ASISTENTE-PENTEST.md按阶段(侦察 / 枚举 / 利用 / 提权 / 后渗透 / 报告)和向量(web、SMB、AD、Linux、Windows……)的 HTB 导师,带有帮助级别(empuja/explica/directo),让你手动理解而不靠自动驾驶,还有机器状态字段用于粘贴你的端口/服务。专为授权的攻击性工作 + ISO 27001 报告而设计。架构报告(面向 L2/学徒)→
docs/INFORME-ARQUITECTURA.md一次阅读即可获得全貌:它是什么、内部如何构建以及如何使用,外加一个 20 分钟内讲授它的计划。服务器 Runbook →
docs/RUNBOOK-SERVIDOR.md主机运维:不可协商的规则、网络/防火墙、xRDP/faillock 以及 GPU 恢复(Xid 31)。重建索引监视器 →
web/monitor.py(浏览器中的仪表板:进度、速率、ETA、GPU 和实时模型,不占用 GPU)。
numpy + Ollama 的 HTTP API。Tus documentos (.md/.txt/.log)
│
▼
┌────────────┐ chunking con solape ┌──────────────────┐
│ Chunks │ ─────────────────────▶ │ Embeddings │
│ (pedazos) │ │ nomic-embed-text│
└────────────┘ └────────┬─────────┘
▼
┌──────────────┐
│ Índice .npz │ (output/indice.npz)
└──────┬───────┘
┌───────────────────────┘
▼
Pregunta ───▶ vector ──▶ similitud coseno ──▶ top-k chunks
│
▼
Respuesta ◀── generación con contexto ◀───────────┘
(qwen2.5-coder / mistral, local)
RAG 的 3 个组成部分:
search_document: )进行向量化,以提高搜索时
embedding 的质量。nomic-embed-text
的 embedding,本地运行)。面对一个问题(以 search_query: 向量化),
你检索与词法词语匹配相结合的余弦相似度最高的块(混合搜索)。
仅靠余弦相似度不足以应对比较类问题;词法成分能找回包含这些术语的
确切块。127.0.0.1:11434nomic-embed-text 模型(setup.sh 会自动下载)qwen2.5-coder:7b。它负责回答
理论内容(引用 ISO/书籍)以及实验室(HTB)的攻击性主题,且不会
拒绝。可通过环境变量 RAG_CHAT_MODEL 在不修改代码的情况下更改
(例如 RAG_CHAT_MODEL=llama3.1:8b rag web 用于精细的理论性散文——尽管
面对攻击性内容时会自我限制;mistral:latest 引用良好但有时会粘贴原始上下文)。pdftotext(poppler-utils),如果你想索引 PDF./setup.sh
# Indexar los documentos de ejemplo en document[o]s/
python3 rag_ollama.py index
# Indexar otra carpeta (ej.: tu vault de Obsidian) — en vivo, sin copiar
python3 rag_ollama.py --docs-dir ~/vault index
# Preguntar (usá SIEMPRE el mismo --docs-dir que el index)
python3 rag_ollama.py --docs-dir ~/vault ask "¿Qué flag de hashcat crackea un hash ASREProast?"
# Chat continuo contra tu base — sin repetir el comando
python3 rag_ollama.py --docs-dir ~/vault interactive
# Estadísticas del índice
python3 rag_ollama.py stats
此机器上还有别名 rag,它维护两个知识空间:你的笔记(vault)和精选书籍库(libros)。
rag "pregunta sobre tus apuntes" # espacio vault (default)
rag libros "pregunta sobre libros" # espacio libros (PDFs curados)
rag --rerank "pregunta" # con reranker local (reordena fuentes)
rag chat # modo interactivo (vault)
rag chat libros # modo interactivo (libros)
rag index # reindexar VAULT (incremental: rápido)
rag index libros # reindexar libros (tarda minutos)
rag stats # estado del índice del vault
rag analizar # dupes + solapamiento + temas (vault)
rag fuentes "término" # en qué documentos aparece el término
两个空间分别保存在 output/indices/indice_<espacio>.npz 中,彼此不会覆盖。
rag web # → http://localhost:8787 (alias local en /etc/hosts)
# o: RAG_HOST=0.0.0.0 rag web para exponerlo a la LAN (con UFW)
UI(纯 Python 标准库服务器,零依赖)提供:
.md/.pdf。02-redhat-security-rh342.pdf)会以其人类可读的标题显示和引用(“Red Hat RH342 — Security: hardening de servidores”);提示词要求模型为每个观点标注来源。biblioteca)、书籍(biblioteca-libros)或 todo(两者合并,默认值)之间切换。在 todo 模式下,搜索会在两个索引之间分配配额——一个拥有大量 chunk 的空间(约 138k 本书)不会压垮较小的空间(581 条笔记)——并且每个来源都会标注其出处(📚 书籍 / 📝 笔记)。web/web.py(API + static)、web/index.html、web/style.css、web/app.js——全部可热编辑。libros)biblioteca-libros/ 是指向 <biblioteca-libros>/ 的符号链接(资料卷:237 个 PDF、O'Reilly/Unix 的 HTML 库以及 EPUB)。
cargar_documentos 除了 PDF 之外,还会索引按书籍文件夹分组的 HTML(一个 O'Reilly 库是同一本书的数百个 .htm → 它们会被拼接成单个文档)以及 EPUB;按文本哈希去重(卷中的 unix-library/OReilly 和 oreilly-library 副本是同一套合集)。
索引通过以下方式重建:
rag index libros
注意:
biblioteca-libros/是本机上的一个本地符号链接(指向<biblioteca-libros>/),因此它在 git 中被忽略。UI 截图 放在docs/capturas/中(使用 flameshot 截取)。
$ python3 rag_ollama.py --docs-dir ~/vault \
ask "¿Qué flag de hashcat se usa para crackear un hash ASREProast?"
Seleccioné 5 fragmentos de contexto:
[0.732] 01-htb/ad-shadowgate/ensena-adc-esc8.md
[0.716] 01-htb/ad-shadowgate/ensena-adc-esc8.md
[0.706] 02-apuntes/kerberos-asreproast.md
...
El flag de hashcat usado para crackear hashes ASREProast es `-m 18200`.
rag-seguridad/
├── rag_ollama.py # El RAG completo (sin langchain, ~1300 líneas)
├── web/ # UI web local (stdlib, sin dependencias)
│ ├── web.py # API + servidor HTTP
│ ├── index.html # interfaz de chat
│ ├── style.css # estilos
│ └── app.js # lógica del navegador
├── setup.sh # Verifica Ollama + modelo + instala numpy
├── requirements.txt # Solo numpy
├── document[o]s/ # Tus documentos (indexá la carpeta que quieras)
│ ├── notas/ # apuntes
│ ├── writeups/ # resoluciones HTB
│ ├── tools/ # fichas de herramientas
│ ├── frameworks/ # MITRE ATT&CK, kill chain
│ └── playbooks/ # procedimientos
└── output/ # Índices por espacio (indices/, git-ignored)
rag_ollama.py 中)| 变量 | 默认值 | 作用 |
|---|---|---|
CHAT_MODEL | qwen2.5-coder:7b | 生成回答的模型(环境变量 RAG_CHAT_MODEL) |
EMBED_MODEL | nomic-embed-text | 向量模型 |
CHUNK_SIZE | 512 | 每个文档片段的长度 |
CHUNK_OVERLAP | 50 | 相邻片段之间共享的字符数 |
k_results(在 buscar() 中) | 5 | 用作上下文的片段数量 |
peso_sem / peso_lex | 0.6 / 0.4 | 语义与精确词语之间的权重平衡 |
增量索引 — 索引会保存每个文档的 mtime。重新索引时,只对新文件或已修改的文件重新嵌入;其余向量原样复用。编辑一条笔记并运行 rag index 现在只需几秒钟。
本地重排序器 — rag --rerank "问题" 让聊天模型按相关性对检索到的候选进行排序(临时拼凑的 cross-encoder,无需新增依赖)。检索 10 个,模型挑选最有用的 5 个。如果模型失败,则返回原始顺序:绝不会破坏回答。
索引分析器 — rag analizar 审计你的数据库:重复片段(同一文件被索引两次)、文件之间的重叠(多处重复的信息),以及通过对嵌入做 k-means 得到的 N 个主导主题。发布前很有用:检测冗余笔记并展示空间的连贯性。全部使用纯 numpy,无需 sklearn。
扫描版 PDF 的 OCR — 当 pdftotext 几乎返回不了内容(<200 字符)时,提取器会尝试用 tesseract -l spa+eng 进行 OCR(pdftoppm 转 PNG 200dpi)。仅适用于图像型 PDF:已有文本层的文件不会被处理。