CyberRAG — полностью локальный RAG (Ollama) по конспектам и книгам по кибербезопасности: гибридный поиск, ответы со ссылками на источники, ассистент по пентесту по фазам и монитор переиндексации. Без тяжёлых фреймворков.
Система RAG (Retrieval-Augmented Generation) для запросов к вашим заметкам по кибербезопасности (хранилище Obsidian, writeups HTB, конспекты) на естественном языке. Всё работает на вашей машине: эмбеддинги и генерация используют локальный Ollama, без каких-либо данных, покидающих вашу сеть. И без langchain: каждый компонент — собственный понятный код.
Полная техническая документация →
docs/ARQUITECTURA.mdОхватывает базовые концепции (RAG, эмбеддинги, гибридный поиск, справедливое распределение, rerank), многоуровневую архитектуру, извлечение из форматов, инкрементальный индекс, пространства знаний и вычислительные возможности.Ассистент пентеста по фазам →
docs/ASISTENTE-PENTEST.mdНаставник по HTB по фазам (Recon / Перечисление / Эксплуатация / Privesc / Post / Отчёт) и по векторам (web, SMB, AD, Linux, Windows…), с уровнем помощи (empuja/explica/directo), чтобы понимать вручную без автопилота, и полем состояния машины для вставки ваших портов/сервисов. Рассчитан на авторизованную наступательную работу + отчётность ISO 27001.Отчёт по архитектуре (для L2/стажёра) →
docs/INFORME-ARQUITECTURA.mdОбзор за одно чтение: что это, как устроено изнутри и как используется, плюс план, как объяснить это за 20 минут.Runbook сервера →
docs/RUNBOOK-SERVIDOR.mdЭксплуатация хоста: непреложные правила, сеть/файрвол, xRDP/faillock и восстановление GPU (Xid 31).Монитор реиндексации →
web/monitor.py(дашборд в браузере: прогресс, темп, ETA, GPU и модели в реальном времени, без нагрузки на GPU).
numpy + HTTP API Ollama.Tus documentos (.md/.txt/.log)
│
▼
┌────────────┐ chunking con solape ┌──────────────────┐
│ Chunks │ ─────────────────────▶ │ Embeddings │
│ (pedazos) │ │ nomic-embed-text│
└────────────┘ └────────┬─────────┘
▼
┌──────────────┐
│ Índice .npz │ (output/indice.npz)
└──────┬───────┘
┌───────────────────────┘
▼
Pregunta ───▶ vector ──▶ similitud coseno ──▶ top-k chunks
│
▼
Respuesta ◀── generación con contexto ◀───────────┘
(qwen2.5-coder / mistral, local)
Три части RAG:
search_document: ), что повышает
качество эмбеддинга при поиске.nomic-embed-text, локально). При запросе (векторизуется как
search_query: ) ищутся чанки с наибольшим косинусным сходством в сочетании
с лексическим совпадением слов (гибридный поиск). Одного косинуса
недостаточно для сравнительных вопросов; лексический компонент вытаскивает точный
чанк, где находятся термины.127.0.0.1:11434nomic-embed-text (setup.sh скачивает её автоматически)qwen2.5-coder:7b. Именно она отвечает на
теорию (цитируя ISO/книги) И на офенсивные темы лабораторий (HTB), не
отказываясь. Меняется без правки кода через env-переменную RAG_CHAT_MODEL
(например, RAG_CHAT_MODEL=llama3.1:8b rag web для тонкой теоретической прозы — хотя
с офенсивным контентом она самоограничивается; mistral:latest хорошо цитирует, но
иногда вставляет сырой контекст).pdftotext (poppler-utils), если хотите индексировать PDF./setup.sh
# Indexar los documentos de ejemplo en document[o]s/
python3 rag_ollama.py index
# Indexar otra carpeta (ej.: tu vault de Obsidian) — en vivo, sin copiar
python3 rag_ollama.py --docs-dir ~/vault index
# Preguntar (usá SIEMPRE el mismo --docs-dir que el index)
python3 rag_ollama.py --docs-dir ~/vault ask "¿Qué flag de hashcat crackea un hash ASREProast?"
# Chat continuo contra tu base — sin repetir el comando
python3 rag_ollama.py --docs-dir ~/vault interactive
# Estadísticas del índice
python3 rag_ollama.py stats
На этом компьютере также есть алиас rag, который поддерживает два пространства знаний: ваши заметки (vault) и курируемую библиотеку книг (libros).
rag "pregunta sobre tus apuntes" # espacio vault (default)
rag libros "pregunta sobre libros" # espacio libros (PDFs curados)
rag --rerank "pregunta" # con reranker local (reordena fuentes)
rag chat # modo interactivo (vault)
rag chat libros # modo interactivo (libros)
rag index # reindexar VAULT (incremental: rápido)
rag index libros # reindexar libros (tarda minutos)
rag stats # estado del índice del vault
rag analizar # dupes + solapamiento + temas (vault)
rag fuentes "término" # en qué documentos aparece el término
Оба пространства сохраняются в output/indices/indice_<espacio>.npz и не перезаписывают друг друга.
rag web # → http://localhost:8787 (alias local en /etc/hosts)
# o: RAG_HOST=0.0.0.0 rag web para exponerlo a la LAN (con UFW)
UI (чистый сервер на стандартной библиотеке Python, без зависимостей) предлагает: