CyberRAG — 사이버보안 노트와 서적을 대상으로 하는 100% 로컬 RAG(Ollama): 하이브리드 검색, 출처 인용 답변, 단계별 펜테스트 어시스턴트, 재색인 모니터. 무거운 프레임워크 없음.
RAG(Retrieval-Augmented Generation) 시스템으로, 사이버보안 노트(Obsidian vault, HTB writeup, 필기)를 자연어로 조회할 수 있습니다. 모든 것이 당신의 머신에서 실행됩니다: 임베딩과 생성은 로컬 Ollama를 사용하며, 어떤 데이터도 당신의 네트워크를 벗어나지 않습니다. 그리고 langchain 없이: 각 구성 요소는 이해 가능한 자체 코드입니다.
전체 기술 문서 →
docs/ARQUITECTURA.md배경 개념(RAG, 임베딩, 하이브리드 검색, 공정 분배, rerank), 계층별 아키텍처, 형식 추출, 증분 인덱스, 지식 공간, 컴퓨팅 용량을 다룹니다.단계별 pentest 어시스턴트 →
docs/ASISTENTE-PENTEST.md단계별(Recon / 열거 / 익스플로잇 / Privesc / Post / 보고서) 및 벡터(web, SMB, AD, Linux, Windows…)별 HTB 멘토로, 도움 수준(empuja/explica/directo)을 통해 오토파일럿 없이 매뉴얼을 이해할 수 있으며, 포트/서비스를 붙여넣을 수 있는 머신 상태 필드가 있습니다. 승인된 공격 작업 + ISO 27001 보고서를 위해 설계되었습니다.아키텍처 보고서(L2/학습자용) →
docs/INFORME-ARQUITECTURA.md한 번의 읽기로 전체 개요: 무엇인지, 내부적으로 어떻게 구성되어 있는지, 어떻게 사용하는지, 그리고 20분 안에 가르치는 계획까지.서버 런북 →
docs/RUNBOOK-SERVIDOR.md호스트 운영: 협상 불가 규칙, 네트워크/방화벽, xRDP/faillock, GPU 복구(Xid 31).재인덱스 모니터 →
web/monitor.py(브라우저 대시보드: 진행률, 속도, ETA, GPU 및 모델 실시간 표시, GPU 부하 없이).
numpy + Ollama HTTP API만 사용합니다.Tus documentos (.md/.txt/.log)
│
▼
┌────────────┐ chunking con solape ┌──────────────────┐
│ Chunks │ ─────────────────────▶ │ Embeddings │
│ (pedazos) │ │ nomic-embed-text│
└────────────┘ └────────┬─────────┘
▼
┌──────────────┐
│ Índice .npz │ (output/indice.npz)
└──────┬───────┘
┌───────────────────────┘
▼
Pregunta ───▶ vector ──▶ similitud coseno ──▶ top-k chunks
│
▼
Respuesta ◀── generación con contexto ◀───────────┘
(qwen2.5-coder / mistral, local)
RAG의 3가지 구성 요소:
search_document: )와 함께 벡터화됩니다.nomic-embed-text의
임베딩, 로컬)로 저장됩니다. 질문이 들어오면(search_query: 로 벡터화됨)
코사인 유사도가 단어의 어휘적 일치와 결합된(하이브리드 검색) 청크를
찾습니다. 코사인만으로는 비교 질문에 충분하지 않으며, 어휘적 구성 요소가
용어가 정확히 위치한 청크를 구출해냅니다.127.0.0.1:11434에서 실행 중인 Ollamanomic-embed-text 모델 (setup.sh가 자동으로 다운로드합니다)qwen2.5-coder:7b입니다. 이 모델은 이론(ISO/책 인용)과
실습실(HTB)의 공격적 주제 모두를 거부하지 않고 응답합니다. 환경 변수
RAG_CHAT_MODEL로 코드를 건드리지 않고 변경할 수 있습니다
(예: 세련된 이론 산문을 위해 RAG_CHAT_MODEL=llama3.1:8b rag web — 다만
공격적 콘텐츠에서는 스스로 제한합니다; mistral:latest는 인용을 잘하지만
때때로 원시 컨텍스트를 그대로 붙여넣습니다).pdftotext (poppler-utils)./setup.sh
# Indexar los documentos de ejemplo en document[o]s/
python3 rag_ollama.py index
# Indexar otra carpeta (ej.: tu vault de Obsidian) — en vivo, sin copiar
python3 rag_ollama.py --docs-dir ~/vault index
# Preguntar (usá SIEMPRE el mismo --docs-dir que el index)
python3 rag_ollama.py --docs-dir ~/vault ask "¿Qué flag de hashcat crackea un hash ASREProast?"
# Chat continuo contra tu base — sin repetir el comando
python3 rag_ollama.py --docs-dir ~/vault interactive
# Estadísticas del índice
python3 rag_ollama.py stats
이 머신에는 또한 두 개의 지식 공간을 유지하는 rag 별칭이 있습니다: 당신의 노트(vault)와 큐레이션된 도서 라이브러리(libros)입니다.
rag "pregunta sobre tus apuntes" # espacio vault (default)
rag libros "pregunta sobre libros" # espacio libros (PDFs curados)
rag --rerank "pregunta" # con reranker local (reordena fuentes)
rag chat # modo interactivo (vault)
rag chat libros # modo interactivo (libros)
rag index # reindexar VAULT (incremental: rápido)
rag index libros # reindexar libros (tarda minutos)
rag stats # estado del índice del vault
rag analizar # dupes + solapamiento + temas (vault)
rag fuentes "término" # en qué documentos aparece el término
두 공간은 output/indices/indice_<espacio>.npz에 저장되며 서로 덮어쓰지 않습니다.
rag web # → http://localhost:8787 (alias local en /etc/hosts)
# o: RAG_HOST=0.0.0.0 rag web para exponerlo a la LAN (con UFW)
UI(순수 Python 표준 라이브러리 서버, 의존성 제로)는 다음을 제공합니다:
.md/.pdf.02-redhat-security-rh342.pdf)는 사람이 읽을 수 있는 제목
("Red Hat RH342 — Security: 서버 하드닝")으로 표시되고 인용됩니다. 프롬프트는
모델에게 각 아이디어의 출처를 인용하도록 요청합니다.biblioteca), 책
(biblioteca-libros) 또는 todo(둘 다 결합, 기본값) 사이를 전환합니다. todo
모드에서는 검색이 두 색인 사이에 할당량을 분배합니다 — 청크가 많은 공간
(~138k 책)이 작은 공간(581 노트)을 압도하지 않으며 — 각 출처는
출처(📚 책 / 📝 노트)로 표시됩니다.web/web.py(API + static), web/index.html, web/style.css,
web/app.js — 모두 핫 편집 가능.libros 공간)biblioteca-libros/는 <biblioteca-libros>/(자료 볼륨: 237개의 PDF, HTML 형식의
O'Reilly/Unix 라이브러리 및 EPUB)에 대한 심볼릭 링크입니다.
cargar_documentos는 PDF 외에도 책 폴더별로 그룹화된 HTML(O'Reilly 라이브러리는
같은 책의 수백 개 .htm 파일 → 하나의 문서로 연결됨)과 EPUB를 색인하며,
텍스트 해시로 중복 제거합니다(볼륨의 unix-library/OReilly 및
oreilly-library 사본은 동일한 컬렉션입니다).
색인은 다음으로 재구성됩니다:
rag index libros
참고:
biblioteca-libros/는 이 머신에 대한 로컬 심볼릭 링크이며 (<biblioteca-libros>/를 가리킴), 그래서 git에서 무시됩니다. UI 스크린샷은docs/capturas/에 있습니다 (flameshot으로 촬영).
$ python3 rag_ollama.py --docs-dir ~/vault \
ask "¿Qué flag de hashcat se usa para crackear un hash ASREProast?"
Seleccioné 5 fragmentos de contexto:
[0.732] 01-htb/ad-shadowgate/ensena-adc-esc8.md
[0.716] 01-htb/ad-shadowgate/ensena-adc-esc8.md
[0.706] 02-apuntes/kerberos-asreproast.md
...
El flag de hashcat usado para crackear hashes ASREProast es `-m 18200`.
rag-seguridad/
├── rag_ollama.py # El RAG completo (sin langchain, ~1300 líneas)
├── web/ # UI web local (stdlib, sin dependencias)
│ ├── web.py # API + servidor HTTP
│ ├── index.html # interfaz de chat
│ ├── style.css # estilos
│ └── app.js # lógica del navegador
├── setup.sh # Verifica Ollama + modelo + instala numpy
├── requirements.txt # Solo numpy
├── document[o]s/ # Tus documentos (indexá la carpeta que quieras)
│ ├── notas/ # apuntes
│ ├── writeups/ # resoluciones HTB
│ ├── tools/ # fichas de herramientas
│ ├── frameworks/ # MITRE ATT&CK, kill chain
│ └── playbooks/ # procedimientos
└── output/ # Índices por espacio (indices/, git-ignored)
rag_ollama.py)