CyberRAG — サイバーセキュリティのノートや書籍を対象とした100%ローカル(Ollama)のRAG:ハイブリッド検索、引用付き回答、フェーズ別ペネトレーションテストアシスタント、再インデックス監視。重いフレームワーク不使用。
サイバーセキュリティのノート(Obsidian vault、HTBのwriteup、メモ)を自然言語で 照会するための**RAG(Retrieval-Augmented Generation)**システム。 すべてがあなたのマシン上で動作します:埋め込みと生成にはローカルのOllamaを使用し、 データがあなたのネットワーク外に出ることは一切ありません。しかもlangchain不使用: 各パーツは理解可能な自作コードです。
完全な技術ドキュメント →
docs/ARQUITECTURA.md背景となる概念(RAG、埋め込み、ハイブリッド検索、公平な配分、 リランク)、レイヤー別アーキテクチャ、フォーマット抽出、 増分インデックス、ナレッジスペース、計算能力について解説しています。フェーズ別ペンテストアシスタント →
docs/ASISTENTE-PENTEST.mdフェーズ別(Recon / 列挙 / エクスプロイト / Privesc / Post / レポート)およびベクター別(web、SMB、AD、Linux、Windows…)のHTBメンターで、 オートパイロットなしでマニュアルを理解するためのヘルプレベル (empuja/explica/directo)と、ポート/サービスを貼り付けるための マシン状態フィールドを備えています。許可された攻撃的作業+ISO 27001レポート向けに設計されています。アーキテクチャレポート(L2/学習者向け) →
docs/INFORME-ARQUITECTURA.md一読で全体像:それが何か、内部がどう組み立てられているか、どう 使うか、さらに20分で教えるための計画。サーバーランブック →
docs/RUNBOOK-SERVIDOR.mdホストの運用:譲れないルール、ネットワーク/ファイアウォール、xRDP/faillock、 GPUの復旧(Xid 31)。再インデックスのモニター →
web/monitor.py(ブラウザのダッシュボード: 進捗、ペース、ETA、GPUとモデルをライブ表示、GPUに負荷をかけずに)。
numpy + OllamaのHTTP APIのみ。Tus documentos (.md/.txt/.log)
│
▼
┌────────────┐ chunking con solape ┌──────────────────┐
│ Chunks │ ─────────────────────▶ │ Embeddings │
│ (pedazos) │ │ nomic-embed-text│
└────────────┘ └────────┬─────────┘
▼
┌──────────────┐
│ Índice .npz │ (output/indice.npz)
└──────┬───────┘
┌───────────────────────┘
▼
Pregunta ───▶ vector ──▶ similitud coseno ──▶ top-k chunks
│
▼
Respuesta ◀── generación con contexto ◀───────────┘
(qwen2.5-coder / mistral, local)
RAGの3つの構成要素:
search_document: )付きでベクトル化され、
検索時の埋め込み品質が向上します。nomic-embed-textのローカル埋め込み)として保存されます。
質問(search_query: としてベクトル化)に対して、コサイン類似度と
単語の字句一致を組み合わせた(ハイブリッド検索)チャンクを検索します。コサイン類似度だけでは
比較系の質問には不十分であり、字句コンポーネントが用語が含まれる正確なチャンクを
救い出します。127.0.0.1:11434で実行中のOllamanomic-embed-text(setup.shが自動的にダウンロードします)qwen2.5-coder:7b。理論(ISO/書籍を引用)と
ラボの攻撃的トピック(HTB)の両方に拒否せずに回答するモデルです。コードを変更せずに
環境変数RAG_CHAT_MODELで変更可能です
(例:RAG_CHAT_MODEL=llama3.1:8b rag webで繊細な理論的散文向け — ただし
攻撃的コンテンツでは自己制限します。mistral:latestは引用は良好ですが、
時に生のコンテキストをそのまま貼り付けます)。pdftotext(poppler-utils)./setup.sh
# Indexar los documentos de ejemplo en document[o]s/
python3 rag_ollama.py index
# Indexar otra carpeta (ej.: tu vault de Obsidian) — en vivo, sin copiar
python3 rag_ollama.py --docs-dir ~/vault index
# Preguntar (usá SIEMPRE el mismo --docs-dir que el index)
python3 rag_ollama.py --docs-dir ~/vault ask "¿Qué flag de hashcat crackea un hash ASREProast?"
# Chat continuo contra tu base — sin repetir el comando
python3 rag_ollama.py --docs-dir ~/vault interactive
# Estadísticas del índice
python3 rag_ollama.py stats
このマシンにはさらに rag エイリアスがあり、2つのナレッジスペースを維持しています:あなたのノート(vault)と、厳選された書籍ライブラリ(libros)です。
rag "pregunta sobre tus apuntes" # espacio vault (default)
rag libros "pregunta sobre libros" # espacio libros (PDFs curados)
rag --rerank "pregunta" # con reranker local (reordena fuentes)
rag chat # modo interactivo (vault)
rag chat libros # modo interactivo (libros)
rag index # reindexar VAULT (incremental: rápido)
rag index libros # reindexar libros (tarda minutos)
rag stats # estado del índice del vault
rag analizar # dupes + solapamiento + temas (vault)
rag fuentes "término" # en qué documentos aparece el término
両方のスペースは output/indices/indice_<espacio>.npz に保存され、互いに上書きされることはありません。
rag web # → http://localhost:8787 (alias local en /etc/hosts)
# o: RAG_HOST=0.0.0.0 rag web para exponerlo a la LAN (con UFW)
UI(Python標準ライブラリのみの純粋なサーバー、依存関係ゼロ)は以下を提供します:
.md/.pdf を表示。02-redhat-security-rh342.pdf)は人間向けのタイトル(「Red Hat RH342 — Security: サーバーハードニング」)で表示・引用されます。プロンプトはモデルに各アイデアの出典を引用するよう求めます。biblioteca)、書籍(biblioteca-libros)、または todo(両方の統合、デフォルト)を切り替えられます。todo モードでは検索が2つのインデックス間でクォータを配分します — チャンクの多いスペース(約138k書籍)が小さい方(581ノート)を圧迫することはなく、各ソースにはその出所(📚 書籍 / 📝 ノート)がラベル付けされます。web/web.py(API + static)、web/index.html、web/style.css、web/app.js — すべてホット編集可能。libros)biblioteca-libros/ は <biblioteca-libros>/ へのシンボリックリンクです(資料のボリューム:237 PDF、O'Reilly/Unix ライブラリの HTML、および EPUB)。
cargar_documentos は PDF に加えて、書籍フォルダごとにグループ化された HTML(O'Reilly ライブラリは同じ本の数百の .htm → 1つのドキュメントに連結)と EPUB をインデックス化します。テキストハッシュで重複排除します(ボリューム内の unix-library/OReilly と oreilly-library のコピーは同じコレクションです)。
インデックスは以下で再構築されます:
rag index libros
注:
biblioteca-libros/はこのマシンへのローカルシンボリックリンクです (<biblioteca-libros>/を指しています)、そのため git では無視されています。UI のスクリーンショット はdocs/capturas/にあります (flameshot で撮影)。
$ python3 rag_ollama.py --docs-dir ~/vault \
ask "¿Qué flag de hashcat se usa para crackear un hash ASREProast?"
Seleccioné 5 fragmentos de contexto:
[0.732] 01-htb/ad-shadowgate/ensena-adc-esc8.md
[0.716] 01-htb/ad-shadowgate/ensena-adc-esc8.md
[0.706] 02-apuntes/kerberos-asreproast.md
...
El flag de hashcat usado para crackear hashes ASREProast es `-m 18200`.
rag-seguridad/
├── rag_ollama.py # El RAG completo (sin langchain, ~1300 líneas)
├── web/ # UI web local (stdlib, sin dependencias)
│ ├── web.py # API + servidor HTTP
│ ├── index.html # interfaz de chat
│ ├── style.css # estilos
│ └── app.js # lógica del navegador
├── setup.sh # Verifica Ollama + modelo + instala numpy
├── requirements.txt # Solo numpy
├── document[o]s/ # Tus documentos (indexá la carpeta que quieras)
│ ├── notas/ # apuntes
│ ├── writeups/ # resoluciones HTB
│ ├── tools/ # fichas de herramientas
│ ├── frameworks/ # MITRE ATT&CK, kill chain
│ └── playbooks/ # procedimientos
└── output/ # Índices por espacio (indices/, git-ignored)
rag_ollama.py 内)