
CyberRAG — RAG محلي 100% (Ollama) على ملاحظات وكتب الأمن السيبراني: استرجاع هجين، إجابات مع اقتباسات، مساعد اختبار اختراق على مراحل، ومراقب إعادة الفهرسة. بدون أطر عمل ثقيلة.
نظام RAG (Retrieval-Augmented Generation) لاستشارة ملاحظاتك في الأمن السيبراني (مخزن Obsidian، تقارير HTB، الملاحظات) باللغة الطبيعية. كل شيء يعمل على جهازك: التضمينات والتوليد يستخدمان Ollama محليًا، دون أي بيانات تغادر شبكتك. وبدون langchain: كل جزء هو كود خاص بك قابل للفهم.
التوثيق التقني الكامل →
docs/ARQUITECTURA.mdيغطي المفاهيم الأساسية (RAG، التضمينات، البحث الهجين، التوزيع العادل، إعادة الترتيب)، والبنية الطبقية، واستخراج الصيغ، والفهرس التزايدي، ومساحات المعرفة، وقدرة الحوسبة.مساعد اختبار الاختراق حسب المراحل →
docs/ASISTENTE-PENTEST.mdمرشد HTB حسب المرحلة (Recon / Enumeración / Explotación / Privesc / Post / Reporte) والمتجه (web، SMB، AD، Linux، Windows…)، مع مستوى المساعدة (empuja/explica/directo) لفهم الدليل دون طيار آلي، وحقل حالة الجهاز للصق منافذك/خدماتك. مصمم للعمل الهجومي المصرح به + تقرير ISO 27001.تقرير البنية (لـ L2/المتعلم) →
docs/INFORME-ARQUITECTURA.mdنظرة شاملة في قراءة واحدة: ما هو، وكيف بُني من الداخل، وكيف يُستخدم، بالإضافة إلى خطة لتعليمه في 20 دقيقة.دليل تشغيل الخادم →
docs/RUNBOOK-SERVIDOR.mdتشغيل المضيف: قواعد غير قابلة للتفاوض، الشبكة/الجدار الناري، xRDP/faillock و استعادة GPU (Xid 31).مراقب إعادة الفهرسة →
web/monitor.py(لوحة تحكم في المتصفح: التقدم، الإيقاع، ETA، GPU والنماذج مباشرةً، دون لمس GPU).
numpy + واجهة HTTP الخاصة بـ Ollama.Tus documentos (.md/.txt/.log)
│
▼
┌────────────┐ chunking con solape ┌──────────────────┐
│ Chunks │ ─────────────────────▶ │ Embeddings │
│ (pedazos) │ │ nomic-embed-text│
└────────────┘ └────────┬─────────┘
▼
┌──────────────┐
│ Índice .npz │ (output/indice.npz)
└──────┬───────┘
┌───────────────────────┘
▼
Pregunta ───▶ vector ──▶ similitud coseno ──▶ top-k chunks
│
▼
Respuesta ◀── generación con contexto ◀───────────┘
(qwen2.5-coder / mistral, local)
أجزاء RAG الثلاثة:
search_document: ) تزيد من
جودة الـ embedding في البحث.nomic-embed-text، محليًا). عند طرح سؤال (يُحوَّل إلى متجه كـ
search_query: )، تبحث عن الـ chunks ذات أعلى تشابه جيبي مدمجًا
مع تطابق معجمي للكلمات (بحث هجين). الجيب وحده لا يكفي لأسئلة المقارنة؛
فالمكوّن المعجمي ينقذ الـ chunk الدقيق حيث توجد المصطلحات.127.0.0.1:11434nomic-embed-text (يقوم setup.sh بتنزيله تلقائيًا)qwen2.5-coder:7b. وهو الذي يجيب على
النظرية (بالاستشهاد بـ ISO/الكتب) وكذلك موضوعات المختبرات الهجومية (HTB) دون
رفض. قابل للتغيير دون تعديل الكود عبر متغير البيئة RAG_CHAT_MODEL
(مثلًا RAG_CHAT_MODEL=llama3.1:8b rag web للنثر النظري الدقيق — وإن كان
يقيّد نفسه مع المحتوى الهجومي؛ mistral:latest يستشهد جيدًا لكنه أحيانًا
يلصق سياقًا خامًا).pdftotext (poppler-utils) إذا أردت فهرسة ملفات PDF./setup.sh
# Indexar los documentos de ejemplo en document[o]s/
python3 rag_ollama.py index
# Indexar otra carpeta (ej.: tu vault de Obsidian) — en vivo, sin copiar
python3 rag_ollama.py --docs-dir ~/vault index
# Preguntar (usá SIEMPRE el mismo --docs-dir que el index)
python3 rag_ollama.py --docs-dir ~/vault ask "¿Qué flag de hashcat crackea un hash ASREProast?"
# Chat continuo contra tu base — sin repetir el comando
python3 rag_ollama.py --docs-dir ~/vault interactive
# Estadísticas del índice
python3 rag_ollama.py stats
يوجد أيضًا على هذا الجهاز الاسم المستعار rag، الذي يحتفظ بمساحتين للمعرفة: ملاحظاتك (vault) والمكتبة المنسّقة من الكتب (libros).
rag "pregunta sobre tus apuntes" # espacio vault (default)
rag libros "pregunta sobre libros" # espacio libros (PDFs curados)
rag --rerank "pregunta" # con reranker local (reordena fuentes)
rag chat # modo interactivo (vault)
rag chat libros # modo interactivo (libros)
rag index # reindexar VAULT (incremental: rápido)
rag index libros # reindexar libros (tarda minutos)
rag stats # estado del índice del vault
rag analizar # dupes + solapamiento + temas (vault)
rag fuentes "término" # en qué documentos aparece el término
يُحفظ الفراغان في output/indices/indice_<espacio>.npz ولا
يُكتب أحدهما فوق الآخر.
rag web # → http://localhost:8787 (alias local en /etc/hosts)
# o: RAG_HOST=0.0.0.0 rag web para exponerlo a la LAN (con UFW)
تقدم واجهة المستخدم (خادم خالص من مكتبة Python القياسية، بدون أي تبعيات):
.md/.pdf المستشهد بها.02-redhat-security-rh342.pdf) تُعرض وتُستشهد بعنوانها البشري
("Red Hat RH342 — Security: hardening de servidores")؛ ويُطلب من
النموذج الاستشهاد بمصدر كل فكرة.biblioteca)، الكتب
(biblioteca-libros) أو todo (كلاهما معًا، الافتراضي). في وضع
todo توزّع البحث الحصة بين الفهرسين — فضاء ذو chunks كثيرة (~138k كتاب) لا يسحق
الصغير (581 ملاحظة) — ويُوسم كل مصدر بمصدره (📚 كتاب / 📝 ملاحظة).web/web.py (API + static)، web/index.html، web/style.css،
web/app.js — كلها قابلة للتحرير المباشر.libros)biblioteca-libros/ هو symlink إلى <biblioteca-libros>/ (مجلد
المواد: 237 ملف PDF، مكتبات O'Reilly/Unix بصيغة HTML وملف EPUB).
cargar_documentos يفهرس، إضافة إلى ملفات PDF، ملفات HTML مجمّعة حسب مجلد الكتاب
(مكتبة O'Reilly هي مئات من ملفات .htm من كتاب واحد → تُدمج
في مستند واحد) وملفات EPUB؛ ويزيل التكرار عبر hash النص (نسختا
unix-library/OReilly وoreilly-library في المجلد هما المجموعة نفسها).
يُعاد بناء الفهرس بـ:
rag index libros
ملاحظة:
biblioteca-libros/هو symlink محلي على هذا الجهاز (يشير إلى<biblioteca-libros>/)، ولهذا يتم تجاهله في git. لقطات شاشة الواجهة توضع فيdocs/capturas/(مأخوذة باستخدام flameshot).