Syd — Автономный помощник по тестированию на проникновение

Syd — это автономный помощник по тестированию на проникновение, который анализирует результаты сканирования с помощью локальных LLM и генерации с дополнением по поиску (RAG). Он полностью работает на вашем ноутбуке без необходимости подключения к интернету или API-ключей.

Обзор

Syd разбирает технические результаты сканирования (Nmap, BloodHound, Volatility) и отвечает на вопросы на простом английском языке. Вместо ручного просмотра сотен страниц результатов вы можете задавать конкретные вопросы и получать ответы, основанные на фактических данных вашего сканирования.

Поддерживаемые инструменты:

• Nmap (XML-экспорт)
• BloodHound (JSON-экспорт)
• Volatility 3 (вывод плагинов)

Ключевые особенности:

• Полностью автономная работа
• Нет зависимости от облачных сервисов или API-ключей
• Архитектура извлечения фактов предотвращает галлюцинации
• Работает на стандартном оборудовании ноутбука
• Ответы, основанные на доказательствах, подкреплённые данными сканирования

Архитектура

Syd использует трёхэтапный конвейер:

1. Извлечение фактов — Детерминированный разбор файлов сканирования в структурированные данные
2. Поиск знаний — Поиск релевантной технической документации на основе RAG
3. Генерация ответов — LLM генерирует ответы, используя извлечённые факты и полученные знания

Этап извлечения фактов использует регулярные выражения и структурированный разбор (без LLM). Это гарантирует 100% точность извлечения данных. LLM генерирует только объяснения на естественном языке на основе проверенных фактов.

Проверка валидности сверяет каждый сгенерированный ответ с извлечёнными фактами. Если LLM упоминает данные, отсутствующие в вашем сканировании (идентификаторы процессов, IP-адреса, имена хостов и т.д.), ответ отклоняется.

Требования

Аппаратное обеспечение:

• Минимум 16 ГБ ОЗУ (рекомендуется 24 ГБ)
• 10 ГБ свободного дискового пространства
• Многоядерный процессор

Программное обеспечение:

• Python 3.8 или выше
• pip

Проверенная конфигурация:

• AMD Ryzen AI 9 365 (10 ядер)
• 24 ГБ ОЗУ
• Windows 11
• Время ответа на запрос: 2-5 секунд

Установка

Автоматическая настройка (рекомендуется)

Выполните одну команду, и всё настроится автоматически:

python setup.py

Этот скрипт:

1. Установит все зависимости Python
2. Загрузит модель Qwen 2.5 14B (9.7 ГБ)
3. Проверит установку

Необходимое время: 15-30 минут (в основном загрузка)

Учётная запись HuggingFace не требуется. Индексы FAISS включены в репозиторий.

Ручная установка

Если setup.py не сработал, установите вручную:

1. Установите зависимости:

pip install -r requirements.txt

2. Загрузите модель с HuggingFace:

   • Перейдите по адресу: https://huggingface.co/Qwen/Qwen2.5-14B-Instruct-GGUF
   • Загрузите все 3 части: qwen2.5-14b-instruct-q5_k_m-00001/2/3-of-00003.gguf
   • Объедините в: rag_engine/models/qwen2.5-14b-instruct-q5_k_m.gguf

3. Запустите Syd:

python syd.py

Смотрите INSTALL.md для подробного устранения неполадок.

Использование

Анализ Nmap

1. Загрузите XML-файл Nmap или вставьте XML-вывод
2. Дождитесь извлечения фактов (обычно 5-15 секунд)
3. Задайте вопросы:
   • "Какие службы работают на высоких портах?"
   • "На каких хостах отключена подпись SMB?"
   • "Покажи все веб-серверы"
   • "Какие уязвимости были найдены?"

Анализ BloodHound

1. Загрузите JSON-экспорт BloodHound (из SharpHound)
2. Задайте вопросы:
   • "Какой самый короткий путь до Domain Admin?"
   • "Какие учётные записи являются Kerberoastable?"
   • "Покажи проблемы с неограниченным делегированием"
   • "Какие пути злоупотребления ACL существуют?"

Анализ Volatility

1. Вставьте вывод плагина Volatility 3
2. Задайте вопросы:
   • "Какой самый подозрительный процесс?"
   • "Перечисли все сетевые соединения"
   • "Есть ли свидетельства внедрения процесса?"
   • "Какие процессы имеют области PAGE_EXECUTE_READWRITE?"

Точность

Протестировано на реальных данных пентеста:

• Nmap: 96.7% (29/30 тестовых вопросов)
• Volatility: 90% (9/10 тестовых вопросов)
• BloodHound: 85-90% (дорабатывается)

Уровень проверки предотвращает галлюцинации. Ответы, ссылающиеся на несуществующие данные, блокируются.

Структура проекта

Syd_V3/
├── syd.py                          # Основное приложение
├── nmap_fact_extractor.py          # Парсер Nmap
├── bloodhound_fact_extractor.py    # Парсер BloodHound
├── volatility_fact_extractor.py    # Парсер Volatility
├── bloodhound_analyzer.py          # Логика анализа BloodHound
├── volatility_analyzer.py          # Логика анализа Volatility
├── knowledge_bases/                # Техническая документация
│   ├── bloodhound/
│   └── volatility/
├── rag_engine/
│   ├── models/                     # Модели LLM (формат GGUF)
│   └── embeddings/                 # Индексы FAISS
└── chunk_and_embed_*.py            # Скрипты индексации базы знаний

Технические детали

LLM: Qwen 2.5 14B (квантование Q5_K_M) Эмбеддинги: all-MiniLM-L6-v2 (sentence-transformers) Векторная БД: FAISS (оптимизирован под CPU) GUI: tkinter (кроссплатформенный)

Температура: 0.05-0.1 (низкая для уменьшения галлюцинаций) Штраф за повторение: 2.8-3.2 (предотвращает зацикливание) Окно контекста: 4096-8192 токенов

Известные ограничения

• JSON BloodHound должен быть в стандартном формате SharpHound
• XML Nmap должен быть полным (не усечённым)
• Большие сканирования (1000+ хостов) могут обрабатываться 30-60 секунд
• Анализ направления сети Volatility: точность 85% (дорабатывается)

Разработан для типичных сценариев пентеста (10-500 хостов). Для корпоративных сканирований может потребоваться разбиение на части.

Устранение неполадок

Модель не найдена:

• Убедитесь, что файл модели существует в rag_engine/models/
• Проверьте точное совпадение имени файла: qwen2.5-14b-instruct-q5_k_m.gguf

Индекс FAISS не найден:

• Запустите скрипты python chunk_and_embed_*.py
• Проверьте наличие файлов .faiss и .pkl в rag_engine/embeddings/customers/

Не хватает памяти:

• Закройте другие приложения
• Требуется минимум 16 ГБ ОЗУ
• При ограниченной памяти используйте только модуль Nmap

Низкая производительность:

• Первая загрузка занимает 10-20 секунд (инициализация модели)
• Последующие запросы: 2-5 секунд
• Проверьте загрузку CPU — модель привязана к CPU
• Убедитесь, что ноутбук подключён к сети (управление питанием влияет на производительность)

Поддержка

Поддержка сообщества:

• GitHub Issues: Сообщайте об ошибках и запрашивайте функции
• GitHub Discussions: Задавайте вопросы и делитесь опытом

Профессиональная поддержка: Если вы работаете в изолированной среде и испытываете трудности с настройкой, я предлагаю предварительно настроенные USB-установки за небольшую плату. Всё включено и протестировано.

Контакт: [email protected]

Ресурсы:

• YouTube: https://www.youtube.com/@paularmstrong8306 (учебники и демонстрации)
• Веб-сайт: https://sydsec.co.uk
• Email: [email protected]

Вклад

Особый интерес представляют:

• Пограничные случаи, когда извлекатели фактов дают сбой
• Вопросы, где проверка слишком строгая/слабая
• Проблемы производительности на разных конфигурациях оборудования

Смотрите CONTRIBUTING.md для руководства.

Лицензия

Лицензия MIT — Смотрите файл LICENSE

Благодарности

Создано с использованием:

• llama.cpp (эффективный CPU-инференс)
• FAISS (быстрый векторный поиск)
• sentence-transformers (эмбеддинги)
• Qwen 2.5 (LLM, следующий инструкциям)

Разработано и протестировано на реальных данных тестирования на проникновение.

Автор: Paul Armstrong (@Sydsec) Веб-сайт: https://sydsec.co.uk YouTube: https://www.youtube.com/@paularmstrong8306