Этот проект автоматизирует ежедневные задачи роли Threat Intelligence Analyzer внутренне, без взаимодействия с внешними ресурсами. Он анализирует, визуализирует и структурирует чувствительные файлы (вредоносное ПО) или данные, извлекая признаки, артефакты и индикаторы компрометации (IoC) с помощью различных модулей. Результаты этих модулей могут быть легко интегрированы в ваши исследовательские платформы или платформы SOC.
Установка
git clone https://github.com/qeeqbox/analyzer.git && cd analyzer && chmod +x run.sh && ./run.sh auto_configure
Интерфейс
Вывод
Возможности
- Работает локально (Offline)
- Анализирует буфер, файл или целую папку
- Анализ в реальном времени (Сессия сохраняется)
- 2 режима (Интерактивный и тихий)
- Генерирует HTML или JSON в качестве вывода
- Сохраняет файл вывода с деталями в mongodb
- Сохраняет необработанный JSON-результат в mongodb
- Базовая информация о файле: MD5, charset, mime, ssdeep
- Различные методы анализа строк/шаблонов
- Веб-сервис и API
- Порты, подсказки по IP и описание стран
- Изображение мировых IP и флаги
- Описание DNS-серверов (Топ серверов)
- Изображение артефактов с направленными связями
- Изображение перекрёстных ссылок с направленными связями и таблица
- Изображение схожести, разделённое на классы
- Модуль YARA и правила YARA из yara-rules-github)
- Модуль YARA включает условия и теги по индексу
- Реализован белый список (файлы Windows7, 8 и 10)
- Проверка WAF и обход прокси
- Проверка орфографии и пунктуации
- Включены популярные фишинговые слова
- Поддержка Snort
- Модули PDF, RTF, фишинг, MS office и HTML
- Обнаружение английских слов NL
- Обнаружение слов OCR
- Обнаружение схожести веб-сайтов (Топ 10000)
- Обнаружение BOM (Byte Order Mark)
- Обнаружение инструментов и шаблонов MITRE ATT&CK (возможны ложные срабатывания)
- Извлечение сокращателей URL
- Извлечение ASCII из UNICODE
- Извлечение бесплатных\поддельных email
- Извлечение шаблонов URL, EMAIL и TEL
- Извлечение шаблонов кредитных карт, учётных данных и секретов
- Извлечение шаблонов шифрования (base64, md5, sha1..)
- Извлечение шаблонов DGA (Domain Generation Algorithm)
Модули
- Linux wrapper - информация об ELF, описания API-функций, описания системных команд, описания секций, описания библиотек, обнаружение зашифрованных секций, извлечение символов, артефакты MITRE, сопоставленные с обнаружением, обнаружение перекрёстных ссылок, обнаружение поведения
- Windows wrapper - информация о PE, обнаружение зашифрованных секций, описания секций, описания DLL, извлечение символов, извлечение и проверка подписи, описания API, обнаружение PE ASLR, DEP, SEH и CFG, артефакты MITRE, сопоставленные с обнаружением, обнаружение поведения API, DLL injection, Process Hollowing, Process Doppelganging и т.д., обнаружение перекрёстных ссылок, извлечение иконок, извлечение строковой информации о файле, FileDescription, FileDescription и т.д.
- Android wrapper - информация об APK, информация о DEX, описания манифеста, описания Intent, извлечение ресурсов, извлечение символов, извлечение классов, идентификация больших функций, обнаружение перекрёстных ссылок, обнаружение поведения API
- IPhone built-in - информация об IPA
- BlackBerry COD built-in - информация о COD, извлечение функций, извлечение строк
- PCAP wrapper - фильтр фреймов, фильтр HTTP, фильтр DNS, фильтр ARP, обнаружение WAF, обнаружение DGA, разбор Snort
- PDF built-in - перечисление объектов, ключи, javascript, js, OpenAction, извлечение, разбор потоков, анализ строк
- Office built-in и wrapper - извлечение метаинформации, извлечение гиперссылок и целевых ссылок, двоичный парсер печатаемых символов, извлечение текста, извлечение DDE, извлечение макросов
- OLE wrapper - количество объектов, извлечение объектов, извлечение макросов
- EMAIL built-in и wrapper - информация заголовка, извлечение и разбор вложений, извлечение тела, проверка фишинговых шаблонов
- Archives wrapper - извлечение mime и определение по расширениям, поиск шаблонов во всех распакованных файлах, обнаружение зашифрованных архивов
- HTML wrapper - извлечение скриптов, iframe, ссылок и форм, декодирование/анализ ссылок, энтропия скриптов
- Некоторые шаблоны - AWS Clint ID, Amazon MWS Auth Token, Amazon S3, ALIYUN OSS, AZURE Storage, Facebook Access Token, Github Token, Goole API Key, Google CAPTCHA, Google OAuth, Google Secret, Google OAuth Access Token, Mailgun API Key, MailChimp API, Picatic API, Slack Token, Square Access Token, Square OAuth Secret, Stripe API, Twilio API, Twilio SID
Автонастройка в один клик
git clone https://github.com/qeeqbox/analyzer.git
cd analyzer
chmod +x run.sh
./run.sh auto_configure
Интерфейс проекта http://127.0.0.1:8000/login/ откроется автоматически после завершения процесса инициализации
Или, если у вас уже есть docker-compose
docker-compose -f docker-compose-dev.yml up --build
Затем откройте http://127.0.0.1:8000/login/
Предварительные требования
apt-get install -y python3 python3-pip curl libfuzzy-dev yara libmagic-dev libjansson-dev libssl-dev libffi-dev tesseract-ocr libtesseract-dev libssl-dev swig p7zip-full radare2 dmg2img mongodb redis
pip3 install pyelftools macholib python-magic nltk Pillow jinja2 ssdeep pefile scapy r2pipe pytesseract M2Crypto requests tld tldextract bs4 psutil pymongo flask pyOpenSSL oletools extract_msg
Пакеты предварительных требований необходимы для некоторых модулей (Если у вас возникают проблемы с использованием этих пакетов, я, возможно, смогу поделиться с вами своими собственными альтернативами, которые я разработал ранее на C#\C)
План развития
- Анализ Java (по запросу пользователей)
- Веб-обнаружение
- Добавление обёрток имени пользователя и пароля к базам данных
- Очистка CSS
Ресурсы
Linux документация, MacOS документация, Windows документация, Android документация, software77, MITRE ATT&CK™, sc0ty, hexacorn, PEID, steren, bacde, cisco umbrella , yara rules community , МНОЖЕСТВО ИССЛЕДОВАНИЙ
Другие лицензии
Используя этот фреймворк, вы принимаете условия лицензий всех этих пакетов: yara, Yara-Rules, tesseract-ocr, swig, radare, vu1tur, oletools, mongodb, supervisor, msg-extractor, snort, pyelftools, macholib, pefile, scapy, python-magic, flask, werkzeug, gunicorn, flask-mongoengine, flask-admin, flask-login, flask-bcrypt, pyopenssl, flask-markdown, tld, psutil, gevent, dateutil, requests, pymongo, BeautifulSoup, tldextract, m2crypto, radare2, ssdeep, jinja2, Pillow, nltk, p7zip, redislabs, redis-py
Отказ от ответственности\Примечания
- Не разворачивайте без надлежащей конфигурации
- Настройте некоторые правила группы безопасности и удалите учётные данные по умолчанию
- Этот проект НЕ является проектом по борьбе с вредоносным ПО и не помещает в карантин и не удаляет вредоносные файлы
- Этот проект был разработан для анализа классифицированных данных и обучения некоторого ИИ локально без взаимодействия с интернетом/внешними ресурсами
- Пожалуйста, сообщите мне, если я пропустил ресурс или зависимость
Другие проекты
