Eyeballer

Быстро оцените свои скриншоты.

Eyeballer предназначен для крупномасштабных тестов на проникновение в сеть, где нужно найти «интересные» цели из огромного множества веб-хостов. Используйте свой любимый инструмент для создания скриншотов как обычно (EyeWitness или GoWitness), а затем прогоните их через Eyeballer, чтобы узнать, что, вероятно, содержит уязвимости, а что нет.

Попробуйте вживую по адресу: https://eyeballer.bishopfox.com

Примеры меток

Сайты старого образца	Страницы входа

Веб-приложение	Собственные 404

Припаркованные домены

Что означают метки

Сайты старого образца Блочные рамки, сломанный CSS, то самое «je ne sais quoi» сайта, который выглядит так, будто был разработан в начале 2000-х. Вы узнаете его, когда увидите. Старые сайты не просто уродливы — они, как правило, очень уязвимы. Когда вы ищете, во что взломаться, такие сайты — золотая жила.

Страницы входа Страницы входа ценны для пентеста: они указывают на то, что есть дополнительный функционал, к которому у вас пока нет доступа. Это также означает, что есть простой последующий процесс атак с перебором учётных данных. Вы можете подумать, что можно установить простую эвристику для поиска страниц входа, но на практике это очень сложно. Современные сайты не используют простой тег input, который можно найти grep'ом.

Веб-приложение Это говорит о том, что здесь есть более крупный набор страниц и функциональности, которые могут служить поверхностью для атаки. В отличие от простой страницы входа без дополнительного функционала или стандартной страницы приветствия IIS без другого функционала. Эта метка должна указывать вам, что здесь есть веб-приложение для атаки.

Собственные 404 Современные сайты любят делать забавные собственные страницы 404 с картинками сломанных роботов или грустных собак. К сожалению, они также любят возвращать HTTP-код 200, делая это. Чаще всего на странице «404» даже нет текста «404». Эти страницы обычно неинтересны, несмотря на визуальное разнообразие, и Eyeballer может помочь вам их отсеять.

Припаркованные домены Припаркованные домены — это сайты, которые выглядят настоящими, но не являются валидной поверхностью для атаки. Это страницы-заглушки, обычно лишённые реального функционала, почти полностью состоящие из рекламы и обычно не управляемые нашей реальной целью. Это то, что вы получаете, когда указанный домен неверен или истёк. Поиск таких страниц и исключение их из области атаки со временем очень ценно.

Установка

Загрузите необходимые пакеты через pip:

sudo pip3 install -r requirements.txt

Или если вам нужна поддержка GPU:

sudo pip3 install -r requirements-gpu.txt

ПРИМЕЧАНИЕ: Настройка GPU для использования с TensorFlow выходит далеко за рамки этого README. Нужно учитывать совместимость оборудования, устанавливать драйверы... Много всего. Так что если вы хотите использовать GPU, вам придётся разобраться с этим самостоятельно. Но, по крайней мере, с точки зрения пакетов Python, указанный выше файл requirements вас обеспечит.

Предварительно обученные веса

За последними предварительно обученными весами обращайтесь к релизам здесь, на GitHub.

Обучающие данные Вы можете найти наши обучающие данные здесь:

https://www.kaggle.com/altf42600/pentest-screensots

Из обучающих данных вам понадобятся две вещи:

1. Папка images/, содержащая все скриншоты (уменьшенные до 224x224)
2. Файл labels.csv со всеми метками

Скопируйте оба в корень дерева кода Eyeballer.

Кроме того, вы можете найти файл предварительно обученных весов, который можно использовать сразу, без обучения.

1. bishop-fox-pretrained-vN.h5

Он здесь, на GitHub, ищите последнюю версию в разделе releases.

Предсказание меток

ПРИМЕЧАНИЕ: Для наилучших результатов убедитесь, что вы делаете скриншоты сайтов с родным соотношением сторон 1.6x. Например: 1440x900. Eyeballer автоматически уменьшит изображение до нужного размера, но если соотношение сторон неверное, оно сожмётся так, что это повлияет на качество предсказания.

Чтобы оценить несколько скриншотов, просто запустите режим «predict»:

eyeballer.py --weights YOUR_WEIGHTS.h5 predict YOUR_FILE.png

Или для целой папки с файлами:

eyeballer.py --weights YOUR_WEIGHTS.h5 predict PATH_TO/YOUR_FILES/

Eyeballer выдаст результаты в удобочитаемом формате (файл results.html, чтобы вы могли легко его просматривать) и в машиночитаемом формате (файл results.csv).

Производительность

Производительность Eyeballer измеряется на оценочном наборе данных, который составляет 20% всех скриншотов, выбранных случайным образом. Поскольку эти скриншоты никогда не используются в обучении, они могут быть эффективным способом увидеть, насколько хорошо работает модель. Вот последние результаты:

Общая бинарная точность — это, вероятно, то, что вы считаете «точностью» модели. Это вероятность того, что для любой отдельной метки она верна.

Точность «всё или ничего» более строгая. Для этого мы учитываем все метки изображения и считаем ошибкой, если ЛЮБАЯ метка неверна. Этот показатель точности — вероятность того, что модель правильно предскажет все метки для любого данного изображения.

Подробное объяснение точности и полноты, смотрите на Wikipedia.

Обучение

Чтобы обучить новую модель, выполните:

eyeballer.py train

Для этого вам понадобится машина с хорошим GPU, чтобы обучение прошло за разумное время. Однако его настройка выходит за рамки этого readme.

Это создаст новый файл модели (по умолчанию weights.h5).

Оценка

Вы только что обучили новую модель, круто! Давайте посмотрим, насколько хорошо она работает на изображениях, которые она никогда не видела, по различным метрикам:

eyeballer.py --weights YOUR_WEIGHTS.h5 evaluate

Вывод опишет точность модели как по полноте, так и по точности для каждой из меток программы. (Включая «ничего из вышеперечисленного» как псевдо-метку)