go-exploit-cache

go-exploit-cache создаёт базу данных SQLite HTTP-кеша, используемую фреймворком go-exploit для обеспечения кросс-эксплуатационного обмена и scanless проверки целей. Вместо активного подключения к целям go-exploit может обращаться к кешу для выполнения проверок версий и других сканирований с использованием ранее собранных HTTP-данных (Shodan, Censys, PCAP, RunZero и т. д.).

Проект: vulncheck-oss/go-exploit
Этот инструмент генерирует SQLite-кеш, который читает go-exploit.

Краткое описание

• Принимает и нормализует HTTP-запросы/ответы из нескольких источников.
• Создаёт SQLite http_cache, который go-exploit использует для scanless-проверки и проверок версий.
• Поддерживаемые входные данные: Shodan .json.gz, RunZero JSONL (и ограниченно RunZero JSON1), PCAP/pcapng и Censys JSONL (через вспомогательный скрипт).

---

Зачем это использовать

• Обеспечивает scanless-проверку и определение версий для демонстраций, исследований или рабочих процессов, где активное сканирование нежелательно.
• Объединяет разнообразные источники HTTP-данных в единую переиспользуемую БД.
• Позволяет нескольким модулям эксплойтов / сканерам совместно использовать наблюдаемые HTTP-артефакты (заголовки, cookies, тела, хеш favicon и т. д.).

---

Возможности

• Принимает и нормализует:
  • Shodan .json.gz
  • RunZero JSONL (и ограниченно RunZero JSON1)
  • PCAP/pcapng (извлекает HTTP)
  • Censys JSONL (используйте censys/censys_v3_dump.py для подготовки)
• Создаёт SQLite БД, потребляемую go-exploit
• Формирует вспомогательные списки целей для некоторых бэкендов (например, Censys)

---

Примеры

Подробнее см. USAGE.md.

Создание кеша из экспорта Shodan

./build/go-exploit-cache \
  -type shodan-gzip \
  -in ~/Downloads/734342e9-56b8-4299-a072-9d1d28f66434.json.gz \
  -out confluence.db

Типичный вывод:

Decompressing the Shodan GZIP... this can be slow
Decompressed file written to .tmp/shodan.json
Generating database entries...
Cleaning up .tmp directory

Проверка БД:

sqlite3 confluence.db
sqlite> select rhost, rport from http_cache limit 1;
52.200.210.54|80

Демонстрация: scanless-проверка версии (без сети)

Вы можете проверить цель, используя только кешированные данные. В примере используется unshare -n для блокировки сетевого доступа (только для демонстрации — unshare не обязателен):

sudo unshare -n ./build/cve-2023-22527_linux-arm64 \
  -c -v -rhost 52.200.210.54 -rport 80 \
  -db ~/go-exploit-cache/confluence.db

Пример вывода:

time=... level=STATUS msg="Starting target" host=52.200.210.54 port=80
time=... level=STATUS msg="Validating Confluence target"
time=... level=SUCCESS msg="Target verification succeeded!"
time=... level=VERSION msg="The reported version is 7.19.17"
time=... level=STATUS msg="The target appears to be a patched version." vulnerable=no

---

Поддерживаемые входные данные

• shodan-gzip — экспорт Shodan .json.gz
• runzero-jsonl — RunZero JSONL (ограниченная поддержка JSON1)
• pcap / pcapng — файлы PCAP (извлекает HTTP-трафик)
• censys-jsonl — Censys JSONL (используйте вспомогательный скрипт в censys/)

Примеры файлов см. в test/testdata.

---

Примечания по Censys

• Censys не предоставляет удобного механизма «скачать всю нужную информацию». Поэтому мы создали censys_v3_dump.py для получения данных. Он начинает с принятия поискового запроса Censys Platform, а затем скачивает отдельные хосты для доступа к HTTP-заголовкам и полному HTTP-телу. Используйте censys/censys_v3_dump.py для сбора и форматирования результатов Censys в JSONL, пригодный для приёма.

---

Схема базы данных (кратко)

http_cache — основная таблица (таблица, генерируемая кешем)

column	type	description
id	INTEGER	primary key
created	INTEGER	date
rhost	TEXT	remote host (IP)
rport	INT	remote port
uri	TEXT	the cached path
data	BLOB	HTTP headers + body

verified — таблица описания ПО (таблица, заполняемая go-exploit)

column	type	description
id	INTEGER	primary key
created	INTEGER	date
software name	TEXT	Name of software
installed	INT	0 or 1
version	TEXT	The software version
rhost	TEXT	remote host (IP)
rport	INT	remote port

---

Компиляция

В Ubuntu:

sudo apt install libpcap-dev
make

(Требуется инструментарий Go — см. https://go.dev/doc/install.)