В сфере кибербезопасности точная идентификация и характеризация веб-серверов имеют решающее значение для обнаружения угроз, оценки уязвимостей и картирования сети. Мы представляем HTTP-Basma — новый алгоритм активного фингерпринтинга, который раскрывает уникальные профили серверов с помощью многоуровневого подхода.
HTTP-Basma доступен по адресу https://httpbasma.netomize.ca/
В сфере кибербезопасности точная идентификация и характеризация веб-серверов имеет решающее значение для обнаружения угроз, оценки уязвимостей и построения карты сети. Мы представляем HTTP-Basma — новый алгоритм активного снятия отпечатков, который раскрывает уникальные профили серверов благодаря многоуровневому подходу, решая тем самым эту задачу.
Ключевые особенности: Сформированные запросы, показательные ответы: HTTP-Basma отправляет 8 тщательно разработанных HTTP-зондов, вызывающих характерные ответы, отражающие конфигурацию сервера. Двойное хеширование для универсальности. Алгоритм генерирует два хеша:
Кластеризация и поиск: эти хеши обеспечивают кластеризацию серверов, идентификацию уникальных и похожих серверов, а также преследование злоумышленников с повышенной уверенностью.
Модульная архитектура для расширения: архитектура алгоритма способствует добавлению новых вариантов хеширования, поощряя сотрудничество и адаптивность.
В этой статье мы сначала рассматриваем известные существующие работы по HTTP-снятию отпечатков, а затем исследуем функциональность алгоритма, его дизайн, архитектуру и результаты. Кроме того, мы продемонстрируем убедительные результаты сканирования топ-1 миллиона сайтов Majestic, включая идентификацию и кластеризацию C&C HTTP-серверов для различных семейств вредоносных программ.
Основная идея алгоритма HTTP-Basma заключается в отправке 8 специально сформированных HTTP-запросов с различными требованиями для получения разных ответов от сервера. После получения ответа сервера строка состояния HTTP тщательно разбирается на все элементы и оптимально кодируется. Кроме того, выбранные заголовки из ответа сервера также проверяются на предмет кодирования.
Отправляемые запросы относятся к следующим типам:
После каждого запроса ответ сервера анализируется для извлечения определённых заголовков и их значений. Извлечённые данные подвергаются дальнейшей обработке, включая разбор и кодирование, для генерации обратимого отпечатка.
Полные технические подробности работы алгоритма приведены в прилагаемом документе.
Эта модульная философия дизайна рассматривает отпечаток каждого запроса как строительный блок, что позволяет элегантно выполнять рефакторинг, с возможностью добавлять и удалять отпечаток любого запроса.
Примеры отпечатков:
- verbosus fp: 011420958a0014514bd5221420958a221420958a221420958a2200001420958a22000000001f
- pacto fp: 02464ae8b7d86f82c9918e2c2b9d6b91
- note: частота ложных срабатываний (72/986,910)
- verbosus fp: 01142494d60914514bd522142494d6221420958a701420958a220000140e04922032c37f1609
- pacto fp: 020769322f3d94ac2f258ddf5ce08502
- note-1: частота ложных срабатываний 0
- note-2: tevedadav.site/43.209.165.126:443 (TLS)
- sample-(sha-256): 9aa1dec8dd12f8adc7fc1274e1958f3613450109ee8b4ec6442a0fcf06df0972
- verbosus fp: 01140a85e40014512f3612140a85e422140a85e422140a85e4220000140a85e4220000000001
- pacto fp: 0207292309a7a7e798e417d69df5f2a5
- note: частота ложных срабатываний (73/986,910)
- verbosus fp: 01140a85e4001320958a22142494d62214254c5e2214254c5e22080014254c5e220000000000
- pacto fp: 0202be780e1eaae0eaa6184e20c909b6
- note: частота ложных срабатываний (4/986,910)
- verbosus fp: 01140a85e4011320958a22142494d67214254c5e2214254c5e22080014254c5e220000000000
- pacto fp: 02cc5be6d05192e17de041538508bc22
- note: частота ложных срабатываний (38/986,910)
- verbosus fp: 01140a85e40914514bd522140a85e4721420958a701420958a220800140a85e4720000001609
- pacto fp: 0221b4e46bbd0e5c037f5a852ca3fdc0
- note: частота ложных срабатываний (6/986,910)
HTTP-Basma — это инструмент на C++, который я разработал для демонстрации практичности и жизнеспособности этого алгоритма. Он использует библиотеку Chilkat для всех взаимодействий с HTTP-сокетами, а также другие вспомогательные классы из этой библиотеки. Кроме того, инструмент включает функцию деманглера, которая может разбирать и обращать вспять нечёткий хеш verbosus, выводя полный JSON-объект, а также функцию сравнения, которая выводит различия между двумя отпечатками verbosus.
Имейте в виду, что некоторые выходные данные инструмента могут использовать несколько иные номера зондов, но базовый порядок остаётся неизменным: P1->P1, P2->P2, P3->P3, P4->P4, P->P5, P6->P6F, P7->P6L, P8->P7a.
Usage:
HTTP-Basma [OPTION...]
-d, --domain arg domains/IPs (you may query multiple domains, comma separated)
-p, --port arg port number
-s, --ssl does the HTTP connection have to be carried over SSL/TLS?
-q, --qpath check domain with url path included (not recommended)
-w, --redirect enable/disable HTTP redirects. If disabled/false, only the next redirect is followed,
otherwise, all redirects are followed (default: true)
-t, --ctimeout arg socket connection timeout value in seconds (default: 1)
-g, --rtimeout arg socket read (from the server) timeout value in seconds (default: 1)
-e, --sleep arg the duration (in milliseconds) to pause between each request (default: 100)
-x, --proxy arg proxy config: <"socks4|socks5|http">,<domain>,<port>,<bool:direct_tls>,<login>,<pass>
all values are comma-separated. <direct_tls> is ignored with a non-HTTP proxy
-f, --file arg file with list of domains/IPs (requires "-c/--csv" or "-j/--json")
-P, --parallel Scan list of domains passed via the "-f/--file" option in parallel
-c, --csv save to csv file; if the option 'n' is not specified, the CSV filename will be auto
generated
-n, --csvfile arg name of the CSV file
-j, --json save to json file; if the option 'l' is not specified, the JSON filename will be auto
generated
-l, --jsonfile arg name of the JSON file
-r, --saveh save request response headers
-o, --pjson display fingerprint dissection to the console as a JSON object
-i, --demangle_json arg demangle a fingerprint into a detailed json format (you can have more than one, comma
separated)
-u, --demangle_txt arg output a concise text format of the fingerprint, comma-separated for multiple results
-C, --compare arg compare two verbosus fingerprints (comma-separated)
-a, --pacto arg obtain the Pacto fingerprint using Verbosus
-h, --help print usage
При запросе заданного домена/IP-адреса ответ может быть сохранён в CSV- или JSON-файл с огромным количеством информации о заголовках ответа сервера и уникальном отпечатке каждого зонда.
Например, чтобы получить отпечаток сервера https://google.com и сохранить результаты в JSON- и CSV-файлы, сохраняя при этом заголовки HTTP-ответов каждого зонда:
HTTPBasma.exe -d https://google.com --json --csv --saveh
В папке Output вы найдёте CSV-файл google_hb_results_2026-05-19_08-35-38_am.csv и JSON-файл google_hb_results_2026-05-19_08-35-38_am.json.
Функция деманглера «-i/--demangle_json» принимает отпечаток verbosus и реконструирует атрибуты каждого зонда, выводя полный JSON-объект. Примечательно, что при попытке обратить вспять хеши FNV-1a деманглер использует две локальные базы данных: options.csv для допустимых HTTP-методов и status_line_db.csv для фраз-причин строки состояния. Если один из этих файлов баз данных отсутствует, соответствующая функция обращения хеша автоматически отключается. Эти базы данных были составлены по результатам сканирования топ-1 миллиона сайтов Majestic.
Деманглинг отпечатка verbosus для домена example.com:
HTTPBasma.exe --demangle_json 01140a85e40014514bd522142494d67214254c5e721420958a22020214254c5e720000001609
{
"type": "verbosus",
"fp": "01140a85e40014514bd522142494d67214254c5e721420958a22020214254c5e720000001609",
"p1": {
"type": "get_normal",
"fp": "140a85e400",
"status_line": {
"http_version": {
"fp": "14",
"val_cmt": "HTTP/1.1"
},
"status_code": {
"fp": "0a",
"val_cmt": "200"
},
"http_reason": {
"fp": "85e4",
"val_cmt": "OK"
},
"sl_reversed_db": {
"http_version": "HTTP/1.1",
"status_code": [
200,
404,
403,
500,
204,
999,
888,
603
],
"http_reason": "OK"
}
},
"sts_hdr": {
"fp": "00",
"cmt": "this header is not used"
}
},
"p2": {
"type": "get_invalid_ver_nb",
"fp": "14514bd522",
"status_line": {
"http_version": {
"fp": "14",
"val_cmt": "HTTP/1.1"
},
"status_code": {
"fp": "51",
"val_cmt": "505"
},
"http_reason": {
"fp": "4bd5",
"val_cmt": "HTTP Version Not Supported"
},
"sl_reversed_db": {
"http_version": "HTTP/1.1",
"status_code": [
505
],
"http_reason": "HTTP Version Not Supported"
}
},
"cont_len_hdr": {
"fp": "22",
"name": "Content-Length",
"value": ">1",
"cmt": "content-length/transfer-encoding:chunked header is present with either of the size values: [0,1,>1]"
},
"cnx": {
"ka": false,
"c": true
}
},
"p3": {
"type": "get_rnd_resource",
"fp": "142494d672",
"status_line": {
"http_version": {
"fp": "14",
"val_cmt": "HTTP/1.1"
},
"status_code": {
"fp": "24",
"val_cmt": "404"
},
"http_reason": {
"fp": "94d6",
"val_cmt": "Not Found"
},
"sl_reversed_db": {
"http_version": "HTTP/1.1",
"status_code": [
404,
403,
501,
410,
204,
400,
200,
418
],
"http_reason": "Not Found"
}
},
"cont_len_hdr": {
"fp": "72",
"name": "Transfer-Encoding",
"value": ">1",
"cmt": "content-length/transfer-encoding:chunked header is present with either of the size values: [0,1,>1]"
},
"cnx": {
"ka": true,
"c": false
}
},
"p4": {
"type": "get_rnd_verb",
"fp": "14254c5e72",
"status_line": {
"http_version": {
"fp": "14",
"val_cmt": "HTTP/1.1"
},
"status_code": {
"fp": "25",
"val_cmt": "405"
},
"http_reason": {
"fp": "4c5e",
"val_cmt": "Method Not Allowed"
},
"sl_reversed_db": {
"http_version": "HTTP/1.1",
"status_code": [
405,
403,
204,
418,
404
],
"http_reason": "Method Not Allowed"
}
},
"cont_len_hdr": {
"fp": "72",
"name": "Transfer-Encoding",
"value": ">1",
"cmt": "content-length/transfer-encoding:chunked header is present with either of the size values: [0,1,>1]"
},
"cnx": {
"ka": true,
"c": false
}
},
"p5": {
"type": "get_lowercase_verb",
"fp": "1420958a22",
"status_line": {
"http_version": {
"fp": "14",
"val_cmt": "HTTP/1.1"
},
"status_code": {
"fp": "20",
"val_cmt": "400"
},
"http_reason": {
"fp": "958a",
"val_cmt": "Bad Request"
},
"sl_reversed_db": {
"http_version": "HTTP/1.1",
"status_code": [
400,
422,
405,
401
],
"http_reason": "Bad Request"
}
},
"cont_len_hdr": {
"fp": "22",
"name": "Content-Length",
"value": ">1",
"cmt": "content-length/transfer-encoding:chunked header is present with either of the size values: [0,1,>1]"
},
"cnx": {
"ka": false,
"c": true
}
},
"p6f": {
"type": "get_accept_encoding_full",
"fp": "02",
"cont_enc_hdr": {
"value": "br",
"empty_value": false,
"total_plus": 0
}
},
"p6l": {
"type": "get_accept_encoding_less",
"fp": "02",
"cont_enc_hdr": {
"value": "br",
"empty_value": false,
"total_plus": 0
}
},
"p7a": {
"type": "options_allow_hdr",
"fp": "14254c5e72000000",
"status_line": {
"http_version": {
"fp": "14",
"val_cmt": "HTTP/1.1"
},
"status_code": {
"fp": "25",
"val_cmt": "405"
},
"http_reason": {
"fp": "4c5e",
"val_cmt": "Method Not Allowed"
},
"sl_reversed_db": {
"http_version": "HTTP/1.1",
"status_code": [
405,
403,
204,
418,
404
],
"http_reason": "Method Not Allowed"
}
},
"cont_len_hdr": {
"fp": "72",
"name": "Transfer-Encoding",
"value": ">1",
"cmt": "content-length/transfer-encoding:chunked header is present with either of the size values: [0,1,>1]"
},
"allow_hdr": {
"fp": "000000",
"cmt": "this header is not used"
},
"cnx": {
"ka": true,
"c": false
}
}
}
Обратите внимание, что массив «status_code» содержит несколько HTTP-кодов состояния. Это происходит потому, что разные серверы могут использовать одну и ту же фразу-причину для разных кодов состояния, что приводит к одинаковым хешам FNV-1a.
Параметр сравнения «-C/--compare» сравнивает два отпечатка verbosus и выводит различия по основным компонентам для каждого из зондов.
Например, сравнение следующих двух отпечатков для Google и YouTube:
HTTPBasma.exe --compare 01140a85e4001320958a22142494d62214254c5e2214254c5e22080014254c5e220000000000,01140a85e4011320958a22142494d67214254c5e2214254c5e22080014254c5e220000000000
Приводит к следующему выводу:
< FPrnt-1 Vs. FPrnt-2 >
[ P1 ]
{Strict-Transport-Security}
sts header: 00 != 01
[ P2 ]
[ P3 ]
{Content-Length}
cl_name: 2 != 7
[ P4 ]
[ P5 ]
[ P6F ]
[ P6L ]
[ P7a ]
Вывод показывает различия, в частности, в хеш-компоненте зонда P1, где заголовок STS присутствует в первом отпечатке и отсутствует во втором. Кроме того, кодирование «Content-Length» различается между двумя отпечатками для зонда P3.
Netomize предоставляет скомпилированные версии для Windows и Linux x64 публичного кода из этого репозитория. Кроме того, в первом релизе поставляется CSV-файл с отпечатками HTTP-Basma для 1 миллиона сайтов Majestic — набор данных.
Открыт для pull request'ов и issues. Комментарии и предложения всячески приветствуются.