ail-typo-website

Веб-сайт для библиотеки ail-typo-squatting. Этот сайт сильно вдохновлён веб-сайтом dnstwist.

Требования

• requests
• flask
• flask-restx
  • werkzeug
• ail-typo-squatting
• idna
• redis
• tldextract
• pymisp
• beautifulsoup4
• nltk
• scikit-learn

Как запустить

Основной скрипт для запуска — Flask_server.py, но вы можете начать с:

• Заполните conf/conf.cfg
• Если вы хотите использовать некоторые misp-warninglists
  • запустите external_script/warning_list/generate_warning_list.py

Выбор алгоритма

В опции Advanced можно выбрать алгоритмы для генерации вариаций доменного имени.

Доступно 20 алгоритмов на выбор. Список можно найти здесь.

Скачивание результатов

После поиска список вариаций можно скачать для повторного использования, а также результат можно скачать в формате JSON.

Misp feed-json

После поиска под кнопкой download можно будет скачать событие Misp в формате Json или перейти на страницу misp-feed.

Поделиться

Можно поделиться сессией, скопировав URL, который даёт кнопка share, появляющаяся в конце поиска.

Примечание: сессия хранится 1 час на данный момент

База данных сессий

Когда поиск выполнен, результаты сохраняются в базе данных redis, чтобы можно было поделиться сессией или ускорить повторный поиск домена.

• session_uuid:
  • url : домен
  • result_list : все результаты dns-запроса (будет удалено)
  • variations_list : список вариаций (полезно для статуса)
  • stopped : булево значение, указывающее, была ли сессия остановлена (полезно, если кто-то другой ищет тот же домен)
  • md5url : md5-сумма домена
  • request_algo : список алгоритмов, использованных для поиска (полезно для возврата только результатов сессии)
• md5 домена: используется для определения того, искался ли домен ранее
• md5_of_domain:algo : список результатов для данного алгоритма (используется, когда разные люди ищут один и тот же домен с разными алгоритмами)
• event_manifest:session_uuid : манифест события
• event_hashes:session_uuid : хэши события
• event_json:session_uuid : json события

API

Это будет работать только если запущен Flask_api.py.

Сначала вам нужно получить свой sid, передав адрес, который вы хотите проанализировать:

curl http://localhost:7006/scan/<url>

Затем результат dns-проверки можно получить с помощью:

curl http://localhost:7006/domains/<sid>

Параметры

Передавая параметры в запрос, можно выбрать алгоритмы для запуска.

curl "http://localhost:7006/scan/url?charom&add"

• runAll

• addDash

• addTld

• addition

• changeDotDash

• changeOrder

• commonMisspelling

• doubleReplacement

• homoglyph

• homophones

• missingDot

• omission

• repetition

Вывод

[
{"circl.lu":{"A":["185.194.93.14"],"AAAA":["2a00:5980:93::14"],"MX":["10 cppy.circl.lu."],"NS":["ns3.eurodns.com.",...],"NotExist":false,"geoip":"Luxembourg"}}, ...
{"complete":1535,"id":"3322fa4f-52a0-43cb-a057-22bc07bdde01","registered":2,"remaining":4372,"total":5907} 
]

Статус текущего сканирования можно найти в конце json-вывода:

complete: количество проверенных вариаций

id: идентификатор текущего сканирования

registered: количество вариаций, доступных через dns

remaining: количество вариаций, которые нужно проверить для завершения сканирования

total: количество сгенерированных вариаций