ail-typo-website

Website para a biblioteca ail-typo-squatting. Este website é fortemente inspirado no website do dnstwist.

Requisitos

• requests
• flask
• flask-restx
  • werkzeug
• ail-typo-squatting
• idna
• redis
• tldextract
• pymisp
• beautifulsoup4
• nltk
• scikit-learn

Como executar

O script principal a executar é Flask_server.py, mas pode começar com:

• Preencher conf/conf.cfg
• Se quiser ter algumas misp-warninglists
  • executar external_script/warning_list/generate_warning_list.py

Escolha do algoritmo

Na opção Advanced, é possível escolher algoritmos para gerar variações a partir de um nome de domínio.

Existem 20 algoritmos que podem ser escolhidos. A lista pode ser encontrada aqui.

Descarregar resultados

Após uma pesquisa, a lista de variações pode ser descarregada para ser reutilizada, e o resultado também pode ser descarregado em formato Json.

Misp feed-json

Após uma pesquisa, sob o botão download, será possível descarregar um evento Misp em formato Json ou ir para a página de misp-feed.

Partilhar

É possível partilhar a sessão copiando o url fornecido pelo botão share, que aparecerá no final de uma pesquisa.

Aviso: uma sessão é mantida durante 1h neste momento

Base de dados da sessão

Quando uma pesquisa é concluída, os resultados são armazenados numa base de dados redis para permitir partilhar uma sessão ou para ser mais rápido na segunda vez que um domínio é pesquisado.

• session_uuid:
  • url : domínio
  • result_list : todos os resultados da consulta dns (Serão removidos)
  • variations_list : lista de variações (Útil para o estado)
  • stopped : booleano para saber se a sessão foi interrompida (Útil caso outra pessoa pesquise o mesmo domínio)
  • md5url : md5sum do domínio
  • request_algo : lista de algoritmos usados na pesquisa (Útil para retornar apenas o resultado da sessão)
• md5 do domínio: usado para saber se o domínio já foi pesquisado
• md5_of_domain:algo : lista do resultado para um determinado algoritmo (Usado caso diferentes pessoas pesquisem o mesmo domínio com algoritmos diferentes)
• event_manifest:session_uuid : manifesto do evento
• event_hashes:session_uuid : hashes do evento
• event_json:session_uuid : json do evento

API

Isto funcionará apenas se Flask_api.py estiver em execução.

Primeiro, precisa de obter o seu sid passando o endereço que pretende analisar:

curl http://localhost:7006/scan/<url>

Em segundo lugar, o resultado da verificação dns pode ser obtido usando:

curl http://localhost:7006/domains/<sid>

Parâmetros

Ao passar parâmetros no pedido, é possível escolher algoritmos para executar.

curl "http://localhost:7006/scan/url?charom&add"

• runAll

• addDash

• addTld

• addition

• changeDotDash

• changeOrder

• commonMisspelling

• doubleReplacement

• homoglyph

• homophones

• missingDot

• omission

• repetition

Saída

[
{"circl.lu":{"A":["185.194.93.14"],"AAAA":["2a00:5980:93::14"],"MX":["10 cppy.circl.lu."],"NS":["ns3.eurodns.com.",...],"NotExist":false,"geoip":"Luxembourg"}}, ...
{"complete":1535,"id":"3322fa4f-52a0-43cb-a057-22bc07bdde01","registered":2,"remaining":4372,"total":5907} 
]

O estado da verificação atual pode ser encontrado no final da saída json com :

complete: Número de variações verificadas

id: id da verificação atual

registered: Número de variações que podem ser acedidas com dns

remaining: Número de variações a verificar para concluir a verificação

total: Número de variações geradas