ail-typo-website

Site web pour la bibliothèque ail-typo-squatting. Ce site web est fortement inspiré par le site dnstwist.

Prérequis

• requests
• flask
• flask-restx
  • werkzeug
• ail-typo-squatting
• idna
• redis
• tldextract
• pymisp
• beautifulsoup4
• nltk
• scikit-learn

Comment exécuter

Le script principal à exécuter est Flask_server.py, mais vous pouvez commencer par :

• Remplir conf/conf.cfg
• Si vous voulez avoir certains misp-warninglists
  • exécuter external_script/warning_list/generate_warning_list.py

Choix de l'algorithme

Dans l'option Advanced, il est possible de choisir des algorithmes pour générer des variations à partir d'un nom de domaine.

Il y a 20 algorithmes qui peuvent être choisis. La liste peut être trouvée ici.

Téléchargement des résultats

Après une recherche, la liste des variations peut être téléchargée pour être réutilisée, et le résultat peut également être téléchargé au format Json.

Misp feed-json

Après une recherche, sous le bouton download, il sera possible de télécharger un événement Misp au format Json ou d'accéder à la page de misp-feed.

Partager

Il est possible de partager la session en copiant l'url fournie par le bouton share qui apparaîtra à la fin d'une recherche.

Remarque : une session est conservée pendant 1h pour le moment

Base de données de session

Lorsqu'une recherche est effectuée, les résultats sont stockés dans une base redis afin de pouvoir partager une session ou d'être plus rapide la deuxième fois qu'un domaine est recherché.

• session_uuid:
  • url : domaine
  • result_list : tous les résultats de la requête dns (Sera supprimé)
  • variations_list : liste des variations (Utile pour le statut)
  • stopped : booléen pour savoir si la session a été arrêtée (Utile au cas où quelqu'un d'autre recherche le même domaine)
  • md5url : md5sum du domaine
  • request_algo : liste des algo utilisés pour la recherche (Utile pour ne renvoyer que les résultats de la session)
• md5 du domaine : utilisé pour savoir si le domaine a déjà été recherché
• md5_of_domain:algo : liste des résultats pour un algo donné (Utilisé au cas où différentes personnes recherchent le même domaine avec des algo différents)
• event_manifest:session_uuid : manifeste de l'événement
• event_hashes:session_uuid : hashs de l'événement
• event_json:session_uuid : json de l'événement

API

Cela ne fonctionnera que si Flask_api.py est en cours d'exécution.

Tout d'abord, vous devez obtenir votre sid en passant l'adresse que vous voulez analyser :

curl http://localhost:7006/scan/<url>

Ensuite, les résultats de la vérification dns peuvent être obtenus en utilisant :

curl http://localhost:7006/domains/<sid>

Paramètres

En passant des paramètres à la requête, il est possible de choisir les algorithmes à exécuter.

curl "http://localhost:7006/scan/url?charom&add"

• runAll

• addDash

• addTld

• addition

• changeDotDash

• changeOrder

• commonMisspelling

• doubleReplacement

• homoglyph

• homophones

• missingDot

• omission

• repetition

Sortie

[
{"circl.lu":{"A":["185.194.93.14"],"AAAA":["2a00:5980:93::14"],"MX":["10 cppy.circl.lu."],"NS":["ns3.eurodns.com.",...],"NotExist":false,"geoip":"Luxembourg"}}, ...
{"complete":1535,"id":"3322fa4f-52a0-43cb-a057-22bc07bdde01","registered":2,"remaining":4372,"total":5907} 
]

Le statut de l'analyse en cours peut être trouvé à la fin de la sortie json avec :

complete : nombre de variations vérifiées

id : identifiant de l'analyse en cours

registered : nombre de variations qui peuvent être accessibles avec dns

remaining : nombre de variations à vérifier pour terminer l'analyse

total : nombre de variations générées