ail-typo-website

ail-typo-squatting ライブラリ用のウェブサイトです。このウェブサイトは dnstwist website に強く触発されています。

要件

• requests
• flask
• flask-restx
  • werkzeug
• ail-typo-squatting
• idna
• redis
• tldextract
• pymisp
• beautifulsoup4
• nltk
• scikit-learn

実行方法

メインの実行スクリプトは Flask_server.py ですが、以下のように始めることもできます:

• conf/conf.cfg を記入してください
• misp-warninglists を利用したい場合
  • external_script/warning_list/generate_warning_list.py を実行してください

アルゴリズムの選択

Advanced オプションでは、ドメイン名からバリエーションを生成するアルゴリズムを選択できます。

選択できるアルゴリズムは20種類あります。一覧はこちらにあります。

結果のダウンロード

検索後、バリエーションの一覧をダウンロードして再利用できます。また、結果はJson形式でもダウンロードできます。

Misp feed-json

検索後、download ボタンの下から、Misp イベントをJson形式でダウンロードするか、misp-feed のページに移動することができます。

共有

検索の最後に表示される share ボタンが提供するURLをコピーすることで、セッションを共有できます。

注意: 現在、セッションは1時間保持されます

セッションデータベース

検索が完了すると、セッションを共有できるように、また同じドメインが再度検索されたときに高速化できるように、結果はredisデータベースに保存されます。

• session_uuid:
  • url : ドメイン
  • result_list : dnsクエリの全結果（削除予定）
  • variations_list : バリエーションのリスト（ステータス確認に有用）
  • stopped : セッションが停止されたかどうかを示すブール値（他の誰かが同じドメインを検索した場合に有用）
  • md5url : ドメインのmd5sum
  • request_algo : 検索に使用されたアルゴリズムのリスト（セッションの結果のみを返す場合に有用）
• ドメインのmd5: ドメインが既に検索されたかどうかを確認するために使用
• md5_of_domain:algo : 特定のアルゴリズムに対する結果のリスト（異なるアルゴリズムで同じドメインを検索する人がいる場合に使用）
• event_manifest:session_uuid : イベントのマニフェスト
• event_hashes:session_uuid : イベントのハッシュ
• event_json:session_uuid : イベントのJSON

API

これは Flask_api.py が実行されている場合にのみ機能します。

まず、分析したいアドレスを渡して sid を取得する必要があります:

curl http://localhost:7006/scan/<url>

次に、dnsチェックの結果は以下を使用して取得できます:

curl http://localhost:7006/domains/<sid>

パラメータ

リクエストにパラメータを渡すことで、実行するアルゴリズムを選択できます。

curl "http://localhost:7006/scan/url?charom&add"

• runAll

• addDash

• addTld

• addition

• changeDotDash

• changeOrder

• commonMisspelling

• doubleReplacement

• homoglyph

• homophones

• missingDot

• omission

• repetition

出力

[
{"circl.lu":{"A":["185.194.93.14"],"AAAA":["2a00:5980:93::14"],"MX":["10 cppy.circl.lu."],"NS":["ns3.eurodns.com.",...],"NotExist":false,"geoip":"Luxembourg"}}, ...
{"complete":1535,"id":"3322fa4f-52a0-43cb-a057-22bc07bdde01","registered":2,"remaining":4372,"total":5907} 
]

現在のスキャンのステータスは、json出力の末尾で確認できます:

complete: チェック済みのバリエーション数

id: 現在のスキャンのID

registered: dnsでアクセス可能なバリエーション数

remaining: スキャン完了までにチェックする残りのバリエーション数

total: 生成されたバリエーションの総数