w12scan

w12scan est un moteur de découverte d'actifs réseau. Via une interface WEB, vous pouvez soumettre des tâches, et w12scan agrège automatiquement les actifs associés pour faciliter l'analyse et l'utilisation. w12scan est également mon projet de fin d'études.

w12scan est divisé en une partie WEB (pour afficher les données) et une partie Client (pour rechercher les actifs associés).

Voici le code source open-source de la partie WEB, la partie client se trouve sur https://github.com/boy-hack/w12scan-client

Une vidéo pour comprendre W12SCAN

Conception

Basé sur Python3 + Django + Elasticsearch + Redis (déduplication + middleware de communication entre le web et le client). Les cibles de scan sont ajoutées via l'API WEB, et une fois le scan terminé, les résultats sont affichés sur la partie WEB.

Caractéristiques

Partie WEB

• Syntaxe de recherche puissante
  • Grâce à la syntaxe de recherche, vous pouvez rechercher des CMS, des noms de services, des titres, des pays/régions, etc., et trouver rapidement les cibles pertinentes.
    • title="abc" # rechercher dans le titre
    • header="abc" # rechercher dans l'en-tête HTTP
    • body="123" # rechercher dans le corps
    • url = "*.baidu.com" # rechercher les sous-domaines de baidu.com, * est un joker
    • ip = '1.1.1.1' # rechercher une IP, supporte CIDR '192.168.1.0/24' et joker '192.168.1.*'
    • port = '80' # rechercher un port
    • app = 'nginx' # rechercher un composant
    • country = 'cn' # rechercher un pays
    • service = 'mysql' # rechercher un service
    • bug = 'xx' # rechercher une vulnérabilité existante
• Configuration personnalisée des actifs
  • En définissant les noms de domaine ou les IP associés à une entreprise, w12scan trouvera automatiquement les actifs correspondants. Lorsque vous parcourez une telle cible, un indicateur bien visible vous signale son appartenance.
• Association automatique
  • En entrant dans les détails d'une cible, si la cible est une IP, tous les noms de domaine associés à cette IP et tous les noms de domaine de ce bloc C sont automatiquement liés. Si la cible est un nom de domaine, les sites adjacents, le bloc C et les sous-domaines sont automatiquement associés.
• Gestion multi-nœuds
  • La partie WEB vérifie toutes les quelques minutes l'état de fonctionnement des nœuds. Vous pouvez voir le nombre de scans effectués par les nœuds ainsi que leurs journaux de scan.
• API RESTful pour les tâches
  • Fournit une interface pour ajouter des tâches. Vous pouvez ajouter des tâches depuis la partie WEB ou intégrer cette API dans n'importe quel logiciel.

Partie scan (Client)

• Vérification POC en temps réel
  • En se connectant à l'API airbug, les scripts POC les plus récents sont appelés en ligne. Airbug garantit la mise à jour rapide des vulnérabilités. Vous pouvez également forker le projet airbug et y ajouter vos propres règles POC.
• Attaques de validation
  • Le client intègre des services courants de validation de vulnérabilités. Chaque fois qu'une URL est scannée, ces services sont exécutés et les résultats sont renvoyés à la partie WEB de w12scan pour affichage.
• Scan et identification
  • Le scan de ports utilise masscan, l'identification des ports utilise nmap, l'identification des applications web utilise wappalyzer et une version simplifiée de w11scan (reconnaissance d'empreintes).
• Distribution facile
  • Cela a été pris en compte dès la conception de l'architecture : le client reçoit uniquement des tâches et les résultats finaux sont uniquement échangés avec la partie WEB. La distribution est donc très simple : il suffit d'exécuter le client sur une autre machine. Il peut être distribué via Docker et peut facilement intégrer un service Celery.

Installation

Déploiement en une commande avec Docker

mkdir ~/w12scan-data/db   # Ce répertoire contient les résultats stockés par w12scan
mkdir ~/w12scan-data/data # Ce répertoire contient les résultats stockés par ES
git clone https://github.com/boy-hack/w12scan
cd w12scan
docker-compose up -d

Après un certain temps, accédez à http://127.0.0.1:8000 Nom d'utilisateur et mot de passe par défaut : boyhack:boyhack

Stockage des données

• Vous pouvez modifier docker-compose.yml et chercher ~/w12scan-data/db ou ~/w12scan-data/data pour changer l'emplacement de stockage.

Problèmes associés

1. Pour garantir une haute disponibilité, préparez au moins un serveur 8G de RAM et 4 cœurs pour les tests (ES consomme beaucoup de mémoire). Si le serveur ne répond pas à ces exigences, vous pouvez ajouter - "ES_JAVA_OPTS=-Xms2048m -Xmx2048m" au conteneur ES dans le Dockerfile pour limiter la mémoire, mais la haute disponibilité n'est pas garantie.
2. Sous Windows, faites attention au format des fichiers .sh https://github.com/boy-hack/w12scan/issues/12 (merci @Hotsunrize).
3. Q : Comment déployer en mode distribué ? R : Plan de déploiement
4. Q : Le nombre de recherches est nul après le démarrage ? R : Vous devez ajouter des cibles de scan.
5. Ne cherchez pas pendant le scan. Elasticsearch analyse et segmente les données lors de l'insertion (ce qui peut être lent). Si vous cherchez à ce moment-là, vous risquez d'obtenir une erreur 503. Il est recommandé de chercher après la fin du scan. (Une migration de données sera effectuée ultérieurement pour résoudre ce problème.)

Liens associés

• Thèse de conception
• Comment construire un moteur de recherche dans l'espace réseau - W12Scan - Partie WEB
• Comment installer W12Scan localement

Légal

Ce programme est principalement utilisé pour collecter des données réseau à des fins d'analyse et de recherche. Avant d'utiliser ce programme, veuillez vous conformer aux lois locales en vigueur.