SubScraper

Panoramica :small_blue_diamond: Utilizzo :small_blue_diamond: Contribuisci

SubScraper è uno strumento di enumerazione dei sottodomini che utilizza diverse tecniche per trovare sottodomini di un dato target. L'enumerazione dei sottodomini è particolarmente utile durante i penetration test e la caccia ai bug bounty per scoprire la superficie d'attacco di un'organizzazione.

A seconda degli argomenti CMD applicati, SubScraper può risolvere nomi DNS, richiedere informazioni HTTP(S) ed eseguire ricerche CNAME per individuare opportunità di takeover durante il processo di enumerazione. Questo può aiutare a identificare i passaggi successivi e scoprire pattern per lo sfruttamento.

Caratteristiche principali

Il design modulare facilita l'aggiunta di nuove tecniche/fonti.
Vari livelli di enumerazione per una raccolta dati aggiuntiva.
Consente input multipli di target, leggendo da .txt o STDIN.
Compatibilità con CLI Windows.
Genera file di output in formato .txt o .csv.

demo

Installazione

Python

Quanto segue può essere utilizzato per installare SubScraper su Windows, Linux e MacOS:

git clone https://github.com/m8sec/subscraper
cd subscraper
pip3 install -r requirements.txt

Poetry

Installa ed esegui SubScraper usando Poetry:

git clone https://github.com/m8sec/subscraper
cd subscraper
poetry install
poetry run subscraper -h

Docker

Puoi creare un'immagine docker ed eseguire subscraper da Docker:

git clone https://github.com/m8sec/subscraper
cd subscraper
docker build -t m8sec/subscraper .

# Display help
docker run --rm m8sec/subscraper

# Example scanning a site
docker run --rm m8sec/subscraper -d example.com

Aggiornamenti:

Usa il file di configurazione in ~/.config/subscraper/config.json per memorizzare le chiavi API per un facile riutilizzo.

Se si aggiorna a una versione successiva alla v4.0.0, usa l'argomento -update per ottenere una nuova copia del file di configurazione e garantire la compatibilità - Nota: Questo rimuoverà eventuali voci di chiave esistenti.

Moduli

Un elenco completo dei moduli può essere trovato usando l'argomento della riga di comando -ls:

bevigil              - API OSINT BeVigil per lo scraping di applicazioni mobili per sottodomini (Richiede chiave API)
crt.sh               - Enumerazione dei sottodomini tramite cert.sh.
virustotal           - Ricerca di sottodomini su VirusTotal (Richiede chiave API)
dnsrepo              - Analizza dnsrepo.noc.org senza chiave API - limite di 150 risultati
chaos                - Project Discovery's Chaos (Richiede chiave API)
certspotter          - Usa l'API di Certspotter per raccogliere sottodomini
bufferover           - Interroga l'API di Bufferover.run (Richiede chiave API)
alienvault           - Trova sottodomini usando AlienVault OTX
redhuntlabs          - API di ricognizione RedHunt Labs (Richiede chiave API)
archive              - Usa archive.org per trovare sottodomini.
dnsdumpster          - Usa DNS dumpster per enumerare sottodomini.
censys.io            - Raccoglie sottodomini tramite ricerche di certificati SSL su censys.io. (Richiede chiave API)
shodan               - Ottieni sottodomini con Shodan (Richiede chiave API)

Utilizzo

Argomenti della riga di comando

SubScraper Options:
  -debug                Enable debug logging
  -update               Update config file (Will remove existing entries)
  -config CONFIG        Override default config location
  -silent               Show subdomains only in output
  -threads THREADS, -T THREADS    Max threads for enumeration (65*).
  -t TIMEOUT                      set connection timeouts (3*)
  -d DOMAIN, --domain DOMAIN      Target domain input (domain, .txt, STDIN, etc.

Module Options:
  -ls                   List SubScraper enumeration modules.
  -m MODULES            Execute module(s) by name or group (all*).
  -module-only          Execute modules only not brute force

Bruteforce Options:
  -w WORDLIST           Custom wordlist for DNS brute force.
  -ns NS                Comma separated nameservers to use

Enumeration Options:
  -r, -resolve          Resolve IP address for each subdomain identified.
  -c, -cname            Perform CNAME lookup for subdomain takeover checks
  -http                 Probe for active HTTP services.
  -http-port HTTP_PORT  HTTP ports to check, comma separated (80,443*)

Output Options:
  -nc, -no-color        Disable color output
  -active               Only report active subdomains with resolved IP
  -csv                  Create CSV output report
  -o REPORT             Output file

Esempi di input

python3 subscraper.py -d example.com -resolve -http -module-only
python3 subscraper.py -d example.com -cname -m none -o sub_report.csv -csv
cat domains.txt | python3 subscraper.py -active -silent

Contribuisci

Contribuisci al progetto:

Metti like e condividi lo strumento!
Crea un issue per segnalare nuove tecniche di enumerazione
O, ancora meglio, sviluppa un modulo e avvia una PR.

subscraper

Più Popolari