xcrawl3r

xcrawl3r è un'utilità da riga di comando progettata per esplorare ricorsivamente pagine web alla ricerca di URL. Funziona attraversando attivamente i siti web - seguendo i collegamenti incorporati nelle pagine web e analizzando file (inclusi sitemap e robots.txt) - per scoprire ogni URL.

A differenza di xurlfind3r che non interagisce direttamente con il target, xcrawl3r interagisce direttamente con il target esplorando le sue pagine in tempo reale. Questo approccio attivo consente di scoprire URL che potrebbero essere nascosti o non indicizzati, fornendo un quadro completo del flusso di navigazione e della distribuzione dei contenuti del sito web. Ciò rende xcrawl3r uno strumento potente per ricercatori di sicurezza, professionisti IT e chiunque desideri ottenere informazioni sugli URL associati ai siti web.

Risorse

• Funzionalità
• Installazione
  • Installa i binari delle release (senza Go installato)
  • Installa dal sorgente (con Go installato)
    • go install ...
    • go build ... la versione di sviluppo
  • Installa su Docker (con Docker installato)
• Post-installazione
• Utilizzo
• Contributi
• Licenza

Funzionalità

• Esplora ricorsivamente le pagine web alla ricerca di URL
• Estrae URL da file (inclusi sitemap e robots.txt)
• Supporta stdin e stdout per una facile integrazione in flussi di lavoro automatizzati
• Supporta più formati di output (JSONL, file, stdout)
• Multipiattaforma (Windows, Linux e macOS)

Installazione

Installa i binari delle release (senza Go installato)

Visita la pagina delle release e trova l'archivio appropriato per il tuo sistema operativo e la tua architettura. Scarica l'archivio dal tuo browser o copia il suo URL e recuperalo con wget o curl:

• ...con wget:

  root@kitploit:~

  wget https://github.com/hueristiq/xcrawl3r/releases/download/v<version>/xcrawl3r-<version>-linux-amd64.tar.gz
  

• ...oppure, con curl:

  root@kitploit:~

  curl -OL https://github.com/hueristiq/xcrawl3r/releases/download/v<version>/xcrawl3r-<version>-linux-amd64.tar.gz
  

...quindi, estrai il binario:

tar xf xcrawl3r-<version>-linux-amd64.tar.gz

[!TIP] I passaggi sopra, download ed estrazione, possono essere combinati in un unico step con questo comando one-liner

root@kitploit:~

curl -sL https://github.com/hueristiq/xcrawl3r/releases/download/v<version>/xcrawl3r-<version>-linux-amd64.tar.gz | tar -xzv

[!NOTE] Su sistemi Windows, dovresti essere in grado di fare doppio clic sull'archivio zip per estrarre l'eseguibile xcrawl3r.

...sposta il binario xcrawl3r in una directory inclusa nel tuo PATH. Ad esempio, su sistemi GNU/Linux e OS X:

sudo mv xcrawl3r /usr/local/bin/

[!NOTE] Gli utenti Windows possono seguire Come aggiungere posizioni degli strumenti alla variabile d'ambiente PATH per aggiungere xcrawl3r al loro PATH.

Installa dal sorgente (con Go installato)

Prima di installare dal sorgente, assicurati che Go sia installato sul tuo sistema. Puoi installare Go seguendo le istruzioni ufficiali per il tuo sistema operativo. Per questo, assumiamo che Go sia già installato.

go install ...

go install -v github.com/hueristiq/xcrawl3r/cmd/xcrawl3r@latest

go build ... la versione di sviluppo

• Clona il repository

  root@kitploit:~

  git clone https://github.com/hueristiq/xcrawl3r.git 
  

• Compila l'utilità

  root@kitploit:~

  cd xcrawl3r/cmd/xcrawl3r && \
  go build .
  

• Sposta il binario xcrawl3r in una directory inclusa nel tuo PATH. Ad esempio, su sistemi GNU/Linux e OS X:

  root@kitploit:~

  sudo mv xcrawl3r /usr/local/bin/
  

  Gli utenti Windows possono seguire Come aggiungere posizioni degli strumenti alla variabile d'ambiente PATH per aggiungere xcrawl3r al loro PATH.

[!CAUTION] Sebbene la versione di sviluppo sia un buon modo per dare un'occhiata alle ultime funzionalità di xcrawl3r prima che vengano rilasciate, tieni presente che potrebbe contenere bug. Le versioni rilasciate ufficialmente saranno generalmente più stabili.

Installa su Docker (con Docker installato)

Per installare xcrawl3r su Docker:

• Scarica l'immagine Docker usando:

  root@kitploit:~

  docker pull hueristiq/xcrawl3r:latest
  

• Esegui xcrawl3r usando l'immagine:

  root@kitploit:~

  docker run --rm hueristiq/xcrawl3r:latest -h
  

Post-installazione

xcrawl3r funzionerà subito dopo l'installazione. Tuttavia, alcune configurazioni possono essere aggiunte a un file di configurazione in $HOME/.config/xcrawl3r/config.yaml, creato al primo avvio, o impostate come variabili d'ambiente.

Esempio di variabili d'ambiente:

XCRAWL3R_REQUEST_TIMEOUT=10

Utilizzo

Per iniziare a usare xcrawl3r, apri il terminale ed esegui il seguente comando per un elenco di opzioni:

xcrawl3r -h

Ecco come appare il messaggio di aiuto:

                             _ _____
__  _____ _ __ __ ___      _| |___ / _ __
\ \/ / __| '__/ _` \ \ /\ / / | |_ \| '__|
 >  < (__| | | (_| |\ V  V /| |___) | |
/_/\_\___|_|  \__,_| \_/\_/ |_|____/|_|
                                    v1.2.0

USAGE:
 xcrawl3r [OPTIONS]

CONFIGURATION:
 -c, --configuration string       (predefinito: $HOME/.config/xcrawl3r/config.yaml)

INPUT:
 -u, --url string[]               URL target
 -l, --list string                percorso del file con gli URL target

 Per URL multipli, usa valore separato da virgola con `--url`,
 specifica più `--url`, carica da file con `--list` o carica da stdin.

SCOPE:
 -d, --domain string[]            abbina URL del/dominio(i)

 Per domini multipli, usa valore separato da virgola con `--domain`
 o specifica più `--domain`.

     --include-subdomains bool    con i domini, abbina URL dei sottodomini

REQUEST:
     --delay int                  ritardo tra ogni richiesta in secondi
 -H, --header string[]            header da includere nel formato 'header:valore'

 Per header multipli, usa valore separato da virgola con `--header`
 o specifica più `--header`.

     --timeout int                tempo di attesa per la richiesta in secondi (predefinito: 10)

PROXY:
 -p, --proxy string[]             Proxy (es: http://127.0.0.1:8080)

 Per proxy multipli, usa valore separato da virgola con `--proxy`
 o specifica più `--proxy`.

OPTIMIZATION:
     --depth int                  profondità massima da esplorare, `0` per infinita (predefinito: 1)
 -C, --concurrency int            numero di input concorrenti da elaborare (predefinito: 5)
 -P, --parallelism int            numero di fetcher concorrenti da usare (predefinito: 5)

DEBUG:
     --debug bool                 abilita modalità di debug

OUTPUT:
     --jsonl bool                 output in JSONL(ines)
 -o, --output string              percorso del file di output
 -m, --monochrome bool            stdout in modalità monocromatica
 -s, --silent bool                stdout in modalità silenziosa
 -v, --verbose bool               stdout in modalità verbosa

Contributi

I contributi sono benvenuti e incoraggiati! Sentiti libero di inviare Pull Requests o segnalare Issues. Per maggiori dettagli, consulta le linee guida per i contributi.

Un grande ringraziamento a tutti i contributori per il vostro continuo supporto!

Licenza

Questo pacchetto è concesso in licenza sotto la licenza MIT. Sei libero di usarlo, modificarlo e distribuirlo, purché rispetti i termini della licenza. Puoi trovare il testo completo della licenza nel repository - Testo completo della licenza MIT.