jordanpotti/cloudscraperEsegue spider e scraping di target web per scoprire risorse cloud esposte, inclusi bucket S3, Blob di Azure e DigitalOcean Spaces, utilizzando il rilevamento basato su espressioni regolari.
Librerie Python non standard:
Creato con Python 3.6
Questo strumento è stato ispirato da un recente intervento di Bryce Kunz. L'intervento Blue Cloud of Death: Red Teaming Azure ci illustra alcune delle divulgazioni di informazioni comuni meno note oltre ai soliti S3 Buckets.
usage: CloudScraper.py [-h] [-v] [-p Processes] [-d DEPTH] [-u URL] [-l TARGETLIST]
optional arguments:
-h, --help show this help message and exit
-u URL Target Scope
-d DEPTH Max Depth of links Default: 5
-l TARGETLIST Location of text file of Line Delimited targets
-v Verbose Verbose output
-p Processes Number of processes to be executed in parallel. Default: 2
--no-verify Skip TLS verification
esempio: python3 CloudScraper.py -u https://rottentomatoes.com
Per aggiungere parole chiave, è sufficiente aggiungerle alla lista nella funzione parser.
Condividere è prendersi cura! Pull request benvenute, cose come aggiungere supporto per più rilevamenti, multithreading ecc. sono molto desiderate :)
Beh, Bryce Kunz ha effettivamente creato uno strumento per fare qualcosa di simile, ma usava scrapy e io volevo costruire qualcosa di mio che non dipendesse da Python2 o da moduli di scraping come scrapy. Alla fine ho usato BeautifulSoup per analizzare i link href solo per lo spidering. Da qui è nato CloudScraper. Il vantaggio di usare regex raw invece di analizzare i link href è che molte volte questi non sono inclusi nei link href, possono essere nascosti in JS o in altre posizioni. CloudScraper cattura l'intera pagina e usa una regex per cercare i link. Questo ha anche i suoi difetti, come catturare troppo o troppo poco, ma almeno sappiamo di coprire le basi :)