laluka/bypass-url-parserTesta centinaia di tecniche di bypass degli URL contro pagine protette da 40X utilizzando richieste curl raw, con scansione multi-modalità, spoofing degli header ed esportazione dei risultati in JSON/HTML per la valutazione del controllo degli accessi.
Strumento che testa MOLTI bypass di URL per raggiungere una pagina protetta 40X.
Se ti stai chiedendo perché questo codice non è nient'altro che un wrapper sporco di curl, ecco il motivo:
Questo è sorprendentemente difficile da ottenere in Python senza perdere tutte le chicche della libreria come parsing, incapsulamento ssl/tls e così via.
Quindi, fai come me, usa , andrà tutto bene.
curl come backendInoltre, questo strumento può essere usato come libreria, vedi lib_sample_usage.py
Consigliamo di usare pipx per installare questo strumento:```bash
pipx install bypass-url-parser
pipx install git+https://github.com/laluka/bypass-url-parser
In alternativa, puoi usare `pip`:```bash
pip install bypass-url-parser
Bypass Url Parser, made with love by @TheLaluka A tool that tests MANY url bypasses to reach a 40X protected page.
Usage: bypass-url-parser (-u | -R ) [-m ] [-o ] [-S ] [ (-H
Program options: -u, --url URL (path is optional) to run bypasses against -R, --request Load HTTP raw request from a file -H, --header
General options: -h, --help Show help, you are here :) -v, --verbose Verbose output -d, --debug Show more details like curl commands generated by this tool -dd, --debug Print Debug level 2 (with all classes debug_class output) -V, --version Show version info
Misc options: --spoofip-replace Disable list of default internal IPs in 'http_headers_ip' bypass mode --spoofport-replace Disable list of default internal ports in 'http_headers_port' bypass mode --request-tls Force usage of TLS/HTTPS for the request load with the '-R, --request' option --dump-payloads Print all payloads (curls) generated by this tool. --jsonl Print results in JSON lines format (pipe command output)
Examples: bypass-url-parser -u "http://127.0.0.1/juicy_403_endpoint/" -s 8.8.8.8 -d bypass-url-parser -u /path/urls -t 30 -T 5 -H "Cookie: me_iz=admin" -H "User-agent: test" bypass-url-parser -R /path/request_file --request-tls -m "mid_paths, end_paths"
## Risultato atteso```bash
bypass-url-parser -u http://127.0.0.1:8000/foo/bar
2022-08-09 14:52:40 lalu-perso bup[361559] WARNING Trying to bypass 'http://127.0.0.1:8000/foo/bar' url (3213 payloads)...
2022-08-09 14:52:40 lalu-perso bup[361559] INFO Doing: 50 / 3213
[...]
2022-08-09 14:52:54 lalu-perso bup[361559] INFO Doing: 3200 / 3213
2022-08-09 14:52:54 lalu-perso bup[361559] INFO Retry (1/3) the '16' failed curl commands with 10 threads and 10s timeout
2022-08-09 14:52:54 lalu-perso bup[361559] INFO Retry (2/3) the '16' failed curl commands with 5 threads and 20s timeout
2022-08-09 14:52:54 lalu-perso bup[361559] INFO Retry (3/3) the '16' failed curl commands with 1 threads and 30s timeout
2022-08-09 14:52:55 lalu-perso bup[361559] INFO
[#####] [bypass_method] [payload] => [status_code] [content_type] [content_length] [lines_count] [word_counts] [title] [server] [redirect_url]
[GROUP (1587)] [original_request] [http://127.0.0.1:8000/foo/bar] => [404] [text/html] [469] [14] [95] [Error response] [SimpleHTTP/0.6 Python/3.8.10] []
[GROUP (10)] [http_methods] [-X CONNECT http://127.0.0.1:8000/foo/bar] => [501] [text/html] [500] [14] [96] [Error response] [SimpleHTTP/0.6 Python/3.8.10] []
[SINGLE] [mid_paths] [http://127.0.0.1:8000/???foo/bar] => [200] [text/html] [913] [26] [27] [Directory listing for /???foo/bar] [SimpleHTTP/0.6 Python/3.8.10] []
[SINGLE] [mid_paths] [http://127.0.0.1:8000//???foo/bar] => [301] [] [] [0] [0] [] [SimpleHTTP/0.6 Python/3.8.10] [/???foo/bar]
[SINGLE] [mid_paths] [http://127.0.0.1:8000/??foo/bar] => [200] [text/html] [911] [26] [27] [Directory listing for /??foo/bar] [SimpleHTTP/0.6 Python/3.8.10] []
[SINGLE] [mid_paths] [http://127.0.0.1:8000//??foo/bar] => [301] [] [] [0] [0] [] [SimpleHTTP/0.6 Python/3.8.10] [/??foo/bar]
[SINGLE] [mid_paths] [http://127.0.0.1:8000/?foo/bar] => [200] [text/html] [909] [26] [27] [Directory listing for /?foo/bar] [SimpleHTTP/0.6 Python/3.8.10] []
[SINGLE] [mid_paths] [http://127.0.0.1:8000//?foo/bar] => [301] [] [] [0] [0] [] [SimpleHTTP/0.6 Python/3.8.10] [/?foo/bar]
[SINGLE] [mid_paths] [http://127.0.0.1:8000///?anythingfoo/bar] => [200] [text/html] [929] [26] [27] [Directory listing for ///?anythingfoo/bar] [SimpleHTTP/0.6 Python/3.8.10] []
[SINGLE] [mid_paths] [http://127.0.0.1:8000////?anythingfoo/bar] => [200] [text/html] [931] [26] [27] [Directory listing for ////?anythingfoo/bar] [SimpleHTTP/0.6 Python/3.8.10] []
[GROUP (2)] [mid_paths] [http://127.0.0.1:8000/#?foo/bar] => [200] [text/html] [893] [26] [27] [Directory listing for /] [SimpleHTTP/0.6 Python/3.8.10] []
[GROUP (2)] [mid_paths] [http://127.0.0.1:8000//#?foo/bar] => [301] [] [] [0] [0] [] [SimpleHTTP/0.6 Python/3.8.10] [/]
sudo apt install -y bat curl virtualenv python3
virtualenv -p python3 .py3 source .py3/bin/activate PDM_BUILD_SCM_VERSION="$(git describe --abbrev=0)-dev" pip install .
python src/bypass_url_parser/init.py -u https://thinkloveshare.com/juicy_403_endpoint/
bypass-url-parser -u https://thinkloveshare.com/juicy_403_endpoint/ cat /tmp/tmpRANDOM-bypass-url-parser/triaged-bypass.json | jq -r '.results[].request_curl_cmd' cat /tmp/tmpRANDOM-bypass-url-parser/triaged-bypass.json | jq -r '.results[].response_data'
### DOCKER```bash
docker run --rm -it -v "$PWD:/host" -w /host ghcr.io/laluka/bypass-url-parser:latest bash -il
# Then bup -h, keep the docker open as the output is saved by default in /tmp
# Or specify the output to the current directory, and consult them later! :)
Bypass_url_parser consente di definire alcuni argomenti in molti modi:
-m, --mode, -s, --spoofip e -p, --spoofport possono essere un nome di file, una stringa, un elenco di stringhe separato da virgole o un elenco (quando Bypasser è usato come libreria);-u, --url può essere un nome di file, una stringa o un elenco (quando Bypasser è usato come libreria);stdin (con -) è supportato per tutti questi argomenti.Ad esempio, se si desidera definire più URL di destinazione (-u, --url), tutti i comandi seguenti producono lo stesso risultato:```bash
bypass-url-parser -u http://thinkloveshare.com/test
bypass-url-parser -u /path/urls
cat /path/urls | bypass-url-parser -u -
echo 'http://thinkloveshare.com/test' | bypass-url-parser -u -
### Definizione del target
È necessario definire un target affinché lo strumento funzioni. 2 opzioni:
- `-u, --url`: URL (in GET)
- `-R, --request`: File di richiesta. Il protocollo non può essere dedotto dal file, quindi per default `http` o `https` se è presente l'opzione `--request-tls`.
### Modalità bypass
Se `-m, --mode` è specificato, puoi selezionare la modalità di bypass desiderata per eseguire un test (o test) specifico e ridurre il numero di richieste inviate dallo strumento.
Per ora, sono supportate le seguenti modalità di bypass:```
all, mid_paths, end_paths, case_substitution, char_encode, http_methods, http_versions, http_headers_method, http_headers_scheme, http_headers_ip, http_headers_port, http_headers_url, user_agent
Esempio:```bash bypass-url-parser -u /path/urls -m "case_substitution, char_encode, http_headers_scheme"
### Spoofip / Spoofport
Per personalizzare gli indirizzi IP e le porte utilizzati nei tentativi di bypass, lo strumento supporta le seguenti opzioni:
- Con `-s, --spoofip` puoi impostare alcuni IP da iniettare nelle intestazioni `ip-specific` (`X-Forwarded-For`, `X-Real-Ip`, ecc.)
- Con `-p, --spoofport` puoi impostare alcune porte da iniettare nelle intestazioni `port-specific` (`X-Forwarded-Port`)
Per impostazione predefinita, queste voci personalizzate vengono aggiunte agli elenchi interni di IP/porte. Se vuoi utilizzare solo i tuoi IP/porte, puoi usare gli argomenti `--spoofip-replace` e/o `--spoofport-replace`.
Esempio:```bash
bypass-url-parser -u /path/urls -s /path/custom_ip --spoofip-replace
bypass-url-parser -u /path/urls -p "3000, 9443, 10443"
Con l'opzione --jsonl, è possibile stampare i risultati su stdout in formato JSON-Lines. L'output standard dello strumento e i risultati vengono visualizzati con un logger su stderr, quindi è possibile fare il piping dell'output in formato JSON-Line con altri strumenti.```bash
bypass-url-parser -u "https://thinkloveshare.com/juicy_403_endpoint/" -t 20 -S 0 -m case_substitution,char_encode --jsonl | jq
***Note:** Con `-S 2` o `-S 3`, l'output JSON-Lines include anche il percorso e il nome dei file html salvati.*
### Salvataggio dei risultati
Per impostazione predefinita, se l'URL di destinazione è unico, lo strumento salva una copia dei risultati nella directory `/tmp/tmpXXX-bypass-url-parser/`.
***Note:** Se vengono passati più URL di destinazione a `-u`, i risultati vengono prefissati con l'URL come directory (`/tmp/tmpXXX-bypass-url-parser/http-target-com-8080-api-users/`).*
Ci sono due argomenti per personalizzare questo comportamento:
- `-o, --outdir` per impostare una directory di output personalizzata
- `-S, --save-level` per scegliere un livello di salvataggio
I livelli di salvataggio sono:
- `0` (NESSUNO): Disabilita il salvataggio dell'output e la creazione della directory di output;
- `1` (MINIMO): Salva solo il file di log del programma che contiene i risultati: `triaged-bypass.log`;
- `2` (PERTINENTE): Salva il file di log del programma `triaged-bypass.log` e le risposte curl **pertinenti (risultati)** nel file `triaged-bypass.json` e file html separati (Predefinito);
- `3` (COMPLETO): Salva il file di log del programma `triaged-bypass.log` e **tutte** le risposte curl nel file `triaged-bypass.json` e file html separati.
#### Example```bash
bypass-url-parser -S 0
bypass-url-parser -S 1 -o /tmp/bypass-res
bypass-url-parser -S 2 -o /tmp/bypass-res2 -H "User-Agent: curl 7.74.0" -u http://thinkloveshare.com/juicy_403_endpoint/
tree /tmp/bypass-res2/
├── bypass-2469eecf6c38b5817d2248e911ad4382.html
├── bypass-6f7cce7caf0a0a4b440859fa189d496d.html
├── bypass-80f4ab5d32b4e74c20630c7e67f2e42f.html
├── bypass-93079abffe63d34f79ac4a511cd6b5e6.html
├── bypass-945822230d58d1ad4680d5dfbc470ecb.html
├── bypass-e6118c315eea0e5b2ebc4fcafe0559c0.html
├── triaged-bypass.json
└── triaged-bypass.log
0 directories, 8 files
A partire dal livello MINIMAL, i risultati visualizzati dal programma vengono salvati nel file triaged-bypass.log.
Con i livelli di salvataggio PERTINENT e FULL, il programma esporta inoltre tutti i risultati nel file triaged-bypass.json:```json
{
"url": "http://thinkloveshare.com/juicy_403_endpoint/",
"bypass_modes": "all",
"results": [
{
"request_curl_cmd": "/usr/bin/curl -sS -kgi -H 'User-Agent: curl 7.74.0' --path-as-is -H 'X-BlueCoat-Via: localhos[...SNIP...]",
"request_curl_payload": "-H X-BlueCoat-Via: localhost http://thinkloveshare.com/juicy_403_endpoint/",
"response_headers": "HTTP/1.1 301 Moved Permanently\nConnection: keep-alive\nContent-Length: 162\nServer: GitHub.c[...SNIP...]",
"response_data": "\n301 Moved Permanently\n\n
Rendendoli più facili da gestire con `jq`:```bash
$ jq -r '.results[] | [.request_curl_payload, .response_status_code, .response_content_type, .response_content_length] | join("|")' /tmp/bypass-res2/triaged-bypass.json
-H X-BlueCoat-Via: localhost http://thinkloveshare.com/juicy_403_endpoint/|301|text/html|162
-X PROPFIND http://thinkloveshare.com/juicy_403_endpoint/|405||131
http://thinkloveshare.com/%3b%2f%2e%2e%2f%2e%2e%2f%2fjuicy_403_endpoint/|400|text/html|9121
-H Host: 8.8.8.8 http://thinkloveshare.com/juicy_403_endpoint/|404|text/html|9115
-X CONNECT http://thinkloveshare.com/juicy_403_endpoint/|400|text/plain|15
http://thinkloveshare.com/juicy_403_endpoint/°//|400|text/html|90
Con i livelli di salvataggio PERTINENT e FULL, i comandi curl e le risposte HTTP complete vengono anche archiviati in file pseudo .html:```bash
$ echo /tmp/bypass-res2/*.html | xargs batcat
───────┬───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
│ File: /tmp/bypass-res2/bypass-2469eecf6c38b5817d2248e911ad4382.html
───────┼───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
1 │ /usr/bin/curl -sS -kgi -H 'User-Agent: curl 7.74.0' --path-as-is 'http://thinkloveshare.com/juicy_403_endpoint/°//'
2 │
3 │ HTTP/1.1 400 Bad request
4 │ Connection: keep-alive
5 │ Content-Length: 90
6 │ Cache-Control: no-cache
7 │ Content-Type: text/html
8 │ Accept-Ranges: bytes
9 │ Date: Tue, 25 Apr 2023 23:51:38 GMT
10 │ Via: 1.1 varnish
11 │ X-Served-By: cache-par-lfpg1960025-PAR
12 │ X-Cache: MISS
13 │ X-Cache-Hits: 0
14 │ X-Timer: S1682466698.230664,VS0,VE10
15 │ Vary: Accept-Encoding
16 │ X-Fastly-Request-ID: b6bbb82302420db4f101a316dca39cc283a4fd44
17 │
18 │
## Contributors
- Rilascio iniziale di [@TheLaluka](https://twitter.com/TheLaluka)
- Grande refactoring e modalità libreria con ringraziamenti a [@jtop_fap](https://twitter.com/jtop_fap)
- Supporto per build `Docker` e `Pypi` grazie al gentile lavoro di [@DugnyG](https://twitter.com/DugnyG)
## License
Copyright (C) 2022 Laluka
Questo programma è software libero: puoi ridistribuirlo e/o modificarlo secondo i termini della GNU Affero General Public License come pubblicata dalla Free Software Foundation, versione 3 della Licenza, o (a tua scelta) qualsiasi versione successiva.
Questo programma è distribuito nella speranza che sia utile, ma SENZA ALCUNA GARANZIA; senza nemmeno la garanzia implicita di COMMERCIABILITÀ o IDONEITÀ PER UN PARTICOLARE SCOPO. Vedi la GNU Affero General Public License per maggiori dettagli.
Dovresti aver ricevuto una copia della GNU Affero General Public License insieme a questo programma. In caso contrario, visita <https://www.gnu.org/licenses/>.