urless

Über - v2.7

Dies ist ein Tool zum Bereinigen einer Liste von URLs. Als Ausgangspunkt habe ich das erstaunliche Tool uro von Somdev Sangwan genommen. Aber ich wollte ein paar Dinge ändern, einige Verbesserungen vornehmen (wie den Umgang mit GUIDs) und es anpassbarer machen.

Installation

urless unterstützt Python 3.

Installiere urless in der Standard-Python-Umgebung (global).

pip install urless

ODER

pip install git+https://github.com/xnl-h4ck3r/urless.git -v

Du kannst mit folgendem Befehl aktualisieren:

pip install --upgrade urless

pipx

Schnelle Einrichtung in einer isolierten Python-Umgebung mit pipx

pipx install git+https://github.com/xnl-h4ck3r/urless.git

Verwendung

Was macht es genau?

Du übergibst im Grunde eine Liste von URLs (aus einer Datei oder per Pipe von STDIN) und erhältst eine bereinigte Datei oder URLs als Ausgabe. Aber auf welche Weise werden sie bereinigt? Ich erkläre das weiter unten, aber zuerst einige Begriffe, die verwendet werden:

• FILTER-EXTENSIONS: Dies bezieht sich auf die Liste der Erweiterungen, die entweder mit -fe übergeben, mit FILTER_EXTENSIONS in der config.yml angegeben werden kann, oder, wenn keines von beiden existiert, eine Standardliste von .css,.ico,.jpg,.jpeg,.png,.bmp,.svg,.img,.gif,.mp4,.flv,.ogv,.webm,.webp,.mov,.mp3,.m4a,.m4p,.scss,.tif,.tiff,.ttf,.otf,.woff,.woff2,.bmp,.ico,.eot,.htc,.rtf,.swf,.image.
• FILTER-KEYWORDS: Dies bezieht sich auf die Liste der Schlüsselwörter, die entweder mit -fk übergeben, mit FILTER_KEYWORDS in der config.yml angegeben werden kann, oder, wenn keines von beiden existiert, eine Standardliste von blog,article,news,bootstrap,jquery,captcha,node_modules
• LANGUAGE: Dies bezieht sich auf die Liste der Sprachcodes, die mit LANGUAGE in der config.yml angegeben werden kann, oder, wenn sie nicht existiert, eine Standardliste der häufigsten Codes

So funktioniert es:

• Wenn eine URL explizit Port 80 oder 443 angibt, wird er aus der URL entfernt (z. B. http://example.com:80/test -> http://example.com/test)
• Wenn die URL eine der FILTER-EXTENSIONS enthält, wird sie aus der Ausgabe entfernt.
• Wenn die URL KEINE Parameter hat ODER das Argument -dp/--disregard-params übergeben wurde:
  • Wenn die URL ein FILTER-KEYWORDS-Schlüsselwort oder UNWANTED-CONTENT enthält, wird sie entfernt.
  • Wenn der Query-String der URL unerwünschte Parameter enthält, die in der Konfiguration REMOVE_PARAMS angegeben sind (oder mit dem Argument -rp/--remove-params überschrieben wurden), werden sie vor der Verarbeitung aus allen URLs entfernt.
  • Wenn -rcid/--regex-custom-id übergeben wird und der URL-Pfad eine Custom ID enthält, wird nur eine Übereinstimmung mit der Custom-ID-Regex aufgenommen, wenn es mehrere URLs gibt, bei denen dies der einzige Unterschied ist.
  • Wenn der URL-Pfad eine GUID enthält, wird nur eine der GUIDs aufgenommen, wenn es mehrere URLs gibt, bei denen die GUID der einzige Unterschied ist.
  • Wenn der URL-Pfad eine Integer-ID enthält, wird nur eine der Integer-IDs aufgenommen, wenn es mehrere URLs gibt, bei denen die Integer-ID der einzige Unterschied ist.
  • Wenn das Argument -lang übergeben wird und die URL einen Sprachcode enthält (z. B. ), wird nur einer der Sprachcodes aufgenommen, wenn es mehrere URLs gibt, bei denen sich der Sprachcode unterscheidet.

Beispiele

Grundlegende Verwendung

cat target_urls.txt | urless

oder

urless -i target_urls.txt

Ausgabe speichern

cat target_urls.txt | urless > output.txt

oder

urless -i target_urls.txt -o output.txt

config.yml

Die Datei config.yml enthält die Schlüssel, die nach deinen Bedürfnissen angepasst werden können:

• FILTER_KEYWORDS - Eine durch Kommas getrennte Liste von Schlüsselwörtern (z. B. blog,article,news usw.), gegen die URLs unter bestimmten Umständen geprüft werden.
• FILTER_EXTENSIONS - Eine durch Kommas getrennte Liste von Dateierweiterungen (z. B. .css,.jpg,.jpeg usw.), gegen die alle URLs geprüft werden. Wenn eine URL eine der Zeichenketten enthält, wird sie von der Ausgabe ausgeschlossen.
• LANGUAGE - Eine durch Kommas getrennte Liste von Sprachcodes (z. B. en-gb,fr,nl usw.), gegen die alle URLs geprüft werden, wenn das Argument -lang übergeben wird. Wenn es mehrere URLs mit unterschiedlichen Sprachcodes gibt, wird nur eine Version der URL ausgegeben.
• REMOVE_PARAMS - Eine durch Kommas getrennte Liste von groß-/kleinschreibungsempfindlichen Parameternamen (z. B. cachebuster,cacheBuster), die vor der Verarbeitung aus allen URLs entfernt werden.

Benutzerdefinierte Regex

Es gibt derzeit automatische Regex-Prüfungen für einen Pfadteil, der eine global eindeutige ID (GUID) oder eine Integer-ID ist. Das Argument -rcid / --regex-custom-id ermöglicht es dir jedoch, einen regulären Ausdruck zur Identifizierung einer benutzerdefinierten ID (Custom ID) bereitzustellen. Wenn ein Ziel beispielsweise ein bestimmtes ID-Format hat (das keine GUID oder Integer ist), kannst du einen Regex-Ausdruck dafür angeben, und es wird dann nur eine davon in der Ausgabe zurückgegeben, wenn der Rest der URL gleich ist. Zum Beispiel:

• Nimm an, das Ziel hat eine Benutzer-ID in einem Format wie U-65241X
• Und es gibt mehrere URLs wie die folgenden:
  root@kitploit:~

  https://target.com/blah/U-61723A/settings
  https://target.com/blah/U-63352B/settings
  https://target.com/blah/U-61351A/profile
  https://target.com/blah/U-61723A/settings
  https://target.com/blah/U-64135C/profile
  

• Du kannst urless aufrufen und -rcid 'U-[0-9]{5}[A-Z]' übergeben, dann wäre die Ausgabe:
  root@kitploit:~

  https://target.com/blah/U-61723A/settings
  https://target.com/blah/U-64135C/profile
  

WICHTIGE HINWEISE ZUR REGEX:

• Das Schreiben korrekter Regex-Ausdrücke kann schwierig sein, und wenn diese nicht korrekt sind, könntest du unvorhersehbare und falsche Ausgaben erhalten.
• Setze deinen Regex-Ausdruck immer in einfache Anführungszeichen, wenn du ihn an das Argument -rcid übergibst.
• Du musst keine benutzerdefinierte Regex für eine GUID oder Integer-ID hinzufügen - diese werden bereits behandelt.
• Der Regex-Ausdruck sollte den gesamten Teil des Pfades markieren. Wenn deine Regex also nur den Anfang des Pfades identifiziert, füge [^(\?|\/|#|$)]* an das Ende deiner Regex hinzu, was ALLE anderen Zeichen bis zum Ende des Pfadteils bedeutet.
• Du kannst ^ am Anfang und $ am Ende deiner Regex hinzufügen, um sicherzustellen, dass sie den gesamten Teil eines Pfades zwischen Schrägstrichen darstellt. Diese werden jedoch automatisch für dich hinzugefügt, wenn sie weggelassen werden.
• Stelle sicher, dass die Regex nur die Abschnitte identifiziert, die dich interessieren, da du sonst unerwartete Ergebnisse erhalten könntest. Um deine Regex zu testen, kannst du deine Eingabedatei nehmen und zum Beispiel cat input.txt | grep -E 'U-[0-9]{5}[A-Z]' ausführen und prüfen, ob dein Ausdruck korrekt aussieht (er sollte nur das hervorheben, was dich interessiert, und den gesamten Teil des Pfades hervorheben, der die Custom ID ist).
• Du kannst auch mit Regex101 testen, indem du Beispiel-URLs in den Abschnitt TEST STRING eingibst, um zu prüfen, ob er korrekt ist. Stelle sicher, dass die REGEX FLAGS global und multiline ausgewählt sind.
• Es gibt möglicherweise Fälle, in denen du einfach keine Regex liefern kannst, die die Custom ID korrekt identifiziert, ohne andere Werte als gleich zu behandeln. Wenn es zum Beispiel URLs wie https://target.com/blah/xnl/settings gibt, wobei ein Benutzername ist, wirst du keine Regex für einen Benutzernamen erstellen können, da es kein ausreichend eindeutiges Format ist, um ihn von anderen möglichen Pfadwerten zu unterscheiden.

Probleme

Wenn du auf irgendwelche Probleme stößt oder Ideen für Verbesserungen hast, erstelle bitte gerne ein Issue auf Github. Wenn es ein Problem gibt, ist es hilfreich, wenn du den genauen Befehl, den du ausgeführt hast, und eine detaillierte Beschreibung des Problems bereitstellen kannst. Wenn möglich, führe den Befehl mit -v aus, um das Problem zu reproduzieren, und teile mir eventuelle Fehlermeldungen mit.

TODO

Keine - erstelle gerne ein Github-Issue, um Verbesserungen vorzuschlagen.

Und schließlich...

Viel Glück und viel Erfolg bei der Jagd! Wenn du das Tool (oder andere) wirklich liebst oder sie dir geholfen haben, ein tolles Bounty zu finden, denke über KAUF MIR EINEN KAFFEE! ☕ nach (Ich könnte das Koffein gebrauchen!)

🤘 /XNL-h4ck3r