urless

Acerca de - v2.7

Esta es una herramienta utilizada para depurar una lista de URLs. Como punto de partida, tomé la increíble herramienta uro de Somdev Sangwan. Pero quería cambiar algunas cosas, hacer algunas mejoras (como lidiar con GUIDs) y hacerla más personalizable.

Instalación

urless es compatible con Python 3.

Instala urless en el entorno de Python por defecto (global).

pip install urless

O

pip install git+https://github.com/xnl-h4ck3r/urless.git -v

Puedes actualizarlo con

pip install --upgrade urless

pipx

Configuración rápida en un entorno de Python aislado usando pipx

pipx install git+https://github.com/xnl-h4ck3r/urless.git

Uso

¿Qué hace exactamente?

Básicamente pasas una lista de URLs (desde un archivo, o canalizada desde STDIN), y obtienes un archivo depurado de URLs de salida. Pero, ¿de qué manera se depuran? Te lo explicaré a continuación, pero primero estos son algunos términos que se usarán:

• FILTER-EXTENSIONS: Esto se refiere a la lista de extensiones que se pueden pasar con -fe, especificadas con FILTER_EXTENSIONS en config.yml, o si no existe ninguna de esas, una lista predeterminada de .css,.ico,.jpg,.jpeg,.png,.bmp,.svg,.img,.gif,.mp4,.flv,.ogv,.webm,.webp,.mov,.mp3,.m4a,.m4p,.scss,.tif,.tiff,.ttf,.otf,.woff,.woff2,.bmp,.ico,.eot,.htc,.rtf,.swf,.image.
• FILTER-KEYWORDS: Esto se refiere a la lista de palabras clave que se pueden pasar con -fk, especificadas con FILTER_KEYWORDS en config.yml, o si no existe ninguna de esas, una lista predeterminada de blog,article,news,bootstrap,jquery,captcha,node_modules.
• LANGUAGE: Esto se refiere a la lista de códigos de idioma que se pueden especificar con LANGUAGE en config.yml, o si no existe, una lista predeterminada de los códigos más comunes en,en-us,en-gb,fr,de,pl,nl,fi,sv,it,es,pt,ru,pt-br,es-mx,zh-tw,js.ko.

Esto es lo que sucede:

• Si una URL tiene el puerto 80 o 443 explícitamente indicado, se elimina de la URL (p. ej. http://example.com:80/test -> http://example.com/test).
• Si la URL tiene alguna de las FILTER-EXTENSIONS, se eliminará de la salida.
• Si la URL NO tiene parámetros O se pasó el argumento -dp/--disregard-params:
  • Si la URL contiene una FILTER-KEYWORDS o UNWANTED-CONTENT, se eliminará.
  • Si la cadena de consulta de la URL contiene parámetros no deseados especificados en la configuración REMOVE_PARAMS (o anulados con el argumento -rp/--remove-params), se eliminarán de todas las URLs antes del procesamiento.
  • Si se pasa -rcid/--regex-custom-id y la ruta de la URL contiene un ID personalizado, solo se incluirá una coincidencia con la regex del ID personalizado si hay múltiples URLs donde esa es la única diferencia.
  • Si la ruta de la URL contiene un GUID, solo se incluirá uno de los GUID si hay múltiples URLs donde el GUID es la única diferencia.
  • Si la ruta de la URL contiene un ID entero, solo se incluirá uno de los IDs enteros si hay múltiples URLs donde el ID entero es la única diferencia.
  • Si se pasa el argumento -lang y la URL contiene un código de idioma (p. ej. ), solo se incluirá uno de los códigos de idioma si hay múltiples URLs donde el código de idioma es diferente.

Ejemplos

Uso básico

cat target_urls.txt | urless

o

urless -i target_urls.txt

Capturar la salida

cat target_urls.txt | urless > output.txt

o

urless -i target_urls.txt -o output.txt

config.yml

El archivo config.yml tiene las claves que se pueden actualizar según tus necesidades:

• FILTER_KEYWORDS - Una lista de palabras clave separadas por comas (p. ej. blog,article,news, etc.) contra las que se verifican las URLs en ciertas circunstancias.
• FILTER_EXTENSIONS - Una lista de extensiones de archivo separadas por comas (p. ej. .css,.jpg,.jpeg, etc.) contra las que se verifican todas las URLs. Si una URL incluye alguna de las cadenas, se excluirá de la salida.
• LANGUAGE - Una lista de códigos de idioma separados por comas (p. ej. en-gb,fr,nl, etc.) contra los que se verifican todas las URLs cuando se pasa el argumento -lang. Si hay múltiples URLs con diferentes códigos de idioma, solo se generará una versión de la URL.
• REMOVE_PARAMS - Una lista de nombres de parámetros separados por comas sensibles a mayúsculas (p. ej. cachebuster,cacheBuster) que se eliminarán de todas las URLs antes del procesamiento.

Regex personalizada

Actualmente hay comprobaciones automáticas de regex para que una parte de la ruta sea un Identificador Único Global (GUID) o un ID entero, pero el argumento -rcid / --regex-custom-id te permite proporcionar una expresión regular para identificar un ID personalizado. Por ejemplo, si un objetivo tiene un formato de ID específico (que no es un GUID ni un entero), entonces puedes especificar una expresión regex para él, y solo se devolverá uno de esos en la salida si el resto de la URL es igual. Por ejemplo:

• Supón que el objetivo tiene un ID de usuario en un formato como U-65241X
• Y hay múltiples URLs como las siguientes:
  root@kitploit:~

  https://target.com/blah/U-61723A/settings
  https://target.com/blah/U-63352B/settings
  https://target.com/blah/U-61351A/profile
  https://target.com/blah/U-61723A/settings
  https://target.com/blah/U-64135C/profile
  

• Puedes llamar a urless y pasar -rcid 'U-[0-9]{5}[A-Z]', entonces la salida sería:
  root@kitploit:~

  https://target.com/blah/U-61723A/settings
  https://target.com/blah/U-64135C/profile
  

NOTAS IMPORTANTES SOBRE LA REGEX:

• Escribir expresiones regex correctas puede ser difícil, y si no es correcta, podrías terminar con una salida impredecible e incorrecta.
• Encierra siempre tu expresión regex entre comillas simples al pasarla al argumento -rcid.
• No necesitas añadir una regex personalizada para un GUID o ID entero - estos ya se manejan.
• La expresión regex debe resaltar toda la parte de la ruta. Por lo tanto, si tu regex solo identifica el comienzo de la ruta, añade [^(\?|\/|#|$)]* al final de tu regex, lo que significará TODOS los demás caracteres hasta el final de la parte de la ruta.
• Puedes añadir ^ al principio y $ al final de tu regex para asegurar que representa toda la parte de una ruta entre barras. Sin embargo, se añadirán automáticamente si los omites.
• Asegúrate de que la regex solo identifique las secciones que te interesan, de lo contrario podrías tener resultados inesperados. Para probar tu regex, puedes tomar tu archivo de entrada y ejecutar cat input.txt | grep -E 'U-[0-9]{5}[A-Z]', por ejemplo, y ver si tu expresión parece correcta (debería resaltar solo lo que te interesa y resaltar toda la parte de la ruta que es el ID personalizado).
• También puedes probar usando Regex101, introduciendo URLs de ejemplo en la sección TEST STRING para comprobar si es correcta. Asegúrate de que las REGEX FLAGS global y multilínea estén seleccionadas.
• Puede haber casos en los que simplemente no puedas proporcionar una regex que identifique correctamente el ID personalizado sin tratar otros valores como iguales. Por ejemplo, si hay URLs como https://target.com/blah/xnl/settings donde xnl es un nombre de usuario, no podrás crear una regex para el nombre de usuario porque no es un formato lo suficientemente único como para distinguirlo de otros posibles valores de ruta.

Problemas

Si te encuentras con cualquier problema, o tienes ideas para mejoras, no dudes en abrir un issue en Github. Si hay un problema, será útil que proporciones el comando exacto que ejecutaste y una descripción detallada del problema. Si es posible, ejecuta con -v para reproducir el problema y hazme saber los mensajes de error que se muestren.

TODO

Ninguno - no dudes en abrir un issue en Github para sugerir mejoras.

Y finalmente...

¡Buena suerte y buena caza! Si de verdad te encanta la herramienta (o cualquiera de las otras), o te ayudaron a encontrar un bounty increíble, considera ¡INVITARME UN CAFÉ! ☕ (¡me vendría bien la cafeína!).

🤘 /XNL-h4ck3r