#1Herramientas de crawling web, scraping, spidering y reconocimiento automatizado para pruebas de seguridad.
Recomendado por Kitploit

Snoopy v2.0 - framework modular de seguimiento terrestre digital

herramienta php para escaneo de redes

Parsero | Herramienta de auditoría de robots.txt

Un escáner de aplicaciones web

Pastenum es una herramienta de enumeración de volcados de texto.

Escáner de seguridad de aplicaciones web creado por lcamtuf para Google - Espejo no oficial