nmalcolm/inventusInventus es un spider diseñado para encontrar subdominios de un dominio específico rastreándolo a él y a cualquier subdominio que descubra.
Inventus es una araña diseñada para encontrar subdominios de un dominio específico rastreando el dominio y cualquier subdominio que descubra. Es una araña de Scrapy, lo que significa que es fácilmente modificable y ampliable según tus necesidades.
Inventus requiere que Scrapy esté instalado antes de poder ejecutarse. Primero, clona el repositorio y accede a él.
$ git clone https://github.com/nmalcolm/Inventus
$ cd Inventus
Ahora instala las dependencias requeridas usando pip.
$ pip install -r requirements.txt
Suponiendo que la instalación se haya realizado correctamente, Inventus debería estar listo para usarse.
El uso más básico de Inventus es el siguiente:
$ cd Inventus
$ scrapy crawl inventus -a domain=facebook.com
Esto le indica a Scrapy qué araña usar ("inventus" en este caso) y pasa el dominio a la araña. Cualquier subdominio encontrado se enviará a STDOUT.
El otro parámetro personalizado es subdomain_limit. Esto establece un límite máximo de subdominios a descubrir antes de terminar. El valor predeterminado es 10000, pero no es un límite estricto.
$ scrapy crawl inventus -a domain=facebook.com -a subdomain_limit=100
La exportación de datos se puede realizar de varias maneras. La forma más sencilla es redirigir STDOUT a un archivo.
$ scrapy crawl inventus -a domain=facebook.com > facebook.txt
Scrapy tiene una función integrada que te permite exportar elementos a varios formatos, incluidos CSV, JSON y XML. Actualmente solo se exportarán subdominios, aunque esto puede cambiar en el futuro.
$ scrapy crawl inventus -a domain=facebook.com -t csv -o Facebook.csv
Se pueden realizar configuraciones sobre cómo se comporta Inventus. Por defecto, Inventus ignorará robots.txt, tiene un tiempo de espera de 30 segundos, almacena en caché los datos de rastreo durante 24 horas, tiene una profundidad de rastreo de 5 y utiliza la extensión AutoThrottle de Scrapy. Todos estos parámetros y más se pueden cambiar editando el archivo inventus_spider/settings.py. Los ajustes de Scrapy también están bien documentados.
No dudes en abrir un nuevo issue para cualquiera de los anteriores. Inventus se construyó en solo unas pocas horas y probablemente contenga errores. También puedes contactar conmigo en Twitter.
Publicado bajo la Licencia MIT. Consulta LICENSE.