URLextractor

信息收集与站点侦查

用法: ./extractor http://www.hackthissite.org/

提示:

• Colorex：为输出添加颜色，pip install colorex 然后像这样使用：./extractor http://www.hackthissite.org/ | colorex -g "INFO" -r "ALERT"
• Tldextract：由dnsenumeration函数使用，pip install tldextract

功能特性:

• IP与主机信息，如城市和国家（使用 FreegeoIP）
• DNS服务器（使用 dig）
• ASN、网络范围、ISP名称（使用 RISwhois）
• 负载均衡器测试
• Whois查询滥用邮箱（使用 Spamcop）
• PAC（代理自动配置）文件
• 比较哈希值以区分代码
• robots.txt（递归查找隐藏内容）
• 源代码（查找密码和用户）
• 外部链接（来自其他网站的框架）
• 目录FUZZ（类似Dirbuster和Wfuzz - 使用 Dirbuster 的目录列表）
• URLvoid API - 检查Google PageRank、Alexa排名以及可能的黑名单
• 提供其他网站上的有用链接，用于关联IP/ASN
• 最后可选择在浏览器中打开所有结果

版本0.2.0变更日志:

• [修复] 将GeoIP从freegeoip更改为ip-api
• [修复/改进] 从robots.txt中移除重复项
• [改进] 更好的whois滥用联系信息（abuse.net）
• [改进] 将常用密码集合加入源代码检查
• [新功能] 首次运行验证，如有需要则安装依赖
• [新功能] 日志文件
• [新功能] 检查日志文件中的主机名
• [新功能] 检查主机名是否被列入Spamhaus域名黑名单
• [新功能] 使用常见服务器名称运行快速DNS枚举

版本0.1.9变更日志:

• 使用lynx代替curl获取滥用邮箱
• 修复目标服务器名称解析
• 更详细的HTTP状态码及目录发现信息
• 修复IP的MD5收集
• 现在发现的链接显示数组中的唯一URL
• [新功能] Google 结果
• [新功能] Bing IP检查其他主机/虚拟主机
• [新功能] 来自 Shodan 的开放端口
• [新功能] VirusTotal 关于IP的信息
• [新功能] Alexa排名 关于 $TARGET_HOST 的信息

依赖要求:

已在Kali light mini和OSX 10.11.3（使用brew）上测试通过

sudo apt-get install bc curl dnsutils libxml2-utils whois md5sha1sum lynx openssl -y

配置文件:

CURL_TIMEOUT=15 #timeout in --connect-timeout
CURL_UA=Mozilla #user-agent (keep it simple)
INTERNAL=NO #YES OR NO (show internal network info)
URLVOID_KEY=your_API_key #using API from http://www.urlvoid.com/
FUZZ_LIMIT=10 #how many lines it will read from fuzz file
OPEN_TARGET_URLS=NO #open found URLs at the end of script
OPEN_EXTERNAL_LINKS=NO #open external links (frames) at the end of script
FIRST_TIME=YES #if first time check for dependecies

待办事项:

• 上传到Github :)
• 检查已安装的软件包
• 与其他API集成
• 导出为CSV
• 与CipherScan集成

随时间变化的星标数