网络爬虫

panniantong/agent-reach

Give your AI agent eyes to see the entire internet. Read & search Twitter, Reddit, YouTube, GitHub, Bilibili, XiaoHongShu — one CLI, zero API fees.

d4vinci/scrapling

自适应网页抓取框架，具备反爬虫绕过、自动元素重定位、并发爬取、代理轮换和浏览器自动化功能，用于实现高韧性的数据提取。

sqlmapproject/sqlmap

自动SQL注入和数据库接管工具

microsoft/playwright

Browser automation framework with a single API for Chromium, Firefox, and WebKit. Supports web testing, scraping, screenshots, and network…

naibowang/easyspider

A visual no-code/code-free web crawler/spider易采集：一个可视化浏览器自动化测试/数据采集/网页爬虫软件，可以无代码图形化的设计和执行爬虫任务。别名：ServiceWrapper面向Web应用的智能化服务封装系统。

projectdiscovery/nuclei

基于 YAML 的快速漏洞扫描器，采用模板驱动的检测引擎，可对 Web 应用、API、网络、DNS 和云基础设施进行自动化安全测试。

soxoj/maigret

🕵️‍♂️ 通过用户名从 6K 个网站收集某人的档案

dgtlmoon/changedetection.io

网站变更检测、网页监控和网站变更提醒的最佳且最简单的工具。非常适合跟踪内容变化、价格下降、补货提醒和网站篡改监控——全部免费，或享受我们的 SaaS 套餐！

scrapegraphai/scrapegraph-ai

基于 AI 的 Python 爬虫

qeeqbox/social-analyzer

用于在1000个社交媒体\网站中分析和查找个人资料的API、CLI和Web应用

zaproxy/zaproxy

开源Web应用安全扫描器，支持自动化漏洞检测、手动渗透测试和API安全测试，并内置基于代理的拦截引擎。

skyvern-ai/skyvern

使用AI自动化基于浏览器的工作流程

apify/crawlee

Node.js 网页抓取和浏览器自动化库，用于构建可靠的爬虫，支持 HTTP 和无头浏览器、代理轮换以及类人指纹。

projectdiscovery/nuclei-templates

社区策划的用于 nuclei 引擎寻找安全漏洞的模板列表。

ffuf/ffuf

用 Go 编写的快速 Web 模糊测试器

maurosoria/dirsearch

Web 路径扫描器