工具

dgtlmoon/changedetection.io

网站变更检测、网页监控和网站变更提醒的最佳且最简单的工具。非常适合跟踪内容变化、价格下降、补货提醒和网站篡改监控——全部免费，或享受我们的 SaaS 套餐！

searxng/searxng

尊重隐私的元搜索引擎，从多个搜索服务聚合结果，不跟踪或分析用户。支持自托管，并提供丰富的配置选项。

hahwul/deadfinder

快速CLI工具，用于扫描网站、站点地图和URL列表中的坏链，支持并发工作、覆盖率报告和多种输出格式。

scrapegraphai/scrapegraph-ai

基于 AI 的 Python 爬虫

firecrawl/firecrawl-mcp-server

为AI智能体提供网页抓取、爬取和搜索能力的MCP服务器。支持通过统一API进行结构化数据提取、交互式浏览和深度研究。

ginlix-ai/langalpha

自动化OSINT框架，用于侦察、数据收集和威胁情报聚合，配备模块化爬虫、扫描器和提取管道。

soxoj/maigret

🕵️‍♂️ 通过用户名从 3000 多个站点收集某人的档案资料

topscoder/nuclei-wordfence-cve

80k+ WordPress Nuclei 模板，每日从 Wordfence 情报更新——按严重性/标签/CVE 筛选，并用一行命令扫描。🚀🔒

projectdiscovery/nuclei-templates

社区策划的用于 nuclei 引擎寻找安全漏洞的模板列表。

skyvern-ai/skyvern

使用AI自动化基于浏览器的工作流程

runanywhereai/on-device-browser-agent

使用WebLLM实现设备端AI浏览器自动化。无需云端，无需API密钥，完全私密。

s0md3v/wappalyzer-next

使用 Wappalyzer 替代方案检测技术

kaliiiiiiiiii-vinyzu/patchright

Playwright 测试与自动化库的未检测版本。

d4vinci/scrapling

🕷️ 一个自适应网页抓取框架，处理从单个请求到大规模爬取的所有任务！

vigolium/vigolium

Vigolium - High-fidelity vulnerability scanner fusing agentic AI with native speed, modularity, and precision

spider-rs/spider

为AI智能体和大语言模型获取网页数据

naibowang/easyspider

A visual no-code/code-free web crawler/spider易采集：一个可视化浏览器自动化测试/数据采集/网页爬虫软件，可以无代码图形化的设计和执行爬虫任务。别名：ServiceWrapper面向Web应用的智能化服务封装系统。