Crawler

arxhr007/aliens_eye

AI powered OSINT engine to discover and map 840+ social media identities across the web

rebrowser/rebrowser-patches

Collection of patches for puppeteer and playwright to avoid automation detection and leaks. Helps to avoid Cloudflare and DataDome CAPTCHA pages.…

searxng/searxng

개인정보를 존중하는 메타검색 엔진으로, 사용자를 추적하거나 프로파일링하지 않고 여러 검색 서비스의 결과를 집계합니다. 자체 호스팅이 가능하며 다양한 구성 옵션을 제공합니다.

naibowang/easyspider

A visual no-code/code-free web crawler/spider易采集：一个可视化浏览器自动化测试/数据采集/网页爬虫软件，可以无代码图形化的设计和执行爬虫任务。别名：ServiceWrapper面向Web应用的智能化服务封装系统。

projectdiscovery/httpx

빠르고 다중 프로브를 사용하는 HTTP 툴킷으로, 정찰 및 정보 수집을 위한 도구입니다. TLS, CSP, 헤더, 기술 스택, CDN을 검사합니다. 매처, 필터 및 JSON 출력을 지원하여 자동화된 보안 테스트에 사용됩니다.

dgtlmoon/changedetection.io

웹사이트 변경 감지, 웹페이지 모니터링, 웹사이트 변경 알림을 위한 최고의 가장 간단한 도구입니다. 콘텐츠 변경 추적, 가격 인하, 재입고 알림, 웹사이트 변조 모니터링에 완벽합니다—무료로 이용하거나 SaaS 플랜을 즐겨보세요!

seladb/pcapplusplus

크로스 플랫폼 C++ 라이브러리로, 고성능 네트워크 패킷 캡처, 파싱, 제작 및 분석을 제공합니다. libpcap, DPDK, AF_XDP, PF_RING을 지원하며, TCP 재조립, TLS 핑거프린팅 및 프로토콜 디코딩을 포함합니다.

bigbodycobain/shadowbroker

실시간 지리공간 OSINT 플랫폼으로, 60개 이상의 공공 원격 측정 피드(ADS-B, AIS, 위성, CCTV)를 통합 지도에 집계하며 서버 측 정찰 도구 키트, AI 에이전트 채널, 분산 메시 통신 기능을 제공합니다.

soxoj/socid-extractor

⛏️ Maigret의 추출 엔진: 모든 프로필 URL을 150개 이상의 사이트에서 구조화된 OSINT 레코드로 변환합니다.

d4vinci/scrapling

적응형 웹 스크래핑 프레임워크로, 안티봇 우회, 자동 요소 재배치, 동시 크롤링, 프록시 로테이션, 브라우저 자동화를 통해 견고한 데이터 추출을 지원합니다.

maurosoria/dirsearch

웹 경로 스캐너

vigolium/vigolium

Vigolium - High-fidelity vulnerability scanner fusing agentic AI with native speed, modularity, and precision

projectdiscovery/wappalyzergo

Wappalyzer 기술 탐지 라이브러리의 고성능 Go 구현

s0md3v/photon

OSINT를 위해 설계된 엄청나게 빠른 크롤러.

hahwul/urx

Extracts URLs from OSINT Archives for Security Insights

emrekybs/socmintelligence

소셜 미디어 인텔리전스, 조사 및 공공 데이터 분석을 위한 모듈식 OSINT & SOCMINT 프레임워크.