xorbit01/webpalm멀티스레드 웹 크롤러로, 구조화된 사이트 매핑 및 정규식 기반 데이터 추출을 수행합니다. 결과를 JSON, XML 또는 TXT로 내보내어 정찰 및 OSINT 워크플로에 활용할 수 있습니다.
🔍 웹사이트를 효율적으로 크롤링하고, 구조화된 데이터를 추출하며, 연결을 시각화합니다. 🕵️♂️
🌳 구조화된 웹 트리 생성
🕵️ 정규식 기반 데이터 추출
⚡ 고속 멀티스레딩
📂 다양한 내보내기 형식
🎨 컬러 출력 및 강력한 오류 처리
git clone https://github.com/XORbit01/webpalm.git
cd webpalm
go build -o webpalm && ./webpalm
go install github.com/XORbit01/webpalm/v2@latest
webpalm -h
🌎 -i, --include # Include only specific domains (e.g., google.com, facebook.com)
🔗 -u, --url # Target website
📏 -l, --level # Depth of traversal
❌ -x, --exclude # Exclude status codes (e.g., 404, 500)
💾 -o, --output # Save results (JSON, XML, TXT)
🚀 -w, --worker # Multi-threading workers
🔍 --regexes # Extract data using regex
webpalm -u https://example.com -l2
webpalm -u https://example.com -l1 --regexes comments="\<\!--.*?-->" -o results.json
webpalm -u https://example.com -l3 -w 50
webpalm -u https://example.com -l2 -o output.xml
| 🔍 용도 | 📜 정규식 패턴 |
|---|---|
| 📧 이메일 | [a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+ |
| 💬 댓글 | \<\!--.*?--> |
| 🔑 토큰 |
📌 필요하면 특수 문자를 이스케이프하세요.
💡 풀 리퀘스트를 환영합니다! 주요 변경 전에 이슈를 열어주세요.
📢 디스코드: xorbit.
[a-zA-Z0-9]{32}| 🔐 비밀번호 | \bpassword\b.{0,10} |