xorbit01/webpalmМногопоточный веб-краулер для структурированного картирования сайтов и извлечения данных на основе регулярных выражений. Экспортирует результаты в JSON, XML или TXT для разведки и OSINT-задач.
🔍 Эффективно обходите сайты, извлекайте структурированные данные и визуализируйте связи. 🕵️♂️
🌳 Генерация структурированного веб-дерева
🕵️ Извлечение данных по регулярным выражениям
⚡ Высокоскоростная многопоточность
📂 Множество форматов экспорта
🎨 Цветной вывод и надёжная обработка ошибок
git clone https://github.com/XORbit01/webpalm.git
cd webpalm
go build -o webpalm && ./webpalm
go install github.com/XORbit01/webpalm/v2@latest
webpalm -h
🌎 -i, --include # Включить только определённые домены (например, google.com, facebook.com)
🔗 -u, --url # Целевой сайт
📏 -l, --level # Глубина обхода
❌ -x, --exclude # Исключить коды статуса (например, 404, 500)
💾 -o, --output # Сохранить результаты (JSON, XML, TXT)
🚀 -w, --worker # Количество потоков
🔍 --regexes # Извлечь данные с помощью regex
webpalm -u https://example.com -l2
webpalm -u https://example.com -l1 --regexes comments="\<\!--.*?-->" -o results.json
webpalm -u https://example.com -l3 -w 50
webpalm -u https://example.com -l2 -o output.xml
| 🔍 Назначение | 📜 Регулярное выражение |
|---|---|
| 📧 Email'ы | [a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+ |
| 💬 Комментарии | \<\!--.*?--> |
📌 Экранируйте специальные символы, если требуется.
💡 Pull request'ы приветствуются! Откройте issue перед серьёзными изменениями.
📢 Discord: xorbit.
| 🔑 Токены | [a-zA-Z0-9]{32} |
| 🔐 Пароли | \bpassword\b.{0,10} |