danieleperera/onioningestorEin erweiterbares Tool zum Sammeln, Crawlen und Überwachen von Onion-Sites im Tor-Netzwerk sowie zum Indexieren der gesammelten Informationen in Elasticsearch
Ein erweiterbares Tool zum Sammeln, Crawlen und Überwachen von Onion-Seiten im Tor-Netzwerk sowie zum Indexieren der gesammelten Informationen in Elasticsearch
OnionIngestor basiert auf der Struktur des ThreatIngestor-Tools, um Cyber-Threat-Intelligence-Teams einen modularen und erweiterbaren Zugang zu ermöglichen, damit sie Informationen auf versteckten Seiten im Tor-Netzwerk überwachen und sammeln können.
Das Projekt befindet sich in einer frühen Entwicklungsphase.
Der OnionIngestor führt drei wichtige Klassentypen aus und verwaltet sie: Sources – Diese sammeln versteckte Seiten aus Clear-Net-Quellen wie pastebin, twitter, gist und gecrawlten Links Operators – Diese verarbeiten den Onion-Link. Zum Beispiel das Abrufen des HTML, das Erstellen von Screenshots und das Ausführen anderer Scanner wie onionscan Notifiers – Diese benachrichtigen den Benutzer – täglich mit einem Bericht und falls Änderungen an einer überwachten versteckten Seite aufgetreten sind
OnionIngestor ist darauf ausgelegt, als Daemon zu laufen, wobei es versteckte Seiten aus aktivierten Quellen sammelt und an die Operatoren weitergibt und nach Abschluss bis zur benutzerdefinierten Zeit schläft und den Prozess von Anfang an neu startet.
Kibana-Dashboard nach 2 Tagen Crawling
Anforderungen installieren
pip install -r requirements.txt
Nach dem Tor-Client und den installierten Bibliotheken verwenden Sie den Befehl --help, um Details zu seiner Verwendung zu erhalten.
python3 -m onionscraper --help
OnionScraper
An extendable tool to Collect, Crawl and Monitor onion sites on tor network and index collected information on Elasticsearch
Installation:
This application assumes you have python3 and pip3 installed.
pip3 install -r requirements.txt
This software is provided subject to the MIT license stated below.
--------------------------------------------------
MIT License
Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.
--------------------------------------------------
optional arguments:
-h, --help show this help message and exit
-c CONFIGFILE, --config CONFIGFILE
Path to config file
--log {DEBUG,INFO,WARNING,ERROR,CRITICAL}
Set the logging level, default is INFO
Die yaml-Konfigurationsdatei enthält alle Informationen, die OnionIngestor zum Funktionieren benötigt
python -m onionscan -c config.yml
führt Quellmodule aus, um Onion-Links aus dem Internet zu sammeln, und führt alle Operatoren aus, um zu sammeln und zu crawlen
python -m onionscan -c config.yml --monitor thisIsAnOnionSiteLink.onion thisIsAnOnionSiteLink.onion
Der Monitor-Modus umgeht alle Arten von Blacklists
python -m onionscan -c config.yml --scan thisIsAnOnionSiteLink.onion
führt alle Operatoren aus, ohne Quellmodule auszuführen
onionscan --mode analysis -verbose -webport 8081
Um die Webapp durch onionscan auszuführen
Die Ausgabe des Ergebnisses ist json und wird im selben Format an das gewählte syslog gesendet.