danieleperera/onioningestorUma ferramenta extensível para coletar, rastrear e monitorar sites onion na rede tor e indexar as informações coletadas no Elasticsearch
Uma ferramenta extensível para coletar, rastrear e monitorar sites onion na rede tor e indexar as informações coletadas no Elasticsearch
O OnionIngestor é baseado na estrutura da ferramenta ThreatIngestor para permitir acesso modular e extensível às equipes de Cyber Threat Intelligence, para que possam monitorar e coletar informações em sites ocultos na rede tor.
O projeto está em seus estágios iniciais de desenvolvimento.
O OnionIngestor executa e gerencia 3 tipos importantes de classes: Sources - Estes coletarão sites ocultos de fontes da clear net como pastebin, twitter, gist e links rastreados Operators - Estes processarão o link onion. Por exemplo, obter o html, tirar capturas de tela e executar outros scanners como onionscan Notifiers - Estes notificarão o usuário - diariamente com um relatório e se alguma nova alteração ocorreu em um site oculto monitorado
O OnionIngestor é projetado para ser executado como um daemon, no qual ele coleta sites ocultos de fontes habilitadas e os passa para os operadores e, quando terminar, dorme até o tempo definido pelo usuário e reinicia o processo desde o início.
Painel kibana após 2 dias de rastreamento
Instalar os requisitos
pip install -r requirements.txt
Depois de o cliente tor e as bibliotecas instaladas, use o comando --help para obter detalhes sobre o seu uso.
python3 -m onionscraper --help
OnionScraper
An extendable tool to Collect, Crawl and Monitor onion sites on tor network and index collected information on Elasticsearch
Installation:
This application assumes you have python3 and pip3 installed.
pip3 install -r requirements.txt
This software is provided subject to the MIT license stated below.
--------------------------------------------------
MIT License
Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.
--------------------------------------------------
optional arguments:
-h, --help show this help message and exit
-c CONFIGFILE, --config CONFIGFILE
Path to config file
--log {DEBUG,INFO,WARNING,ERROR,CRITICAL}
Set the logging level, default is INFO
O arquivo de configuração yaml contém todas as informações para o OnionIngestor funcionar
python -m onionscan -c config.yml
executará os módulos de origem para coletar links onion da internet e executar todos os operadores para coletar e rastrear
python -m onionscan -c config.yml --monitor thisIsAnOnionSiteLink.onion thisIsAnOnionSiteLink.onion
o modo monitor ignora todos os tipos de listas de bloqueio
python -m onionscan -c config.yml --scan thisIsAnOnionSiteLink.onion
executará todos os operadores sem executar nenhum módulo de origem
onionscan --mode analysis -verbose -webport 8081
Para executar o aplicativo web pelo onionscan
A saída do resultado é json, e no mesmo formato é enviada para o syslog escolhido.