OnionIngestor

Un outil extensible pour collecter, explorer et surveiller les sites onion sur le réseau tor et indexer les informations collectées sur Elasticsearch

Introduction

OnionIngestor est basé sur la structure de l'outil ThreatIngestor afin de permettre un accès modulaire et extensible aux équipes de Cyber Threat Intelligence, leur permettant de surveiller et de collecter des informations sur les sites cachés du réseau tor.

Le projet en est à ses premiers stades de développement.

Liste des tâches

• Ajouter le multiprocessing pour améliorer la vitesse d'analyse
• Ajouter davantage de sources comme reddit, gmail, pastebin, twitter et d'autres sites cachés
• Ajouter davantage d'opérateurs comme la vérification des changements des captures d'écran pour la surveillance des sites, l'ajout de règles yara pour éliminer les faux positifs
• Ajouter davantage de notificateurs comme slack, smpt, discord

Logique d'implémentation de base

OnionIngestor exécute et gère 3 types importants de classes : Sources - Celles-ci collectent les sites cachés à partir de sources du clear net comme pastebin, twitter, gist et les liens explorés Operators - Ceux-ci traitent le lien onion. Par exemple récupérer le html, prendre des captures d'écran et exécuter d'autres scanners comme onionscan Notifiers - Ceux-ci notifient l'utilisateur - quotidiennement avec un rapport et si des changements sont survenus sur un site caché surveillé

OnionIngestor est conçu pour s'exécuter comme un démon : il collecte les sites cachés à partir des sources activées et les transmet aux opérateurs, puis une fois terminé, il dort jusqu'au moment défini par l'utilisateur et redémarre le processus depuis le début.

Tableau de bord Kibana

Tableau de bord kibana après 2 jours d'exploration

Installation

Installer les prérequis

    pip install -r requirements.txt

Après le client tor et les bibliothèques installées, utilisez la commande --help pour obtenir les détails de son utilisation.

python3 -m onionscraper --help

OnionScraper

An extendable tool to Collect, Crawl and Monitor onion sites on tor network and index collected information on Elasticsearch

Installation:
   This application assumes you have python3 and pip3 installed.

   pip3 install -r requirements.txt

This software is provided subject to the MIT license stated below.
--------------------------------------------------
        MIT License

        Permission is hereby granted, free of charge, to any person obtaining a copy
        of this software and associated documentation files (the "Software"), to deal
        in the Software without restriction, including without limitation the rights
        to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
        copies of the Software, and to permit persons to whom the Software is
        furnished to do so, subject to the following conditions:

        The above copyright notice and this permission notice shall be included in all
        copies or substantial portions of the Software.

        THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
        IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
        FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
        AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
        LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
        OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
        SOFTWARE.
--------------------------------------------------

optional arguments:
  -h, --help            show this help message and exit
  -c CONFIGFILE, --config CONFIGFILE
                        Path to config file
  --log {DEBUG,INFO,WARNING,ERROR,CRITICAL}
                        Set the logging level, default is INFO

Le fichier de configuration yaml contient toutes les informations nécessaires au fonctionnement d'OnionIngestor

Comment l'exécuter

python -m onionscan -c config.yml

exécutera les modules sources pour collecter les liens onion depuis internet et exécutera tous les opérateurs pour collecter et crawler

python -m onionscan -c config.yml --monitor thisIsAnOnionSiteLink.onion thisIsAnOnionSiteLink.onion

le mode monitor contourne tous les types de listes noires

python -m onionscan -c config.yml --scan thisIsAnOnionSiteLink.onion

exécutera tous les opérateurs sans exécuter aucun module source

Opérateur Onionscan

onionscan --mode analysis -verbose -webport 8081

Pour exécuter l'application web via onionscan

Sortie

La sortie du résultat est au format json, et c'est dans ce même format qu'elle est envoyée au syslog choisi.