OnionIngestor

Torネットワーク上のオニオンサイトを収集、クロール、監視し、収集した情報をElasticsearchにインデックスする拡張可能なツール

はじめに

OnionIngestorはThreatIngestorツールの構造に基づいており、サイバー脅威インテリジェンスチームがTorネットワーク上の隠れたサイトを監視・収集できるよう、モジュール式で拡張可能なアクセスを実現します。

本プロジェクトは開発の初期段階にあります。

To-doリスト

• マルチプロセッシングを追加して分析速度を向上させる
• reddit、gmail、pastebin、twitterなどの他の情報源や他の隠れたサイトを追加する
• 監視サイトのスクリーンショットの変化をチェックする、誤検知を排除するためのyaraルールを追加するなど、より多くのオペレーターを追加する
• slack、smpt、discordなどの通知機能を追加する

基本的な実装ロジック

OnionIngestorは3つの重要な種類のクラスを実行・管理します： Sources - pastebin、twitter、gist、クロールされたリンクなどのクリアネット上の情報源から隠れたサイトを収集します Operators - オニオンリンクを処理します。例えば、HTMLを取得し、スクリーンショットを撮り、onionscanなどの他のスキャナーを実行します Notifiers - ユーザーに通知します - 毎日のレポート、および監視対象の隠れたサイトに新しい変更が発生した場合

OnionIngestorはデーモンとして実行されるように設計されており、有効化された情報源から隠れたサイトを収集してオペレーターに渡し、 完了後はユーザー定義の時間までスリープしてから、プロセスを最初から再開します。

Kibanaダッシュボード

クロール開始から2日後のKibanaダッシュボード

インストール

要件をインストールする

    pip install -r requirements.txt

tor クライアントとインストール済みライブラリの準備ができたら、--help コマンドを使用してその使用方法の詳細を確認してください。

python3 -m onionscraper --help

OnionScraper

An extendable tool to Collect, Crawl and Monitor onion sites on tor network and index collected information on Elasticsearch

Installation:
   This application assumes you have python3 and pip3 installed.

   pip3 install -r requirements.txt

This software is provided subject to the MIT license stated below.
--------------------------------------------------
        MIT License

        Permission is hereby granted, free of charge, to any person obtaining a copy
        of this software and associated documentation files (the "Software"), to deal
        in the Software without restriction, including without limitation the rights
        to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
        copies of the Software, and to permit persons to whom the Software is
        furnished to do so, subject to the following conditions:

        The above copyright notice and this permission notice shall be included in all
        copies or substantial portions of the Software.

        THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
        IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
        FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
        AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
        LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
        OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
        SOFTWARE.
--------------------------------------------------

optional arguments:
  -h, --help            show this help message and exit
  -c CONFIGFILE, --config CONFIGFILE
                        Path to config file
  --log {DEBUG,INFO,WARNING,ERROR,CRITICAL}
                        Set the logging level, default is INFO

yaml 設定ファイルには、OnionIngestor が動作するために必要なすべての情報が含まれています

実行方法

python -m onionscan -c config.yml

は、ソースモジュールを実行してインターネットから onion リンクを収集し、すべてのオペレーターを実行して収集およびクロールを行います

python -m onionscan -c config.yml --monitor thisIsAnOnionSiteLink.onion thisIsAnOnionSiteLink.onion

モニターモードはあらゆる種類のブラックリストをバイパスします

python -m onionscan -c config.yml --scan thisIsAnOnionSiteLink.onion

は、ソースモジュールを一切実行せずにすべてのオペレーターを実行します

オペレーター Onionscan

onionscan --mode analysis -verbose -webport 8081

onionscan で Web アプリを実行するには

出力

結果の出力は json であり、選択した syslog に送信される際も同じ形式です。