OnionIngestor

tor 네트워크상의 onion 사이트를 수집, 크롤링 및 모니터링하고 수집된 정보를 Elasticsearch에 인덱싱하는 확장 가능한 도구

소개

OnionIngestor는 ThreatIngestor 도구 구조를 기반으로 하여 사이버 위협 인텔리전스 팀이 tor 네트워크상의 숨겨진 사이트에 대한 정보를 모니터링하고 수집할 수 있도록 모듈식의 확장 가능한 접근을 가능하게 합니다.

이 프로젝트는 개발 초기 단계에 있습니다.

할 일 목록

• 분석 속도 향상을 위한 멀티프로세싱 추가
• reddit, gmail, pastebin, twitter 및 기타 숨겨진 사이트 등 더 많은 소스 추가
• 모니터링 사이트의 스크린샷 변경 확인, 오탐 제거를 위한 yara 규칙 추가 등 더 많은 오퍼레이터 추가
• slack, smpt, discord 등 더 많은 알림 기능 추가

기본 구현 로직

OnionIngestor는 3가지 중요한 유형의 클래스를 실행하고 관리합니다: Sources - pastebin, twitter, gist 및 크롤링된 링크와 같은 클리어넷 소스에서 숨겨진 사이트를 수집합니다 Operators - onion 링크를 처리합니다. 예를 들어 html을 가져오고, 스크린샷을 찍고, onionscan과 같은 다른 스캐너를 실행합니다 Notifiers - 사용자에게 매일 보고서와 함께 알림을 보내고, 모니터링 중인 숨겨진 사이트에 새로운 변경 사항이 발생한 경우 알림을 보냅니다

OnionIngestor는 데몬으로 실행되도록 설계되었으며, 활성화된 소스에서 숨겨진 사이트를 수집하여 오퍼레이터에게 전달하고, 완료되면 사용자 정의 시간까지 대기한 후 처음부터 프로세스를 다시 시작합니다.

Kibana 대시보드

크롤링 2일 후의 Kibana 대시보드

설치

요구 사항 설치

    pip install -r requirements.txt

tor 클라이언트와 설치된 라이브러리를 사용한 후에는 --help 명령을 사용하여 사용법에 대한 세부 정보를 확인하십시오.

python3 -m onionscraper --help

OnionScraper

An extendable tool to Collect, Crawl and Monitor onion sites on tor network and index collected information on Elasticsearch

Installation:
   This application assumes you have python3 and pip3 installed.

   pip3 install -r requirements.txt

This software is provided subject to the MIT license stated below.
--------------------------------------------------
        MIT License

        Permission is hereby granted, free of charge, to any person obtaining a copy
        of this software and associated documentation files (the "Software"), to deal
        in the Software without restriction, including without limitation the rights
        to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
        copies of the Software, and to permit persons to whom the Software is
        furnished to do so, subject to the following conditions:

        The above copyright notice and this permission notice shall be included in all
        copies or substantial portions of the Software.

        THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
        IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
        FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
        AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
        LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
        OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
        SOFTWARE.
--------------------------------------------------

optional arguments:
  -h, --help            show this help message and exit
  -c CONFIGFILE, --config CONFIGFILE
                        Path to config file
  --log {DEBUG,INFO,WARNING,ERROR,CRITICAL}
                        Set the logging level, default is INFO

yaml 설정 파일에는 OnionIngestor가 작동하는 데 필요한 모든 정보가 포함되어 있습니다

실행 방법

python -m onionscan -c config.yml

소스 모듈을 실행하여 인터넷에서 onion 링크를 수집하고, 모든 오퍼레이터를 실행하여 수집 및 크롤링합니다

python -m onionscan -c config.yml --monitor thisIsAnOnionSiteLink.onion thisIsAnOnionSiteLink.onion

모니터 모드는 모든 유형의 블랙리스트를 우회합니다

python -m onionscan -c config.yml --scan thisIsAnOnionSiteLink.onion

소스 모듈을 실행하지 않고 모든 오퍼레이터를 실행합니다

오퍼레이터 Onionscan

onionscan --mode analysis -verbose -webport 8081

onionscan으로 웹앱을 실행하려면

출력

결과의 출력은 json이며, 동일한 형식으로 선택한 syslog로 전송됩니다.