social-analyzer

Social Analyzer — API, CLI и веб-приложение для анализа и поиска профиля человека в более чем 1000 социальных сетях \ веб-сайтах. Он включает различные модули анализа и обнаружения, и вы можете выбирать, какие модули использовать в процессе расследования.

Модули обнаружения используют механизм оценки на основе различных методов детекции, который выдаёт значение рейтинга от 0 до 100 (Нет-Возможно-Да). Этот модуль предназначен для уменьшения количества ложных срабатываний.

Анализ и публично извлечённая информация с помощью этого OSINT-инструмента могут помочь в расследовании профилей, связанных с подозрительной или вредоносной деятельностью, такой как кибербуллинг, кибергруминг, киберсталкинг и распространение дезинформации.

В настоящее время этот проект используется некоторыми правоохранительными органами в странах с ограниченными ресурсами — используемая база обнаружения отличается от той, что представлена здесь..

Со·ци·аль·ные се·ти

Веб-сайты и приложения, которые позволяют пользователям создавать и обмениваться контентом или участвовать в социальных сетях — Оксфордский словарь

Структура

ПРИЛОЖЕНИЕ (Рекомендуется!)

Стандартный URL локального веб-приложения: http://0.0.0.0:9005/app.html

CLI

Возможности

• Анализ строк и имён (перестановки и комбинации)
• Поиск профиля с использованием нескольких методик (библиотека HTTPS и Webdriver)
• Множественный поиск профилей (используется для корреляции — любая комбинация, разделённая запятой)
• Многоуровневое обнаружение (OCR, обычное, продвинутое и специальное)
• Визуализированная информация профиля с помощью Ixora (метаданные и шаблоны)
• Извлечение метаданных и шаблонов (добавлено из OSINT-проекта Qeeqbox)
• Силовой граф для метаданных (требуется ExtractPatterns)
• Поиск по наивысшему рейтингу или по стране (рейтинг Alexa)
• Поиск по типу (взрослый, музыка и т.д. — автоматическая статистика сайтов)
• Статистика и статическая информация профилей (категория, страна)
• Кросс-метаданные статистики (добавлено из OSINT-проекта Qeeqbox)
• Автофильтрация ненужного вывода (включить JavaScript и т.д.)
• Поиск через поисковую систему (Google API — опционально)
• Пользовательские поисковые запросы (Google API и DuckDuckGo API — опционально)
• Скриншот профиля, заголовок, информация и описание сайта
• Определение происхождения имени, схожести имён и распространённых слов по языку
• Определение возможного возраста профиля/человека (ограниченный анализ)
• Пользовательский user-agent, прокси, таймаут и неявное ожидание
• Python CLI и NodeJS CLI (ограничено опцией FindUserProfilesFast)
• Скриншоты обнаруженных профилей (должна быть установлена последняя версия Chrome)
• Опция Grid для более быстрой проверки (ограничено docker-compose)
• Сброс логов в папку или терминал (форматировано)
• Настройка количества рабочих процессов для поиска/получения профилей (по умолчанию 15)
• Повторная проверка для неудачных профилей
• Фильтрация профилей: хорошие, возможно, плохие
• Сохранение анализа в файл JSON
• Упрощённый веб-интерфейс и CLI
• И многое другое!!

Специальные обнаружения

• Facebook (номер телефона, имя или имя профиля)
• Gmail ([email protected])
• Google ([email protected])

Установка и запуск

Linux (как Node WebApp)

sudo apt-get update
#В зависимости от вашего дистрибутива Linux вам могут понадобиться или не понадобиться эти 2 строки
sudo DEBIAN_FRONTEND=noninteractive apt-get install -y software-properties-common
sudo add-apt-repository ppa:mozillateam/ppa -y
sudo apt-get install -y firefox-esr tesseract-ocr git nodejs npm
git clone https://github.com/qeeqbox/social-analyzer.git
cd social-analyzer
npm update
npm install
npm start

Linux (как Node CLI)

sudo apt-get update
#В зависимости от вашего дистрибутива Linux вам могут понадобиться или не понадобиться эти 2 строки
sudo DEBIAN_FRONTEND=noninteractive apt-get install -y software-properties-common
sudo add-apt-repository ppa:mozillateam/ppa -y
sudo apt-get install -y firefox-esr tesseract-ocr git nodejs npm
git clone https://github.com/qeeqbox/social-analyzer.git
cd social-analyzer
npm install
nodejs app.js --username "johndoe"
#или
nodejs app.js --username "johndoe,janedoe" --metadata
#или
nodejs app.js --username "johndoe,janedoe" --metadata --top 100
#или
nodejs app.js --username "johndoe" --type "adult"

Linux (как Python-пакет)

sudo apt-get update
sudo apt-get install python3 python3-pip
pip3 install social-analyzer
python3 -m social-analyzer --username "johndoe"
#или
python3 -m social-analyzer --username "johndoe" --metadata
#или
python3 -m social-analyzer --username "johndoe" --metadata --top 100
#или
python3 -m social-analyzer --username "johndoe" --type "adult"
#или
python3 -m social-analyzer --username "johndoe" --websites "car" --logs --screenshots

Linux (как Python-скрипт)

sudo apt-get update
sudo apt-get install git python3 python3-pip
git clone https://github.com/qeeqbox/social-analyzer
cd social-analyzer
pip3 install -r requirements.txt
python3 app.py --username "janedoe"
#или
python3 app.py --username "johndoe" --metadata
#или
python3 app.py --username "johndoe" --metadata --top 100
#или
python3 app.py --username "johndoe" --type "adult"
#или
python3 app.py --username "johndoe" --websites "car" --logs --screenshots

Импорт как объект (Python)

#Пример #1
from importlib import import_module
SocialAnalyzer = import_module("social-analyzer").SocialAnalyzer()
results = SocialAnalyzer.run_as_object(username="johndoe",silent=True)
print(results)

#Пример #2
from importlib import import_module
SocialAnalyzer = import_module("social-analyzer").SocialAnalyzer()
results = SocialAnalyzer.run_as_object(username="johndoe,janedoe",silent=True,output="json",filter="good",metadata=False,timeout=10, profiles="detected")
print(results)

Linux, Windows, MacOS, Raspberry pi..

• смотрите эту вики для всех возможных способов установки
• смотрите эту вики для интеграции social-analyzer с вашими OSINT-инструментами, фидами и т.д.

social-analyzer --h

Обязательные аргументы:
  --username   Например: johndoe, john_doe или johndoe9999