EmploLeaks

EmploLeaks — это инструмент OSINT (Open Source Intelligence) с CLI-интерфейсом , предназначенный для обнаружения и корреляции информации о сотрудниках целевой компании. Он позволяет собирать профили LinkedIn, генерировать потенциальные корпоративные электронные письма, искать скомпрометированные учётные данные в базах данных утечек (внутренне ClickHouse), проверять известные утечки через HaveIBeenPwned, обнаруживать инфраструктуру компании и профилировать сотрудников в социальных сетях. Вся информация сохраняется локально в SQLite для последующего анализа.

Возможности

• Поиск и перечисление сотрудников из LinkedIn (скрапинг с использованием файлов cookie сессии)
• Автоматическая генерация потенциальных корпоративных электронных писем с настраиваемыми форматами
• Поиск скомпрометированных учётных данных в собственной базе данных ClickHouse
• Проверка известных утечек с помощью API HaveIBeenPwned
• Сканирование секретов в репозиториях GitHub/GitLab с помощью gitleaks
• Обнаружение инфраструктуры: перечисление поддоменов с assetfinder + SecurityTrails
• Профилирование в социальных сетях: поиск по электронной почте (Holehe, ~120 платформ) и по имени пользователя (Maigret, 500+ платформ)
• Telegram скрапер (userbot): автономный демон, который присоединяется к одобренным каналам Telegram и автоматически загружает файлы с учётными данными
• 100% агентный парсер утечек: без жёстко прописанных регулярных выражений. ИИ-агент предлагает схему, проверяет с оценкой на выборке, получает обратную связь с примерами ошибок и повторяет до сходимости. Автоопределение UTF-16/UTF-8, ASCII-баннеров, префиксов кодов стран, stealer-логов (Redline/Lumma/Raccoon), произвольных форматов email/user/url
• Локальное хранение всей информации в SQLite
• Генерация интерактивных HTML-отчётов с фотографиями профилей
• Автоматическая классификация сотрудников по отделам с использованием ИИ (OpenAI, Ollama и др.)
• Экспорт результатов в CSV
• Модульная система плагинов (LinkedIn, GitHub, HIBP)
• Автосохранение и автоматическая загрузка конфигурации плагинов
• Веб-приложение для администрирования на FastAPI + Next.js для триажа результатов

Структура проекта```

emploleaks/ ├── emploleaks.py # Script principal (CLI interactiva con cmd2) ├── telegram_sync.py # Daemon userbot de Telegram (Telethon, standalone) ├── requirements.txt # Dependencias de Python ├── README.md ├── .gitignore ├── plugins/ │ ├── linkedin.py # Plugin de LinkedIn (scraping de empleados) │ ├── github.py # Plugin de GitHub (repos, stalk, secrets) │ └── hibp.py # Plugin de HaveIBeenPwned (brechas) ├── utils/ │ ├── logging_format.py # Configuración de logging con colores │ ├── ai_classifier.py # Clasificación de roles con IA (OpenAI/Ollama) │ ├── leak_parser.py # Parser de leaks 100% agéntico (loop de IA, sin regex) │ ├── email_lookup.py # Búsqueda de emails en redes sociales (Holehe) │ ├── profile_lookup.py # Búsqueda de usernames en redes sociales (Maigret) │ └── discovery.py # Enumeración de subdominios (assetfinder + SecurityTrails opcional) ├── clickhouse-docker/ # Docker Compose para levantar ClickHouse │ ├── docker-compose.yml │ └── config/ │ └── users.xml ├── leaks_data/ # Carpeta para archivos de leaks a importar (no en git) ├── config/ # Configuración (autogenerado) │ └── tokens.ini # Tokens y credenciales de plugins (no en git) ├── data/ # Base de datos local (autogenerado) │ └── emploleaks.db # SQLite con toda la información recopilada ├── webapp/ # Webapp administrativa │ ├── backend/ # FastAPI (Python) │ └── frontend/ # Next.js (React/TypeScript) └── logs/ # Archivos de log (autogenerado) └── log.txt

## Требования

- Python 3.10+
- pip
- Доступ в Интернет
- **Необязательно:** Docker и Docker Compose (для локального запуска ClickHouse)
- **Необязательно:** [gitleaks](https://github.com/gitleaks/gitleaks) (для сканирования секретов в репозиториях)
- **Необязательно:** API-ключ [HaveIBeenPwned](https://haveibeenpwned.com/API/Key)
- Куки сессии LinkedIn (`JSESSIONID` и `li_at`) для плагина LinkedIn

## Установка

1. Клонировать репозиторий:```bash
git clone https://github.com/yourusername/emploleaks.git
cd emploleaks

2. Установить зависимости:```bash pip install -r requirements.txt

3. (Необязательно) Запустить ClickHouse с Docker для базы данных утечек:```bash
cd clickhouse-docker
docker compose up -d
cd ..

Использование

Запустите инструмент:```bash python emploleaks.py

С режимом debug:```bash
python emploleaks.py -d

Общие команды

Управление компаниями

Управление плагинами

Подключение к базе данных утечек (ClickHouse)

Подключение к ClickHouse настраивается в config/tokens.ini:```ini [clickhouse] host = localhost port = 9000 user = default passwd = dbname = credentials_db

Если ClickHouse настроен в `tokens.ini`, соединение устанавливается автоматически при запуске.

### Поиск учетных данных и утечек

| Команда | Описание |
|---------|----------|
| `find_passwords <modo>` | Ищет учетные данные в ClickHouse + [ProxyNova COMB](https://www.proxynova.com/tools/comb/) (3,2 млрд учетных данных). Режимы: `find_all`, `only_usernames`, `only_emails` |
| `find_passwords <modo> --no-proxynova` | Ищет только в локальном ClickHouse |
| `find_passwords <modo> --no-clickhouse` | Ищет только в ProxyNova COMB (не требует ClickHouse) |
| `find_passwords <modo> --email <email>` | Ищет учетные данные для конкретного email |
| `find_breaches` | Ищет утечки в HIBP для всех email компании (требуется активный плагин `hibp`) |

**ProxyNova COMB** — это публичная база данных с 3,2 миллиардами скомпрометированных учетных данных (Combination Of Many Breaches). Не требует API-ключа и автоматически запрашивается при каждом поиске. Используйте `--no-proxynova` для отключения.

### Обнаружение инфраструктуры

| Команда | Описание |
|---------|----------|
| `add_domain <dominio>` | Привязывает домен к выбранной компании (например: `add_domain faradaysec.com`) |
| `discover` | Выполняет перечисление поддоменов для всех доменов компании с помощью `assetfinder` (+ опционально SecurityTrails), разрешая DNS |
| `print --data domains` | Показывает зарегистрированные домены и количество найденных поддоменов |
| `print --data subdomains` | Показывает все поддомены с их IP, источником и датой обнаружения |

Модуль Discovery делегирует пассивное перечисление [`assetfinder`](https://github.com/tomnomnom/assetfinder), который внутри добавляет результаты из crt.sh, HackerTarget, BufferOver и других источников без API-ключа. Ожидается, что бинарный файл находится в `$PATH` (установка: `go install github.com/tomnomnom/assetfinder@latest`).

Опционально, если вы настроите API-ключ SecurityTrails, его поддомены объединяются с поддоменами assetfinder:```ini
[discovery]
# securitytrails_key = your_key_here

Профилирование в социальных сетях

Holehe (поиск email): использует технику «забыл пароль», чтобы определить, зарегистрирован ли email на каждой платформе, не оповещая владельца. Платформы настраиваются в tokens.ini:```ini [holehe] platforms = google, discord, github, instagram, twitter, spotify, ...

**Maigret** (поиск имени пользователя): проверяет, существует ли имя пользователя на 500+ платформах социальных сетей. Имена пользователей добавляются вручную сотрудником через веб-приложение. Платформы опционально фильтруются в `tokens.ini`:```ini
[maigret]
# platforms = instagram, twitter, facebook, tiktok, reddit, github

Visualización y Exportación

Configuración de IA y Clasificación

Классификация на основе ИИ анализирует должности/роли сотрудников и группирует их по отделам (Engineering, Security, Sales и т.д.). Отделы сохраняются в SQLite и отображаются в HTML-отчете и веб-приложении.

Proveedores soportados (cualquier API compatible con OpenAI):

• Ollama (local, por defecto): set_ai --endpoint http://localhost:11434/v1 --model llama3
• OpenAI: set_ai --endpoint https://api.openai.com/v1 --key sk-... --model gpt-4o-mini
• Cualquier otro compatible: LM Studio, Together AI, etc.

Telegram Scraper (Userbot)

Автономный демон, который использует личный аккаунт Telegram (через Telethon) для входа в одобренные каналы/группы, загрузки файлов .txt/.csv/.dat/.zip/.gz и сохранения их в leaks_data/telegram/<chat>/. Последующий import_leaks загружает их в ClickHouse с помощью агентного парсера. Отделен от CLI — работает как отдельный процесс, поэтому может работать 24/7 без открытого CLI.

Setup inicial (one-time):

1. Crear app en https://my.telegram.org/apps para obtener api_id y api_hash.
2. Agregar al config/tokens.ini: ```ini [telegram] api_id = 12345678 api_hash = abcd1234... session = config/telegram.session download_root = leaks_data/telegram allowed_extensions = txt, csv, dat, zip, gz default_backfill_limit = 10
   root@kitploit:~

3. Интерактивный вход (запрашивает ваш номер, код из приложения, опционально 2FA): ```bash python3.13 telegram_sync.py login
   root@kitploit:~

Subcomandos:

Новые таблицы в data/emploleaks.db:

Фоновый демон:```bash nohup python3.13 telegram_sync.py run --watch >> logs/telegram.log 2>&1 & echo $! > /tmp/telegram_daemon.pid

Para parar:

kill $(cat /tmp/telegram_daemon.pid)

### Парсер утечек на 100% агентский

Модуль `utils/leak_parser.py` использует **только ИИ-агента** для парсинга каждого файла. Нет жестко закодированных регулярных выражений (они были удалены, потому что каждый новый формат приводил к тонким ошибкам извлечения).

**Пайплайн агента:**```
1. Auto-detectar encoding (BOM sniffing): utf-8 / utf-8-sig / utf-16 / utf-32.
2. Sampling inteligente: tomar las primeras 80 líneas que parezcan credenciales
   (con separadores típicos, alfanumérico >50%) — skipea banners ASCII art.
3. La IA recibe 50 líneas + system prompt con familias comunes de formato y
   propone {separator, fields, skip_lines}.
4. Aplicamos el schema a la muestra SIN filtros → list of tuples.
5. Validamos con _is_clean_credential → score = % rows válidas.
6. Si score ≥ 0.8 y ≥ 5 rows → aplicar al archivo completo.
7. Si no → mandar al agente la (source_line ↔ extracción mala) en pares,
   más checklist de errores típicos. Goto 3.
8. Hasta 7 iteraciones. Si no converge a 0.8: fallback al mejor schema si
   alcanzó ≥ 0.7. Bajo eso → skip con warning (nunca ingerimos basura).

_is_clean_credential — перекрестная проверка:

• Username: длина 1-64, без / : \ space, не начинается с http/android/ftp//.
• Password: длина 1-256, без /, максимум один :, без пробелов, не начинается с префикса URL.

Детерминизм: temperature=0 во всех вызовах + кэширование в памяти в пределах одного запуска. Один и тот же файл дает одинаковую схему между запусками → import_leaks идемпотентен.

Типичная стоимость: 1-3 вызова API на файл, ~$0.0001-$0.0005 с gpt-4o-mini. Для 12 файлов: ~$0.005 = половина цента.

Административное веб-приложение

Веб-приложение позволяет:

• Панель с статистикой, ключевыми находками и быстрыми действиями
• Управление сотрудниками со сворачиваемыми разделами по отделам и перетаскиванием (drag & drop)
• Connected Accounts: просмотр профилей в соцсетях, поиск по email (Holehe) и по username (Maigret)
• Discovery: управление доменами, запуск перечисления поддоменов, просмотр результатов с IP и источником
• Триаж учетных данных и секретов (отметить как проверено, не работает, ложное срабатывание)
• Редактирование email'ов и username'ов для каждого сотрудника (добавление, изменение, удаление)
• Классификация с помощью ИИ из интерфейса

Плагины

LinkedIn

Позволяет искать сотрудников компании в LinkedIn, используя файлы cookie сессии браузера, и генерировать потенциальные корпоративные email'ы. Автоматически захватывает логотип компании.

Параметры:

Доступные команды внутри плагина:

Доступные форматы email:

• По умолчанию: f_last (пример: [email protected]) и f.last (пример: [email protected])
• Пользовательский с --email-format: использует плейсхолдеры {n} (инициал имени), {s} (фамилия), {name} (полное имя), {l} (инициал фамилии)
  • Пример: --email-format {n}.{s} генерирует [email protected]

Полный пример:``` emploleaks> add_company --name miempresa emploleaks> select_company --name miempresa emploleaks(miempresa)> use --plugin linkedin emploleaks(miempresa)(linkedin)> setopt JSESSIONID JSESSIONID: emploleaks(miempresa)(linkedin)> setopt li-at li-at: emploleaks(miempresa)(linkedin)> run impersonate emploleaks(miempresa)(linkedin)> run find miempresa miempresa.com --email-format {n}.{s}

### GitHub

Позволяет получать информацию о профилях GitHub, список репозиториев и сканировать секреты в репозиториях с помощью gitleaks.

**Опции:**

| Опция | Описание |
|--------|-------------|
| `token` | Персональный токен доступа GitHub |
| `blur` | Скрывать токен при отображении |
| `gitleaks_path` | Путь к бинарному файлу gitleaks (по умолчанию: `gitleaks` в PATH) |
| `max_repo_size` | Максимальный размер репозитория для анализа в МБ (по умолчанию: `15`) |

**Команды, доступные внутри плагина:**

| Команда | Описание |
|---------|-------------|
| `run stalk <username>` | Получить email учётной записи GitHub |
| `run get_repos <username>` | Список публичных репозиториев пользователя |
| `run find_secrets` | Сканировать секреты в репозиториях сотрудников компании |
| `run find_secrets --download-all` | То же, но без ограничения размера |

**Полный пример:**```
emploleaks(miempresa)> use --plugin github
emploleaks(miempresa)(github)> setopt token ghp_xxxxxxxxxxxx
emploleaks(miempresa)(github)> run find_secrets
emploleaks(miempresa)(github)> print --data secrets

HaveIBeenPwned (HIBP)

Проверяет, появляются ли email-адреса компании в известных утечках, используя API HIBP.

Опции:

Команды, доступные внутри плагина:

Полный пример:``` emploleaks(miempresa)> use --plugin hibp emploleaks(miempresa)(hibp)> setopt apikey <tu_api_key> emploleaks(miempresa)(hibp)> find_breaches emploleaks(miempresa)(hibp)> print --data breaches

## База данных утечек (ClickHouse)

EmploLeaks может подключаться к собственной базе данных ClickHouse с утёкшими учетными данными для поиска паролей, связанных с email/именами пользователей обнаруженных сотрудников.

### Запуск ClickHouse с помощью Docker```bash
cd clickhouse-docker
docker compose up -d

Это открывает ClickHouse на:

• Порт 9000 (собственный протокол TCP)
• Порт 8123 (интерфейс HTTP)

Папка leaks_data/ монтируется как том только для чтения внутри контейнера.

Импорт учётных данных

1. Поместите ваши файлы утечек (.txt, .csv, .dat, .zip, .gz) в папку leaks_data/.
2. Выполните команду импорта:``` emploleaks> import_leaks

Парсер автоматически определяет наиболее распространённые форматы:
- `email:password`
- `email:password:url`
- `email;password`
- `email|password`
- `url,email,password`

Для неизвестных форматов используется настроенный ИИ (OpenAI/Ollama) для анализа образца файла и определения способа его парсинга. Используйте `--no-ai`, чтобы пропустить обнаружение с помощью ИИ.

Файлы `.zip` и `.gz` автоматически распаковываются перед парсингом.

### Поиск учётных данных```
emploleaks(miempresa)> find_passwords only_emails
emploleaks(miempresa)> find_passwords find_all
emploleaks(miempresa)> print --data passwords

Если ClickHouse настроен в tokens.ini, подключение происходит автоматически при запуске инструмента.

Структура таблицы credentials в ClickHouse

Структура локальной базы данных (SQLite)

Типичный рабочий процесс```

1. python emploleaks.py

Gestión de empresa

2. add_company --name target_corp
3. select_company --name target_corp

Scraping de LinkedIn (captura empleados + logo de empresa)

4. use --plugin linkedin
5. setopt JSESSIONID
6. setopt li-at
7. run impersonate
8. run find target_corp targetcorp.com --email-format {n}.{s}
9. print --data emails

Discovery de infraestructura

10. add_domain targetcorp.com
11. discover
12. print --data subdomains

Credenciales filtradas (ClickHouse se conecta automáticamente desde config)

13. find_passwords only_emails

Brechas conocidas

14. use --plugin hibp
15. setopt apikey <hibp_key>
16. find_breaches

Secretos en repositorios

17. use --plugin github
18. setopt token <github_token>
19. run find_secrets

Profiling en redes sociales (por email)

20. deactivate
21. lookup_emails

Profiling en redes sociales (por username, requiere cargar usernames en webapp)

22. lookup_profiles

Clasificación por departamento

23. classify

Reportes y exportación

24. print --data all --export
25. print --data all --html --ai

Webapp para triage interactivo

26. python emploleaks.py --webapp

Telegram scraper (proceso aparte, en otra terminal)

27. python3.13 telegram_sync.py login # one-time
28. python3.13 telegram_sync.py list_groups
29. python3.13 telegram_sync.py approve <chat_id> --limit 5
30. python3.13 telegram_sync.py run --watch # daemon en watch

Archivos van a leaks_data/telegram/... → re-ejecutar import_leaks los absorbe.

## Отказ от ответственности

Этот инструмент предназначен исключительно для образовательных целей, исследований в области безопасности и авторизованного тестирования на проникновение. Использование этого инструмента для злонамеренных или несанкционированных действий строго запрещено. Пользователи несут ответственность за соблюдение всех законов и условий обслуживания проекта.