EmploLeaks

EmploLeaksは、CLIインターフェースを備えたOSINT（オープンソースインテリジェンス）ツールで、対象企業の従業員に関する情報を発見・関連付けるために設計されています。LinkedInプロファイルの収集、潜在的企業メールの生成、漏洩データベース（内部でClickHouse使用）からの流出認証情報の検索、HaveIBeenPwnedを介した既知の情報漏洩の確認、企業インフラストラクチャの発見、ソーシャルメディアでの従業員プロファイリングが可能です。すべての情報は後で分析するためにSQLiteにローカル保存されます。

特徴

• LinkedInからの従業員の検索と列挙（セッションCookieを使用したスクレイピング）
• カスタマイズ可能な形式による潜在的企業メールの自動生成
• 独自のClickHouseデータベースでの流出認証情報の検索
• HaveIBeenPwned APIを使用した既知の情報漏洩の確認
• gitleaksを使用したGitHub/GitLabリポジトリのシークレットスキャン
• インフラストラクチャの発見: assetfinder + SecurityTrailsによるサブドメインの列挙
• ソーシャルメディアのプロファイリング: メールによる検索（Holehe、約120プラットフォーム）およびユーザー名による検索（Maigret、500+プラットフォーム）
• Telegramスクレイパー（userbot）: 承認されたTelegramチャンネルに参加し、自動的に認証情報ファイルをダウンロードするスタンドアロンデーモン
• 100%エージェントベースの漏洩パーサー: ハードコードされた正規表現なし。AIエージェントがスキーマを提案し、サンプルに対するスコアで検証し、エラー例を含むフィードバックを受け取り、収束するまで再試行します。UTF-16/UTF-8、ASCIIアートバナー、国コードプレフィックス、スティーラーログ（Redline/Lumma/Raccoon）、任意のメール/ユーザー/URL形式を自動検出します。
• すべての情報のSQLiteへのローカル保存
• プロフィール写真を含むインタラクティブなHTMLレポートの生成
• AI（OpenAI、Ollama など）を使用した従業員の部署別自動分類
• 結果のCSVへのエクスポート
• プラグインのモジュラーシステム（LinkedIn、GitHub、HIBP）
• プラグイン設定の自動保存と自動読み込み
• 結果のトリアージのためのFastAPI + Next.jsを使用した管理用Webアプリ

プロジェクト構造```

emploleaks/ ├── emploleaks.py # Script principal (CLI interactiva con cmd2) ├── telegram_sync.py # Daemon userbot de Telegram (Telethon, standalone) ├── requirements.txt # Dependencias de Python ├── README.md ├── .gitignore ├── plugins/ │ ├── linkedin.py # Plugin de LinkedIn (scraping de empleados) │ ├── github.py # Plugin de GitHub (repos, stalk, secrets) │ └── hibp.py # Plugin de HaveIBeenPwned (brechas) ├── utils/ │ ├── logging_format.py # Configuración de logging con colores │ ├── ai_classifier.py # Clasificación de roles con IA (OpenAI/Ollama) │ ├── leak_parser.py # Parser de leaks 100% agéntico (loop de IA, sin regex) │ ├── email_lookup.py # Búsqueda de emails en redes sociales (Holehe) │ ├── profile_lookup.py # Búsqueda de usernames en redes sociales (Maigret) │ └── discovery.py # Enumeración de subdominios (assetfinder + SecurityTrails opcional) ├── clickhouse-docker/ # Docker Compose para levantar ClickHouse │ ├── docker-compose.yml │ └── config/ │ └── users.xml ├── leaks_data/ # Carpeta para archivos de leaks a importar (no en git) ├── config/ # Configuración (autogenerado) │ └── tokens.ini # Tokens y credenciales de plugins (no en git) ├── data/ # Base de datos local (autogenerado) │ └── emploleaks.db # SQLite con toda la información recopilada ├── webapp/ # Webapp administrativa │ ├── backend/ # FastAPI (Python) │ └── frontend/ # Next.js (React/TypeScript) └── logs/ # Archivos de log (autogenerado) └── log.txt

## 必要条件

- Python 3.10+
- pip
- インターネット接続
- **任意:** Docker と Docker Compose (ClickHouse をローカルで起動するため)
- **任意:** [gitleaks](https://github.com/gitleaks/gitleaks) (リポジトリ内のシークレットスキャン用)
- **任意:** [HaveIBeenPwned](https://haveibeenpwned.com/API/Key) の API キー
- LinkedIn プラグイン用の LinkedIn セッション Cookie (`JSESSIONID` と `li_at`)

## インストール

1. リポジトリをクローンする:```bash
git clone https://github.com/yourusername/emploleaks.git
cd emploleaks

2. 依存関係をインストールする:```bash pip install -r requirements.txt

3. (オプション) リークデータベース用にClickHouseをDockerで起動する:```bash
cd clickhouse-docker
docker compose up -d
cd ..

使用方法

ツールを実行する:```bash python emploleaks.py

デバッグモード:```bash
python emploleaks.py -d

一般コマンド

企業管理

プラグイン管理

リークデータベース接続（ClickHouse）

ClickHouse への接続は config/tokens.ini で設定されます:```ini [clickhouse] host = localhost port = 9000 user = default passwd = dbname = credentials_db

ClickHouse が `tokens.ini` で設定されている場合、起動時に自動的に接続が確立されます。

### 認証情報と漏洩の検索

| コマンド | 説明 |
|---------|-------------|
| `find_passwords <modo>` | ClickHouse + [ProxyNova COMB](https://www.proxynova.com/tools/comb/) (32億件の認証情報) で認証情報を検索します。モード: `find_all`, `only_usernames`, `only_emails` |
| `find_passwords <modo> --no-proxynova` | ローカルのClickHouseのみ検索 |
| `find_passwords <modo> --no-clickhouse` | ProxyNova COMBのみ検索 (ClickHouse不要) |
| `find_passwords <modo> --email <email>` | 特定のメールアドレスの認証情報を検索 |
| `find_breaches` | 企業の全メールアドレスに対してHIBPの漏洩情報を検索 (`hibp` プラグインが有効である必要があります) |

**ProxyNova COMB** は、32億件のフィルタリングされた認証情報を含む公開データベースです (Combination Of Many Breaches)。APIキーは不要で、検索のたびに自動的に照会されます。無効にするには `--no-proxynova` を使用します。

### インフラストラクチャのディスカバリ

| コマンド | 説明 |
|---------|-------------|
| `add_domain <dominio>` | 選択した企業にドメインを関連付けます (例: `add_domain faradaysec.com`) |
| `discover` | `assetfinder` (+ オプションで SecurityTrails) を使用して、企業の全ドメインに対してサブドメインの列挙を実行し、DNSを解決します |
| `print --data domains` | 登録されたドメインと見つかったサブドメインの数を表示します |
| `print --data subdomains` | IP、ソース、発見日を含むすべてのサブドメインを表示します |

Discoveryモジュールは、パッシブ列挙を [`assetfinder`](https://github.com/tomnomnom/assetfinder) に委任します。これは内部でcrt.sh、HackerTarget、BufferOverなどのソースからAPIキーなしで結果を集約します。バイナリが `$PATH` にあることを期待します (インストール: `go install github.com/tomnomnom/assetfinder@latest`)。

オプションで、SecurityTrailsのAPIキーを設定した場合、そのサブドメインはassetfinderの結果とマージされます:```ini
[discovery]
# securitytrails_key = your_key_here

ソーシャルネットワークでのプロファイリング

Holehe（メールルックアップ）："パスワードを忘れた場合"の手法を使用して、各プラットフォームにメールアドレスが登録されているかどうかを、所有者に通知せずに判断します。プラットフォームはtokens.iniで設定されます：```ini [holehe] platforms = google, discord, github, instagram, twitter, spotify, ...

**Maigret** (ユーザー名検索): 500以上のソーシャルメディアプラットフォームでユーザー名が存在するかを検索します。ユーザー名は従業員がWebアプリから手動で追加します。プラットフォームはオプションで`tokens.ini`でフィルタリングします:```ini
[maigret]
# platforms = instagram, twitter, facebook, tiktok, reddit, github

表示とエクスポート

AI設定と分類

AI分類は従業員の役職/役割を分析し、部門（Engineering、Security、Salesなど）ごとにグループ化します。部門はSQLiteに永続化され、HTMLレポートやWebアプリで表示されます。

サポートされているプロバイダー（OpenAI互換のAPIなら何でも）:

• Ollama（ローカル、デフォルト）: set_ai --endpoint http://localhost:11434/v1 --model llama3
• OpenAI: set_ai --endpoint https://api.openai.com/v1 --key sk-... --model gpt-4o-mini
• その他互換性のあるもの: LM Studio、Together AIなど

Telegramスクレイパー（Userbot）

Telethonを介して個人のTelegramアカウントを使用して承認されたチャンネル/グループに参加し、.txt/.csv/.dat/.zip/.gzファイルをダウンロードしてleaks_data/telegram/<chat>/に保存するスタンドアロンのデーモン。その後、import_leaksがエージェントパーサーを使用してClickHouseに取り込みます。CLIから切り離されています — 別のプロセスとして実行されるため、CLIが開いていなくても24時間稼働できます。

初期設定（ワンタイム）:

1. https://my.telegram.org/apps でアプリを作成し、api_idとapi_hashを取得します。
2. config/tokens.iniに追加します： ```ini [telegram] api_id = 12345678 api_hash = abcd1234... session = config/telegram.session download_root = leaks_data/telegram allowed_extensions = txt, csv, dat, zip, gz default_backfill_limit = 10
   root@kitploit:~

3. インタラクティブログイン (電話番号、アプリコード、オプションで2FAを要求): ```bash python3.13 telegram_sync.py login
   root@kitploit:~

サブコマンド:

data/emploleaks.db 内の新しいテーブル:

バックグラウンドデーモン:```bash nohup python3.13 telegram_sync.py run --watch >> logs/telegram.log 2>&1 & echo $! > /tmp/telegram_daemon.pid

Para parar:

kill $(cat /tmp/telegram_daemon.pid)

### 100% エージェント方式のリークパーサー

`utils/leak_parser.py` モジュールは、各ファイルの解析に**AIエージェントのみ**を使用します。ハードコードされた正規表現はありません（新しいフォーマットごとに抽出に微妙なバグが発生するため削除されました）。

**エージェントのパイプライン:**```
1. Auto-detectar encoding (BOM sniffing): utf-8 / utf-8-sig / utf-16 / utf-32.
2. Sampling inteligente: tomar las primeras 80 líneas que parezcan credenciales
   (con separadores típicos, alfanumérico >50%) — skipea banners ASCII art.
3. La IA recibe 50 líneas + system prompt con familias comunes de formato y
   propone {separator, fields, skip_lines}.
4. Aplicamos el schema a la muestra SIN filtros → list of tuples.
5. Validamos con _is_clean_credential → score = % rows válidas.
6. Si score ≥ 0.8 y ≥ 5 rows → aplicar al archivo completo.
7. Si no → mandar al agente la (source_line ↔ extracción mala) en pares,
   más checklist de errores típicos. Goto 3.
8. Hasta 7 iteraciones. Si no converge a 0.8: fallback al mejor schema si
   alcanzó ≥ 0.7. Bajo eso → skip con warning (nunca ingerimos basura).

_is_clean_credential — 横断検証:

• Username: 長さ1-64, / : \ spaceなし, http/android/ftp//で始まらない
• Password: 長さ1-256, /なし, :は最大1つ, 空白なし, URLプレフィックスで始まらない

決定性: すべての呼び出しでtemperature=0 + 同一実行内でのメモリ内キャッシング。同じファイルは実行間で同じスキーマを生成 → import_leaksは冪等です。

典型的なコスト: ファイルあたりAPI呼び出し1-3回, gpt-4o-miniで~$0.0001-$0.0005。12ファイルの場合: ~$0.005 = 0.5セント。

管理Webアプリ

Webアプリでは以下が可能:

• 統計、主要な発見、クイックアクションを備えたダッシュボード
• 部門ごとに折りたたみ可能なセクションとドラッグ＆ドロップによる従業員管理
• Connected Accounts: ソーシャルメディアプロフィールの表示, メール(Holehe)およびユーザー名(Maigret)での検索
• Discovery: ドメイン管理, サブドメイン列挙の実行, IPとソース付きの結果表示
• 資格情報と秘密のトリアージ（確認済み、機能しない、誤検知としてマーク）
• 従業員ごとのメールとユーザー名の編集（追加、変更、削除）
• インターフェースからのAI分類

プラグイン

LinkedIn

ブラウザのセッションCookieを使用してLinkedInで企業の従業員を検索し、潜在的な企業メールを生成できます。自動的に企業のロゴを取得します。

オプション:

プラグイン内で使用可能なコマンド:

利用可能なメール形式:

• デフォルト: f_last (例: [email protected]) および f.last (例: [email protected])
• --email-formatを使用したカスタム: プレースホルダ {n} (名前の頭文字), {s} (姓), {name} (フルネーム), {l} (姓の頭文字) を使用
  • 例: --email-format {n}.{s} は [email protected] を生成

完全な例:``` emploleaks> add_company --name miempresa emploleaks> select_company --name miempresa emploleaks(miempresa)> use --plugin linkedin emploleaks(miempresa)(linkedin)> setopt JSESSIONID JSESSIONID: emploleaks(miempresa)(linkedin)> setopt li-at li-at: emploleaks(miempresa)(linkedin)> run impersonate emploleaks(miempresa)(linkedin)> run find miempresa miempresa.com --email-format {n}.{s}

### GitHub

GitHubプロフィール情報の取得、リポジトリの一覧表示、gitleaksを使用したリポジトリ内のシークレットのスキャンが可能です。

**オプション:**

| オプション | 説明 |
|------------|------|
| `token` | GitHub パーソナルアクセストークン |
| `blur` | トークンを表示する際に難読化する |
| `gitleaks_path` | gitleaks バイナリへのパス (デフォルト: PATH内の `gitleaks`) |
| `max_repo_size` | 分析するリポジトリの最大サイズ (MB) (デフォルト: `15`) |

**プラグイン内で利用可能なコマンド:**

| コマンド | 説明 |
|----------|------|
| `run stalk <username>` | GitHubアカウントのメールアドレスを取得 |
| `run get_repos <username>` | ユーザーの公開リポジトリを一覧表示 |
| `run find_secrets` | 企業の従業員のリポジトリ内のシークレットをスキャン |
| `run find_secrets --download-all` | 同じだがサイズ制限なし |

**完全な例:**```
emploleaks(miempresa)> use --plugin github
emploleaks(miempresa)(github)> setopt token ghp_xxxxxxxxxxxx
emploleaks(miempresa)(github)> run find_secrets
emploleaks(miempresa)(github)> print --data secrets

HaveIBeenPwned (HIBP)

企業のメールアドレスが既知の漏洩に含まれているかをHIBPのAPIを使用して確認します。

オプション:

プラグイン内で使用可能なコマンド:

完全な例:``` emploleaks(miempresa)> use --plugin hibp emploleaks(miempresa)(hibp)> setopt apikey <tu_api_key> emploleaks(miempresa)(hibp)> find_breaches emploleaks(miempresa)(hibp)> print --data breaches

## リークデータベース (ClickHouse)

EmploLeaksは、発見された従業員のメールアドレス/ユーザーネームに関連するパスワードを検索するために、漏洩した認証情報を含む独自のClickHouseデータベースに接続できます。

### DockerでClickHouseを起動する```bash
cd clickhouse-docker
docker compose up -d

これによりClickHouseが公開されます：

• ポート 9000 (ネイティブTCPプロトコル)
• ポート 8123 (HTTPインターフェース)

フォルダleaks_data/はコンテナ内で読み取り専用ボリュームとしてマウントされます。

クレデンシャルのインポート

1. リークファイル（.txt、.csv、.dat、.zip、.gz）をフォルダleaks_data/に配置します。
2. インポートコマンドを実行します：``` emploleaks> import_leaks

パーサーは自動的に最も一般的なフォーマットを検出します:
- `email:password`
- `email:password:url`
- `email;password`
- `email|password`
- `url,email,password`

未知のフォーマットの場合、設定されたAI（OpenAI/Ollama）を使用してファイルのサンプルを分析し、解析方法を決定します。`--no-ai`を使用してAI検出を省略します。

`.zip`および`.gz`ファイルは、解析前に自動的に解凍されます。

### 認証情報の検索```
emploleaks(miempresa)> find_passwords only_emails
emploleaks(miempresa)> find_passwords find_all
emploleaks(miempresa)> print --data passwords

ClickHouse が tokens.ini で設定されている場合、ツール起動時に自動的に接続されます。

ClickHouse の credentials テーブルの構造

ローカルデータベース (SQLite) の構造

典型的なワークフロー```

1. python emploleaks.py

Gestión de empresa

2. add_company --name target_corp
3. select_company --name target_corp

Scraping de LinkedIn (captura empleados + logo de empresa)

4. use --plugin linkedin
5. setopt JSESSIONID
6. setopt li-at
7. run impersonate
8. run find target_corp targetcorp.com --email-format {n}.{s}
9. print --data emails

Discovery de infraestructura

10. add_domain targetcorp.com
11. discover
12. print --data subdomains

Credenciales filtradas (ClickHouse se conecta automáticamente desde config)

13. find_passwords only_emails

Brechas conocidas

14. use --plugin hibp
15. setopt apikey <hibp_key>
16. find_breaches

Secretos en repositorios

17. use --plugin github
18. setopt token <github_token>
19. run find_secrets

Profiling en redes sociales (por email)

20. deactivate
21. lookup_emails

Profiling en redes sociales (por username, requiere cargar usernames en webapp)

22. lookup_profiles

Clasificación por departamento

23. classify

Reportes y exportación

24. print --data all --export
25. print --data all --html --ai

Webapp para triage interactivo

26. python emploleaks.py --webapp

Telegram scraper (proceso aparte, en otra terminal)

27. python3.13 telegram_sync.py login # one-time
28. python3.13 telegram_sync.py list_groups
29. python3.13 telegram_sync.py approve <chat_id> --limit 5
30. python3.13 telegram_sync.py run --watch # daemon en watch

Archivos van a leaks_data/telegram/... → re-ejecutar import_leaks los absorbe.

## 免責事項

このツールは、教育、セキュリティ研究、および許可されたペネトレーションテストの目的でのみ使用するように設計されています。悪意のある目的や許可されていない活動にこのツールを使用することは固く禁じられています。ユーザーは、すべての法律およびプロジェクトの利用規約を遵守する責任を負います。