EmploLeaks

EmploLeaks는 CLI 인터페이스를 갖춘 OSINT(오픈 소스 인텔리전스) 도구로, 대상 회사 직원에 대한 정보를 발견하고 상호 연관시키기 위해 설계되었습니다. LinkedIn 프로필 수집, 잠재적인 회사 이메일 생성, 유출 데이터베이스(내부적으로 ClickHouse 사용)에서 유출된 자격 증명 검색, HaveIBeenPwned를 통한 알려진 침해 사항 확인, 회사 인프라 발견, 소셜 미디어에서 직원 프로파일링을 수행할 수 있습니다. 모든 정보는 후속 분석을 위해 로컬 SQLite에 저장됩니다.

기능

• LinkedIn에서 직원 검색 및 열거(세션 쿠키로 스크래핑)
• 사용자 정의 가능한 형식으로 잠재적인 회사 이메일 자동 생성
• 자체 ClickHouse 데이터베이스에서 유출된 자격 증명 검색
• HaveIBeenPwned API로 알려진 침해 사항 확인
• gitleaks를 사용한 GitHub/GitLab 저장소의 비밀 스캔
• 인프라 발견: assetfinder + SecurityTrails로 서브도메인 열거
• 소셜 미디어 프로파일링: 이메일(Holehe, 약 120개 플랫폼) 및 사용자 이름(Maigret, 500개 이상 플랫폼)으로 검색
• 텔레그램 스크래퍼(userbot): 승인된 텔레그램 채널에 가입하여 자격 증명 파일을 자동으로 다운로드하는 독립형 데몬
• 100% 에이전트 기반 유출 파서: 하드코딩된 정규식 없음. AI 에이전트가 스키마를 제안하고, 샘플에 대한 점수로 검증하며, 오류 예시와 함께 피드백을 받아 수렴할 때까지 재시도합니다. UTF-16/UTF-8 자동 감지, ASCII 아트 배너, 국가 코드 접두사, 스틸러 로그(Redline/Lumma/Raccoon), 임의의 이메일/사용자/URL 형식을 처리합니다.
• 모든 정보를 SQLite에 로컬 저장
• 프로필 사진이 포함된 대화형 HTML 보고서 생성
• AI(OpenAI, Ollama 등)를 사용한 부서별 직원 자동 분류
• 결과를 CSV로 내보내기
• 모듈형 플러그인 시스템(LinkedIn, GitHub, HIBP)
• 플러그인 구성 자동 저장 및 불러오기
• 결과 분류를 위한 FastAPI + Next.js 기반 관리 웹앱

프로젝트 구조```

emploleaks/ ├── emploleaks.py # Script principal (CLI interactiva con cmd2) ├── telegram_sync.py # Daemon userbot de Telegram (Telethon, standalone) ├── requirements.txt # Dependencias de Python ├── README.md ├── .gitignore ├── plugins/ │ ├── linkedin.py # Plugin de LinkedIn (scraping de empleados) │ ├── github.py # Plugin de GitHub (repos, stalk, secrets) │ └── hibp.py # Plugin de HaveIBeenPwned (brechas) ├── utils/ │ ├── logging_format.py # Configuración de logging con colores │ ├── ai_classifier.py # Clasificación de roles con IA (OpenAI/Ollama) │ ├── leak_parser.py # Parser de leaks 100% agéntico (loop de IA, sin regex) │ ├── email_lookup.py # Búsqueda de emails en redes sociales (Holehe) │ ├── profile_lookup.py # Búsqueda de usernames en redes sociales (Maigret) │ └── discovery.py # Enumeración de subdominios (assetfinder + SecurityTrails opcional) ├── clickhouse-docker/ # Docker Compose para levantar ClickHouse │ ├── docker-compose.yml │ └── config/ │ └── users.xml ├── leaks_data/ # Carpeta para archivos de leaks a importar (no en git) ├── config/ # Configuración (autogenerado) │ └── tokens.ini # Tokens y credenciales de plugins (no en git) ├── data/ # Base de datos local (autogenerado) │ └── emploleaks.db # SQLite con toda la información recopilada ├── webapp/ # Webapp administrativa │ ├── backend/ # FastAPI (Python) │ └── frontend/ # Next.js (React/TypeScript) └── logs/ # Archivos de log (autogenerado) └── log.txt

## 요구 사항

- Python 3.10+
- pip
- 인터넷 연결
- **선택 사항:** 로컬에서 ClickHouse를 실행하기 위한 Docker 및 Docker Compose
- **선택 사항:** 저장소 비밀 검색을 위한 [gitleaks](https://github.com/gitleaks/gitleaks)
- **선택 사항:** [HaveIBeenPwned](https://haveibeenpwned.com/API/Key) API 키
- LinkedIn 플러그인을 위한 LinkedIn 세션 쿠키 (`JSESSIONID` 및 `li_at`)

## 설치

1. 저장소를 클론합니다:```bash
git clone https://github.com/yourusername/emploleaks.git
cd emploleaks

2. 의존성 설치:```bash pip install -r requirements.txt

3. (선택 사항) Docker로 ClickHouse를 실행하여 leaks 데이터베이스 설정:```bash
cd clickhouse-docker
docker compose up -d
cd ..

사용법

도구 실행:```bash python emploleaks.py

디버그 모드:```bash
python emploleaks.py -d

일반 명령어

회사 관리

플러그인 관리

유출 데이터베이스 연결 (ClickHouse)

ClickHouse 연결은 config/tokens.ini에 구성됩니다:```ini [clickhouse] host = localhost port = 9000 user = default passwd = dbname = credentials_db

ClickHouse가 `tokens.ini`에 구성되어 있으면 시작 시 연결이 자동으로 설정됩니다.

### 자격 증명 및 침해 사고 검색

| Comando | Descripción |
|---------|-------------|
| `find_passwords <modo>` | ClickHouse + [ProxyNova COMB](https://www.proxynova.com/tools/comb/) (32억 개의 자격 증명)에서 자격 증명을 검색합니다. 모드: `find_all`, `only_usernames`, `only_emails` |
| `find_passwords <modo> --no-proxynova` | 로컬 ClickHouse에서만 검색 |
| `find_passwords <modo> --no-clickhouse` | ProxyNova COMB에서만 검색 (ClickHouse 불필요) |
| `find_passwords <modo> --email <email>` | 특정 이메일에 대한 자격 증명 검색 |
| `find_breaches` | 회사의 모든 이메일에 대해 HIBP에서 침해 사고 검색 (`hibp` 플러그인 활성화 필요) |

**ProxyNova COMB**는 32억 개의 유출된 자격 증명(Combination Of Many Breaches)을 포함하는 공개 데이터베이스입니다. API 키가 필요 없으며 각 검색 시 자동으로 조회됩니다. 비활성화하려면 `--no-proxynova`를 사용하세요.

### 인프라 발견

| Comando | Descripción |
|---------|-------------|
| `add_domain <dominio>` | 선택한 회사에 도메인을 연결합니다 (예: `add_domain faradaysec.com`) |
| `discover` | `assetfinder`를 사용하여 회사의 모든 도메인에 대해 서브도메인 열거를 실행하고 DNS를 확인합니다 (선택적으로 SecurityTrails 포함) |
| `print --data domains` | 등록된 도메인과 발견된 서브도메인 수를 표시합니다 |
| `print --data subdomains` | 모든 서브도메인을 IP, 소스 및 발견 날짜와 함께 표시합니다 |

Discovery 모듈은 수동 열거를 [`assetfinder`](https://github.com/tomnomnom/assetfinder)에 위임하며, 내부적으로 crt.sh, HackerTarget, BufferOver 및 기타 소스의 결과를 API 키 없이 수집합니다. 바이너리가 `$PATH`에 있어야 합니다 (설치: `go install github.com/tomnomnom/assetfinder@latest`).

선택적으로 SecurityTrails API 키를 구성하면 해당 서브도메인이 assetfinder의 결과와 병합됩니다.```ini
[discovery]
# securitytrails_key = your_key_here

소셜 미디어 프로파일링

Holehe (이메일 조회): '비밀번호 찾기' 기술을 사용하여 각 플랫폼에 이메일이 등록되어 있는지 확인하며, 소유자에게 알리지 않습니다. 플랫폼은 tokens.ini에 구성됩니다:```ini [holehe] platforms = google, discord, github, instagram, twitter, spotify, ...

**Maigret** (username lookup): username이 500개 이상의 소셜 미디어 플랫폼에 존재하는지 검색합니다. Username은 웹앱에서 직원이 수동으로 추가합니다. 플랫폼은 선택적으로 `tokens.ini`에서 필터링됩니다.```ini
[maigret]
# platforms = instagram, twitter, facebook, tiktok, reddit, github

시각화 및 내보내기

AI 및 분류 설정

AI 분류는 직원의 직함/역할을 분석하여 부서(Engineering, Security, Sales 등)별로 그룹화합니다. 부서 정보는 SQLite에 유지되며 HTML 보고서와 웹앱에서 확인할 수 있습니다.

지원되는 제공자 (OpenAI 호환 API 사용):

• Ollama (로컬, 기본값): set_ai --endpoint http://localhost:11434/v1 --model llama3
• OpenAI: set_ai --endpoint https://api.openai.com/v1 --key sk-... --model gpt-4o-mini
• 기타 호환 제공자: LM Studio, Together AI 등

Telegram 스크래퍼 (Userbot)

Telegram 개인 계정(Telethon 사용)을 이용해 승인된 채널/그룹에 가입하여 .txt/.csv/.dat/.zip/.gz 파일을 다운로드하고 leaks_data/telegram/<chat>/ 경로에 저장하는 독립형 데몬입니다. 이후 import_leaks가 이를 수집하여 에이전트 파서를 사용해 ClickHouse로 가져옵니다. CLI에서 분리되어 별도 프로세스로 실행되므로 CLI가 열려 있지 않아도 24시간 작동 가능합니다.

초기 설정 (최초 1회):

1. https://my.telegram.org/apps 에서 앱을 생성하여 api_id와 api_hash를 얻습니다.
2. config/tokens.ini 파일에 추가: ```ini [telegram] api_id = 12345678 api_hash = abcd1234... session = config/telegram.session download_root = leaks_data/telegram allowed_extensions = txt, csv, dat, zip, gz default_backfill_limit = 10
   root@kitploit:~

3. 대화형 로그인 (전화번호, 앱 코드, 선택적으로 2FA 입력): ```bash python3.13 telegram_sync.py login
   root@kitploit:~

하위 명령어:

data/emploleaks.db의 새 테이블:

백그라운드 데몬:```bash nohup python3.13 telegram_sync.py run --watch >> logs/telegram.log 2>&1 & echo $! > /tmp/telegram_daemon.pid

Para parar:

kill $(cat /tmp/telegram_daemon.pid)

### Parser de Leaks 100% Agéntico

El módulo `utils/leak_parser.py` usa **únicamente un agente de IA** para parsear cada archivo. No hay regex hardcodeadas (fueron eliminadas porque cada formato nuevo introducía bugs sutiles de extracción).

**Pipeline del agente:**```
1. Auto-detectar encoding (BOM sniffing): utf-8 / utf-8-sig / utf-16 / utf-32.
2. Sampling inteligente: tomar las primeras 80 líneas que parezcan credenciales
   (con separadores típicos, alfanumérico >50%) — skipea banners ASCII art.
3. La IA recibe 50 líneas + system prompt con familias comunes de formato y
   propone {separator, fields, skip_lines}.
4. Aplicamos el schema a la muestra SIN filtros → list of tuples.
5. Validamos con _is_clean_credential → score = % rows válidas.
6. Si score ≥ 0.8 y ≥ 5 rows → aplicar al archivo completo.
7. Si no → mandar al agente la (source_line ↔ extracción mala) en pares,
   más checklist de errores típicos. Goto 3.
8. Hasta 7 iteraciones. Si no converge a 0.8: fallback al mejor schema si
   alcanzó ≥ 0.7. Bajo eso → skip con warning (nunca ingerimos basura).

_is_clean_credential — 교차 검증:

• 사용자 이름: 길이 1-64, / : \ space 없음, http/android/ftp//로 시작하지 않음.
• 비밀번호: 길이 1-256, / 없음, 최대 하나의 :, 공백 없음, URL 접두사로 시작하지 않음.

결정론적: 모든 호출에서 temperature=0 + 동일한 실행 내에서 메모리 내 캐싱. 동일한 파일은 실행 간 동일한 스키마를 생성 → import_leaks는 멱등적입니다.

일반 비용: 파일당 API 호출 1-3회, gpt-4o-mini 기준 ~$0.0001-$0.0005. 12개 파일: ~$0.005 = 0.5센트.

관리 웹앱

웹앱을 통해 다음을 수행할 수 있습니다:

• 통계, 주요 발견 및 빠른 작업이 포함된 대시보드
• 부서별 접을 수 있는 섹션 및 드래그 앤 드롭을 통한 직원 관리
• Connected Accounts: 소셜 미디어 프로필 보기, 이메일(Holehe) 및 사용자 이름(Maigret)으로 검색
• Discovery: 도메인 관리, 서브도메인 열거 실행, IP 및 소스와 함께 결과 보기
• 자격 증명 및 비밀 분류 (확인됨, 작동하지 않음, 오탐으로 표시)
• 직원별 이메일 및 사용자 이름 편집 (추가, 수정, 삭제)
• 인터페이스에서 AI 분류

플러그인

LinkedIn

브라우저 세션 쿠키를 사용하여 LinkedIn에서 회사 직원을 검색하고 잠재적인 회사 이메일을 생성할 수 있습니다. 자동으로 회사 로고를 캡처합니다.

옵션:

플러그인 내 사용 가능한 명령:

사용 가능한 이메일 형식:

• 기본값: f_last (예: [email protected]) 및 f.last (예: [email protected])
• --email-format 사용자 정의: 플레이스홀더 {n} (이름 이니셜), {s} (성), {name} (전체 이름), {l} (성 이니셜) 사용
  • 예: --email-format {n}.{s}는 [email protected]을 생성합니다.

전체 예시:``` emploleaks> add_company --name miempresa emploleaks> select_company --name miempresa emploleaks(miempresa)> use --plugin linkedin emploleaks(miempresa)(linkedin)> setopt JSESSIONID JSESSIONID: emploleaks(miempresa)(linkedin)> setopt li-at li-at: emploleaks(miempresa)(linkedin)> run impersonate emploleaks(miempresa)(linkedin)> run find miempresa miempresa.com --email-format {n}.{s}

### GitHub

GitHub 프로필 정보를 가져오고, 리포지토리를 나열하며, gitleaks를 사용하여 리포지토리에서 시크릿을 스캔할 수 있습니다.

**옵션:**

| 옵션 | 설명 |
|--------|-------------|
| `token` | GitHub 개인 액세스 토큰 |
| `blur` | 표시 시 토큰 난독화 |
| `gitleaks_path` | gitleaks 바이너리 경로 (기본값: PATH 내 `gitleaks`) |
| `max_repo_size` | 분석할 최대 리포지토리 크기(MB) (기본값: `15`) |

**플러그인 내 사용 가능한 명령어:**

| 명령어 | 설명 |
|---------|-------------|
| `run stalk <username>` | GitHub 계정 이메일 가져오기 |
| `run get_repos <username>` | 사용자의 공개 리포지토리 나열 |
| `run find_secrets` | 회사 직원의 리포지토리에서 시크릿 스캔 |
| `run find_secrets --download-all` | 동일하지만 크기 제한 없음 |

**전체 예시:**```
emploleaks(miempresa)> use --plugin github
emploleaks(miempresa)(github)> setopt token ghp_xxxxxxxxxxxx
emploleaks(miempresa)(github)> run find_secrets
emploleaks(miempresa)(github)> print --data secrets

HaveIBeenPwned (HIBP)

회사 이메일이 알려진 데이터 유출에 포함되어 있는지 HIBP API를 통해 확인합니다.

옵션:

플러그인 내에서 사용 가능한 명령어:

전체 예제:``` emploleaks(miempresa)> use --plugin hibp emploleaks(miempresa)(hibp)> setopt apikey <tu_api_key> emploleaks(miempresa)(hibp)> find_breaches emploleaks(miempresa)(hibp)> print --data breaches

## 유출 데이터베이스 (ClickHouse)

EmploLeaks는 자체 ClickHouse 데이터베이스에 연결하여 유출된 자격 증명을 통해 발견된 직원의 이메일/사용자 이름과 연결된 비밀번호를 검색할 수 있습니다.

### Docker로 ClickHouse 실행하기```bash
cd clickhouse-docker
docker compose up -d

ClickHouse가 다음 포트에서 노출됩니다:

• 포트 9000 (기본 TCP 프로토콜)
• 포트 8123 (HTTP 인터페이스)

leaks_data/ 폴더는 컨테이너 내에서 읽기 전용 볼륨으로 마운트됩니다.

자격 증명 가져오기

1. 유출 파일(.txt, .csv, .dat, .zip, .gz)을 leaks_data/ 폴더에 넣습니다.
2. 가져오기 명령을 실행합니다:``` emploleaks> import_leaks

파서는 가장 일반적인 형식을 자동으로 감지합니다:
- `email:password`
- `email:password:url`
- `email;password`
- `email|password`
- `url,email,password`

알 수 없는 형식의 경우, 설정된 AI(OpenAI/Ollama)를 사용하여 파일 샘플을 분석하고 파싱 방법을 결정합니다. AI 감지를 생략하려면 `--no-ai`를 사용하세요.

`.zip` 및 `.gz` 파일은 파싱 전에 자동으로 압축이 풀립니다.

### 자격 증명 검색```
emploleaks(miempresa)> find_passwords only_emails
emploleaks(miempresa)> find_passwords find_all
emploleaks(miempresa)> print --data passwords

Si ClickHouse está configurado en tokens.ini, la conexión es automática al iniciar la herramienta.

ClickHouse의 credentials 테이블 구조

로컬 데이터베이스(SQLite) 구조

일반적인 워크플로우```

1. python emploleaks.py

Gestión de empresa

2. add_company --name target_corp
3. select_company --name target_corp

Scraping de LinkedIn (captura empleados + logo de empresa)

4. use --plugin linkedin
5. setopt JSESSIONID
6. setopt li-at
7. run impersonate
8. run find target_corp targetcorp.com --email-format {n}.{s}
9. print --data emails

Discovery de infraestructura

10. add_domain targetcorp.com
11. discover
12. print --data subdomains

Credenciales filtradas (ClickHouse se conecta automáticamente desde config)

13. find_passwords only_emails

Brechas conocidas

14. use --plugin hibp
15. setopt apikey <hibp_key>
16. find_breaches

Secretos en repositorios

17. use --plugin github
18. setopt token <github_token>
19. run find_secrets

Profiling en redes sociales (por email)

20. deactivate
21. lookup_emails

Profiling en redes sociales (por username, requiere cargar usernames en webapp)

22. lookup_profiles

Clasificación por departamento

23. classify

Reportes y exportación

24. print --data all --export
25. print --data all --html --ai

Webapp para triage interactivo

26. python emploleaks.py --webapp

Telegram scraper (proceso aparte, en otra terminal)

27. python3.13 telegram_sync.py login # one-time
28. python3.13 telegram_sync.py list_groups
29. python3.13 telegram_sync.py approve <chat_id> --limit 5
30. python3.13 telegram_sync.py run --watch # daemon en watch

Archivos van a leaks_data/telegram/... → re-ejecutar import_leaks los absorbe.

## 면책 조항

이 도구는 교육, 보안 연구 및 승인된 침투 테스트 목적으로만 설계되었습니다. 악의적이거나 승인되지 않은 활동에 이 도구를 사용하는 것은 엄격히 금지됩니다. 사용자는 모든 법률 및 프로젝트 서비스 약관을 준수할 책임이 있습니다.