99개 이상의 무료 OSINT 소스를 병렬로 집계하고, 엔티티를 지식 그래프로 해석하며, LLM 지원 분석과 함께 STIX 2.1, MISP 또는 GraphML로 내보냅니다.
LazyOwn Redteam Framework 제작진이 선보이는 무료 오픈소스
인텔리전스(OSINT) 수집·상관 분석 엔진으로,
Palantir, Bellingcat, Maltego, Citizen Lab의 워크플로우에서 영감을 받았습니다.
원래의 fucklantir / osint_palantir 툴체인을 순수 오픈소스로 재구상한 것으로,
훨씬 더 방대한 소스 카탈로그, 제대로 된 지식 그래프, 구조화된 파서,
그리고 멀티 백엔드 LLM 분석가를 갖추고 있습니다.
페이로드 없음. 능동 스캐닝 없음. 오직 99개 이상의 무료 공개 OSINT 소스를 병렬로 펼쳐 하나의 통합된 인텔리전스 그림으로 융합할 뿐입니다.
+--------------------------+
query "example.com" | Estorides Orchestrator | -> STIX 2.1 bundle
---------------------> | - async fanout | -> MISP event JSON
| - 99+ free sources | -> GraphML for Gephi
| - structured parsers | -> JSONL for training
| - entity resolution |
| - knowledge graph |
| - ontology engine | <- OFAC SDN cross-check
| - MITRE ATT&CK mapper | <- technique auto-tagging
| - SSRF guard | <- blocklist at egress
| - audit log + RL | <- per-IP trail
| - multi-LLM analyst | <- BLUF / tactical / system
+--------------------------+
|
v
Web UI: map / graph / bundles / timeline / results
pip install estorides
estorides serve --port 5050
(소스 체크아웃에서 동등한 명령은 python3 estorides_cli.py serve --port 5050
또는 python3 -m estorides_cli serve --port 5050입니다.)
Estorides는 작은 단일 책임 레지스트리를 중심으로 구성되어 있어 새로운 소스, 백엔드, 추론기 또는 피드를 추가할 때 중앙 오케스트레이터를 건드릴 필요가 없습니다. 다섯 가지 플러그인 표면은 다음과 같습니다:
| 표면 | 데코레이터 | 파일 | 용도 |
|---|---|---|---|
| 소스 파서 | @register_parser("name") | estorides_core/parsers.py | 원시 HTTP를 구조화된 dict로 변환 |
| LLM 백엔드 | @register("name") | estorides_llm/manager.py | LLM 제공자 추가 (ollama, openai, …) |
| 관계 추론기 | @register_inferer("source") | estorides_core/relationship_inference.py | 소스 -> 그래프 엣지 |
| 실시간 피드 | Feed 서브클래스 | estorides_core/feeds.py | 지도 레이어 (지진, 화재, 뉴스, 항공기, 위성, 발사) |
| 암호화 내보내기 | estorides_export.encryption | estorides_export/encryption.py | STIX/MISP + age 암호화 |
| 기능 | 원본 | Estorides |
|---|---|---|
| 무료 OSINT 소스 수 | ~20 | 99 |
| 인텔리전스 카테고리 | 6 | 12 |
| HTTP 팬아웃 모델 | 순차 | 비동기 |
| 재시도 + 백오프 + 서킷 브레이커 | 기본 | 예 |
| 응답 캐시 (SQLite) | 없음 | 예 |
| 소스별 파서 | 없음 | 50+ |
| 엔티티 추출 (IP, 도메인, CVE…) | 정규식만 | 구조화 + 중복 제거 |
| 지식 그래프 | 없음 | NetworkX + GraphML |
| STIX 2.1 / MISP 내보내기 | 없음 | 예 |
| 멀티 LLM (Ollama / OpenAI / Anthropic) | Ollama만 | 4개 백엔드 + 스텁 |
| 지도 (지오로케이션 결과) | PyVista 3D | Leaflet 2D |
| 힘-방향 그래프 뷰 | 없음 | D3.js |
| API 키 처리 | 없음 | 소스별 환경 변수 |
| 유료 소스 지원 | 없음 | 플래그 기반 옵트인 |
| OFAC SDN 제재 교차 검증 | 없음 | 온톨로지 엔진 |
| MITRE ATT&CK 기법 자동 태깅 | 없음 | ~40개 기법 |
| SSRF / 사설 네트워크 이그레스 가드 | 없음 | RFC1918 + 클라우드 IMDS 차단 |
| 감사 로그 (요청별, 추가 전용) | 없음 | IP+쿼리+지연시간 포함 JSONL |
| IP별 속도 제한 (슬라이딩 윈도우) | 없음 | 기본 30/분, 환경 변수 조정 가능 |
| 암호화 내보내기 (age) | 없음 | ?key=age1…로 옵트인 |
| 실시간 피드 레이어 | 없음 | 지진 + 화재 + 뉴스 |
| 암호화 내보내기 (age) | 없음 | ?key=age1…로 옵트인 |
| 기능 | v1.0 | v1.1 (이 버전) |
|---|---|---|
| 영속 그래프 (Cypher 쿼리) | NetworkX 덤프 | Kùzu 임베디드 DB, 실행 간 조인 |
| 실행 영속성 | JSONL 추가 | SQLite 케이스, FK 관측/엔티티 |
| 교차 피드 엔티티 리졸버 | 없음 | intel_resolver를 통한 Wikidata + OFAC + IP-API + NVD |
| 퍼지 엔티티 클러스터링 | 정확한 중복 제거 | difflib SequenceMatcher, 0.85 임계값, 별칭 노출 |
| 추가 OSINT 엔드포인트 (키 불필요) | 99개 YAML 소스 | +7 (BGP, MAC, 전화번호, GitHub, 유출, CISA KEV, 악성코드 C2) |
| 읽기 전용 Cypher 엔드포인트 | 없음 | /api/intel/graph?q=..., 쓰기 키워드 가드 포함 |
| 케이스 기록 UI | 없음 | 케이스 탭 + 전체 엔티티 검사기 |
원래 엔진은 데이터 수집기였다: 팬아웃, 파서, 그래프, 요약하는 LLM. v1.4 스프린트는 정보 계층을 도입한다: 이제 모든 관측값은 근거 있는 신뢰도 점수를 가지며, 오케스트레이터와 다운스트림 소비자(가설 엔진, 변경 감지, LLM 분석가)는 자체적인 임시 휴리스틱 사용을 중단하고 이 단일 진실 공급원을 사용한다.