
엔티티 그래프, OSINT 데이터 마이닝, 그리고 플러그인. 비정형 데이터와 공개 데이터를 연결하여 혁신적인 인사이트를 얻어보세요 🌐 (웹 버전)
아직 데이터가 없습니다. 데이터도 없이 이론을 세우는 것은 중대한 실수입니다. 그러다 보면 무의식적으로 이론을 사실에 맞추는 대신, 사실을 이론에 맞추기 시작합니다.
🚧 ⚠️ 작업 진행 중; 아직 사용할 준비가 되지 않음, 아직은 ⚠️ 🚧
OSINTBuddy 프로젝트에 오신 것을 환영합니다. 구조화되지 않은 공개 데이터를 연결하고, 결합하고, 단계별로 탐색할 수 있는 결과로 인사이트를 얻을 수 있습니다. 사용하기 쉬운 플러그인 시스템 덕분에 모든 개발자가 새로운 데이터 소스를 빠르게 통합할 수 있으므로 중요한 것을 발견하고, 상호작용하고, 시각화하는 데 집중할 수 있습니다.
아직 별것 없습니다.
하지만 개념은 이렇습니다:
매일 거의 이해할 수 없을 정도로 엄청난 양의 데이터가 생성됩니다. 그리고 매년 그 수치는 점점 더 빠른 속도로 증가하고 있습니다. 이러한 데이터 소스는 정보 흐름의 여섯 가지 범주로 나눌 수 있습니다:
OSINT는 정보를 다루고, 평가하고, 순위를 매기는 방법입니다. 우리는 정보화 시대에 살고 있으며, OSINT 연구가 처리해야 하는 정보의 양 (정보 폭발) 과 낮은 품질의 데이터 문제로 인해 연구자들은 익사할 지경입니다. 대부분의 데이터 분석 데이터베이스가 구조화된 데이터용으로 설계되었기 때문에, 이 데이터의 대부분은 비구조화되어 있어 분석하고 실행 가능한 인텔리전스를 생성하는 데 많은 어려움을 초래합니다. 우리는 정보로 둘러싸여 있지만 그중 유용한 것은 거의 없습니다.
저는 이 문제에 대해 뭔가를 하기로 결정했습니다. AI와 빅데이터 분석과 같은 기술의 급속한 발전은 이전에는 없었던 OSINT의 새로운 지평을 열었습니다. 우리는 그 모든 정보를 손끝에서 다루고 싶습니다. 우리는 빠르고 정확한 실행 가능한 인텔리전스를 원하며, 그래서 무료 소프트웨어인 오픈소스 OSINT 도구를 만들고 있습니다. 누구나 배울 수 있는 평범한 웹 기술로 구축되었습니다. 하지만 이것이 실제로 프로젝트의 전부는 아닙니다. 시작된 지 30년이 지났고, 인터넷은 우리 자신과 사회, 정치의 거울에 불과하다는 것이 증명되었습니다. 우리는 민주적 가치와 과정을 직접적으로 위협하는 일련의 중대한 도전에 직면해 있습니다. 기술을 누가 소유하고, 설계하고, 통제하는지에 대한 질문은 그 어느 때보다 시급합니다.
기술이 개방적이고 공평하도록 보장하는 기술적 프레임워크는 무엇인가? 기업의 이익이 아니라 긍정적인 사회 변혁을 위해 디지털 인프라를 어떻게 "재구성"할 것인가? 우리는 이를 설계하고, 프로그래밍하고, 구축하는 데 여러분의 도움이 필요합니다. 여러분의 제안과 아이디어를 들려주세요. 우리는 여러분이 지켜보는 앞에서 바로 구축해 나갈 것입니다. 인터넷에서 '바늘 더미에서 바늘 찾기'라는 개념은 극단적으로 적용됩니다. 자석을 만들어 봅시다.
[!CAUTION]
⚠️ 실험적 소프트웨어 (프리 알파) ⚠️
OSINTBuddy는 현재 실험적인 소프트웨어입니다. 아직 사용할 준비가 완전히 되지 않았습니다! 개발에 관심이 있다면
plugins도커 서비스를 이 저장소의 루트에 클론해야 합니다:git clone https://github.com/osintbuddy/plugins osintbuddy-plugins
현재로서는 이 프로젝트는 이 아이디어를 프로토타이핑하고 문제 공간에 대한 통찰력을 얻는 데 유용했던 장난감 같은 환경에 가깝습니다. 이 프로젝트가 진정으로 성공하려면 궁극적으로 진지하고 독창적이며 창의적인 작업을 수행하는 데 사용될 수 있어야 합니다. 이것이 단지 그럴듯한 이야기를 하는 것이 아니라 우리의 도구가 실제로 작동하는지를 판단하는 기본 테스트입니다. 이 프로젝트에서 얻을 수 있는 강력하고 일반화 가능한 아이디어는 무엇인가요? 다음 세대의 시스템은 어떻게 이를 기반으로 구축되어야 할까요? 시스템은 원하는 질문을 할 수 있도록 형성되어야 합니다.
오늘날 여러 기회가 열려 있다는 확신을 가지고 있습니다. 오늘이 아니더라도 곧 전통적인 OSINT와 연구 작업뿐만 아니라 상상할 수 있는 수많은 맥락에서 발견하고, 배우고, 연구하고, 실행 가능한 인사이트에 도달하기 위한 새로운 몰입형 미디어를 만들 수 있게 될 것이라고 믿습니다. 포토샵과 같은 미디어는 포토샵에 포함된 개별 도구들과는 다릅니다. 그러한 몰입형 미디어에서 가능성의 범위는 어마어마하며, 이러한 가능성은 그 미디어의 기본 객체와 동작에서 발생합니다.
도움을 주고 싶으신가요? 아이디어를 적어서 공유하고, 토론에 참여하고, 무엇이 효과가 있고 없는지 알려주는 것 모두 이 프로젝트를 부트스트래핑하는 데 도움이 됩니다. 그것은 OSINT를 위한 새로운 도구를 개발하는 데 도움이 될 수 있는 지렛대를 찾는 방법입니다. 그럼 시작해 봅시다. 제 몇 가지 아이디어는 다음과 같습니다:
.env.example 파일을 .env로 복사하고 필요에 따라 설정을 조정합니다.
cp .env.example .env
frontend/.env.example을 frontend/.env로 복사하고 필요에 따라 조정합니다.
cp frontend/.env.example frontend/.env
몇 가지 더 버그와 기능을 해결하면 github actions 워크플로를 설정하여 빌드된 프론트엔드와 Rust 서비스를 빌드하고 패키징할 계획입니다. 최신 업데이트는 디스코드에서 프로젝트를 팔로우하세요 :)
이 Rust 재작성은 Python에 지쳐서 Rust를 배우기 위해 전체를 다시 작성하기로 결정했기 때문에 존재합니다. 이제 더 빠르고 충돌도 덜합니다 (아마도).
OSINTBuddy 개발을 시작하려면 이슈를 만들거나 선택하고 다음 단계를 따르세요:
저장소 클론
git clone https://github.com/osintbuddy/osintbuddy.git
cd osintbuddy
# using ssh?
# git clone [email protected]:osintbuddy/osintbuddy.git
OSIB용 기본 엔티티 초기화 (일명 플러그인):
git clone https://github.com/osintbuddy/plugins.git osintbuddy-plugins
python3 -m venv venv
source ./venv/bin/activate
pip install -e ./osintbuddy-plugins/
git clone https://github.com/osintbuddy/entities.git plugins
스택 시작.
docker compose up db ui
데이터베이스 마이그레이션.
cargo install sqlx-cli --no-default-features --features native-tls,postgres
cargo install cargo-watch
cd crates/ && sqlx migrate run && cd ..
OSIB 실행
호스트 시스템에서 별도의 터미널로 백엔드 api와 worker를 실행하세요:
Ctrl+C로 worker와 api 터미널을 종료한 다음 docker compose down으로 정리합니다.docker compose down --volumes를 실행하세요.우리는 GNU Affero General Public License v3.0 (AGPL)을 사용합니다. 사용, 재사용, 복사, 수정 및 수정본 재배포의 자유를 보장하고 싶기 때문입니다. 자유가 허용주의를 의미하는 것이 아니라 상호성을 의미하기 때문입니다. 그 위에 무언가를 구축하면, 당신도 기여하게 됩니다. 그렇게 해서 커먼즈가 건강하게 유지됩니다. 이것은 사회적 계약에 각인된 기술정치적 결정입니다. 여기서 Affero GPLv3 라이선스가 서비스 제공자에게 특정 인스턴스에서 실행되는 컴퓨터 코드에 대한 직접적인 접근 권한을 모든 사용자에게 제공하도록 법적으로 구속한다고 말하면 충분합니다.
조사자와 사이버보안 애호가가 진실을 밝혀내고, 불의에 맞서고, 더 안전한 세상을 만들 수 있도록 지원합니다.
단서 하나로 시작하세요. OSINT로 사건 해결 속도를 12배 높이세요.
LinkScope를 사용하면 정보를 엔티티(Entities)라고 하는 개별 데이터 조각으로 표현하여 온라인 조사를 수행할 수 있습니다.
최초의 자동 GPU 가속 플랫폼으로, 규모를 걱정하지 않고 모든 데이터를 활용하며, 조사가 이끄는 곳이라면 어디든 즉시 방향을 전환할 수 있습니다. 보안, 사기, IT 조사부터 고객 및 공급망의 360° 뷰, 암 돌연변이 매핑에 이르기까지 모든 것에 이상적이며, Graphistry는 데이터의 잠재력을 인간의 통찰력과 가치로 전환합니다.
저에게 연락해야 한다면 이슈 열기 또는 [email protected]으로 이메일을 보내주세요.
| 저장소 | 설명 | 언어 | 용도 | ETA |
|---|
osintbuddy | 핵심 애플리케이션 (이 저장소) | Rust, TypeScript/Preact | 웹 인터페이스 및 백엔드 서비스 | 알파 출시 후 2-4개월 |
plugins | PyPi의 Python 플러그인 시스템 패키지 | Python | 확장 가능한 데이터 수집 프레임워크 | 2-4개월 |
entities | 기본 OSIB 엔티티 정의 | Python | 기본 엔티티 유형 및 스키마 | 4-5개월 |
# NOTE: Must run all terminals with Python (3.12.9) venv activated!
# In one terminal run:
source ./venv/bin/activate
cargo watch -q -c -w crates/api -x "run -p api"
# In another terminal run:
source ./venv/bin/activate
cargo watch -q -c -w crates/worker -x "run -p worker"
프론트엔드, 백엔드, 문서용으로 제공된 URL을 통해 OSIB에 접속하세요: