
Grafos de entidades, mineração de dados OSINT e plugins. Conecte dados não estruturados e públicos para insights transformadores 🌐 (versão Web)
Ainda não tenho dados. É um erro capital teorizar antes de ter dados. Insensivelmente, começa-se a torcer os fatos para que se ajustem às teorias, em vez de ajustar as teorias aos fatos.
🚧 ⚠️ Em andamento; não está pronto para uso, por enquanto ⚠️ 🚧
Bem-vindo ao projeto OSINTBuddy, onde você pode conectar, combinar, e obter insights de dados não estruturados e públicos como resultados que podem ser explorados passo a passo. Um sistema de plugins fácil de usar permite que qualquer desenvolvedor integre rapidamente novas fontes de dados, para que você possa se concentrar em descobrir, interagir e visualizar o que é importante para você
Ainda não é muita coisa.
Mas aqui está o conceito:
Uma quantidade quase incompreensível de dados é criada todos os dias. E a cada ano, os números crescem a um ritmo cada vez maior. Essas fontes de dados podem ser divididas em seis categorias diferentes de fluxo de informação:
OSINT é um método de trabalhar com, avaliar e classificar informações — Estamos vivendo na era da informação e o volume de informações com o qual a pesquisa OSINT precisa lidar (explosão da informação) e a questão dos dados de baixa qualidade deixam os pesquisadores afogados. A maior parte desses dados não é estruturada, o que traz muitos desafios para analisá-los e produzir inteligência acionável, já que a maioria dos bancos de dados analíticos é projetada para dados estruturados. Estamos cercados de informações e quase nenhuma delas é útil.
Decidi fazer algo a respeito. Os rápidos avanços em tecnologias como IA e análise de big data abriram novos horizontes para OSINT que não estavam disponíveis anteriormente. Queremos todas essas informações na ponta dos dedos. Queremos inteligência acionável rapidamente e direto ao ponto, por isso estamos construindo uma ferramenta de OSINT de código aberto que é software livre. Construída com boas e velhas tecnologias web que qualquer um pode aprender. Mas este não é realmente o projeto. Já se passaram três décadas desde o seu início e a internet só provou ser um espelho de nós, da nossa sociedade e da nossa política. Enfrentamos uma série de desafios significativos que ameaçam diretamente os valores e processos democráticos. A questão de quem possui, projeta e controla a tecnologia nunca foi tão urgente.
Quais são os frameworks técnicos que garantem que uma tecnologia seja aberta e equitativa; como "reconfiguramos" as infraestruturas digitais para servir à transformação social positiva em vez de interesses corporativos?s Precisamos da sua ajuda para projetá-la, programá-la e construí-la. Vamos ouvir suas sugestões, suas ideias, e vamos construir bem diante dos seus olhos. A noção de "agulha no palheiro" é levada ao extremo na internet. Vamos construir um ímã.
[!CAUTION]
⚠️ Software Experimental (pré-alfa) ⚠️
O OSINTBuddy é atualmente um software experimental. Não está totalmente pronto para uso ainda! Se você estiver interessado em desenvolvimento, precisará do serviço docker
pluginsclonado:git clone https://github.com/osintbuddy/plugins osintbuddy-pluginsna raiz deste repositório
Como está, este projeto é mais um ambiente de brinquedo que tem sido útil enquanto se prototipa essa ideia e se ganha percepção sobre o espaço do problema. Para que este projeto seja verdadeiramente bem-sucedido, ele deve, em última instância, poder ser usado para realizar trabalhos sérios, originais e criativos. Esse é o teste básico para saber se nossas ferramentas estão realmente funcionando, em vez de apenas contar uma boa história. Que ideias poderosas e generalizáveis podemos aprender com este projeto? Como a próxima onda de sistemas deve construir sobre isso? O sistema tem que ser moldado de uma forma que permita que você faça as perguntas que deseja fazer.
Tenho a convicção de que um conjunto de oportunidades está disponível hoje. Acredito que agora seja possível, se não hoje, em breve, criar um novo meio imersivo não apenas para o trabalho tradicional de OSINT e pesquisa, mas um meio para descobrir, aprender, pesquisar e chegar a insights acionáveis em qualquer número de contextos que você possa imaginar. Um meio como o photoshop é diferente de cada uma das ferramentas individuais que o photoshop contém. A gama de possibilidades em tais meios imersivos é impressionante, e essas possibilidades emergem dos objetos e ações básicos desse meio.
Quer ajudar? Escrever e compartilhar suas ideias, ter discussões e me informar o que funciona e o que não funciona — tudo isso atua como uma forma de ajudar a impulsionar este projeto. É uma maneira de identificar pontos de alavancagem que podem nos ajudar a desenvolver novas ferramentas para OSINT. Então vamos começar; aqui estão algumas das minhas ideias:
.env.example para .env e ajuste as configurações conforme necessário.
cp .env.example .env
frontend/.env.example para frontend/.env e ajuste conforme necessário.
cp frontend/.env.example frontend/.env
Assim que resolvermos mais alguns bugs e adicionarmos mais alguns recursos, pretendemos configurar um workflow do github actions para compilar e empacotar o frontend e os serviços Rust. Siga o projeto no discord para ficar por dentro das últimas atualizações :)
Esta reescrita em Rust existe porque me cansei de Python e decidi reescrever a coisa toda para aprender Rust. Agora é mais rápido e trava menos (espero).
Se você quiser começar a desenvolver para o OSINTBuddy, crie ou escolha uma issue e siga estes passos:
Clone o repositório
git clone https://github.com/osintbuddy/osintbuddy.git
cd osintbuddy
# using ssh?
# git clone [email protected]:osintbuddy/osintbuddy.git
Inicialize as entidades padrão (também conhecidas como plugins) para OSIB:
git clone https://github.com/osintbuddy/plugins.git osintbuddy-plugins
python3 -m venv venv
source ./venv/bin/activate
pip install -e ./osintbuddy-plugins/
git clone https://github.com/osintbuddy/entities.git plugins
Inicie a stack.
docker compose up db ui
Migre o banco de dados.
cargo install sqlx-cli --no-default-features --features native-tls,postgres
cargo install cargo-watch
cd crates/ && sqlx migrate run && cd ..
Execute o OSIB
Execute o backend api e o worker no seu sistema host em terminais separados:
Ctrl+C/finalize os terminais do worker e da api e depois execute docker compose down para limpar.docker compose down --volumes.Estamos usando a GNU Affero General Public License v3.0 (AGPL) porque queremos garantir liberdade de uso, reutilização, cópia, modificação e republicação de modificações. Porque liberdade não significa permissividade, significa reciprocidade. Se você construir sobre ela, você devolve. É assim que o bem comum se mantém saudável. Esta é uma decisão tecnopolítica codificada no contrato social. Basta dizer aqui que a licença Affero GPLv3 obriga legalmente os provedores de serviços a dar acesso direto a qualquer usuário ao código de computador que executa em uma determinada instância.
Capacitando investigadores e entusiastas de cibersegurança a descobrir verdades, combater injustiças e criar um mundo mais seguro.
Comece com uma única pista. Encerre casos 12x mais rápido com OSINT.
O LinkScope permite que você realize investigações online representando informações como peças discretas de dados, chamadas Entidades.
a primeira plataforma automaticamente acelerada por GPU, aproveite todos os seus dados sem se preocupar com escala e mude de direção em tempo real para seguir para onde sua investigação o levar. Ideal para tudo, desde investigações de segurança, fraude e TI até visões de 360° de clientes e cadeias de suprimentos, passando pelo mapeamento de mutações de câncer, o Graphistry transforma o potencial dos seus dados em insights e valor humano.
Abra uma issue se precisar entrar em contato comigo ou envie um e-mail para [email protected].
| Repositório | Descrição | Linguagem | Finalidade | ETA |
|---|
osintbuddy | O aplicativo principal (este repositório) | Rust, TypeScript/Preact | Interface web e serviços de backend | 2-4 meses a partir do alpha |
plugins | O pacote do sistema de plugins Python no PyPi | Python | Framework extensível de coleta de dados | 2-4 meses |
entities | As definições padrão de entidades OSIB | Python | Tipos e esquemas de entidades padrão | 4-5 meses |
# NOTE: Must run all terminals with Python (3.12.9) venv activated!
# In one terminal run:
source ./venv/bin/activate
cargo watch -q -c -w crates/api -x "run -p api"
# In another terminal run:
source ./venv/bin/activate
cargo watch -q -c -w crates/worker -x "run -p worker"
Acesse o OSIB através das URLs fornecidas para o frontend, backend e documentação:
http://localhost:55173http://localhost:48997/apihttp://localhost:55173/docs/overview