GitHub Logs

Extraindo insights de OSINT de 15 TB de logs de eventos do GitHub

Desenvolvemos 3 workflows da Trickest que processaram e enriqueceram todo o conjunto de dados de logs de eventos do GitHub, dando-nos alguns insights valiosos. Agora, toda a comunidade pode se beneficiar desses resultados.

Você sabia que exatamente 16 usuários do GitHub têm o status especial site_admin na plataforma pública do GitHub? Você tem interesse em descobrir quais usuários estão associados a uma empresa específica usando um comando grep? Ou talvez queira identificar contas de usuários excluídas que possam representar riscos como personificação ou confusão de dependências? Talvez você tenha curiosidade sobre os 10 repositórios mais populares do GitHub em termos de estrelas, forks ou watchers.

Se algo disso lhe interessa, confira nosso relatório de destaques: Descobrindo insights de OSINT a partir de 15 TB de logs do GitHub.

O que há dentro?

O repositório consiste em arquivos CSV que contêm os detalhes de usuários e repositórios, organizados em duas pastas principais: users e repos. Dentro de cada pasta, você encontrará uma pasta principal que contém o conjunto de dados completo: all_user_info e all_repo_info. Também incluímos conjuntos de dados parciais para critérios específicos, como users_site_admin, users_deleted, users_company, repos_archived, repos_deleted e repos_sorted_stars.

github-logs
├── repos
│   ├── all_repo_info
│   │   ├── all_repo_info00000.csv
│   │   ├── all_repo_info00001.csv
│   │   └── ...
│   ├── repos_archived
│   ├── repos_deleted
│   ├── repos_disabled
│   ├── repos_private
│   ├── repos_sorted_forks
│   ├── repos_sorted_stars
│   └── repos_sorted_watchers
└── users
    ├── all_user_info
    ├── users_company
    ├── users_deleted
    ├── users_email
    ├── users_github_star
    ├── users_hireable
    └── users_site_admin

Se você está procurando inspiração sobre como usar esses dados ou se está curioso sobre como os coletamos, confira o relatório de insights.

Crie seus próprios workflows

Acreditamos no valor de experimentar; soluções padronizadas raramente são suficientes. Cadastre-se para uma demonstração da Trickest para acessar os workflows que usamos, personalizá-los, explorar muitos outros workflows ou até mesmo criar os seus do zero!