GitHub Logs

Извлечение OSINT-инсайтов из 15 ТБ журналов событий GitHub

Мы разработали 3 рабочих процесса Trickest, которые обработали и обогатили весь набор журналов событий GitHub, что позволило нам получить ценные инсайты. Теперь вся сообщество может воспользоваться этими результатами.

Знаете ли вы, что ровно 16 пользователей GitHub имеют особый статус site_admin на публичной платформе GitHub? Хотите узнать, какие пользователи связаны с конкретной компанией, используя команду grep? Или, возможно, вы хотите выявить удалённые учётные записи пользователей, которые могут представлять риски, такие как имитация или путаница зависимостей? Может быть, вам интересно узнать топ-10 самых популярных репозиториев на GitHub по звёздам, форкам или наблюдателям?

Если что-то из этого вас заинтересовало, ознакомьтесь с нашим отчётом: Uncovering OSINT Insights from 15TB of GitHub Logs.

Что внутри?

Репозиторий состоит из CSV-файлов, содержащих сведения о пользователях и репозиториях, организованных в две основные папки: users и repos. Внутри каждой папки вы найдёте основную папку с полным набором данных: all_user_info и all_repo_info. Мы также включили частичные наборы данных для конкретных критериев, таких как users_site_admin, users_deleted, users_company, repos_archived, repos_deleted и repos_sorted_stars.

github-logs
├── repos
│   ├── all_repo_info
│   │   ├── all_repo_info00000.csv
│   │   ├── all_repo_info00001.csv
│   │   └── ...
│   ├── repos_archived
│   ├── repos_deleted
│   ├── repos_disabled
│   ├── repos_private
│   ├── repos_sorted_forks
│   ├── repos_sorted_stars
│   └── repos_sorted_watchers
└── users
    ├── all_user_info
    ├── users_company
    ├── users_deleted
    ├── users_email
    ├── users_github_star
    ├── users_hireable
    └── users_site_admin

Если вы ищете вдохновение по использованию этих данных или вам интересно, как мы их собрали, ознакомьтесь с отчётом.

Создавайте собственные рабочие процессы

Мы верим в ценность экспериментов; шаблонные решения редко подходят. Запишитесь на демонстрацию Trickest, чтобы получить доступ к использованным нами рабочим процессам, настроить их, изучить множество других рабочих процессов или даже создать свои с нуля!