GitHub Logs

15TB GitHub 이벤트 로그에서 OSINT 인사이트 추출하기

우리는 전체 GitHub 이벤트 로그 데이터셋을 처리하고 보강하여 유용한 인사이트를 얻은 3개의 Trickest 워크플로우를 개발했습니다. 이제 이 결과를 전체 커뮤니티가 활용할 수 있습니다.

공개 GitHub 플랫폼에서 정확히 16명의 GitHub 사용자에게 특별한 site_admin 상태가 부여되어 있다는 사실을 알고 계셨나요? grep 명령을 사용하여 특정 회사와 연관된 사용자가 누구인지 알아내는 데 관심이 있으신가요? 아니면 사칭(impersonation)이나 의존성 혼동(dependency confusion)과 같은 위험을 초래할 수 있는 삭제된 사용자 계정을 식별하고 싶으신가요? 어쩌면 별점, 포크, 워처 수 기준으로 GitHub 전체에서 가장 인기 있는 상위 10개 저장소가 궁금하실 수도 있습니다.

이 중 하나라도 흥미로우시다면 하이라이트 보고서를 확인해 보세요: 15TB GitHub 로그에서 OSINT 인사이트 발견하기.

내부 구성

이 저장소는 users와 repos라는 두 개의 주요 폴더로 구성된 사용자 및 저장소 세부 정보가 담긴 CSV 파일들로 이루어져 있습니다. 각 폴더 안에는 전체 데이터셋을 포함하는 기본 폴더(all_user_info 및 all_repo_info)가 있습니다. 또한 users_site_admin, users_deleted, users_company, repos_archived, repos_deleted, and repos_sorted_stars와 같은 특정 기준에 따른 부분 데이터셋도 포함되어 있습니다.

github-logs
├── repos
│   ├── all_repo_info
│   │   ├── all_repo_info00000.csv
│   │   ├── all_repo_info00001.csv
│   │   └── ...
│   ├── repos_archived
│   ├── repos_deleted
│   ├── repos_disabled
│   ├── repos_private
│   ├── repos_sorted_forks
│   ├── repos_sorted_stars
│   └── repos_sorted_watchers
└── users
    ├── all_user_info
    ├── users_company
    ├── users_deleted
    ├── users_email
    ├── users_github_star
    ├── users_hireable
    └── users_site_admin

이 데이터를 어떻게 활용할지에 대한 영감을 찾고 있거나 데이터 수집 방법이 궁금하다면 인사이트 보고서를 확인해 보세요.

나만의 워크플로우 구축하기

우리는 직접 만져보고 조정하는 것의 가치를 믿습니다. 판에 박힌 해결책으로는 충분하지 않은 경우가 많기 때문입니다. Trickest 데모에 등록하여 사용한 워크플로우에 액세스하고, 이를 맞춤 설정하고, 더 많은 워크플로우를 탐색하거나, 처음부터 직접 만들어 보세요!