leakScraper

mongodb 버전

LeakScraper는 방대한 텍스트 파일(자격 증명 포함)을 처리하고 시각화하는 효율적인 도구 세트입니다. 이 도구들은 펜테스터/레드팀이 OSINT, 자격 증명 수집 및 자격 증명 스터핑 공격을 수행할 때 도움이 되도록 설계되었습니다.

설치

• 가장 먼저: 작동 중인 mongodb 서버가 필요합니다.
• 그런 다음:
  root@kitploit:~

  git clone -b mongodb https://github.com/Acceis/leakScraper
  cd leakScraper
  sudo ./install.sh
  

  이 명령은 몇 가지 pip 패키지와 debian 패키지(python-magic, python3-pymongo 및 bottle)를 설치합니다.

요구 사항

Linux (debian), python 3.x 및 mongodb 서버가 필요합니다.

사용법

자세한 내용은 위키를 참조하세요.

스크린샷

다양한 도구들

LeakScraper는 세 부분으로 나뉩니다:

• leakStandardizer: 인터넷의 합법적인 곳에서 얻은 유출 데이터를 표준화하는 도구입니다. 비ASCII 문자, 빈 줄, 유효하지 않은 이메일 또는 비밀번호가 없는 줄이 포함된 이상한 형식의 자격 증명 파일을 입력으로 받습니다. 사용자(정규 표현식 사용)의 도움을 받아 다음 형식의 쉽게 grep 가능한 파일을 생성합니다: email:hash:plain ("plain"은 "일반 텍스트 비밀번호"를 의미).
• leakImporter: 표준화된 유출 파일을 mongodb 데이터베이스로 가져오는 도구입니다. 파일에서 데이터를 추출하고, mysql 포괄 형식으로 변환하며, 인덱스를 생성/관리하는 등의 작업을 처리합니다.
• leakScraper: 데이터베이스에서 데이터를 발굴하여 보기 좋게 표시하는 도구 및 인터페이스입니다.

가정

• 다루는 사용 사례는 다음과 같습니다: 특정 조직/회사/구조에 속한 자격 증명 검색. 이는 해당 조직에 속한 이메일과 관련된 자격 증명을 검색하여 수행됩니다. 예: microsoft에 속한 자격 증명 검색은 "@microsoft.com"으로 끝나는 이메일로 등록된 계정과 관련된 자격 증명을 검색하여 수행됩니다. 이것이 유일하게 다루는 사용 사례이며, 이는 기술적 선택(데이터베이스 인덱스 및 일반적인 데이터 표현)에 많은 영향을 미칩니다.

• 유출 데이터는 수 기가바이트에 달할 수 있습니다. 이는 각 프로세스(표준화, 가져오기 및 검색)가 메모리 측면에서 제자리 알고리즘을 사용함을 의미합니다. 이러한 도구가 특정 파일을 처리하는 데 얼마나 많은 메모리를 사용할지 사전에 알 수 있으며, 컴퓨터 리소스를 고갈시키지 않습니다(매우 오래된 컴퓨터가 아닌 이상).

• 대용량 파일을 처리하고 많은 양의 데이터로 작업하는 데는 시간이 걸립니다. 파일 처리/가져오기에 얼마나 많은 시간이 걸릴지 시각적/실시간 피드백을 받는 것이 중요하다고 생각합니다. 방금 7시간짜리 프로세스를 시작했는지, 아니면 1,200년짜리 프로세스를 시작했는지 아는 것이 중요합니다.