Steamer

공개된 데이터 덤프를 가져오고, 관리하고, 검색하세요.

거대한 CSV, .sql, .txt 파일에 자격 증명, 비밀번호, 해시가 가득 들어있나요? Steamer로 관리하세요! MongoDB 데이터베이스에 로드한 다음, 콘솔을 직접 사용하거나 편리한 웹 인터페이스(JSON 내보내기 포함)를 사용하세요.

설치

• Go와 MongoDB를 설치하세요.
• 의존성은 go.mod의 Go 모듈을 통해 관리됩니다. 따라서 Go가 필요한 모듈을 찾을 수 없으면 자동으로 다운로드합니다.

이 시점에서는 인덱스가 필요하지 않은 간단한 침해 사고 덤프 중 하나를 가져오는 것이 좋습니다.

• go run ./importers/adobe.go

이제 MongoDB에 관련 인덱스를 생성해야 합니다:

• Mongo 콘솔에서 다음과 같이 인덱스를 생성하세요:
  • memberid: hashed
  • breach: 1
  • email: 1
  • liame: 1
  • passwordhash: 1

인덱스를 생성하는 명령어는 다음과 같습니다:

• mongo
• use steamer
• db.dumps.createIndex( { memberid: "hashed"}, { background: true} )
• db.dumps.createIndex( { breach: 1}, { background: true} )
• db.dumps.createIndex( { email: 1}, { background: true} )
• db.dumps.createIndex( { liame: 1}, { background: true} )
• db.dumps.createIndex( { passwordhash: 1}, { background: true} )

설치 완료!

Steamer 실행

현명하다면 Go 앞에 nginx를 실행하는 것을 고려하겠지만, 우리는 게으르니까 그냥 실행하세요: go run ./steamer.go

임포터 작성하기

importers/importer-template.go 파일을 적절히 복사하세요. 관련 코드로 채워 넣으세요. 다른 임포터를 예시로 참고하세요. 이 템플릿은 스레드 기반이며 CSV용으로 설계되었습니다. 더 복잡한 예시는 ./importers/linkedin2016.go를 참고하세요.

공개된 침해 사고에 대한 임포터를 작성했다면, 누구나 가져올 수 있도록 풀 리퀘스트를 보내주세요. 단, 본 저장소에는 어떤 공개 침해 사고 데이터도 제공되지 않습니다.

임포터 실행하기

임포터 실행은 간단합니다. go run ./importers/<임포터_이름>.go를 실행하거나, 필요하다면 go run ./importers/<임포터_이름>.go -i <덤프_파일_경로>로 덤프 파일의 대체 경로를 제공하세요. 진행 상황 표시줄을 보여주는 상세 모드 플래그도 있습니다. 사용하려면 go run importers/<임포터_이름>.go -v 플래그를 추가하세요. 단, 활성화하면 파일 크기에 따라 평균적으로 몇 분의 지연이 발생할 수 있음에 유의하세요.

문제가 있나요?

MongoDB 3.0 이상을 실행 중인지 확인하세요. 이전 버전에서는 인덱스가 제대로 작동하지 않는 문제가 있었으며, 이 버전이 필요한 새로운 구문이 있습니다.

성능 문제? MongoDB 설정 파일을 수정하여 저널링을 끄고 새 데이터베이스 엔진을 활성화해 보세요.