
smbcrawler는 실용적인 도구로, 자격 증명과 호스트 목록을 받아 해당 공유를 '크롤링'(또는 '스파이더링')합니다.
SmbCrawler는 자격 증명과 호스트 목록을 받아 해당 공유를 '크롤링'(또는 '스파이더링')하는 간결한 도구입니다. 기능:
Python 패키지 설치 방법에 대한 안내가 필요하다면, pipx가 설치되어 있는지 확인한 후 pipx install smbcrawler를 실행하는 것을 권장합니다.
셸 자동 완성 추가를 적극 권장합니다. click 라이브러리를 사용하는 Python 앱이므로, 일반적인 방법을 사용하여 bash, zsh, fish에 탭 자동 완성을 추가할 수 있습니다.
다음과 같이 실행합니다 (스레드 10개, 최대 깊이 5):
$ smbcrawler crawl -i hosts.txt -u pen.tester -p iluvb0b -d contoso.local -t 10 -D 5
SmbCrawler가 대대적으로 개편되었습니다. 가장 중요한 변경 사항은 다음과 같습니다:
"흥미로운 파일", "지루한 공유" 등에 관한 기존 CLI 인수는 투박하고 혼란스러웠습니다. 대신 이제 "프로필"을 사용합니다. 자세한 내용은 아래를 참조하세요.
또한, 제가 관계형 데이터베이스를 사실상 재발명했지만 매우 형편없이 했다는 것을 깨달았습니다. 그렇다면 sqlite를 직접 사용하지 않을 이유가 없지 않겠습니까? sqlite 접근 방식은 우수한 성능의 멋진 대화형 HTML 보고서를 생성할 수 있게 해줍니다. 일부 도구 파이프라인에서 데이터를 사용해야 하는 경우에도 다양한 형식으로 결과를 내보낼 수 있습니다.
SmbCrawler가 권한을 보고하던 기존 방식은 때때로 그다지 유용하지 않았습니다. 예를 들어, 공유의 루트 디렉터리에는 읽기 권한이 있지만 모든 하위 디렉터리는 보호되어 있는 경우(예: 사용자 프로필)가 흔합니다. 이제 SmbCrawler는 공유의 디렉터리 트리를 어느 깊이까지 읽을 수 있었는지, 그리고 최대 깊이에 도달했는지 아니면 최대 깊이 인수에 더 높은 값을 제공했다면 더 깊이 들어갈 수 있었는지를 보고합니다.
이전 버전을 선호한다면, 여전히 PyPI에서 사용할 수 있으며 예를 들어 pipx install smbcrawler==0.2.0으로 설치할 수 있습니다.
실행 중에 다음 키를 사용할 수 있습니다:
p: 크롤러를 일시 정지하고 개별 호스트 또는 공유를 건너뛰기<space>: 현재 진행 상황 출력s: 더 자세한 상태 업데이트 출력자세한 내용은 smbcrawler -h를 실행하세요.
중간 규모의 네트워크에서도 SmbCrawler는 엄청난 양의 데이터를 찾아냅니다. 과제는 오탐을 줄이는 것입니다.
권한은 서비스 수준과 파일 시스템 수준 모두에 적용될 수 있다는 점을 인식하는 것이 중요합니다. 원격 SMB 서비스가 인증을 허용하고 사용자 계정에 원칙적으로 읽기 권한이 있더라도, 파일 시스템에서 이러한 권한이 없을 수 있습니다.
SmbCrawler는 다음 권한이 있는지 보고합니다:
--depth 인수로 제한됨)해당 작업을 시도하지 않고 SMB 공유의 권한을 확인하는 것은 간단하지 않기 때문에, SmbCrawler는 각 공유에 디렉터리 생성을 시도합니다. 디렉터리 이름은 smbcrawler_DELETEME_<8 random characters>이며 즉시 삭제되지만, 그래도 유의하시기 바랍니다.
[!WARNING] 때로는 디렉터리를 생성할 권한은 있지만 삭제할 권한은 없을 수 있으며, 이 경우 빈 디렉터리가 그대로 남게 됩니다.
특정 공유, 파일 또는 디렉터리를 어떻게 처리할지 결정하기 위해 SmbCrawler에는 "프로필"이라는 기능이 있습니다. 기본 프로필을 살펴보세요.
프로필은 다음 위치에서 *.yml 또는 *.yaml 확장자를 가진 파일로부터
로드됩니다:
$XDG_DATA_HOME/smbcrawler/ (기본값은 ~/.local/share/smbcrawler)--extra-profile-directory로 정의된 추가 디렉터리--extra-profile-file로 정의된 추가 파일각 위치의 프로필은 이전 정의를 덮어씁니다.
regex 값은 프로필이 일치하는지 여부를 정의하며, 마지막으로
일치하는 프로필이 사용됩니다. 모든 정규 표현식은 대소문자를 구분하지
않으며, 이는 Windows 환경에서 가장 흔한 동작을 반영합니다.
서로 다른 소스의 프로필이 어떻게 함께 동작하는지는 혼란스러울 수
있으므로, 반드시 --dry-run 매개변수를 활용하세요. 이 매개변수는
적용되는 설정을 보여주기만 하고 아무것도 하지 않습니다.
항상 딕셔너리의 리스트인 각 섹션을 살펴보겠습니다. 딕셔너리의 각 키는 임의의 레이블이며, 각 값은 다시 서로 다른 속성을 가진 딕셔너리입니다.
comment: 이 프로필을 설명하는 유용한 문자열regex: 이 프로필이 적용되는 파일을 정의하는 정규 표현식입니다.
마지막으로 일치하는 regex가 적용됩니다.regex_flags: 정규 표현식의
match 함수에 전달될 플래그 배열high_value (기본값: false): 파일이 "high value"인 경우, 그 존재가
보고되지만 반드시 다운로드되지는 않습니다 (가상 하드 드라이브를
생각해 보세요 - 중요하지만 자동으로 다운로드하기에는 너무 큽니다)download (기본값: true): true인 경우 처음 200KiBi가
다운로드되고 (또는 high_value=true인 경우 전체 파일이) 시크릿을
위해 파싱됩니다comment, regex, regex_flags: 위와 동일high_value: 그 존재가 보고되고 크롤링 깊이가 무한대로 변경됩니다crawl_depth: --depth 인수로 정의된 것과 다른 깊이까지 이 공유
또는 디렉터리를 크롤링합니다comment, regex_flags: 위와 동일regex: 시크릿과 일치하는 정규 표현식입니다. 시크릿 자체는
secret이라는 이름의 명명된 그룹일 수 있습니다.먼저 크롤링 깊이 1로 SmbCrawler를 실행하여 다루고 있는 대상에 대한
감을 잡는 것이 좋습니다. 이 첫 실행에서는 -w로 쓰기 검사를
활성화할 수 있습니다:
$ smbcrawler -C permissions_check.crwl crawl -D1 -t10 -w \
-i <INPUT FILE> -u <USER> -d <DOMAIN> -p <PASSWORD>
이 검사는 각 공유의 루트 디렉터리에서만 쓰기 및 읽기 권한을 확인한다는 점에 유의하세요. 읽기 권한이 얼마나 깊이까지 미치는지 알려면 전체 실행만이 답을 줄 수 있습니다.
초기 권한 검사 후, 다음 실행 또는 여러 실행을 위해 흥미로운 공유와
지루한 공유를 식별할 수 있습니다. SYSVOL 및 NETLOGON 같은 일부
공유는 여러 번 나타나므로, 다음 실행에서는 크롤링 깊이를 0으로
설정하고 세 번째 실행에서 이러한 중복 공유를 스캔할 호스트 하나를
선택해야 합니다. 다음은 예시입니다:
$ smbcrawler -C dc_only.crwl crawl -D -1 <DC IP> \
-u <USER> -d <DOMAIN> -p <PASSWORD>
$ smbcrawler -C full.crwl crawl -D5 -t10 -i <NEW INPUT FILE> \
-u <USER> -d <DOMAIN> -p <PASSWORD> \
--extra-profile-file skip_sysvol.yml
여기서 skip_sysvol.yml은 다음과 같습니다:
shares:
sysvol:
comment: "Skip sysvol and netlogon share"
regex: 'SYSVOL|NETLOGON'
crawl_depth: 0
여기에 크롤링할 가치가 없다고 생각되는 다른 공유를 자유롭게 포함하세요.
원시 데이터는 SQLite 데이터베이스와 디렉터리(기본적으로 output.crwl및output.crwl.d`)에 포함되어 있습니다. 디렉터리에는 두 개의 추가 디렉터리가 있습니다. 하나는 콘텐츠 해시로 고유화된 다운로드 파일이 있고, 다른 하나는 콘텐츠 파일을 가리키는 심볼릭 링크로 모든 공유를 미러링합니다. 후자는 다운로드한 모든 파일을 grep하는 데 적합합니다.
데이터는 다양한 형식으로 변환할 수 있습니다. 예를 들어 sqlitebrowser로 데이터베이스에 간단히 접근할 수도 있습니다. 몇 가지 유용한 뷰가 미리 정의되어 있습니다. 또는 JSON을 출력하고 jq를 사용하여 데이터를 조작할 수 있습니다.
예를 들어 루트 디렉터리 너머로 읽을 수 있었던 모든 공유를 LaTeX 테이블로 표시하려면 다음 쿼리를 사용하세요:
SELECT target_id || " & " || name || " & " || remark || " \\"
FROM share
WHERE read_level > 0
ORDER BY target_id, name
실험적인 HTML 출력 기능도 있습니다. 대량의 데이터에는 아직 완전히 유용하지 않을 수 있습니다.
보고된 시크릿에서 많은 오탐이나 미탐을 발견하셨다면, 알려주시면 도움이 됩니다. 자동 탐지를 개선할 때 커뮤니티의 의견은 중요합니다. 가장 좋은 방법은 기본 프로필 파일에 대한 변경 사항을 담은 풀 리퀘스트를 제공하는 것입니다.
Adrian Vollmer, SySS GmbH
MIT License; 자세한 내용은 LICENSE를 참조하세요.