microsoft/msticpyMicrosoft 위협 인텔리전스 보안 도구
Microsoft 위협 인텔리전스 Python 보안 도구.
msticpy는 Jupyter Notebook에서 정보 보안 조사 및 헌팅을 위한 라이브러리입니다. 다음과 같은 기능을 포함합니다:
또한 쿼리 시간 경계 설정, 목록에서 항목 선택 및 표시, 노트북 환경 구성을 위한 위젯과 같은 시간 절약형 노트북 도구도 포함되어 있습니다.
msticpy 패키지는 원래 Microsoft Sentinel용 Jupyter Notebook 작성을 지원하기 위해 개발되었습니다. Azure Sentinel이 여전히 우리 작업의 큰 초점이지만, 데이터 쿼리/수집 구성 요소를 확장하여 다른 소스(현재 Splunk, Microsoft Defender for Endpoint 및 Microsoft Graph가 지원되지만 다른 SIEM 플랫폼의 데이터 지원을 위해 적극적으로 작업 중입니다)에서 로그 데이터를 가져오고 있습니다. 대부분의 구성 요소는 모든 소스의 데이터와 함께 사용할 수 있습니다. Pandas DataFrame은 거의 모든 구성 요소의 보편적인 입력 및 출력 형식으로 사용됩니다. 또한 로컬 CSV 파일과 피클된 DataFrame에서 데이터를 쉽게 처리할 수 있는 데이터 공급자도 있습니다.
이 패키지는 보안 조사자와 헌터를 위한 세 가지 핵심 요구 사항을 해결합니다:
피드백, 버그 신고, 새로운 기능 제안 및 기여를 환영합니다.
핵심 설치:
pip install msticpy
또는 최신 개발 빌드
pip install git+https://github.com/microsoft/msticpy
msticpy를 최신 공용 비베타 릴리스로 업그레이드하려면 다음을 실행하세요:
pip install --upgrade msticpy
참고: msticpyconfig.yaml을 복사하여 msticpy 폴더 외부의 디스크에 저장하고 환경 변수에서 참조하는 것이 좋습니다. 이렇게 하면 msticpy 설치를 업데이트할 때마다 구성을 잃는 것을 방지할 수 있습니다.
전체 문서는 ReadTheDocs에 있습니다.
많은 모듈의 샘플 노트북은 docs/notebooks 폴더 및 함께 제공되는 노트북에 있습니다.
또한 이 문서 끝에 참조된 샘플 노트북을 탐색하여 컨텍스트에서 사용된 일부 기능을 볼 수 있습니다. mybinder.org의 이 대화형 데모에서 패키지 기능 중 일부를 사용해 볼 수 있습니다.
QueryProvider는 Microsoft Sentinel/Log Analytics, Microsoft XDR, Splunk, OData 및 기타 로그 데이터 소스를 대상으로 하는 확장 가능한 쿼리 라이브러리입니다. 또한 Mordor 데이터 세트 및 로컬 데이터 사용에 대한 특별 지원이 있습니다.
내장된 매개 변수화된 쿼리를 사용하면 단일 함수 호출로 복잡한 쿼리를 실행할 수 있습니다. 간단한 YAML 스키마를 사용하여 자체 쿼리를 추가하세요.
TILookup 클래스는 여러 TI 공급자에서 IoC를 조회할 수 있습니다. 내장 공급자에는 AlienVault OTX, IBM XForce, VirusTotal 및 Azure Sentinel이 포함됩니다.
입력은 단일 IoC 관찰 가능 항목이거나 여러 관찰 가능 항목을 포함하는 pandas DataFrame일 수 있습니다. 공급자에 따라 계정과 API 키가 필요할 수 있습니다. 일부 공급자는 특히 무료 티어의 경우 스로틀링을 적용하여 대량 조회 수행에 영향을 줄 수 있습니다.
TIProviders 및 TILookup Usage Notebook
GeoIP 조회 클래스를 사용하면 다음 중 하나를 사용하여 IP 주소의 지리적 위치를 매칭할 수 있습니다:
AzureData 모듈에는 Azure API를 통해 노출된 추가 호스트 세부 정보로 Azure 호스트 세부 정보에 대한 데이터를 보강하는 기능이 포함되어 있습니다. AzureSentinel 모듈을 사용하면 인시던트를 쿼리하고 탐지기 및 헌팅 쿼리를 검색할 수 있습니다. AzureBlogStorage를 사용하면 blob 저장소에서 데이터를 읽고 쓸 수 있습니다.
Azure Resource APIs, Azure Sentinel APIs, Azure Storage
이 하위 패키지에는 보안 조사 및 헌팅 작업에 유용한 여러 모듈이 포함되어 있습니다:
Office, Active Directory 또는 기타 로그 데이터에서 비정상적인 이벤트 시퀀스를 탐지합니다. 세션(예: 동일한 계정에 의해 시작된 활동)을 추출하고 비정상적인 활동 시퀀스를 식별 및 시각화할 수 있습니다. 예를 들어, 공격자가 누군가의 사서함에 메일 전달 규칙을 설정하는 것을 탐지합니다.
Anomalous Sessions 및 Anomalous Sequence Notebook
시계열 분석을 사용하면 정상적인 계절적 변동(예: 하루 시간, 요일별 이벤트의 규칙적인 증감)을 고려하여 로그 데이터에서 비정상적인 패턴을 식별할 수 있습니다. 분석과 시각화를 모두 사용하면 모든 데이터 세트에서 비정상적인 트래픽 흐름 또는 이벤트 활동을 강조할 수 있습니다.
모든 로그 이벤트를 대화형 타임라인에 표시합니다. Bokeh Visualization Library를 사용하여 타임라인 컨트롤을 사용하면 하나 이상의 이벤트 스트림을 시각화하고, 특정 시간 슬롯으로 대화형 확대/축소를 하고, 플로팅된 이벤트의 세부 정보를 볼 수 있습니다.
프로세스 트리 기능에는 두 가지 주요 구성 요소가 있습니다:
처리된 데이터 세트에서 개별 및 부분 트리를 추출하는 유틸리티 함수 세트가 있습니다.
Process Tree 및 Process Tree Notebook
MSTICPy 기능을 "엔터티 중심" 방식으로 사용할 수 있습니다. 특정 엔터티 유형(예: Host, IpAddress, Url)과 관련된 모든 함수, 쿼리 및 조회는 해당 엔터티 클래스의 메서드로 함께 수집됩니다. 따라서 IP 주소로 작업하려면 IpAddress 엔터티를 로드하고 해당 메서드를 찾아보면 됩니다.
Pivot Functions 및 Pivot Functions Notebook
Base64 및 아카이브(gz, zip, tar) 추출기입니다. base64로 인코딩된 문자열을 식별하고 디코딩을 시도합니다. 결과가 지원되는 아카이브 유형 중 하나처럼 보이면 내용의 압축을 풉니다. 각 디코딩/압축 풀기 결과는 추가 base64 콘텐츠가 있는지 지정된 깊이까지 다시 확인됩니다.
Base64 Decoding 및 Base64Unpack Notebook
정규 표현식을 사용하여 침해 지표(IoC) 패턴(IP 주소, URL, DNS 도메인, 해시, 파일 경로)을 찾습니다. 입력은 단일 문자열 또는 pandas DataFrame일 수 있습니다.
IoC Extraction 및 IoCExtract Notebook
이 모듈은 많은 수의 이벤트를 다양한 패턴의 클러스터로 요약하는 데 사용됩니다. 대량 반복 이벤트로 인해 고유하고 흥미로운 항목을 보기 어려운 경우가 많습니다.
SciKit Learn DBScan을 사용하여 구현된 비지도 학습 모듈입니다.
Event Clustering 및 Event Clustering Notebook
Linux 감사 로그를 로드하고 디코딩하는 모듈입니다. 동일한 메시지 ID를 공유하는 메시지를 단일 이벤트로 축소하고, 16진수 인코딩된 데이터 필드를 디코딩하며, 일부 이벤트별 형식 지정 및 정규화를 수행합니다(예: 프로세스 시작 이벤트의 경우 프로세스 명령줄 인수를 단일 문자열로 다시 어셈블합니다).
syslog 로깅만 활성화된 Linux 호스트 조사를 지원하는 모듈입니다. 여기에는 호스트 데이터 정리, 로그온 이벤트 클러스터링, 의심스러운 활동이 포함된 사용자 세션 탐지 기능이 포함됩니다.
알려진 악성 명령줄 활동 또는 의심스러운 명령줄 활동 패턴 탐지를 지원하는 모듈입니다.
도메인 이름 및 URL 조사를 지원하는 모듈로, 도메인 이름 유효성 검사 및 URL 스크린샷 기능을 제공합니다.
이들은 Jupyter ipywidgets 컬렉션으로 구축되었으며 목록 선택기, 쿼리 시간 경계 설정, 이벤트 표시와 같은 정보 보안 작업에 유용한 일반 기능을 사용하기 쉬운 형식으로 그룹화합니다.
예제 노트북:
GitHub에서 직접 보거나 링크를 복사하여 nbviewer.org에 붙여넣으세요.
실제 이 패키지 사용에 대한 더 많은 예는 다음 노트북을 참조하세요:
(간략한) 개발자 지침은 이 위키 문서 기여자 지침을 참조하세요.
이 프로젝트는 기여와 제안을 환영합니다. 대부분의 기여는 귀하가 기여를 사용할 권리가 있으며 실제로 그 권리를 우리에게 부여한다는 내용의 기여자 라이선스 계약(CLA)에 동의해야 합니다. 자세한 내용은 https://cla.microsoft.com을 방문하세요.
풀 리퀘스트를 제출하면 CLA-bot이 자동으로 CLA를 제공해야 하는지 판단하고 적절히 PR에 표시(예: 레이블, 설명)합니다. 봇이 제공하는 지침을 따르기만 하면 됩니다. 우리 CLA를 사용하는 모든 리포지토리에서 이 작업을 한 번만 수행하면 됩니다.
이 프로젝트는 Microsoft 오픈 소스 행동 강령을 채택했습니다. 자세한 내용은 행동 강령 FAQ를 참조하거나 추가 질문이나 의견이 있는 경우 [email protected]으로 문의하세요.
