- 이제 우리는 lookup 정의를 사용하여 사냥할 수 있습니다 🏹
- :warning: 다음 섹션 검색이 작동하지 않는 것 같으면 splunk 리소스 제한 설정 때문일 수 있습니다. 특히 기본 구성으로 splunk를 실행 중인 경우에 그렇습니다. 처음에는 `[lookup]` 스탠자의 `max_memtable_bytes` 값을 늘리는 것을 고려해야 할 수도 있습니다.

## `threathunting-keywords` 사용 예시:
![image](https://assets.kitploit.com/production/public/readmes/48741/204eb8e71d12257660c7166cb5f050747877e1968d7ff1f21812967d64355ca0.png)



### 원시 로그에서 모든 키워드 사냥하기 😱```
`myendpointslogs` 
| lookup threathunting-keywords keyword as _raw OUTPUT keyword as keyword_detection metadata_keyword_type metadata_tool metadata_description metadata_tool_techniques metadata_tool_tactics metadata_malwares_name metadata_groups_name metadata_category	metadata_link	metadata_enable_endpoint_detection metadata_enable_proxy_detection metadata_comment
| search metadata_description!="" AND metadata_enable_endpoint_detection=1
| stats count earliest(_time) as firsttime latest(_time) as lasttime values(_raw) as raw by metadata_keyword_type keyword_detection index sourcetype 
| convert ctime(*time)

필수 키워드, 원시 텍스트 또는 키워드 유형을 제외합니다.
만약 `greyware tool keyword` 유형(공격자에 의해 악용되는 합법적인 도구 키워드)을 제외하기로 결정한다면, 이 환경에는 이러한 종류의 도구에 대한 결과가 너무 많기 때문에 두 가지 옵션이 있습니다:

- 초기 검색 시작 시 필터링합니다.```
`myendpointslogs` 
| lookup threathunting-keywords keyword as _raw OUTPUT keyword as keyword_detection metadata_keyword_type metadata_tool metadata_description metadata_tool_techniques metadata_tool_tactics metadata_malwares_name metadata_groups_name metadata_category	metadata_link	metadata_enable_endpoint_detection metadata_enable_proxy_detection metadata_comment
| search metadata_description!="" metadata_keyword_type="offensive tool keyword" metadata_enable_endpoint_detection=1
| stats count earliest(_time) as firsttime latest(_time) as lasttime values(_raw) as raw by metadata_keyword_type keyword_detection index sourcetype 
| convert ctime(*time)

그래서 그것이 엔드포인트 로그에서 원시 로그를 검색하는 우리의 사용 사례였습니다. 네트워크 로그(쿼리나 url을 기록할 수 있는 모든 것)에서 키워드를 검색하려면 다음과 같이 변경하기만 하면 됩니다:```
`mynetworklogs` 
| lookup threathunting-keywords keyword as _raw OUTPUT keyword as keyword_detection metadata_keyword_type metadata_tool metadata_description metadata_tool_techniques metadata_tool_tactics metadata_malwares_name metadata_groups_name metadata_category	metadata_link	metadata_enable_endpoint_detection metadata_enable_proxy_detection metadata_comment
| search metadata_description!="" AND metadata_enable_proxy_detection=1
| stats count earliest(_time) as firsttime latest(_time) as lasttime values(_raw) as raw by metadata_keyword_type keyword_detection index sourcetype 
| convert ctime(*time)

#### 쿼리 필드에서만 일치:```
`mynetworklogs` query=*
| lookup threathunting-keywords keyword as query OUTPUT keyword as keyword_detection metadata_keyword_type metadata_tool metadata_description metadata_tool_techniques metadata_tool_tactics metadata_malwares_name metadata_groups_name metadata_category	metadata_link	metadata_enable_endpoint_detection metadata_enable_proxy_detection metadata_comment
| search metadata_description!="" AND metadata_enable_proxy_detection=1
| stats count earliest(_time) as firsttime latest(_time) as lasttime values(query) as query by src_ip metadata_keyword_type keyword_detection index sourcetype 
| convert ctime(*time)

#### 속도:

속도가 우려되거나 이를 예약된 탐지 규칙으로 구현하려는 경우, 사용하려는 `metadata_keyword_type` 또는 `metadata_tool` 열을 선택하여 lookup을 서로 다른 여러 개의 lookup으로 분할하는 것을 고려할 수 있습니다.

`|lookup` 이후 search 명령을 사용한 필터링은 검색 프로세스를 빠르게 만들지 않습니다. lookup을 나누지 않고 특정 부분에 집중하려면 `|inputlookup` 명령과 where 절을 함께 사용해야 합니다. 이 방법은 더 많은 CPU 리소스를 소비할 수 있지만 일반적으로 더 빠르게 실행됩니다. 자세한 내용은 inputlookup에 대한 Splunk 문서를 참조하세요: https://docs.splunk.com/Documentation/Splunk/latest/SearchReference/Inputlookup

#### ELK 사용 시:

Elastic Stack을 사용하는 경우 리스트에 많은 제한이 있습니다(특수 문자, 공백 등을 사용할 수 없습니다). 선택할 수 있는 옵션은 3가지입니다:
- 같은 리포지토리에서 제공되는 다른 리스트를 사용합니다: https://github.com/mthcht/ThreatHunting-Keywords/tree/main/elk (threathunting-keywords.csv의 직접 추출본이 아니라 ELK용으로 수정되었으며 업데이트되지 않습니다)
- 이 프로젝트에서 직접 추출한 Sigma "hunting" 규칙을 사용합니다(변환에는 pysigma 사용): https://github.com/mthcht/ThreatHunting-Keywords-sigma-rules
- 와일드카드 쿼리와 함께 제 리스트 중 일부를 IOC 리스트로 사용합니다: https://www.elastic.co/guide/en/elasticsearch/reference/8.15/query-dsl-wildcard-query.html#wildcard-top-level-params
 
### 대시보드 예시
![image](https://assets.kitploit.com/production/public/readmes/48741/df177e7f2584b823c311a2b223eed8b237d8a72c05d0afb9d6b6f350e42ccda0.png)

### Splunk4DFIR
프로젝트 csv 파일을 Splunk와 함께 사용하여 DFIR 아티팩트 및 로그를 헌팅하는 또 다른 예: https://github.com/mf1d3l/Splunk4DFIR
![image](https://assets.kitploit.com/production/public/readmes/48741/73d54c5b146c34685ebac4ed7ed2a9da11a3f90e6ae9ac0a4b17118d7895cbe3.png)

### 탐지를 위한 기타 유용한 리스트
관련 아티팩트 일부를 별도의 리스트로 유지하고 있습니다. 이 리스트들은 더 정밀하며 탐지 규칙에 사용할 수 있습니다. 이 [github repo](https://github.com/mthcht/awesome-lists/tree/main/Lists)에서 확인할 수 있습니다.
다음을 찾을 수 있습니다:

Threat Hunting 세션 계획을 위한 정보 수집 시트

![intelligence gathering sheet](https://assets.kitploit.com/production/public/readmes/48741/498b188eaebabe5a7077300eeff16daee903ed30d0b1797b82c208a54ba1424d.png)


- 📋 리스트: https://github.com/mthcht/awesome-lists/tree/main/Lists
- 🕵️‍♂️ Threat Hunting 가이드: https://mthcht.medium.com/list/threat-hunting-708624e9266f
- 🚰 의심스러운 명명된 파이프: [suspicious_named_pipe_list.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/suspicious_named_pipe_list.csv)
- 🌐 의심스러운 TLD(자동 업데이트): [[suspicious_TLDs]](https://github.com/mthcht/awesome-lists/tree/main/Lists/TLDs)
- 🌐 의심스러운 ASN(자동 업데이트): [[suspicious ASNs]](https://github.com/mthcht/awesome-lists/tree/main/Lists/ASNs)
- 🔧 의심스러운 Windows 서비스: [suspicious_windows_services_names_list.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/suspicious_windows_services_names_list.csv)
- ⏲️ 의심스러운 Windows 작업: [suspicious_windows_tasks_list.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/suspicious_windows_tasks_list.csv)
- 🚪 의심스러운 대상 포트: [suspicious_ports_list.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/suspicious_ports_list.csv)
- 🛡️ 의심스러운 방화벽 규칙: [suspicious_windows_firewall_rules_list.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/suspicious_windows_firewall_rules_list.csv)
- 🆔 의심스러운 사용자 에이전트: [suspicious_http_user_agents_list.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/suspicious_http_user_agents_list.csv)
- 📇 의심스러운 USB ID: [suspicious_usb_ids_list.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/suspicious_usb_ids_list.csv)
- 🔢 의심스러운 MAC 주소: [suspicious_mac_address_list.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/suspicious_mac_address_list.csv)
- 📛 의심스러운 호스트 이름: [suspicious_hostnames_list.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/suspicious_hostnames_list.csv)
- 🧮 메타데이터 실행 파일: [executables_metadata_informations_list.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/Windows%20Metadata/executables_metadata_informations_list.csv)
- 🕸️ DNS over HTTPS 서버 리스트: [dns_over_https_servers_list.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/dns_over_https_servers_list.csv)
- 📚 Hijacklibs(자동 업데이트): [hijacklibs_list.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/Hijacklibs/hijacklibs_list.csv)
- 🌐 TOR 노드 리스트(자동 업데이트): https://github.com/mthcht/awesome-lists/tree/main/Lists/TOR
- 🛠️ LOLDriver 리스트(자동 업데이트): [loldrivers_only_hashes_list.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/Drivers/loldrivers_only_hashes_list.csv)
- 🛠️ 악성 부트로더 리스트(자동 업데이트): [malicious_bootloaders_only_hashes_list.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/Drivers/malicious_bootloaders_only_hashes_list.csv)
- 📜 악성 SSL 인증서 리스트(자동 업데이트): [ssl_certificates_malicious_list.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/SSL%20CERTS/ssl_certificates_malicious_list.csv)
- 🖥️ RMM 탐지: https://github.com/mthcht/awesome-lists/tree/main/Lists/RMM
- 👤🔑 AD/EntraID/AWS에 중요한 역할 및 그룹: [[permissions]](https://github.com/mthcht/awesome-lists/tree/main/Lists/permissions)
- 💻🔒 랜섬웨어 알려진 파일 확장자: [ransomware_extensions_list.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/ransomware_extensions_list.csv)
- 💻🔒 랜섬웨어 알려진 파일명 랜섬 노트: [ransomware_notes_list.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/ransomware_notes_list.csv)
- 📝 Windows ASR 규칙: [windows_asr_rules.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/windows_asr_rules.csv)
- 🌐 DNSTWIST 리스트(자동 업데이트): [DNSTWIST Default Domains + script](https://github.com/mthcht/awesome-lists/tree/main/Lists/DNSTWIST)
- 🌍 VPN IP 주소 리스트(자동 업데이트): 
  - 🛡️ NordVPN: [nordvpn_ips_list.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/VPN/NordVPN/nordvpn_ips_list.csv)
  - 🛡️ ProtonVPN: [protonvpn_ip_list.csv](https://github.com/mthcht/awesome-lists/blob/main/Lists/VPN/ProtonVPN/protonvpn_ip_list.csv)
- 🏢 회사 IP 범위 리스트(자동 업데이트): [Default Lists + script](https://github.com/mthcht/awesome-lists/tree/main/Lists/Ranges_IP_Address_Company_List/bgp.he.net)
- 🔗 기타 상관관계 리스트: https://github.com/mthcht/awesome-lists/tree/main/Lists/Others
- 📋 완성해야 할 리스트: https://github.com/mthcht/awesome-lists/tree/main/todo


리스트 중 일부를 사용하려면 다음 [가이드](https://github.com/mthcht/awesome-lists/tree/main/Lists#how-to-use-the-lists)를 확인하세요: 
  - [Windows 서비스 검색](https://detect.fyi/threat-hunting-suspicious-windows-service-names-2f0dceea204c)
  - [사용자 에이전트 검색](https://mthcht.medium.com/threat-hunting-suspicious-user-agents-3dd764470bd0)
  - [DNS Over HTTPS 검색](https://mthcht.medium.com/detecting-dns-over-https-30fddb55ac78)
  - [의심스러운 TLD 검색](https://mthcht.medium.com/threat-hunting-suspicious-tlds-a742c2adbf58)
  - [HijackLibs 검색](https://mthcht.medium.com/detect-dll-hijacking-techniques-from-hijacklibs-with-splunk-c760d2e0656f)
  - [피싱 및 DNSTWIST 검색](https://detect.fyi/detecting-phishing-attempts-with-dnstwist-37c426b3bbb8)
  - [브라우저 확장 프로그램 검색](https://mthcht.medium.com/detecting-browser-extensions-installations-e0ac2b45c46b)
  - [눈에 띄는 곳에 숨어 있는 C2](https://mthcht.medium.com/c2-hiding-in-plain-sight-7a83963b9344)
  - [HTML 스머글링 아티팩트](https://mthcht.medium.com/detecting-html-smuggling-phishing-attempts-15af824e60e4)
  - [PSEXEC 및 유사 도구 검색](https://mthcht.medium.com/detecting-psexec-and-similar-tools-c812bf3dca6c)
  - [Time Slipping 탐지](https://mthcht.medium.com/event-log-manipulations-1-time-slipping-55bf95631c40)
  - [의심스러운 명명된 파이프](https://medium.com/detect-fyi/threat-hunting-suspicious-named-pipes-a4206e8a4bc8)
 
... 더 많은 내용은 [여기](https://github.com/mthcht/awesome-lists/tree/main/Lists#how-to-use-the-lists) 

## DFIR 파일 내 키워드 헌팅 (SIEM 없음)
여러 도구를 철저히 검토한 결과, [ripgrep](https://github.com/BurntSushi/ripgrep)이 대용량 로그 파일이나 여러 파일의 각 줄에 대해 방대한 정규식 패턴 목록을 신속하게 매칭하는 데 있어 경쟁 도구들을 크게 능가한다는 것을 발견했습니다. 이는 막대한 양의 데이터를 처리하는 데 가장 효율적인 솔루션으로 입증되었으며, 비교할 수 없는 속도와 유연성을 제공합니다.

### **Ripgrep** 및 'only_keywords_regex.txt' 리스트로 로그 파일에서 악성 흔적 헌팅
#### `rg.exe -f .\only_keywords_regex.txt .\EvtxECmd_Output.csv --multiline --ignore-case`
- .\only_keywords_regex.txt은 위협 헌팅 키워드의 원본 파일 역할을 하며, 정확한 매칭을 위해 정규식 패턴으로 변환됩니다. 이러한 패턴은 threahunting-keywords.csv 파일에서 비롯되었으며, 정규식 연산과의 최적 호환성을 위해 변환 과정을 거쳤습니다.
- .\EvtxECmd_Output.csv은 검색이 수행될 대상 파일을 나타냅니다. 여기서는 evtx 로그를 내보내 생성된 Windows 이벤트 로그의 .csv 형식입니다. 그러나 ripgrep의 유연성 덕분에 상세 패턴 검색 작업을 위해 원하는 파일로 자유롭게 교체할 수 있습니다.
- --multiline 옵션을 사용하면 ripgrep이 여러 줄에 걸쳐 있는 패턴을 효과적으로 처리하고 매칭할 수 있어 검색 범위가 크게 확장됩니다.
그러면 줄 번호와 함께 일치하는 줄이 다음과 같이 표시됩니다(일치하는 키워드는 표시되지 않음).

![image](https://assets.kitploit.com/production/public/readmes/48741/d205ae3caf99906a03818c202e8811b669948e2f68b88cc137cba8cf0e43b69f.png)

![image](https://assets.kitploit.com/production/public/readmes/48741/e1b213fc63e1ec2914e0f1eb3263d17aa960eb50672fd18986a0f75d50e9c379.png)

#### 매우 큰 파일에 더 나은 옵션(Windows):
[DFIR_hunt_in_file.ps1](https://github.com/mthcht/ThreatHunting-Keywords/blob/main/DFIR_hunt_in_file.ps1)

`powershell -ep Bypass -File .\DFIR_hunt_in_file.ps1 -patternFile "only_keywords_regex.txt" -targetFile "C:\Users\mthcht\collection\20230406154410_EvtxECmd_Output.csv" -rgPath "C:\Users\mthcht\Downloads\ripgrep-13.0.0-x86_64-pc-windows-msvc\ripgrep-13.0.0-x86_64-pc-windows-msvc\rg.exe"`
- `-targetFile`: 검색할 파일을 지정합니다(예시에서는 DFIR-ORC 추출 로그).
- `-patternFile`: 정규식 패턴이 포함된 파일 `only_keywords_regex.txt`
- `-rgPath`: ripgrep 실행 파일의 경로

powershell 스크립트 내용(리포지토리에 포함됨):```powershell
param (
    [Parameter(Mandatory=$true)]
    [string]$patternFile,
    [Parameter(Mandatory=$true)]
    [string]$targetFile,
    [Parameter(Mandatory=$true)]
    [string]$rgPath
)

Start-Transcript -Path "$PSScriptRoot\result_search.log" -Append -Force -Verbose

$totalLines = (Get-Content $patternFile | Measure-Object -Line).Lines
$currentLine = 0
Get-Content $patternFile | ForEach-Object {
    $currentLine++
    Write-Host "Searching for pattern $currentLine of $totalLines : $_"  
    & $rgPath --multiline --ignore-case $_ $targetFile | Write-Output 
}

Stop-Transcript -Verbose