Syd - 오프라인 침투 테스트 도우미

Syd는 차단된 환경에서 사용할 침투 테스트 도우미로, 로컬 LLM과 검색 증강 생성(RAG)을 통해 스캔 결과를 분석합니다. 인터넷 연결이나 API 키 없이 노트북에서 완전히 실행됩니다.

개요

Syd는 기술 스캔 출력(Nmap, BloodHound, Volatility)을 파싱하고 일반 영어로 질문에 답변합니다. 수백 페이지의 결과를 수동으로 검토하는 대신, 특정 질문을 하고 실제 스캔 데이터에 기반한 증거 기반 답변을 얻을 수 있습니다.

지원 도구:

• Nmap (XML 내보내기)
• BloodHound (JSON 내보내기)
• Volatility 3 (플러그인 출력)

주요 기능:

• 완전 오프라인 작동
• 클라우드 의존성 또는 API 키 불필요
• 사실 추출 아키텍처로 환각 방지
• 표준 노트북 하드웨어에서 실행
• 스캔 데이터에 기반한 증거 기반 답변

아키텍처

Syd는 3단계 파이프라인을 사용합니다:

1. 사실 추출(Fact Extraction) - 스캔 파일을 결정론적으로 파싱하여 구조화된 데이터로 변환
2. 지식 검색(Knowledge Retrieval) - RAG 기반 관련 기술 문서 검색
3. 답변 생성(Answer Generation) - LLM이 추출된 사실과 검색된 지식을 사용하여 답변 생성

사실 추출 단계는 정규식과 구조화된 파싱을 사용합니다(LLM 없음). 이는 100% 정확한 데이터 추출을 보장합니다. LLM은 검증된 사실을 바탕으로 자연어 설명만 생성합니다.

검증(Validation)은 생성된 모든 답변을 추출된 사실과 대조하여 확인합니다. LLM이 스캔에 없는 데이터(PID, IP 주소, 호스트명 등)를 언급하면 답변이 거부됩니다.

요구 사항

하드웨어:

• 최소 16GB RAM (권장 24GB)
• 10GB 여유 디스크 공간
• 멀티코어 CPU

소프트웨어:

• Python 3.8 이상
• pip

테스트된 구성:

• AMD Ryzen AI 9 365 (10코어)
• 24GB RAM
• Windows 11
• 쿼리 응답 시간: 2~5초

설치

자동 설정 (권장)

하나의 명령어를 실행하면 모든 것이 자동으로 처리됩니다:

python setup.py

이 스크립트는 다음을 수행합니다:

1. 모든 Python 종속성 설치
2. Qwen 2.5 14B 모델 다운로드 (9.7GB)
3. 설치 확인

필요 시간: 15~30분 (대부분 다운로드 시간)

HuggingFace 계정이 필요 없습니다. FAISS 인덱스는 저장소에 포함되어 있습니다.

수동 설치

setup.py가 실패하면 수동으로 설치하세요:

1. 종속성 설치:

pip install -r requirements.txt

2. HuggingFace에서 모델 다운로드:

   • 이동: https://huggingface.co/Qwen/Qwen2.5-14B-Instruct-GGUF
   • 3개 부분 모두 다운로드: qwen2.5-14b-instruct-q5_k_m-00001/2/3-of-00003.gguf
   • 다음으로 병합: rag_engine/models/qwen2.5-14b-instruct-q5_k_m.gguf

3. Syd 실행:

python syd.py

자세한 문제 해결은 INSTALL.md를 참조하세요.

사용법

Nmap 분석

1. Nmap XML 파일을 로드하거나 XML 출력을 붙여넣기
2. 사실 추출 대기 (보통 5~15초)
3. 질문하기:
   • "높은 포트에서 실행 중인 서비스는 무엇인가요?"
   • "SMB 서명이 비활성화된 호스트는 무엇인가요?"
   • "모든 웹 서버를 보여주세요"
   • "발견된 취약점은 무엇인가요?"

BloodHound 분석

1. BloodHound JSON 내보내기 로드 (SharpHound에서)
2. 질문하기:
   • "도메인 관리자까지의 최단 경로는 무엇인가요?"
   • "Kerberoastable한 계정은 무엇인가요?"
   • "무제한 위임 문제를 보여주세요"
   • "존재하는 ACL 남용 경로는 무엇인가요?"

Volatility 분석

1. Volatility 3 플러그인 출력 붙여넣기
2. 질문하기:
   • "가장 의심스러운 프로세스는 무엇인가요?"
   • "모든 네트워크 연결을 나열하세요"
   • "프로세스 인젝션 증거가 있나요?"
   • "PAGE_EXECUTE_READWRITE 영역이 있는 프로세스는 무엇인가요?"

정확도

실제 침투 테스트 데이터로 테스트됨:

• Nmap: 96.7% (테스트 질문 30개 중 29개 정답)
• Volatility: 90% (테스트 질문 10개 중 9개 정답)
• BloodHound: 85-90% (개선 진행 중)

검증 계층이 환각을 방지합니다. 존재하지 않는 데이터를 참조하는 답변은 차단됩니다.

프로젝트 구조

Syd_V3/
├── syd.py                          # Main application
├── nmap_fact_extractor.py          # Nmap parser
├── bloodhound_fact_extractor.py    # BloodHound parser
├── volatility_fact_extractor.py    # Volatility parser
├── bloodhound_analyzer.py          # BloodHound analysis logic
├── volatility_analyzer.py          # Volatility analysis logic
├── knowledge_bases/                # Technical documentation
│   ├── bloodhound/
│   └── volatility/
├── rag_engine/
│   ├── models/                     # LLM models (GGUF format)
│   └── embeddings/                 # FAISS indexes
└── chunk_and_embed_*.py            # Knowledge base indexing scripts

기술 세부 사항

LLM: Qwen 2.5 14B (Q5_K_M 양자화) 임베딩: all-MiniLM-L6-v2 (sentence-transformers) 벡터 DB: FAISS (CPU 최적화) GUI: tkinter (크로스 플랫폼)

온도: 0.050.1 (낮춰서 환각 감소) 반복 패널티: 2.83.2 (루핑 방지) 컨텍스트 윈도우: 4096~8192 토큰

알려진 제한 사항

• BloodHound JSON은 표준 SharpHound 형식이어야 함
• Nmap XML은 완전해야 함 (잘리지 않음)
• 대규모 스캔(1000개 이상 호스트)은 파싱에 30~60초가 걸릴 수 있음
• Volatility 네트워크 방향 분석: 85% 정확도 (개선 중)

일반적인 침투 테스트 시나리오(10~500개 호스트)용으로 설계되었습니다. 엔터프라이즈 규모 스캔은 청킹이 필요할 수 있습니다.

문제 해결

모델을 찾을 수 없음:

• rag_engine/models/에 모델 파일이 있는지 확인
• 파일 이름이 정확히 일치하는지 확인: qwen2.5-14b-instruct-q5_k_m.gguf

FAISS 인덱스를 찾을 수 없음:

• python chunk_and_embed_*.py 스크립트 실행
• rag_engine/embeddings/customers/에 .faiss 및 .pkl 파일이 있는지 확인

메모리 부족:

• 다른 애플리케이션 닫기
• 최소 16GB RAM 필요
• 메모리가 부족한 경우 Nmap 모듈만 사용

성능 저하:

• 첫 로드에 10~20초 소요 (모델 초기화)
• 이후 쿼리: 2~5초
• CPU 사용량 확인 - 모델은 CPU 바운드
• 노트북이 전원에 연결되어 있는지 확인 (전원 관리가 성능에 영향)

지원

커뮤니티 지원:

• GitHub Issues: 버그 신고 및 기능 요청
• GitHub Discussions: 질문 및 경험 공유

전문 지원: 차단된 환경에서 설정에 어려움을 겪고 계신다면, 소정의 비용으로 사전 구성된 USB 설치를 제공합니다. 모든 것이 포함되어 테스트되었습니다.

문의: [email protected]

리소스:

• YouTube: https://www.youtube.com/@paularmstrong8306 (튜토리얼 및 데모)
• 웹사이트: https://sydsec.co.uk
• 이메일: [email protected]

기여

특히 관심 있는 분야:

• 사실 추출기가 실패하는 엣지 케이스
• 검증이 너무 엄격하거나 느슨한 질문
• 다양한 하드웨어 구성에서의 성능 문제

지침은 CONTRIBUTING.md를 참조하세요.

라이선스

MIT 라이선스 - LICENSE 파일 참조

감사의 말

다음을 사용하여 제작되었습니다:

• llama.cpp (효율적인 CPU 추론)
• FAISS (빠른 벡터 검색)
• sentence-transformers (임베딩)
• Qwen 2.5 (명령어 수행 LLM)

실제 침투 테스트 데이터를 기반으로 개발 및 테스트되었습니다.

작성자: Paul Armstrong (@Sydsec) 웹사이트: https://sydsec.co.uk YouTube: https://www.youtube.com/@paularmstrong8306