splx-ai/agentic-radarLLM 에이전트 워크플로우를 위한 보안 스캐너
Agentic Radar는 에이전틱 시스템을 보안 및 운영 인사이트 측면에서 분석하고 평가하도록 설계되었습니다. 개발자, 연구자, 보안 전문가가 에이전틱 시스템이 어떻게 작동하는지 이해하고 잠재적인 취약점을 식별하는 데 도움을 줍니다.
사용자가 에이전틱 시스템에 대한 보안 보고서를 생성할 수 있게 해주며, 다음을 포함합니다:
포괄적인 HTML 보고서는 모든 결과를 요약하며, 쉽게 검토하고 공유할 수 있습니다.
Agentic Radar는 탐지된 취약점을 잘 알려진 보안 프레임워크에 매핑하는 기능을 포함합니다 🛡️.
시각화에만 관심이 있다면 Agentic Visualizer를 사용해 보세요.
에이전틱 워크플로를 사용자 친화적인 방식으로 시각화할 수 있는 웹 기반 도구입니다.
없습니다! 컴퓨터에 Python(pip)만 설치되어 있으면 됩니다.
pip install agentic-radar
# Check that it is installed
agentic-radar --version
일부 기능은 대상 에이전틱 프레임워크에 따라 추가 설치가 필요합니다. 자세한 내용은 아래를 참조하세요.
CrewAI와 함께 다음 기능 중 하나를 사용할 때 CrewAI 추가 패키지가 필요합니다:
다음 명령으로 추가 CrewAI 의존성이 포함된 Agentic Radar를 설치할 수 있습니다:
pip install "agentic-radar[crewai]"
[!WARNING] 이렇게 하면 Python 버전 >= 3.10 및 < 3.13에서만 지원되는
crewai-tools패키지가 설치됩니다. 다른 Python 버전을 사용하는 경우 도구 설명이 덜 상세해지거나 완전히 누락될 수 있습니다.
OpenAI Agents와 함께 다음 기능 중 하나를 사용할 때 OpenAI Agents 추가 패키지가 필요합니다:
다음 명령으로 추가 OpenAI Agents 의존성이 포함된 Agentic Radar를 설치할 수 있습니다:
pip install "agentic-radar[openai-agents]"
Agentic Radar는 이제 두 가지 주요 명령을 지원합니다:
scan에이전틱 워크플로 코드를 스캔하고 보고서를 생성합니다.
agentic-radar scan [OPTIONS] FRAMEWORK:{langgraph|crewai|n8n|openai-agents|autogen}
예시:
agentic-radar scan langgraph -i path/to/langgraph/example/folder -o report.html
test에이전틱 워크플로의 에이전트를 다양한 취약점에 대해 테스트합니다. OPENAI_API_KEY를 환경 변수로 설정해야 합니다.
agentic-radar test [OPTIONS] FRAMEWORK:{openai-agents} ENTRYPOINT_SCRIPT_WITH_ARGS
예시:
agentic-radar test openai-agents "path/to/openai-agents/example.py"
이 기능에 대한 자세한 내용은 여기를 참조하세요.
Agentic Prompt Hardening은 에이전틱 워크플로에서 감지된 시스템 프롬프트를 자동으로 개선하여 보고서에 표시합니다. 단순한 에이전트 지침을 모범 프롬프트 엔지니어링 관행을 따르는 고품질의 구조화된 시스템 프롬프트로 변환합니다.
[!NOTE]
현재 지원되는 프레임워크(추후 더 추가 예정): OpenAI Agents, CrewAI, Autogen
사용법은 매우 간단합니다:
export OPENAI_API_KEY=<api_key>를 실행하여 OPENAI_API_KEY 환경 변수를 설정합니다.
--harden-prompts 플래그와 함께 Agentic Radar를 실행합니다. 예를 들어:
agentic-radar scan openai-agents --harden-prompts -i examples/openai-agents/
basic/lifecycle_example -o report.html
Agentic Radar는 이제 시뮬레이션된 적대적 입력을 통해 에이전트 워크플로를 런타임에 테스트하여 중요한 취약점을 식별하는 기능을 지원합니다.
여기에는 다음에 대한 자동화된 테스트가 포함됩니다:
현재 지원 대상:
test 명령은 악의적이거나 적대적인 입력을 시뮬레이션하도록 설계된 테스트 스위트로 에이전틱 워크플로를 실행합니다. 이러한 테스트는 OWASP LLM Top 10에 부합하는 실제 공격 시나리오를 기반으로 설계되었습니다.
[!NOTE]
이 기능은 OPENAI_API_KEY 또는 AZURE_OPENAI_API_KEY를 환경 변수로 설정해야 합니다. 명령줄이나 .env 파일 내에서 설정할 수 있습니다.
테스트는 다음과 같이 실행합니다:
agentic-radar test <framework> "<path/to/the/workflow/main.py any-necessary-args>"
예를 들어:
agentic-radar test openai-agents "examples/openai-agents/basic/lifecycle_example.py"
이 도구는 사용자가 제공한 에이전틱 워크플로에 스스로를 주입하고 필요한 정보를 감지하여 준비된 테스트를 실행합니다.
다음 구조의 YAML 파일을 생성하여 Agentic Radar에 커스텀 테스트를 전달할 수 있습니다:
include_default_tests: false
tests:
- name: TestA
input: Mention A.
success_condition: Attack succeeded if A is mentioned.
- name: TestB
input: Mention B.
success_condition: Attack succeeded if B is mentioned.
name은 테스트의 이름, input은 에이전트에 전달할 입력 텍스트, success_condition은 공격 성공을 판정하는 조건에 대한 설명입니다(테스트 통과 여부를 결정하기 위해 오라클 LLM이 사용합니다).
그런 다음 YAML 파일을 가리키는 --config 옵션과 함께 Agentic Radar 테스트를 실행할 수 있습니다:
agentic-radar test openai-agents --config custom_tests.yaml "examples/openai-agents/basic/lifecycle_example.py"
기본적으로 Agentic Radar는 내장 테스트도 포함합니다. YAML 파일에서 include_default_tests를 false로 설정하여 비활성화할 수 있습니다.
모든 테스트 결과는 터미널에 시각적으로 풍부한 표 형식으로 출력됩니다. 각 행에는 다음이 표시됩니다:
이를 통해 특히 멀티 에이전트 시스템에서 취약점을 한눈에 쉽게 발견할 수 있습니다.
Agentic Radar를 CI/CD 파이프라인에 통합하려면 제공된 GitHub Actions 워크플로 예시를 사용할 수 있습니다. YAML을 저장소의 .github/workflows 디렉토리에 붙여넣기만 하면 됩니다.
이 워크플로는 변경 사항이 저장소에 푸시될 때마다 코드베이스에서 Agentic Radar 스캔을 자동으로 실행합니다. 생성된 보고서는 GitHub Actions 실행에서 아티팩트로 업로드됩니다.
이 매트릭스는 어떤 에이전틱 프레임워크가 모든 Agentic Radar 기능을 지원하는지 보여줍니다. 시간이 지남에 따라 모든 기존 기능으로 모든 현재 프레임워크를 지원하고, 새로운 프레임워크도 도입하기 위해 노력할 것입니다.
우선적으로 구현되었으면 하는 기능이 있나요? 여기에서 익명으로 투표하거나 GitHub Issue를 열어 주세요.
AI 및 보안 커뮤니티의 기여를 환영합니다! Discord 커뮤니티 또는 Slack 커뮤니티에 참여하여 다른 개발자들과 소통하고, 기능을 논의하며, 지원을 받고 Agentic Radar에 기여하세요 🚀
마음에 드신다면 스타를 눌러주세요! 저희에게 개선하고 혁신할 영감을 주고, 다른 사람들이 이 프로젝트를 발견하는 데 도움이 됩니다 🌟
Q: 제 소스 코드가 공유되나요, 아니면 모든 것이 로컬에서 실행되나요?
A: 주요 기능(정적 워크플로 분석 및 취약점 매핑)은 완전히 로컬에서 실행되므로 코드가 어디에도 공유되지 않습니다. 선택적 고급 기능의 경우 LLM이 사용될 수 있습니다. 예를 들어 Prompt Hardening을 사용하면 감지된 시스템 프롬프트가 분석을 위해 LLM으로 전송될 수 있습니다.
| 기능 | 스캔 | MCP 탐지 | 프롬프트 하드닝 | 에이전틱 테스트 |
|---|
| OpenAI Agents | ✅ | ✅ | ✅ | ✅ |
| CrewAI | ✅ | ✅ | ✅ | ❌ |
| n8n | ✅ | ✅ | ❌ | ❌ |
| LangGraph | ✅ | ✅ | ❌ | ❌ |
| Autogen | ✅ | ✅ | ✅ | ❌ |