Agentic Evidence

에이전틱 AI를 위한 보안 증거 및 관측 가능성

Agentic Evidence는 에이전틱 AI 실행에 대한 보안 증거를 수집, 상호 연관, 평가하는 방법을 탐구하는 OWASP 오픈소스 참조 프로젝트입니다.

에이전트 관측 가능성은 이벤트가 기록되었다는 사실을 보여줄 수 있습니다. 보안 조사는 무슨 일이 일어났는지, 어떤 아이덴티티와 권한이 관련되었는지, 어떤 입력이 해당 행동에 영향을 미쳤는지, 어떤 정책 결정이 내려졌는지, 그리고 사용 가능한 증거가 실제로 무엇을 뒷받침하는지 입증해야 합니다.

Agentic Evidence는 증거 충분성, 실행 재구성, 보안 조사에 초점을 맞춥니다. 이는 에이전트 보안 분류 체계 및 테스트 프로젝트를 중복하지 않고 보완합니다.

프로젝트 상태: 이 프로젝트는 인큐베이션 단계에 있으며 초기 구현이 계획 중입니다. 이 문서에 설명된 아키텍처와 명령은 의도된 MVP를 나타내며 구현 결정이 확정됨에 따라 변경될 수 있습니다.

목표

상호 연관된 실행 및 보안 이벤트로부터 에이전트 실행을 재구성합니다.
행동을 아이덴티티, 입력, 검색된 콘텐츠, 도구 호출, 권한 부여 결정, 결과와 연결합니다.
증거 출처와 증거 격차를 조사자가 볼 수 있게 합니다.
수집된 증거로부터 무엇을 결론지을 수 있고 무엇을 결론지을 수 없는지 입증합니다.
기여자가 로컬에서 실행할 수 있는 결정적이고 반복 가능한 시나리오를 제공합니다.
보안 실무자를 위한 확장 가능한 증거 분류 체계와 실용적 지침을 게시합니다.

초기 시나리오

정상 실행: 정상적인 에이전트 워크플로에 대한 기준선을 설정합니다.
검색 포이즈닝: 검색된 콘텐츠가 에이전트 행동에 어떻게 영향을 미칠 수 있는지, 그리고 증거가 그 관계를 포착하는지 입증합니다.
도구 디스크립터 수정: 증거가 어떤 도구 디스크립터가 관찰되었거나 사용되었는지 입증할 수 있는지, 그리고 수정이 탐지 가능한지 평가합니다.

시나리오는 결정적이어야 하며 합성 데이터를 사용해야 합니다. 구현과 테스트가 이를 뒷받침하지 않는 한 프로젝트는 공격이 탐지 가능하다고 주장해서는 안 됩니다.

의도된 MVP

첫 번째 릴리스는 다음을 갖춘 로컬 참조 애플리케이션으로 계획됩니다:

결정적 시나리오 러너.
버전이 지정된 JSON 증거 스키마.
OpenTelemetry 실행 텔레메트리 및 상호 연관.
증거 레코더 및 로컬 증거 저장소.
실행 타임라인, 이벤트 세부 정보, 증거 격차를 갖춘 보안 조사 인터페이스.
내보낼 수 있는 증거 번들.
자동화된 테스트, Docker Compose 구성, 기여자 문서.

제안된 기술 스택

구성 요소	제안된 기술
애플리케이션/API	Python with FastAPI, 또는 적절한 경우 Go
증거 형식	JSON Schema를 사용한 버전 지정 JSON
텔레메트리	OpenTelemetry SDK 및 OTLP
로컬 저장소	SQLite 및/또는 JSON 픽스처
조사 UI	Streamlit 또는 이에 상응하는 경량 UI
로컬 배포	Docker Compose
테스트	pytest 및 스키마 검증
지속적 통합	GitHub Actions

이는 제안된 구현 선택 사항이며 모든 구성 요소가 제공된다는 보장은 아닙니다. 아키텍처 결정은 저장소에 문서화되어야 하며 명확한 기술적 근거가 있을 때만 변경되어야 합니다.

이 프로젝트가 아닌 것

초기 릴리스는 다음이 될 의도가 없습니다:

프로덕션 SIEM 또는 범용 관측 가능성 플랫폼.
에이전트 런타임, 모델 제공자, 또는 자율 대응 엔진.
에이전트가 안전하다거나 기록된 증거가 진실이라는 보장.
권한 부여 시행, 런타임 보안 제어, 또는 사고 대응의 대체물.
라이브 LLM, Kubernetes, 또는 클라우드 인프라에 의존하는 것.

텔레메트리만으로는 증명이 아닙니다. 이벤트가 누락되거나, 잘못 상호 연관되거나, 침해된 구성 요소에 의해 생성될 수 있습니다. 애플리케이션은 관찰된 기록, 구성 요소 주장, 독립적으로 검증된 증거, 그리고 미지의 항목을 구분해야 합니다.

개념적 워크플로

결정론적 시나리오를 실행합니다.
실행 및 보안 이벤트를 생성합니다.
이벤트를 에이전트 실행 및 추적 컨텍스트와 연관시킵니다.
이벤트 구조를 검증하고 출처를 기록합니다.
실행 타임라인, 권한 부여 결정, 결과 및 증거 격차를 검사합니다.
증거 번들을 내보내고 예상 시나리오 결과와 비교합니다.

저장소 문서

시작하기: 로컬 설정 및 최초 실행 워크플로.
리소스: 표준, 사양 및 관련 보안 프로젝트.
FAQ: 프로젝트 범위, 증거 신뢰, 텔레메트리 한계 및 기여 관련 질문.

프로젝트 원칙

주장보다 증거 우선: 결과는 명시적 증거로 뒷받침되어야 합니다.
불확실성을 가시화: 증거 부재는 결과이며, 결론을 지어낼 이유가 아닙니다.
반복 가능성: 시나리오는 결정론적 입력과 테스트 가능한 예상 결과를 가져야 합니다.
최소 데이터: 기본적으로 합성 입력을 사용하고 비밀 정보나 불필요한 개인 데이터 수집을 피합니다.
상호운용성: 적절한 경우 문서화된 스키마와 확립된 텔레메트리 관례를 선호합니다.
설계 단계부터 보안: 증거 수집, 저장, 내보내기 및 조사 인터페이스를 보안에 민감한 구성 요소로 취급합니다.

기여

다음 영역에서 기여를 환영합니다:

증거 스키마 설계 및 검증.
에이전트 보안 시나리오 및 재현 가능한 테스트 케이스.
텔레메트리 수집 및 이벤트 상관 분석.
증거 출처, 무결성 및 분석.
조사 인터페이스 개선.
자동화된 테스트 및 문서화.

상당한 작업을 시작하기 전에:

기존 이슈와 프로젝트 로드맵을 검토합니다.
제안된 변경 사항을 설명하는 이슈를 열거나 댓글을 남깁니다.
풀 리퀘스트는 집중적으로 유지하고 해당되는 경우 테스트 또는 재현 가능한 증거를 포함합니다.
비밀 정보, 실제 고객 데이터 또는 민감한 프로덕션 추적을 절대 제출하지 마십시오.

현재 요구 사항은 저장소의 기여 가이드라인을 따르십시오.

라이선스

이 프로젝트는 저장소에 게시된 라이선스 파일에 따라 Apache License 2.0을 사용할 예정입니다. 권위 있는 조건은 저장소의 LICENSE 파일을 참조하십시오.

감사의 말

Agentic Evidence는 OWASP 프로젝트입니다. 현재 리더십, 연락처 세부 정보 및 프로젝트 상태는 공식 OWASP 프로젝트 목록과 저장소 메타데이터를 참조하십시오. 타사 도구 및 서비스에 대한 언급은 OWASP의 보증을 의미하지 않습니다.

Agentic-Evidence

인기