Skip to content
KitploitKITPLOIT
도구익스플로잇블로그
Log in
제출
도구익스플로잇블로그
제출

해킹, 침투 테스트 및 사이버 보안 도구를 당신의 보안 무기고에!

Kitploit은 해킹, 사이버 보안 및 침투 테스트 도구 디렉토리입니다. 최신 프로젝트 업데이트를 발견하여 취약점을 찾고, 시스템을 분석하고, 테스트를 자동화하고, 보안을 강화하세요.

피드문의개인정보© 2026 Kitploit

도구 디렉토리

카테고리

모든 카테고리 보기
Loading categories
도구/GitHubGitHub/owasp/the-agents-epistemic-baggage
Defensive ToolsThreat IntelligencePapers & ResearchLearning & EducationCurated ResourcesAI SecurityAnomaly DetectionLog Analysis
공유
GitHub
owasp/the-agents-epistemic-baggage

The-Agents-Epistemic-Baggage

에이전트가 생성한 추론이 지속적인 메모리를 통해 인식론적 지위를 바꾸고 운영 권한을 획득하며 이후의 의사결정에 영향을 미칠 수 있는 방식을 다루는 감사 중심의 위험 모델입니다.

저장소 보기웹사이트
2627일 전아직 검토되지 않음

에이전트의 인식론적 수하물

에이전트가 생성한 추론이 어떻게 인식론적 지위를 바꾸고, 운영상의 권한을 획득하며, 지속적 메모리를 통해 이후의 결정에 영향을 미칠 수 있는지에 대한 감사 지향적 위험 모델.

문제

쓰기 가능한 지속적 메모리를 갖춘 에이전트형 AI 시스템은 이전 정보를 검색하는 것만 하지 않는다. 자체적인 요약, 결론, 계획, 실행 이력을 저장할 수도 있다.

이로 인해 거버넌스 질문이 생긴다:

시스템은 수신된 정보와 에이전트가 생성한 추론 사이의 구분을 어떻게 표현하고 보존하는가?

그 구분이 상실되면, 추론은 그 증거가 정당화하지 못하는 지위를 획득하거나 유지할 수 있다. 그러한 기록은 정책상 허용된 사용을 통해서라도 이후의 결정이나 행동에 영향을 미칠 수 있다. 권한 없는 권한 상승이나 허용된 권한을 넘어선 사용은 프로젝트가 함께 검토하는 별개의 통제 실패이다.

이 저장소는 이러한 표류 과정에 대한 위험 모델을 개발하며, 이를 자기 강화적 인식론적 표류라고 부르고, 이를 어떻게 감사 가능하게 만들 수 있는지 탐구한다. 메모리 스키마, 표류 메커니즘, 수명 주기 테스트 프로토콜을 포함한 전체 논증은 The Agent's Epistemic Baggage에서 전개된다. 최초의 구현 가능한 명세, 타입화된 감사 객체, 전이 규칙, 통제, 지표, 재현 가능한 테스트는 Agent Memory Drift: Audit Operationalization v0.1에서 전개된다. 명세를 처음부터 끝까지 읽기보다 감사를 실행하려는 경우에는 대신 사용자 가이드부터 시작하라.

범위

이 모델은 에이전트가 생성한 표상이 저장되고, 검색되고, 통합되며, 이후의 추론, 도구 사용, 결정 또는 행동에 영향을 미치는 데 사용될 수 있는 쓰기 가능한 지속적 메모리를 갖춘 에이전트형 AI 시스템에 적용된다.

이는 자기 진화하는 에이전트의 메모리 경로에 초점을 둔다. 모델 가중치, 도구, 워크플로에 대한 변경은 서로 다른 위험 프로파일을 가지며 현재 범위 밖이다.

현재 이는 감사 지향성을 지닌 개념적 위험 모델이다. 표류 메커니즘, 감사 스키마, 수명 주기 테스트가 제안된 핵심을 이룬다. 초기 감사 명세는 제안된 통제 요구사항, 잠정적 지표, 수용 기준을 정의한다. 구현과 실증적 검증은 여전히 미해결 과제로 남아 있다.

두 가지 표류 메커니즘

1. 재저장 루프

네 가지 구조적 연결이 성립할 때, 쓰기 및 검색 루프는 에이전트가 생성한 자료를 재귀적으로 전파할 수 있다. 이들은 표류에 필요하지만 충분하지는 않다: 루프는 또한 부정확하거나, 뒷받침되지 않거나, 잘못 분류되거나, 인식론적으로 저하된 자료를 운반해야 한다.

  1. 에이전트가 생성한 자료가 저장된다.
  2. 그 자료는 이후 작업에서 검색될 수 있다.
  3. 검색된 자료는 허용 여부와 무관하게 추론이나 행동에 영향을 미칠 수 있다.
  4. 그 결과로 생긴 자료는 메모리에 다시 기록될 수 있다.

각 연결은 또한 잠재적인 통제 지점이기도 하다.

유사성 기반 검색은 필수는 아니지만, 루프를 증폭시킬 수 있다. 실증 연구는 이러한 증폭의 두 가지 구성 요소를 문서화한다: 현재 작업이 검색된 경험과 유사할 때 에이전트가 유사한 출력을 생성하는 경향인 경험 추종과, 잘못 저장된 경험이 검색되고 모방되며 다시 저장되는 오류 전파이다.

2. 통합 표류

표류는 쓰기 및 검색 루프 없이도 발생할 수 있다:

  1. 자료가 저장된다.
  2. 요약, 추상화 또는 압축을 통해 변환된다.
  3. 출처, 검증 상태, 시간적 유효성 또는 증거적 뒷받침이 상실된다.
  4. 변환된 표상이 원본을 대체하거나 더 큰 검색 또는 결정 우선순위를 받는다.

손상은 변경된 메모리가 검색되기 전에 통합 과정에서 발생할 수 있다. 이는 해당 메모리가 나중에 사용될 때 운영상의 결과를 초래한다.

제안된 감사 스키마

단일 상태 레이블로는 충분하지 않다. 감사 가능한 메모리 기록은 서로 다른 차원을 분리하여 유지해야 한다:

필드예시
표현 유형수신된 입력, 센서 이벤트, 도구 출력, 출처 주장, 에이전트 추론
출처(프로버넌스)출처, 타임스탬프, 도구, 에이전트, 기반 증거로의 링크
검증 상태미검증, 지지됨, 반박됨, 검증됨, 거부됨
시간적 유효성현재, 오래됨, 만료됨
증거 관계레코드를 지지하거나 반박하는 기록 또는 출처(해당 지지의 강도, 독립성, 품질 포함)
변경 이력생성됨, 요약됨, 재분류됨, 대체됨
인식론적 전환 근거새로운 증거, 상호 확인, 모순 해소, 검증된 결과
권한 근거정책 규칙, 위험 분류, 인간 승인, 위임된 권한
사용 및 의사결정 계보검색 이벤트, 순위, 검색 점수, 프롬프트 내 위치, 추론 또는 출력에서의 명시적 참조, 소비 에이전트, 영향을 받은 의사결정 또는 행동

출처(프로버넌스)는 기원을 확립할 뿐 진실을 확립하지 않는다. 신뢰할 수 있는 출처도 틀릴 수 있으며, 인증된 에이전트 추론은 여전히 추론일 뿐이다. 표현 유형은 인식론적 레코드만을 포괄한다. 의사결정이나 행동은 의미 있는 진실 기반 검증 상태를 지니지 않는다. 행동은 지지되거나 반박되는 것이 아니라 승인되고, 실행되고, 성공하거나 실패하는 것이므로, 추가적인 표현 유형이 아니라 연결된 운영 이벤트로 표현된다. 행동은 여전히 고유의 출처와 이벤트 이력을 지니며, 그 가중치는 기반 증거와 함께 사용 및 의사결정 계보를 통해 평가된다.

불확실성은 모델이 스스로 보고하는 신뢰도에만 의존하기보다 증거와 검증 상태에 근거해야 하며, 이것이 증거 관계가 지지 자료의 강도, 독립성, 품질 또한 담는 이유이다.

검증 상태와 시간적 유효성은 분리되어 유지되는데, 레코드가 검증된 상태를 유지하면서도 오래될 수 있기 때문이다. 시간적 최신성과 대체됨 상태 역시 독립적이다. 레코드는 시간적으로 현재성을 유지하면서도 더 새로운 버전으로 대체되었을 수 있다. 변경 이력이 그러한 대체를 기록한다.

인식론적 전환 근거와 권한 근거 역시 분리되어 유지된다. 전자는 검증 상태의 변화에 대한 증거적 또는 검토적 근거이고, 후자는 레코드가 의사결정에 영향을 미치도록 허용된 이유이다. 정책 승인은 주장을 더 진실되게 만들지 않으며, 새로운 증거는 그 자체로 행동 권한을 부여하지 않는다.

이는 논리적 감사 스키마이며, 모든 필드가 모든 레코드 유형에 적용되어야 한다거나 모든 레코드가 단일 물리적 테이블에 공존해야 한다는 요구사항이 아니다. 필드 적용 가능성은 표현 유형에 따라 조건부이며, 운영 이벤트는 자신이 소비하는 인식론적 레코드에 연결될 수 있다.

운영 권한

운영 권한은 단일 정도가 아니라 네 가지의 서로 관련되지만 구별되는 변수의 프로필이다. 즉 허용된 권한, 관찰된 노출, 기록된 사용, 인과적 영향이다. 이는 인식론적 상태와는 별개의 감사 객체이다. 잘 지지된 레코드라도 정책이 허용하는 것보다 더 많은 권한을 부여받을 수 있으며, 표류한 레코드라도 예컨대 정책이 검증됨으로 표시된 모든 레코드에 영향력을 부여하는 경우 완전히 정책을 준수하는 권한을 통해 의사결정에 도달할 수 있다. 정당하게 얻지 못한 인식론적 상태를 지닌 레코드가 의사결정이나 행동에 도달할 때마다 위험이 증폭되며, 그러한 도달이 정책상 허용되었든 승인되지 않았든 마찬가지이다.

허용된 권한은 지시 우선순위, 도구 권한, 필수 사용 규칙, 하위 의사결정 정책을 통해 생성될 수 있다. 관찰된 노출은 검색 순위, 검색 빈도, 컨텍스트 내 위치와 같은 별개의 메커니즘에 의해 형성되며, 어느 것도 그 자체로 기록된 사용이나 인과적 영향을 확립하지 않는다.

허용된 권한, 관찰된 노출, 기록된 사용, 인과적 영향은 네 가지 서로 다른 감사 대상입니다. 허용된 권한은 정책이 허용하는 범위입니다. 관찰된 노출은 레코드가 검색되어 컨텍스트에 배치되었는지, 즉 결정이 내려질 때 이용 가능했는지 여부이며, 검색 순위, 점수, 프롬프트 내 위치를 통해 관찰 가능합니다. 기록된 사용은 레코드가 시스템의 추론이나 출력에서 명시적으로 참조, 복사 또는 인용되었는지 여부이며, 계보(lineage)를 통해 관찰 가능합니다. 인과적 영향은 해당 레코드가 없었다면 결정이 달라졌을지 여부이며, 이는 노출이나 기록된 사용만으로는 입증할 수 없고, 레코드가 있을 때와 없을 때의 결정을 재현하여 결과를 비교하는 등의 통제된 테스트가 필요합니다. 관찰된 노출, 기록된 사용 또는 입증된 영향이 레코드의 허용된 권한을 초과하는 경우 감사 발견 사항이 발생합니다. 인과적 영향이 주장되거나 의존되지만 통제된 재현이나 기타 적절한 증거로 뒷받침될 수 없는 경우에는 별도의 보증 발견 사항이 발생합니다. 단순한 노출만으로는 기록된 사용이나 인과적 영향을 입증하지 못합니다. 다만, 접근 또는 권한 정책이 해당 레코드를 그 컨텍스트에 배치하는 것을 금지한 경우에는 노출 자체가 감사 발견 사항이 됩니다.

핵심 연구 질문은 다음과 같습니다:

에이전트가 생성한 추론이 충분히 추적 가능한 증거적 뒷받침 없이 더 높은 인식론적 지위를 획득하거나 유지할 수 있는가? 메모리 레코드가 기록되고, 승인되며, 위험에 적절한 정책 근거 없이 더 큰 허용 권한을 부여받거나, 그 권한의 범위를 넘어 노출되거나 사용되거나 인과적으로 영향을 미칠 수 있는가? 그리고 두 전이 중 어느 것이든, 그리고 그 둘 사이의 관계가 메모리 생애주기 전반에 걸쳐 재구성될 수 있는가?

기록된 증거적 근거 없이 이루어진 인식론적 승격, 또는 충분한 반증 증거에도 불구하고 지속되는 지위는 인식론적 드리프트의 검증 가능한 지표이며, 기록된 정책 근거 없이 이루어진 권한 증가는 무단 에스컬레이션의 검증 가능한 지표입니다. 어느 경우든 부재가 결정적 증거는 아닙니다. 근거가 캡처된 레코드 외부에 존재할 수도 있고 로깅이 불완전할 수도 있기 때문입니다. 그러나 정책이 기록을 요구하는 모든 경우에 그 부재 자체가 통제 실패입니다.

내생적 및 외생적 개시

동일한 드리프트 메커니즘은 서로 다른 출처에서 개시될 수 있습니다:

  • 내생적: 에이전트가 오류가 있거나 뒷받침되지 않는 추론을 생성합니다.
  • 외생적: 오해를 유발하는 자료가 메모리 주입, 결함 있는 도구 출력, 편향된 피드백 또는 다른 외부 채널을 통해 유입됩니다.

두 경우 모두 생애주기 무결성, 통제된 상태 전이, 추적 가능성, 버전 이력이 필요합니다. 외부에서 개시된 오염은 추가적으로 출처 인증, 신뢰 경계 적용, 입력 격리, 적대적 메모리 주입 테스트가 필요합니다.

생애주기 테스트 프로토콜

초기 감사에는 최소 다섯 가지 사례가 포함되어야 합니다:

  1. 레이블이 지정되고, 검증되지 않았으며, 잘못된 추론.
  2. 그럴듯하지만 잘못되었고 출처 정보가 불완전한 추론.
  3. 저장된 후 나중에 새로운 증거에 의해 반박되는 추론.
  4. 하나 이상의 통합 주기 이후 사례 1~3을 반복하여, 출처, 검증 상태, 증거적 뒷받침이 변환 과정에서 살아남는지 테스트.
  5. 더 오래된 레코드를 정당하게 반박하고 정당한 업데이트를 초래해야 하는, 충분히 검증된 새로운 증거.

각 사례에 대해 레코드가 다음을 수행하는지 추적합니다:

  • 저장되고 검색되는지;
  • 추론, 도구 또는 행동과 관련된 결정의 컨텍스트에 나타나는지;
  • 복사, 요약 또는 통합되는지;
  • 검증 상태를 변경하는지;
  • 허용된 권한을 획득하거나 상실하는지;
  • 출처와 증거 관계를 보존하는지;
  • 수정, 대체 또는 부적절하게 유지되는지.

다섯 번째 사례는 지식 고착화를 방지합니다: 안전한 메모리 시스템은 정당한 변경을 차단하지 않으면서 뒷받침되지 않는 승격을 거부해야 합니다.

결정이나 조치와 연관된 레코드가 있는 경우, 레코드를 포함한 경우, 제거한 경우, 그리고 적절한 경우 중립적이거나 모순되는 레코드로 대체한 경우에 대해 통제된 조건에서 결정을 반복하며, 모델, 프롬프트 버전, 나머지 메모리 상태, 도구 출력을 실행 전반에 걸쳐 일정하게 유지하고, 결정적 재현이 불가능한 경우에는 반복된 짝지은 시행을 사용한다. 검색과 컨텍스트 노출은 가용성을 확립하며, 계보는 기록된 사용 또한 확립할 수 있다; 통제된 개입은 인과적 영향에 대한 더 강력한 증거를 제공한다.

메커니즘에서 통제로

잠재적 통제 지점은 다음과 같다:

  • 거버넌스된 메모리 쓰기;
  • 필수 출처 정보를 갖춘 타입 지정 레코드;
  • 정책으로 통제되는 상태 및 권한 전환;
  • 통합 전 검증;
  • 추가 전용 변경 및 결정 계보;
  • 권위 있는 또는 독립적인 증거에 대한 위험 기반 조정;
  • 선택적 추가, 보존, 삭제;
  • 영향력이 크거나, 되돌릴 수 없거나, 외부적으로 중대한 결과를 초래하거나, 그 밖에 위험 분류된 조치에 대한 결과 게이트.

기반 증거는 프라이버시, 데이터 최소화, 보존, 접근 통제 요건을 준수하면서 위험에 적합한 기간 동안 보존되거나 안전하게 참조되어야 한다.

완전한 통제는 다음을 명시해야 한다:

  1. 통제 대상;
  2. 요건;
  3. 필수 감사 증거;
  4. 테스트 절차;
  5. 허용 가능한 결과;
  6. 책임 소유자.

증거 경계

기존 연구는 경험 추종과 오류 전파에 대한 실증적 근거를 제공하며; 테스트된 자기 진화 에이전트에서 메모리 축적 후 안전 정렬 저하; 그리고 전용 장기 지평 메모리 벤치마크에서 오염되거나 편향된 메모리 업데이트 하의 안전 저하를 제공한다.

반복적 요약 또한 의미론적 표류의 메커니즘으로 확인되었다. 그러나 인식론적 상태 전환 모델, 운영적 영향 프로파일, 그리고 이들로부터 도출된 통제는 아직 실증적으로 검증되지 않았다.

따라서 감사 스키마, 권한 모델, 수명주기 프로토콜은 테스트를 위한 제안된 구성물이며, 확립된 완화책이 아니다.

선행 연구와의 관계

  • 오류 전파: Xiong 등은 잘못된 검색 경험이 이후 실행에 어떻게 영향을 미치고 새로운 출력이 저장될 때 어떻게 전파될 수 있는지 문서화한다.
  • 메모리 오진화: Shao 등과 Xie 등은 진화하거나 오염된 메모리를 통한 더 광범위한 행동 및 안전 저하를 연구한다.
  • SSGM: Lam 등은 집계된 의미론적 표류를 제한하기 위해 쓰기 검증, 제약된 검색, 불변 로그에 대한 주기적 조정을 제안한다.

이 프로젝트는 상호 보완적인 레코드 수준 계층에서 작동한다: 특정 표현이 어떻게 인식론적 상태를 변경했는지, 이후 어떻게 운영적 사용을 위해 활성화되었는지, 그리고 그러한 전환 간의 관계가 감사 중에 재구성될 수 있는지를 묻는다.

저장소 로드맵

도구 다운로드

인기

모두 보기 →

커뮤니티에서 가장 많이 사용되는 도구를 찾아보세요.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 궁극의 OSINT 툴킷: 조사 그래프, 신뢰도 점수 산정, 별칭 패밀리, 지도, 타임라인 및 보고서. 49개 모듈, 400개 이상 사이트, API 키 불필요.

    654
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # GhostLock 원탭 실행 앱 (CVE-2026-43499)

    490
  • 3

    ARTEX

    baarai/artex

    LLM 멀티 에이전트 자율 침투 테스트 플랫폼으로, 플래너/워커 에이전트, 자산 및 탐색 그래프, MITM 트래픽 기록, 취약점 재테스트 기능을 제공합니다.

    395
  • 4

    redforge

    cybersecurity91/redforge

    브라우저 측 레드 팀 툴킷으로, 정찰, 페이로드 생성, 자격 증명 공격, 암호화, 인코딩 및 참여 보고를 위한 102개의 오프라인 도구를 제공합니다.

    336
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AI 네이티브 사이버보안을 위한 행동 체계—의도가 통제된 실행이 되고, 증거가 운영 메모리가 되며, 모든 운영이 다음 운영을 개선하는 곳.

    258
  • 6

    antifox

    antifox-ai/antifox

    정찰, 공격 표면 탐색, 익스플로잇 검증, 증거 기반 보고서 전달을 수행하는 AI 멀티 에이전트 자율 침투 테스트 플랫폼입니다.

    252

모든 도구 탐색

도구 컬렉션을 둘러보세요

모든 도구 보기 →