NOVA: 프롬프트 패턴 매칭

생성형 AI 시스템은 조직 전반에 걸쳐 빠르게 도입되고 배포되고 있습니다. 생산성과 효율성을 높이는 한편, 공격 표면도 확장시키고 있습니다.

시스템의 악용 사례를 어떻게 탐지하시겠습니까? 악의적인 프롬프트를 어떻게 헌팅하시겠습니까? 탈옥(jailbreaking) 시도 식별, 평판 손상 방지, 예상치 못한 행동 포착 등 어떤 경우든, 프롬프트 TTP를 추적하는 것은 AI 시스템의 사용 현황을 추적하는 데 매우 유용할 수 있습니다.

바로 이 지점에서 NOVA가 등장합니다!

🚧 면책 조항: NOVA는 현재 베타 버전입니다. 버그, 미완성 기능, 지속적인 개선이 있을 수 있습니다. 버그를 발견하시면 여기에 보고해 주세요.

NOVA는 키워드 탐지, 의미론적 유사성, LLM 기반 평가를 결합하여 프롬프트 콘텐츠를 분석하고 탐지하는 오픈소스 프롬프트 패턴 매칭 시스템입니다.

기능

• 🔍 키워드 탐지: 미리 정의된 키워드 또는 정규식을 사용하여 의심스러운 프롬프트를 표시합니다.
• 💬 의미론적 유사성: 구성 가능한 임계값을 사용하여 패턴 변형을 식별합니다.
• ✨ LLM 매칭: LLM이 평가하는 자연어를 사용하여 매칭 규칙을 생성합니다.

YARA 구문에서 영감을 받은 NOVA 규칙은 읽기 쉽고 유연하여 프롬프트 헌팅과 위협 탐지에 이상적입니다.

NOVA 규칙의 구조

rule RuleName
{
    meta:
        description = "Rule description"
        author = "Author name"

    keywords:
        $keyword1 = "exact text"
        $keyword2 = /regex pattern/i

    semantics:
        $semantic1 = "semantic pattern" (0.6)

    llm:
        $llm_check = "LLM evaluation prompt" (0.7)

    condition:
        keywords.$keyword1 or semantics.$semantic1 or llm.$llm_check
}

시작하기

pip install nova-hunting

라이선스

이 프로젝트는 MIT 라이선스에 따라 라이선스가 부여됩니다.

크레딧

fr0gger가 제작하고 유지 관리합니다.