Skip to content
KitploitKITPLOIT
도구익스플로잇블로그
Log in
제출
도구익스플로잇블로그
제출

해킹, 침투 테스트 및 사이버 보안 도구를 당신의 보안 무기고에!

Kitploit은 해킹, 사이버 보안 및 침투 테스트 도구 디렉토리입니다. 최신 프로젝트 업데이트를 발견하여 취약점을 찾고, 시스템을 분석하고, 테스트를 자동화하고, 보안을 강화하세요.

피드문의개인정보© 2026 Kitploit

도구 디렉토리

카테고리

모든 카테고리 보기
Loading categories
giskard-oss — 🐢 LLM 에이전트용 오픈소스 평가 및 테스트 라이브러리 | Kitploit
도구/GitHubGitHub/giskard-ai/giskard-oss
Vulnerability ScannersFuzzingMachine LearningRed TeamingAI SecurityAdversarial AttackAdversarial Attack #11위AI Security #6위Machine Learning #10위
6.0k5761518시간 22분 전Kitploit 검토 완료
GitHub
giskard-ai/giskard-oss

giskard-oss

🐢 LLM 에이전트용 오픈소스 평가 및 테스트 라이브러리

저장소 보기웹사이트
공유
<p align="center">
  <img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/c1f328b3f3cefd9e527b0ff1f2991be7d3336ce13cd265993c62b57ce676cab5/a720b322f89a71f208538a57a11e96baef88a9c0bafe7779659f1b4bafcfc27e-display-v1.webp">
  <img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/2fd9c4a7c2204d367db301019e2fc0e3de34eacd445004fd705b27cbb7aff5fc/ab0feb5722a650948a83c6cdc420dc43f15ae5e7a8000d26b22fd7effb8f1ca8-display-v1.webp">
</p>
<h1 align="center" weight='300' >에이전트 시스템을 위한 평가, 레드 팀 활동 및 테스트 생성</h1>
<h3 align="center" weight='300' >모듈형, 경량, 동적 및 비동기 우선</h3>
<div align="center">

[![GitHub release](https://img.shields.io/github/v/release/Giskard-AI/giskard-oss)](https://github.com/Giskard-AI/giskard-oss/releases)
[![License](https://img.shields.io/badge/License-Apache_2.0-blue.svg)](https://github.com/Giskard-AI/giskard/blob/main/LICENSE)
[![Downloads](https://static.pepy.tech/badge/giskard/month)](https://pepy.tech/project/giskard)
[![CI](https://github.com/Giskard-AI/giskard-oss/actions/workflows/ci.yml/badge.svg?branch=main)](https://github.com/Giskard-AI/giskard-oss/actions/workflows/ci.yml/badge.svg?branch=main)
[![Giskard on Discord](https://img.shields.io/discord/939190303397666868?label=Discord)](https://gisk.ar/discord)

<a rel="me" href="https://fosstodon.org/@Giskard"></a>

</div>
<h3 align="center">
   <a href="https://docs.giskard.ai/oss"><b>문서</b></a> &bull;
  <a href="https://www.giskard.ai/?utm_source=github&utm_medium=github&utm_campaign=github_readme&utm_id=readmeblog"><b>웹사이트</b></a> &bull;
  <a href="https://gisk.ar/discord"><b>커뮤니티</b></a>
 </h3>
<br />

> [!IMPORTANT]
> **Giskard v3**는 AI 에이전트의 동적이고 다중 턴 테스트를 위해 설계된 완전히 새로 작성된 버전입니다. 이 릴리스는 더 나은 효율성을 위해 무거운 의존성을 제거하는 동시에 더 강력한 AI 취약점 스캐너와 향상된 RAG 평가를 도입했습니다. 두 기능 모두 이제 v2에 대한 의존성 없이 `giskard-scan`에 기본으로 제공됩니다. **표 형식/ML 모델**을 위한 레거시 스캔만이 여전히 v2 전용입니다.
> **Giskard v2는 계속 사용할 수 있지만 더 이상 적극적으로 유지 관리되지 않습니다.**
> 진행 상황 팔로우 → [v3 발표 읽기](https://github.com/orgs/Giskard-AI/discussions/2250) · [로드맵](https://github.com/Giskard-AI/giskard-oss/issues/2252)

## 설치

```sh
pip install giskard           # checks (+ agents, llm, core)
pip install "giskard[scan]"   # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators
```

Python 3.12+가 필요합니다.

| 추가 항목 | 추가되는 내용 |
| --- | --- |
| *(없음)* | `giskard-checks` 및 종속성 |
| `scan` | `giskard-scan` |
| `openai` / `anthropic` / … | 제공자 SDK (`pyproject.toml`의 선택적 종속성 참조) |

**텔레메트리:** `giskard-core`를 통한 선택적 집계 분석. 프롬프트나 출력은 전송되지 않습니다.
`export DO_NOT_TRACK=1` 또는 `export GISKARD_TELEMETRY_DISABLED=1`로 옵트아웃할 수 있습니다(또는 작업 디렉터리의 `.env` 파일에 동일한 키 설정). `~/.giskard/id` 생성을 건너뛰려면 import 전에 설정하세요. 나중에 설정해도 추가 전송은 중단됩니다.
자세한 내용: [`giskard-core` README](https://github.com/giskard-ai/giskard-oss/blob/main/libs/giskard-core/README.md#telemetry).

---

Giskard는 **에이전트 시스템을 테스트하고 평가**하기 위한 오픈소스 Python 라이브러리입니다. v3 아키텍처는 각각 필요한 종속성만 포함하는, 목적에 집중한 모듈형 패키지 집합으로, LLM, 블랙박스 에이전트, 다단계 파이프라인 등 무엇이든 감쌀 수 있도록 처음부터 구축되었습니다.

| 상태         | 패키지          | 설명                                                                                                                                                              |
| -------------- | ---------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| ✅ 안정      | `giskard-checks` | 테스트 및 평가 — 시나리오 API, 내장 검사, LLM-as-judge                                                                                                       |
| ✅ 안정      | `giskard-scan`   | 에이전트 취약점 스캐너 + RAG/품질 평가 — 레드 팀잉, 프롬프트 인젝션, 탈옥 및 유해 콘텐츠([v2 Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html)의 후속인 `vulnerability_scan`), 그리고 지식 기반 품질 평가([v2 RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html)의 후속인 `quality_scan`) |

이들은 세 가지 기반 라이브러리 — `giskard-core`(공유 유틸리티 및 텔레메트리), `giskard-llm`(제공자 독립적 LLM 라우팅), `giskard-agents`(에이전트 및 워크플로 오케스트레이션) — 위에 구축되며, 이들은 자동으로 가져와지고 직접 사용되는 경우는 드뭅니다.

## Giskard Checks — 에이전트 테스트를 위한 평가 생성 및 적용

```sh
pip install giskard-checks
```

**[Giskard Checks](https://docs.giskard.ai/oss/checks)**는 LLM 기반 시스템을 테스트하는 평가(eval)를 만들기 위한 경량 라이브러리로, 단순한 검증(assertion)부터 LLM-as-judge 평가까지 지원합니다. 전통적인 단위 테스트와 달리, eval은 동일한 입력이 서로 다른 유효한 응답을 생성할 수 있는 **비결정적 출력**을 위해 설계되었습니다.

Giskard Checks를 사용하여:

- **회귀 감지** — 변경 후에도 시스템이 여전히 올바르게 동작하는지 확인
- **RAG 품질 검증** — 답변이 검색된 컨텍스트에 근거하는지 확인
- **안전 규칙 적용** — 출력이 콘텐츠 정책을 준수하는지 보장
- **멀티턴 에이전트 평가** — 단일 교환뿐 아니라 전체 대화 테스트

내장 eval에는 문자열 매칭, 비교, 정규식, 의미적 유사도, LLM-as-judge 검사(`Groundedness`, `Conformity`, `LLMJudge`)가 포함됩니다.

### 개념

- **Target** — 테스트 대상 시스템: 임의의 동기/비동기 호출 가능 객체 `(inputs) -> outputs` (선택적으로 `trace` 포함)
- **Scenario** — 하나의 eval: 상호작용 + 검사
- **Check** — 트레이스에 대한 검증(assertion) 또는 LLM 판정
- **Suite** — 함께 실행되는 여러 시나리오

`giskard.agents.Generator`는 워크플로/판정을 위한 LLM 클라이언트로,
사용자 메시지를 합성하는 `giskard.checks` 입력 생성기(`LLMGenerator`)와는 다릅니다.

### 빠른 시작

실행 중인 이벤트 루프가 없는 스크립트에서:

```python
from giskard.checks import Scenario, Groundedness


def get_answer(inputs: str) -> str:
    return "Paris"  # replace with your model / agent


scenario = (
    Scenario("test_france_capital")
    .interact(inputs="What is the capital of France?", outputs=get_answer)
    .check(
        Groundedness(
            name="answer is grounded",
            context="France is in Western Europe. Its capital is Paris.",
        )
    )
)
result = scenario.run_sync()
result.print_report()
```

노트북 셀이나 비동기 함수 내부에서는 대신 시나리오를 await하세요:

```python
result = await scenario.run()
result.print_report()
```

`Groundedness`는 LLM 판정기입니다 — 제공자 추가 패키지를 설치하고(예: `pip install "giskard[openai]"`) 해당 API 키를 설정하세요. 기본 모델: `openai/gpt-4o-mini`.

`Suites`, `LLMJudge`, 멀티턴 시나리오 등에 대한 내용은 [전체 문서](https://docs.giskard.ai/oss/checks)를 참조하세요.

---

## Giskard Scan — AI 에이전트용 취약점 스캐너

```sh
pip install "giskard[scan]"   # or: pip install giskard-scan
```

**Giskard Scan**은 에이전틱 시스템을 위한 레드팀 및 취약점 스캐닝 계층입니다. 에이전트에 대한 평이한 언어 설명으로부터 프롬프트 인젝션, 유해 콘텐츠, 고정관념, 허위 정보 등을 포괄하는 적대적 테스트 스위트를 자동으로 생성합니다.

Giskard Scan을 사용하여:

- **에이전트 레드팀 수행** — OWASP LLM Top-10 위협 범주 전반에 걸쳐 적대적 입력을 자동으로 생성
- **프롬프트 인젝션 프로브 실행** — 바로 사용할 수 있는 인젝션 페이로드의 내장 데이터셋
- **사용자 정의 생성기로 확장** — 자체 `ScenarioGenerator` 인스턴스를 `generate_suite`에 전달하거나 `vulnerability_suite_generator_registry`에 등록

### 빠른 시작

```python
import asyncio
from giskard.scan import vulnerability_scan


async def my_agent(inputs: str) -> str:
    # Replace with your agent / model call
    return f"Echo: {inputs}"


async def main() -> None:
    await vulnerability_scan(
        target=my_agent,
        description="A customer support chatbot for an e-commerce platform.",
        languages=["en"],
    )


asyncio.run(main())
```

스캔 생성기 역시 LLM 제공자 추가 패키지와 API 키가 필요합니다(위의 Checks 판정기와 동일).

## Giskard v2를 찾고 계신가요?

Giskard v2에는 **Scan**(자동 취약점 탐지)과 **RAGET**(RAG 평가 테스트 세트 생성)이 포함되어 있었습니다.

**LLM 에이전트**의 경우, v3에서는 두 기능 모두 `giskard-scan`으로 대체되었습니다. v2의 LLM 스캔 대신 [`vulnerability_scan`](#giskard-scan--vulnerability-scanner-for-ai-agents)을 사용하고, RAGET 대신 `quality_scan`(`KnowledgeBase`와 함께)을 사용하세요.

v3는 ML 모델과도 함께 작동합니다. 모델을 타깃으로 감싸서 `giskard-checks` 또는 `giskard-scan`으로 평가하면 됩니다. 아래 예제에서 다루는 내용은 **v2 전용 자동 테이블형 스캔** — `giskard.Model` + `giskard.Dataset`을 검사하여 성능, 편향, 견고성 문제를 자동 탐지하는 탐지기 모음 — 과 `giskard.testing` ML 테스트 모음, 그리고 Giskard Hub입니다. 이들은 v3에 계획되어 있지 않습니다.

```sh
pip install "giskard[llm]>2,<3"
```

### [Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html) — 성능, 편향 및 보안 문제를 자동으로 탐지

모델을 감싸고 스캔을 실행하세요:

```python
import giskard
import pandas as pd


# Replace my_llm_chain with your actual LLM chain or model inference logic
def model_predict(df: pd.DataFrame):
    """The function takes a DataFrame and must return a list of outputs (one per row)."""
    return [my_llm_chain.run({"query": question}) for question in df["question"]]


giskard_model = giskard.Model(
    model=model_predict,
    model_type="text_generation",
    name="My LLM Application",
    description="A question answering assistant",
    feature_names=["question"],
)

scan_results = giskard.scan(giskard_model)
display(scan_results)
```

<p align="center">
  <img src="https://assets.kitploit.com/production/public/readmes/50936/0e863e60ab4173f4812139f38ba772f996644774946dc27aca07ffb1271f5626/9df9e5e47d8be5ce2e756bdd7315613fecc468a1e6096030cbc25d147a50cdf3-display-v1.webp" alt="스캔 예시" width="800">
</p>

### [RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html) — RAG 애플리케이션용 평가 데이터셋 생성

지식 베이스로부터 질문, 참조 답변, 컨텍스트를 자동으로 생성합니다:

```python
import pandas as pd
from giskard.rag import generate_testset, KnowledgeBase

# Load your knowledge base documents
df = pd.read_csv("path/to/your/knowledge_base.csv")
knowledge_base = KnowledgeBase.from_pandas(df, columns=["column_1", "column_2"])

testset = generate_testset(
    knowledge_base,
    num_questions=60,
    language="en",
    agent_description="A customer support chatbot for company X",
)
```

<p align="center">
  <img src="https://assets.kitploit.com/production/public/readmes/50936/65cc932276b9d3a86425700b3717748e952a622722b9e129ff43efb0fb91c4d1/1f8abfc8a571f084d70ddfe3c484ad8ecf71d362e52cebfcb8581af12be8c0e9-display-v1.webp" alt="RAGET 예시" width="800">
</p>

[전체 v2 문서](https://legacy-docs.giskard.ai)

<h1 id="community">👋 커뮤니티</h1>

AI 커뮤니티의 기여를 환영합니다! 시작하려면 이 [가이드](https://github.com/giskard-ai/giskard-oss/blob/main/CONTRIBUTING.md)를 읽고, 활발한 커뮤니티인 [Discord](https://gisk.ar/discord)에 참여하세요.

진행 상황을 팔로우하고 피드백을 공유하세요:
[v3 공지](https://github.com/orgs/Giskard-AI/discussions/2250) · [로드맵](https://github.com/Giskard-AI/giskard-oss/issues/2252)

🌟 [스타를 남겨주세요](https://github.com/Giskard-AI/giskard), 이는 프로젝트가 다른 사람들에게 발견되는 데 도움이 되고 멋진 오픈소스 도구를 만들도록 동기를 부여합니다! 🌟

❤️ 저희 작업이 유용하다고 생각하시면 GitHub에서 [후원](https://github.com/sponsors/Giskard-AI)을 고려해 주세요. 월간 후원을 하시면 스폰서 배지를 받고, 이 readme에 회사를 표시하며, 버그 리포트의 우선순위를 받을 수 있습니다. 컨설팅 프로젝트 참여, 워크숍 진행, 또는 회사에서 강연을 원하시는 경우 일회성 후원도 제공합니다.
도구 다운로드

인기

모두 보기 →

커뮤니티에서 가장 많이 사용되는 도구를 찾아보세요.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 궁극의 OSINT 툴킷: 조사 그래프, 신뢰도 점수 산정, 별칭 패밀리, 지도, 타임라인 및 보고서. 49개 모듈, 400개 이상 사이트, API 키 불필요.

    968
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # GhostLock 원탭 실행 앱 (CVE-2026-43499)

    556
  • 3

    looking-glass

    anonghosty/looking-glass

    Shadowserver 보고서를 MongoDB로 수집하고 이를 대화형 지도, 분석, 발견 사항, 권고 및 경영진 대시보드로 재생하는 CSIRT 플랫폼입니다.

    347
  • 4

    redforge

    cybersecurity91/redforge

    브라우저 측 레드 팀 툴킷으로, 정찰, 페이로드 생성, 자격 증명 공격, 암호화, 인코딩 및 참여 보고를 위한 102개의 오프라인 도구를 제공합니다.

    346
  • 5

    ARTEX

    baarai/artex

    LLM 멀티 에이전트 자율 침투 테스트 플랫폼으로, 플래너/워커 에이전트, 자산 및 탐색 그래프, MITM 트래픽 기록, 취약점 재테스트 기능을 제공합니다.

    319
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AI 네이티브 사이버보안을 위한 행동 체계—의도가 통제된 실행이 되고, 증거가 운영 메모리가 되며, 모든 운영이 다음 운영을 개선하는 곳.

    297

모든 도구 탐색

도구 컬렉션을 둘러보세요

모든 도구 보기 →