Skip to content
KitploitKITPLOIT
ИнструментыЭксплойтыБлог
Log in
Отправить
ИнструментыЭксплойтыБлог
Отправить

Инструменты для хакинга, пентеста и кибербезопасности — ваш арсенал защиты!

Kitploit — это каталог инструментов для хакинга, кибербезопасности и пентестинга. Находите последние обновления проектов для поиска уязвимостей, анализа систем, автоматизации тестирования и усиления вашей безопасности.

ЛентыКонтактыКонфиденциальность© 2026 Kitploit

Каталог инструментов

Категории

Все категории
Loading categories
giskard-oss — 🐢 Библиотека с открытым исходным кодом для оценки и тестирования LLM-агентов | Kitploit
Инструменты/GitHubGitHub/giskard-ai/giskard-oss
Сканеры уязвимостейФаззингМашинное ОбучениеRed TeamingБезопасность ИИСостязательная АтакаТоп в Состязательная Атака №11Топ в Безопасность ИИ №6Топ в Машинное Обучение №10
6.0k57615110 ч 20 мин назадПроверено Kitploit
GitHub
giskard-ai/giskard-oss

giskard-oss

🐢 Библиотека с открытым исходным кодом для оценки и тестирования LLM-агентов

РепозиторийСайт

Популярное

Смотреть все →

Откройте для себя самые используемые инструменты нашего сообщества.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Полный набор инструментов OSINT: граф расследования, оценка достоверности, семейства псевдонимов, карта, временная шкала и отчёты. 49 модулей, более 400 сайтов, API-ключи не требуются.

    977
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Приложение GhostLock с запуском в один клик (CVE-2026-43499)

    564
  • 3

    looking-glass

    anonghosty/looking-glass

    Платформа CSIRT, которая загружает отчёты Shadowserver в MongoDB и воспроизводит их в виде интерактивных карт, аналитики, результатов, рекомендаций и исполнительных дашбордов.

    352
  • 4

    redforge

    cybersecurity91/redforge

    Браузерный инструментарий для red team с 102 офлайн-инструментами для разведки, генерации полезной нагрузки, атак на учётные данные, криптографии, кодирования и отчётности по проектам.

    344
  • 5

    ARTEX

    baarai/artex

    Платформа автономного тестирования на проникновение на основе мультиагентной LLM с агентами-планировщиками и агентами-исполнителями, графами активов и исследования, записью MITM-трафика и повторной проверкой уязвимостей.

    322
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Система действий для кибербезопасности на базе ИИ — где намерение превращается в управляемое исполнение, доказательства становятся оперативной памятью, а каждая операция улучшает следующую.

    308

Изучить все инструменты

Просмотрите нашу коллекцию инструментов

Смотреть все инструменты →
Поделиться
<p align="center">
  <img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/c1f328b3f3cefd9e527b0ff1f2991be7d3336ce13cd265993c62b57ce676cab5/a720b322f89a71f208538a57a11e96baef88a9c0bafe7779659f1b4bafcfc27e-display-v1.webp">
  <img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/2fd9c4a7c2204d367db301019e2fc0e3de34eacd445004fd705b27cbb7aff5fc/ab0feb5722a650948a83c6cdc420dc43f15ae5e7a8000d26b22fd7effb8f1ca8-display-v1.webp">
</p>
<h1 align="center" weight='300' >Оценки, Red Teaming и генерация тестов для агентных систем</h1>
<h3 align="center" weight='300' >Модульный, лёгкий, динамичный и ориентированный на асинхронность</h3>
<div align="center">

[![GitHub release](https://img.shields.io/github/v/release/Giskard-AI/giskard-oss)](https://github.com/Giskard-AI/giskard-oss/releases)
[![License](https://img.shields.io/badge/License-Apache_2.0-blue.svg)](https://github.com/Giskard-AI/giskard/blob/main/LICENSE)
[![Downloads](https://static.pepy.tech/badge/giskard/month)](https://pepy.tech/project/giskard)
[![CI](https://github.com/Giskard-AI/giskard-oss/actions/workflows/ci.yml/badge.svg?branch=main)](https://github.com/Giskard-AI/giskard-oss/actions/workflows/ci.yml/badge.svg?branch=main)
[![Giskard on Discord](https://img.shields.io/discord/939190303397666868?label=Discord)](https://gisk.ar/discord)

<a rel="me" href="https://fosstodon.org/@Giskard"></a>

</div>
<h3 align="center">
   <a href="https://docs.giskard.ai/oss"><b>Документация</b></a> &bull;
  <a href="https://www.giskard.ai/?utm_source=github&utm_medium=github&utm_campaign=github_readme&utm_id=readmeblog"><b>Веб-сайт</b></a> &bull;
  <a href="https://gisk.ar/discord"><b>Сообщество</b></a>
 </h3>
<br />

> [!IMPORTANT]
> **Giskard v3** — это полностью переписанная версия, созданная для динамического многоходового тестирования ИИ-агентов. В этом релизе убраны тяжёлые зависимости для повышения эффективности, а также представлены более мощный сканер уязвимостей ИИ и улучшенная оценка RAG — оба теперь поставляются нативно в `giskard-scan`, без зависимости от v2. Только устаревшее сканирование для **табличных/ML-моделей** остаётся доступным исключительно в v2.
> **Giskard v2 по-прежнему доступен, но больше не поддерживается активно.**
> Следите за прогрессом → [Читать анонс v3](https://github.com/orgs/Giskard-AI/discussions/2250) · [Дорожная карта](https://github.com/Giskard-AI/giskard-oss/issues/2252)

## Установка

```sh
pip install giskard           # checks (+ agents, llm, core)
pip install "giskard[scan]"   # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators
```

Требуется Python 3.12+.

| Дополнительно | Добавляет |
| --- | --- |
| *(нет)* | `giskard-checks` и зависимости |
| `scan` | `giskard-scan` |
| `openai` / `anthropic` / … | SDK провайдеров (см. опциональные зависимости в `pyproject.toml`) |

**Телеметрия:** опциональная агрегированная аналитика через `giskard-core`. Промпты и выходные данные не отправляются.
Отключить можно с помощью `export DO_NOT_TRACK=1` или `export GISKARD_TELEMETRY_DISABLED=1` (или тех же ключей в файле `.env` в рабочем каталоге). Задайте их до импорта, чтобы пропустить создание `~/.giskard/id`; установка позже всё равно останавливает дальнейшую отправку.
Подробности: [README `giskard-core`](https://github.com/giskard-ai/giskard-oss/blob/main/libs/giskard-core/README.md#telemetry).

---

Giskard — это открытая Python-библиотека для **тестирования и оценки агентных систем**. Архитектура v3 представляет собой модульный набор специализированных пакетов — каждый несёт только необходимые ему зависимости — созданных с нуля, чтобы оборачивать что угодно: LLM, агента типа «чёрный ящик» или многошаговый конвейер.

| Статус         | Пакет            | Описание                                                                                                                                                                 |
| -------------- | ---------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| ✅ Стабильный  | `giskard-checks` | Тестирование и оценка — API сценариев, встроенные проверки, LLM-as-judge                                                                                                 |
| ✅ Стабильный  | `giskard-scan`   | Сканер уязвимостей агентов + оценка RAG/качества — red teaming, prompt injection, джейлбрейки и вредоносный контент (`vulnerability_scan`, преемник [v2 Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html)), а также оценка качества базы знаний (`quality_scan`, преемник [v2 RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html)) |

Всё это построено на трёх базовых библиотеках — `giskard-core` (общие утилиты и телеметрия), `giskard-llm` (маршрутизация LLM, независимая от провайдера) и `giskard-agents` (оркестрация агентов и рабочих процессов) — которые подключаются автоматически и редко используются напрямую.

## Giskard Checks — создание и применение evals для тестирования агентов

```sh
pip install giskard-checks
```

**[Giskard Checks](https://docs.giskard.ai/oss/checks)** — это лёгкая библиотека для создания оценок (evals), которые тестируют системы на основе LLM — от простых утверждений до оценок с использованием LLM в роли судьи. В отличие от традиционных модульных тестов, evals предназначены для **недетерминированных выходных данных**, где один и тот же вход может давать разные допустимые ответы.

Используйте Giskard Checks, чтобы:

- **Выявлять регрессии** — проверять, что ваша система по-прежнему работает корректно после изменений
- **Проверять качество RAG** — проверять, обоснованы ли ответы извлечённым контекстом
- **Обеспечивать соблюдение правил безопасности** — гарантировать, что выходные данные соответствуют вашим политикам контента
- **Оценивать многоходовых агентов** — тестировать полные диалоги, а не только отдельные обмены сообщениями

Встроенные evals включают сопоставление строк, сравнения, регулярные выражения, семантическое сходство и проверки с LLM в роли судьи (`Groundedness`, `Conformity`, `LLMJudge`).

### Концепции

- **Target** — ваша тестируемая система: любой sync/async вызываемый объект `(inputs) -> outputs` (опционально с `trace`)
- **Scenario** — одна оценка: взаимодействия + проверки
- **Check** — утверждение или LLM-судья по трассировке
- **Suite** — множество сценариев, запускаемых вместе

`giskard.agents.Generator` — это LLM-клиент для рабочих процессов/судей — не то же самое, что
генераторы входных данных `giskard.checks` (`LLMGenerator`), которые синтезируют сообщения пользователя.

### Быстрый старт

В скрипте без запущенного цикла событий:

```python
from giskard.checks import Scenario, Groundedness


def get_answer(inputs: str) -> str:
    return "Paris"  # replace with your model / agent


scenario = (
    Scenario("test_france_capital")
    .interact(inputs="What is the capital of France?", outputs=get_answer)
    .check(
        Groundedness(
            name="answer is grounded",
            context="France is in Western Europe. Its capital is Paris.",
        )
    )
)
result = scenario.run_sync()
result.print_report()
```

В ячейке блокнота или внутри асинхронной функции вместо этого используйте await для сценария:

```python
result = await scenario.run()
result.print_report()
```

`Groundedness` — это LLM-судья: установите дополнительный пакет провайдера (например, `pip install "giskard[openai]"`) и задайте соответствующий API-ключ. Модель по умолчанию: `openai/gpt-4o-mini`.

См. [полную документацию](https://docs.giskard.ai/oss/checks) о `Suites`, `LLMJudge`, многоходовых сценариях и многом другом.

---

## Giskard Scan — сканер уязвимостей для AI-агентов

```sh
pip install "giskard[scan]"   # or: pip install giskard-scan
```

**Giskard Scan** — это слой для red-teaming и сканирования уязвимостей агентных систем. Он автоматически генерирует наборы состязательных тестов на основе описания вашего агента на естественном языке, охватывая prompt injection, вредоносный контент, стереотипы, дезинформацию и многое другое.

Используйте Giskard Scan, чтобы:

- **Провести red-teaming вашего агента** — автоматически генерировать состязательные входные данные по категориям угроз OWASP LLM Top-10
- **Запускать пробы на prompt injection** — встроенный набор данных с полезными нагрузками для инъекций, готовый к использованию
- **Расширять с помощью собственных генераторов** — передавайте свои экземпляры `ScenarioGenerator` в `generate_suite` или регистрируйте их в `vulnerability_suite_generator_registry`

### Быстрый старт

```python
import asyncio
from giskard.scan import vulnerability_scan


async def my_agent(inputs: str) -> str:
    # Replace with your agent / model call
    return f"Echo: {inputs}"


async def main() -> None:
    await vulnerability_scan(
        target=my_agent,
        description="A customer support chatbot for an e-commerce platform.",
        languages=["en"],
    )


asyncio.run(main())
```

Генераторам сканирования также требуется дополнительный провайдер LLM и API-ключ (так же, как для судей Checks выше).

## Ищете Giskard v2?

Giskard v2 включал **Scan** (автоматическое обнаружение уязвимостей) и **RAGET** (генерация тестовых наборов для оценки RAG).

Для **LLM-агентов** оба компонента в v3 заменены на `giskard-scan`: используйте [`vulnerability_scan`](#giskard-scan--vulnerability-scanner-for-ai-agents) вместо LLM-сканирования v2 и `quality_scan` (с `KnowledgeBase`) вместо RAGET.

v3 также работает с ML-моделями — оберните модель как target и оцените её с помощью `giskard-checks` или `giskard-scan`. Примеры ниже охватывают **автоматическое табличное сканирование, доступное только в v2** — набор детекторов, который анализирует `giskard.Model` + `giskard.Dataset` для автоматического обнаружения проблем производительности, предвзятости и устойчивости — а также набор ML-тестов `giskard.testing` и Giskard Hub. Они не запланированы для v3.

```sh
pip install "giskard[llm]>2,<3"
```

### [Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html) — автоматическое обнаружение проблем производительности, предвзятости и безопасности

Оберните вашу модель и запустите сканирование:

```python
import giskard
import pandas as pd


# Replace my_llm_chain with your actual LLM chain or model inference logic
def model_predict(df: pd.DataFrame):
    """The function takes a DataFrame and must return a list of outputs (one per row)."""
    return [my_llm_chain.run({"query": question}) for question in df["question"]]


giskard_model = giskard.Model(
    model=model_predict,
    model_type="text_generation",
    name="My LLM Application",
    description="A question answering assistant",
    feature_names=["question"],
)

scan_results = giskard.scan(giskard_model)
display(scan_results)
```

<p align="center">
  <img src="https://assets.kitploit.com/production/public/readmes/50936/0e863e60ab4173f4812139f38ba772f996644774946dc27aca07ffb1271f5626/9df9e5e47d8be5ce2e756bdd7315613fecc468a1e6096030cbc25d147a50cdf3-display-v1.webp" alt="Пример сканирования" width="800">
</p>

### [RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html) — генерация наборов данных для оценки RAG-приложений

Автоматически генерируйте вопросы, эталонные ответы и контекст из вашей базы знаний:

```python
import pandas as pd
from giskard.rag import generate_testset, KnowledgeBase

# Load your knowledge base documents
df = pd.read_csv("path/to/your/knowledge_base.csv")
knowledge_base = KnowledgeBase.from_pandas(df, columns=["column_1", "column_2"])

testset = generate_testset(
    knowledge_base,
    num_questions=60,
    language="en",
    agent_description="A customer support chatbot for company X",
)
```

<p align="center">
  <img src="https://assets.kitploit.com/production/public/readmes/50936/65cc932276b9d3a86425700b3717748e952a622722b9e129ff43efb0fb91c4d1/1f8abfc8a571f084d70ddfe3c484ad8ecf71d362e52cebfcb8581af12be8c0e9-display-v1.webp" alt="Пример RAGET" width="800">
</p>

[Полная документация v2](https://legacy-docs.giskard.ai)

<h1 id="community">👋 Сообщество</h1>

Мы приветствуем вклад от сообщества ИИ! Прочитайте это [руководство](https://github.com/giskard-ai/giskard-oss/blob/main/CONTRIBUTING.md), чтобы начать, и присоединяйтесь к нашему процветающему сообществу в [Discord](https://gisk.ar/discord).

Следите за прогрессом и делитесь отзывами:
[Анонс v3](https://github.com/orgs/Giskard-AI/discussions/2250) · [Дорожная карта](https://github.com/Giskard-AI/giskard-oss/issues/2252)

🌟 [Поставьте нам звезду](https://github.com/Giskard-AI/giskard) — это помогает проекту быть замеченным другими и мотивирует нас создавать отличные инструменты с открытым исходным кодом! 🌟

❤️ Если вы находите нашу работу полезной, пожалуйста, рассмотрите возможность [спонсировать нас](https://github.com/sponsors/Giskard-AI) на GitHub. С ежемесячным спонсорством вы получаете значок спонсора, можете отобразить свою компанию в этом readme, а ваши отчёты об ошибках получат приоритет. Мы также предлагаем разовое спонсорство, если вы хотите, чтобы мы участвовали в консалтинговом проекте, провели воркшоп или выступили с докладом в вашей компании.
Скачать инструмент