🐢 Библиотека с открытым исходным кодом для оценки и тестирования LLM-агентов
<p align="center">
<img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/c1f328b3f3cefd9e527b0ff1f2991be7d3336ce13cd265993c62b57ce676cab5/a720b322f89a71f208538a57a11e96baef88a9c0bafe7779659f1b4bafcfc27e-display-v1.webp">
<img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/2fd9c4a7c2204d367db301019e2fc0e3de34eacd445004fd705b27cbb7aff5fc/ab0feb5722a650948a83c6cdc420dc43f15ae5e7a8000d26b22fd7effb8f1ca8-display-v1.webp">
</p>
<h1 align="center" weight='300' >Оценки, Red Teaming и генерация тестов для агентных систем</h1>
<h3 align="center" weight='300' >Модульный, лёгкий, динамичный и ориентированный на асинхронность</h3>
<div align="center">
[](https://github.com/Giskard-AI/giskard-oss/releases)
[](https://github.com/Giskard-AI/giskard/blob/main/LICENSE)
[](https://pepy.tech/project/giskard)
[](https://github.com/Giskard-AI/giskard-oss/actions/workflows/ci.yml/badge.svg?branch=main)
[](https://gisk.ar/discord)
<a rel="me" href="https://fosstodon.org/@Giskard"></a>
</div>
<h3 align="center">
<a href="https://docs.giskard.ai/oss"><b>Документация</b></a> •
<a href="https://www.giskard.ai/?utm_source=github&utm_medium=github&utm_campaign=github_readme&utm_id=readmeblog"><b>Веб-сайт</b></a> •
<a href="https://gisk.ar/discord"><b>Сообщество</b></a>
</h3>
<br />
> [!IMPORTANT]
> **Giskard v3** — это полностью переписанная версия, созданная для динамического многоходового тестирования ИИ-агентов. В этом релизе убраны тяжёлые зависимости для повышения эффективности, а также представлены более мощный сканер уязвимостей ИИ и улучшенная оценка RAG — оба теперь поставляются нативно в `giskard-scan`, без зависимости от v2. Только устаревшее сканирование для **табличных/ML-моделей** остаётся доступным исключительно в v2.
> **Giskard v2 по-прежнему доступен, но больше не поддерживается активно.**
> Следите за прогрессом → [Читать анонс v3](https://github.com/orgs/Giskard-AI/discussions/2250) · [Дорожная карта](https://github.com/Giskard-AI/giskard-oss/issues/2252)
## Установка
```sh
pip install giskard # checks (+ agents, llm, core)
pip install "giskard[scan]" # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators
```
Требуется Python 3.12+.
| Дополнительно | Добавляет |
| --- | --- |
| *(нет)* | `giskard-checks` и зависимости |
| `scan` | `giskard-scan` |
| `openai` / `anthropic` / … | SDK провайдеров (см. опциональные зависимости в `pyproject.toml`) |
**Телеметрия:** опциональная агрегированная аналитика через `giskard-core`. Промпты и выходные данные не отправляются.
Отключить можно с помощью `export DO_NOT_TRACK=1` или `export GISKARD_TELEMETRY_DISABLED=1` (или тех же ключей в файле `.env` в рабочем каталоге). Задайте их до импорта, чтобы пропустить создание `~/.giskard/id`; установка позже всё равно останавливает дальнейшую отправку.
Подробности: [README `giskard-core`](https://github.com/giskard-ai/giskard-oss/blob/main/libs/giskard-core/README.md#telemetry).
---
Giskard — это открытая Python-библиотека для **тестирования и оценки агентных систем**. Архитектура v3 представляет собой модульный набор специализированных пакетов — каждый несёт только необходимые ему зависимости — созданных с нуля, чтобы оборачивать что угодно: LLM, агента типа «чёрный ящик» или многошаговый конвейер.
| Статус | Пакет | Описание |
| -------------- | ---------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| ✅ Стабильный | `giskard-checks` | Тестирование и оценка — API сценариев, встроенные проверки, LLM-as-judge |
| ✅ Стабильный | `giskard-scan` | Сканер уязвимостей агентов + оценка RAG/качества — red teaming, prompt injection, джейлбрейки и вредоносный контент (`vulnerability_scan`, преемник [v2 Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html)), а также оценка качества базы знаний (`quality_scan`, преемник [v2 RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html)) |
Всё это построено на трёх базовых библиотеках — `giskard-core` (общие утилиты и телеметрия), `giskard-llm` (маршрутизация LLM, независимая от провайдера) и `giskard-agents` (оркестрация агентов и рабочих процессов) — которые подключаются автоматически и редко используются напрямую.
## Giskard Checks — создание и применение evals для тестирования агентов
```sh
pip install giskard-checks
```
**[Giskard Checks](https://docs.giskard.ai/oss/checks)** — это лёгкая библиотека для создания оценок (evals), которые тестируют системы на основе LLM — от простых утверждений до оценок с использованием LLM в роли судьи. В отличие от традиционных модульных тестов, evals предназначены для **недетерминированных выходных данных**, где один и тот же вход может давать разные допустимые ответы.
Используйте Giskard Checks, чтобы:
- **Выявлять регрессии** — проверять, что ваша система по-прежнему работает корректно после изменений
- **Проверять качество RAG** — проверять, обоснованы ли ответы извлечённым контекстом
- **Обеспечивать соблюдение правил безопасности** — гарантировать, что выходные данные соответствуют вашим политикам контента
- **Оценивать многоходовых агентов** — тестировать полные диалоги, а не только отдельные обмены сообщениями
Встроенные evals включают сопоставление строк, сравнения, регулярные выражения, семантическое сходство и проверки с LLM в роли судьи (`Groundedness`, `Conformity`, `LLMJudge`).
### Концепции
- **Target** — ваша тестируемая система: любой sync/async вызываемый объект `(inputs) -> outputs` (опционально с `trace`)
- **Scenario** — одна оценка: взаимодействия + проверки
- **Check** — утверждение или LLM-судья по трассировке
- **Suite** — множество сценариев, запускаемых вместе
`giskard.agents.Generator` — это LLM-клиент для рабочих процессов/судей — не то же самое, что
генераторы входных данных `giskard.checks` (`LLMGenerator`), которые синтезируют сообщения пользователя.
### Быстрый старт
В скрипте без запущенного цикла событий:
```python
from giskard.checks import Scenario, Groundedness
def get_answer(inputs: str) -> str:
return "Paris" # replace with your model / agent
scenario = (
Scenario("test_france_capital")
.interact(inputs="What is the capital of France?", outputs=get_answer)
.check(
Groundedness(
name="answer is grounded",
context="France is in Western Europe. Its capital is Paris.",
)
)
)
result = scenario.run_sync()
result.print_report()
```
В ячейке блокнота или внутри асинхронной функции вместо этого используйте await для сценария:
```python
result = await scenario.run()
result.print_report()
```
`Groundedness` — это LLM-судья: установите дополнительный пакет провайдера (например, `pip install "giskard[openai]"`) и задайте соответствующий API-ключ. Модель по умолчанию: `openai/gpt-4o-mini`.
См. [полную документацию](https://docs.giskard.ai/oss/checks) о `Suites`, `LLMJudge`, многоходовых сценариях и многом другом.
---
## Giskard Scan — сканер уязвимостей для AI-агентов
```sh
pip install "giskard[scan]" # or: pip install giskard-scan
```
**Giskard Scan** — это слой для red-teaming и сканирования уязвимостей агентных систем. Он автоматически генерирует наборы состязательных тестов на основе описания вашего агента на естественном языке, охватывая prompt injection, вредоносный контент, стереотипы, дезинформацию и многое другое.
Используйте Giskard Scan, чтобы:
- **Провести red-teaming вашего агента** — автоматически генерировать состязательные входные данные по категориям угроз OWASP LLM Top-10
- **Запускать пробы на prompt injection** — встроенный набор данных с полезными нагрузками для инъекций, готовый к использованию
- **Расширять с помощью собственных генераторов** — передавайте свои экземпляры `ScenarioGenerator` в `generate_suite` или регистрируйте их в `vulnerability_suite_generator_registry`
### Быстрый старт
```python
import asyncio
from giskard.scan import vulnerability_scan
async def my_agent(inputs: str) -> str:
# Replace with your agent / model call
return f"Echo: {inputs}"
async def main() -> None:
await vulnerability_scan(
target=my_agent,
description="A customer support chatbot for an e-commerce platform.",
languages=["en"],
)
asyncio.run(main())
```
Генераторам сканирования также требуется дополнительный провайдер LLM и API-ключ (так же, как для судей Checks выше).
## Ищете Giskard v2?
Giskard v2 включал **Scan** (автоматическое обнаружение уязвимостей) и **RAGET** (генерация тестовых наборов для оценки RAG).
Для **LLM-агентов** оба компонента в v3 заменены на `giskard-scan`: используйте [`vulnerability_scan`](#giskard-scan--vulnerability-scanner-for-ai-agents) вместо LLM-сканирования v2 и `quality_scan` (с `KnowledgeBase`) вместо RAGET.
v3 также работает с ML-моделями — оберните модель как target и оцените её с помощью `giskard-checks` или `giskard-scan`. Примеры ниже охватывают **автоматическое табличное сканирование, доступное только в v2** — набор детекторов, который анализирует `giskard.Model` + `giskard.Dataset` для автоматического обнаружения проблем производительности, предвзятости и устойчивости — а также набор ML-тестов `giskard.testing` и Giskard Hub. Они не запланированы для v3.
```sh
pip install "giskard[llm]>2,<3"
```
### [Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html) — автоматическое обнаружение проблем производительности, предвзятости и безопасности
Оберните вашу модель и запустите сканирование:
```python
import giskard
import pandas as pd
# Replace my_llm_chain with your actual LLM chain or model inference logic
def model_predict(df: pd.DataFrame):
"""The function takes a DataFrame and must return a list of outputs (one per row)."""
return [my_llm_chain.run({"query": question}) for question in df["question"]]
giskard_model = giskard.Model(
model=model_predict,
model_type="text_generation",
name="My LLM Application",
description="A question answering assistant",
feature_names=["question"],
)
scan_results = giskard.scan(giskard_model)
display(scan_results)
```
<p align="center">
<img src="https://assets.kitploit.com/production/public/readmes/50936/0e863e60ab4173f4812139f38ba772f996644774946dc27aca07ffb1271f5626/9df9e5e47d8be5ce2e756bdd7315613fecc468a1e6096030cbc25d147a50cdf3-display-v1.webp" alt="Пример сканирования" width="800">
</p>
### [RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html) — генерация наборов данных для оценки RAG-приложений
Автоматически генерируйте вопросы, эталонные ответы и контекст из вашей базы знаний:
```python
import pandas as pd
from giskard.rag import generate_testset, KnowledgeBase
# Load your knowledge base documents
df = pd.read_csv("path/to/your/knowledge_base.csv")
knowledge_base = KnowledgeBase.from_pandas(df, columns=["column_1", "column_2"])
testset = generate_testset(
knowledge_base,
num_questions=60,
language="en",
agent_description="A customer support chatbot for company X",
)
```
<p align="center">
<img src="https://assets.kitploit.com/production/public/readmes/50936/65cc932276b9d3a86425700b3717748e952a622722b9e129ff43efb0fb91c4d1/1f8abfc8a571f084d70ddfe3c484ad8ecf71d362e52cebfcb8581af12be8c0e9-display-v1.webp" alt="Пример RAGET" width="800">
</p>
[Полная документация v2](https://legacy-docs.giskard.ai)
<h1 id="community">👋 Сообщество</h1>
Мы приветствуем вклад от сообщества ИИ! Прочитайте это [руководство](https://github.com/giskard-ai/giskard-oss/blob/main/CONTRIBUTING.md), чтобы начать, и присоединяйтесь к нашему процветающему сообществу в [Discord](https://gisk.ar/discord).
Следите за прогрессом и делитесь отзывами:
[Анонс v3](https://github.com/orgs/Giskard-AI/discussions/2250) · [Дорожная карта](https://github.com/Giskard-AI/giskard-oss/issues/2252)
🌟 [Поставьте нам звезду](https://github.com/Giskard-AI/giskard) — это помогает проекту быть замеченным другими и мотивирует нас создавать отличные инструменты с открытым исходным кодом! 🌟
❤️ Если вы находите нашу работу полезной, пожалуйста, рассмотрите возможность [спонсировать нас](https://github.com/sponsors/Giskard-AI) на GitHub. С ежемесячным спонсорством вы получаете значок спонсора, можете отобразить свою компанию в этом readme, а ваши отчёты об ошибках получат приоритет. Мы также предлагаем разовое спонсорство, если вы хотите, чтобы мы участвовали в консалтинговом проекте, провели воркшоп или выступили с докладом в вашей компании.