
giskard-oss giskard-checks/v1.0.4
🐢 Библиотека с открытым исходным кодом для оценки и тестирования LLM-агентов
Оценки, Red Teaming и генерация тестов для агентных систем
Модульный, лёгкий, динамичный и ориентированный на асинхронность
Документация • Веб-сайт • Сообщество
[!IMPORTANT] Giskard v3 — это полностью переписанная версия, созданная для динамического многоходового тестирования ИИ-агентов. В этом релизе убраны тяжёлые зависимости для повышения эффективности, а также представлены более мощный сканер уязвимостей ИИ и улучшенная оценка RAG — оба теперь поставляются нативно в
giskard-scan, без зависимости от v2. Только устаревшее сканирование для табличных/ML-моделей остаётся доступным исключительно в v2. Giskard v2 по-прежнему доступен, но больше не поддерживается активно. Следите за прогрессом → Читать анонс v3 · Дорожная карта
Установка
pip install giskard # checks (+ agents, llm, core)
pip install "giskard[scan]" # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators
Требуется Python 3.12+.
| Дополнительно | Добавляет |
|---|---|
| (нет) | giskard-checks и зависимости |
scan | giskard-scan |
openai / anthropic / … | SDK провайдеров (см. опциональные зависимости в pyproject.toml) |
Телеметрия: опциональная агрегированная аналитика через giskard-core. Промпты и выходные данные не отправляются.
Отключить можно с помощью export DO_NOT_TRACK=1 или export GISKARD_TELEMETRY_DISABLED=1 (или тех же ключей в файле .env в рабочем каталоге). Задайте их до импорта, чтобы пропустить создание ~/.giskard/id; установка позже всё равно останавливает дальнейшую отправку.
Подробности: README giskard-core.
Giskard — это открытая Python-библиотека для тестирования и оценки агентных систем. Архитектура v3 представляет собой модульный набор специализированных пакетов — каждый несёт только необходимые ему зависимости — созданных с нуля, чтобы оборачивать что угодно: LLM, агента типа «чёрный ящик» или многошаговый конвейер.
| Статус | Пакет | Описание |
|---|---|---|
| ✅ Стабильный | giskard-checks | Тестирование и оценка — API сценариев, встроенные проверки, LLM-as-judge |
| ✅ Стабильный | giskard-scan | Сканер уязвимостей агентов + оценка RAG/качества — red teaming, prompt injection, джейлбрейки и вредоносный контент (vulnerability_scan, преемник v2 Scan), а также оценка качества базы знаний (quality_scan, преемник v2 RAGET) |
Всё это построено на трёх базовых библиотеках — giskard-core (общие утилиты и телеметрия), giskard-llm (маршрутизация LLM, независимая от провайдера) и giskard-agents (оркестрация агентов и рабочих процессов) — которые подключаются автоматически и редко используются напрямую.
Giskard Checks — создание и применение evals для тестирования агентов
pip install giskard-checks
Giskard Checks — это лёгкая библиотека для создания оценок (evals), которые тестируют системы на основе LLM — от простых утверждений до оценок с использованием LLM в роли судьи. В отличие от традиционных модульных тестов, evals предназначены для недетерминированных выходных данных, где один и тот же вход может давать разные допустимые ответы.
Используйте Giskard Checks, чтобы:
- Выявлять регрессии — проверять, что ваша система по-прежнему работает корректно после изменений
- Проверять качество RAG — проверять, обоснованы ли ответы извлечённым контекстом
- Обеспечивать соблюдение правил безопасности — гарантировать, что выходные данные соответствуют вашим политикам контента
- Оценивать многоходовых агентов — тестировать полные диалоги, а не только отдельные обмены сообщениями
Встроенные evals включают сопоставление строк, сравнения, регулярные выражения, семантическое сходство и проверки с LLM в роли судьи (Groundedness, Conformity, LLMJudge).
Концепции
- Target — ваша тестируемая система: любой sync/async вызываемый объект
(inputs) -> outputs(опционально сtrace) - Scenario — одна оценка: взаимодействия + проверки
- Check — утверждение или LLM-судья по трассировке
- Suite — множество сценариев, запускаемых вместе
giskard.agents.Generator — это LLM-клиент для рабочих процессов/судей — не то же самое, что
генераторы входных данных giskard.checks (LLMGenerator), которые синтезируют сообщения пользователя.
Быстрый старт
В скрипте без запущенного цикла событий:
from giskard.checks import Scenario, Groundedness
def get_answer(inputs: str) -> str:
return "Paris" # replace with your model / agent
scenario = (
Scenario("test_france_capital")
.interact(inputs="What is the capital of France?", outputs=get_answer)
.check(
Groundedness(
name="answer is grounded",
context="France is in Western Europe. Its capital is Paris.",
)
)
)
result = scenario.run_sync()
result.print_report()
В ячейке блокнота или внутри асинхронной функции вместо этого используйте await для сценария:
result = await scenario.run()
result.print_report()
Groundedness — это LLM-судья: установите дополнительный пакет провайдера (например, pip install "giskard[openai]") и задайте соответствующий API-ключ. Модель по умолчанию: openai/gpt-4o-mini.
См. полную документацию о Suites, LLMJudge, многоходовых сценариях и многом другом.
Giskard Scan — сканер уязвимостей для AI-агентов
pip install "giskard[scan]" # or: pip install giskard-scan