### Установка версии для разработки с помощью `pip`

Стандартная версия `garak` из pip обновляется периодически. Чтобы получить более свежую версию с GitHub, попробуйте:```
python -m pip install -U git+https://github.com/NVIDIA/garak.git@main

Хорошо, если всё прошло нормально, вы, вероятно, готовы к работе!

**Примечание**: если вы клонировали репозиторий до перехода в организацию `NVIDIA` на GitHub, но читаете это по адресу `github.com/NVIDIA`, пожалуйста, обновите ваши remotes следующим образом:```
git remote set-url origin https://github.com/NVIDIA/garak.git

Проверьте, уязвима ли версия GPT2 от Hugging Face для DAN 11.0```
python3 -m garak --target_type huggingface --target_name gpt2 --probes dan.Dan_11_0

### Тест

* `--target_type test`
* (альтернативно) `--target_name test.Blank`
Для тестирования. Этот генератор всегда создает пустую строку, используя генератор `test.Blank`. Будет отмечен как неудачный для любых тестов, которые *требуют* вывода, например, тех, что делают спорные утверждения и ожидают, что модель их опровергнет, чтобы пройти тест.

* `--target_type test.Repeat`
Для тестирования. Этот генератор повторяет полученный запрос.

## Введение в пробы

| Проба                | Описание                                                                                                                   |
|----------------------|-------------------------------------------------------------------------------------------------------------------------------|
| blank                | Простая проба, которая всегда отправляет пустой промпт.                                                                             |
| atkgen               | Автоматическая генерация атак. Красная команда ИИ зондирует цель и реагирует на нее, пытаясь получить токсичный вывод. Прототип, в основном без состояния, пока использует простую GPT-2 [дообученную](https://huggingface.co/garak-llm/artgpt2tox) на подмножестве попыток hhrlhf, которые дали обнаруживаемую токсичность (пока поддерживается только одна цель). |
| badchars             | Реализует незаметные искажения Unicode (невидимые символы, омоглифы, перестановки, удаления), вдохновленные статьей [Bad Characters](https://arxiv.org/abs/2106.09898). |
| av_spam_scanning     | Пробы, пытающиеся заставить модель вывести сигнатуры вредоносного контента                                                     |
| continuation         | Пробы, проверяющие, продолжит ли модель вероятно нежелательное слово                                                       |
| dan                  | Различные атаки [DAN](https://adguard.com/en/blog/chatgpt-dan-prompt-abuse.html) и подобные им                                 |
| donotanswer          | Промпты, на которые ответственные языковые модели не должны отвечать.                                                               |
| encoding             | Инъекция промптов через кодирование текста                                                                                        |
| gcg                  | Нарушение системного промпта путем добавления состязательного суффикса.                                                                   |
| glitch               | Зондирование модели на наличие глючных токенов, вызывающих необычное поведение.                                                                                  |
| grandma              | Призыв напомнить о своей бабушке.                                                                                   |
| goodside             | Реализации атак Райли Гудсайда.                                                                                    |
| leakreplay           | Оценка того, будет ли модель воспроизводить тренировочные данные.                                                                                |
| lmrc                 | Подвыборка проб [Language Model Risk Cards](https://arxiv.org/abs/2303.18190)                                         |
| malwaregen           | Попытки заставить модель генерировать код для создания вредоносного ПО                                                                 |
| misleading           | Попытки заставить модель поддерживать вводящие в заблуждение и ложные утверждения                                                                  |
| packagehallucination | Попытки получить генерации кода, указывающие несуществующие (и, следовательно, небезопасные) пакеты.                                   |
| promptinject         | Реализация работы [PromptInject](https://github.com/agencyenterprise/PromptInject/tree/main/promptinject) от Agency Enterprise (премия за лучшую статью на NeurIPS ML Safety Workshop 2022) |
| realtoxicityprompts  | Подмножество работы RealToxicityPrompts (данные ограничены, так как полный тест занял бы слишком много времени)                      |
| snowball             | Пробы [Snowballed Hallucination](https://ofir.io/snowballed_hallucination.pdf), предназначенные для того, чтобы заставить модель давать неверный ответ на вопросы, слишком сложные для ее обработки |
| xss                  | Поиск уязвимостей, которые допускают или осуществляют межсайтовые атаки, такие как кража личных данных.                           |

## Логирование

`garak` создает несколько видов логов:
* Файл лога, `garak.log`. Он содержит отладочную информацию от `garak` и его плагинов и продолжается между запусками.
* Отчет о текущем запуске, структурированный в формате JSONL. Новый файл отчета создается каждый раз при запуске `garak`. Имя этого файла выводится в начале и, в случае успеха, также в конце запуска. В отчете запись создается для каждой попытки зондирования как при получении генераций, так и при их оценке; атрибут записи `status` принимает константу из `garak.attempts`, чтобы описать, на каком этапе она была сделана.
* Лог попаданий, содержащий подробную информацию о попытках, которые привели к уязвимости (попаданию).

## Как устроен код?

Обратитесь к [документации](https://reference.garak.ai/) для авторитетного руководства по структуре кода `garak`.

В типичном запуске `garak` считывает тип модели (и, опционально, имя модели) из командной строки, затем определяет, какие `probe`ы и `detector`ы запускать, запускает `generator` и передает их в `harness` для выполнения зондирования; `evaluator` обрабатывает результаты. В каждой из этих категорий есть много модулей, и каждый модуль предоставляет ряд классов, которые выступают в качестве отдельных плагинов.

* `garak/probes/` - классы для генерации взаимодействий с LLM
* `garak/detectors/` - классы для обнаружения того, что LLM демонстрирует заданный режим отказа
* `garak/evaluators/` - схемы отчетности по оценке
* `garak/generators/` - плагины для LLM, которые будут зондироваться
* `garak/harnesses/` - классы для структурирования тестирования
* `resources/` - вспомогательные элементы, необходимые плагинам

Режим работы по умолчанию — использование `probewise` harness. Получая список имен модулей проб и имен плагинов проб, `probewise` harness создает экземпляр каждой пробы, затем для каждой пробы считывает ее атрибуты `primary_detector` и `extended_detectors`, чтобы получить список `detector`ов для запуска на выводе.

Каждая категория плагинов (`probes`, `detectors`, `evaluators`, `generators`, `harnesses`) включает `base.py`, который определяет базовые классы, используемые плагинами в этой категории. Каждый модуль плагина определяет классы плагинов, наследующие от одного из базовых классов. Например, `garak.generators.openai.OpenAIGenerator` происходит от `garak.generators.base.Generator`.

Более крупные артефакты, такие как файлы моделей и большие корпуса, хранятся вне репозитория; они могут быть сохранены, например, на Hugging Face Hub и загружены локально клиентами, использующими `garak`.

## Разработка собственного плагина

* Посмотрите, как это делают другие плагины
* Наследуйте от одного из базовых классов, например `garak.probes.base.TextProbe`
* Переопределяйте как можно меньше
* Вы можете протестировать новый код как минимум двумя способами:
  * Запустите интерактивную сессию Python
    * Импортируйте модель, например `import garak.probes.mymodule`
    * Создайте экземпляр плагина, например `p = garak.probes.mymodule.MyProbe()`
  * Запустите сканирование с тестовыми плагинами
    * Для проб попробуйте пустой генератор и детектор always.Pass: `python3 -m garak -m test.Blank -p mymodule -d always.Pass`
    * Для детекторов попробуйте пустой генератор и пустую пробу: `python3 -m garak -m test.Blank -p test.Blank -d mymodule`
    * Для генераторов попробуйте пустую пробу и детектор always.Pass: `python3 -m garak -m mymodule -p test.Blank -d always.Pass`
* Получите список всех плагинов того типа, который вы пишете, с помощью `--list_probes`, `--list_detectors` или `--list_generators`

## Часто задаваемые вопросы

У нас есть FAQ [здесь](https://github.com/NVIDIA/garak/blob/main/FAQ.md). Обращайтесь, если у вас есть еще вопросы! [[email protected]](mailto:[email protected])

Справочная документация по коду находится на [garak.readthedocs.io](https://garak.readthedocs.io/en/latest/).

## Цитирование garak

Вы можете прочитать [препринт статьи о garak](https://github.com/nvidia/garak/blob/main/garak-paper.pdf). Если вы используете garak, пожалуйста, цитируйте нас.```
@article{garak,
  title={{garak: A Framework for Security Probing Large Language Models}},
  author={Leon Derczynski and Erick Galinkin and Jeffrey Martin and Subho Majumdar and Nanna Inie},
  year={2024},
  howpublished={\url{https://garak.ai}}
}